НАДІЙНІСНО-КЕРОВАНЕ ПОТОКОВЕ МОДЕЛЮВАННЯ МУЛЬТИМОДАЛЬНИХ ЧАСОВИХ РЯДІВ ДЛЯ РОБАСТНОЇ ПІДТРИМКИ ПРИЙНЯТТЯ РІШЕНЬ ЗА ДРЕЙФУ ТА ДЕГРАДАЦІЇ МОДАЛЬНОСТЕЙ

І. С. Узун; М. В. Лобачев

І. С. Узун Національний університет «Одеська політехніка» https://orcid.org/0000-0001-6619-4862
М. В. Лобачев Національний університет «Одеська політехніка» https://orcid.org/0000-0002-4859-304X

Ключові слова: машинне навчання; аналіз даних; інформаційні системи; системи підтримки прийняття рішень; мультимодальні часові ряди; деградація модальностей; концептуальний дрейф; онлайн-оцінювання надійності; калібрування ймовірностей; надійнісно-адаптивне динамічне злиття; бюджетована мікроадаптація; надійнісно-обмежене виявлення аномалій; бюджет частки хибних тривог; передпослідовний протокол

Анотація

Потокові системи підтримки прийняття рішень, що працюють з мультимодальними часовими рядами, повинні зберігати робастність за спільної дії концептуального дрейфу та тимчасової деградації модальностей. Ізольований розгляд мультимодального злиття, адаптації до дрейфу, виявлення аномалій і калібрування ймовірнісних оцінок не дозволяє надійно відрізняти реальну зміну закономірностей потоку від короткочасного погіршення якості окремого джерела даних. У статті подано єдиний онлайн-конвеєр для потокових СППР, у якому онлайн-оцінювання надійності модальностей використовується як спільний керувальний інтерфейс для надійнісно-адаптивного динамічного злиття, дрейф-ініційованої бюджетованої мікроадаптації та надійнісно-обмеженого виявлення аномалій за бюджетом частки хибних тривог. Надійність інтерпретується як каузальна ймовірність поточного недеградованого стану модальності, калібрується ізотонічною регресією та повторно використовується в усіх правилах керування. Експериментальну перевірку виконано у передпослідовному протоколі на контрольованих потоках з детермінованими ін’єкціями деградацій модальностей, дрейфу та аномалій, а також на реальних даних UCI Appliances Energy Prediction і UCI Air Quality. Калібрована модель надійності зберігає високу здатність відокремлювати деградовані стани (ROC - AUC = 0.8624) та покращує каліброваність до ECE = 0.0845 порівняно з 0.1840 без калібрування. Метод RADF зберігає якість у чистому режимі (MAE = 0.5557, RMSE = 0.6952) та зменшує похибку в деградованих сегментах, зокрема до MAE = 0.6402 проти 0.6820 для раннього злиття у режимі alternating_missing. Бюджетована мікроадаптація покращує пост-дрейфову якість відносно відсутності адаптації (MAE = 0.6613 проти 0.7046; середній час відновлення 157 проти 800 кроків) за оновлення лише трьох параметрів малої голови у фіксованих бюджетах. Метод RC-AD підвищує Recall@FAR для всіх досліджених FAR-бюджетів, зокрема до 0.335 проти 0.103 для наївного мультимодального скорингу за бюджету 0.05. У контрольованому інтегрованому стрес-сценарії система досягає ROC - AUC = 0.983, ECE = 0.029, Recall@FAR=0.311 та PR - AUC = 0.287; у робастних прикладних протоколах із сегментними пропусками знижує MAE приблизно на 35 % у домені енергоспоживання та приблизно на 93 % у домені BTC/USD порівняно з наївним злиттям. Отримані результати подають єдиний науковий результат, а не чотири локальні методи.

Посилання

1. Baltrušaitis T., Ahuja C., Morency L.-P. Multimodal Machine Learning: A Survey and Taxonomy // IEEE Transactions on Pattern Analysis and Machine Intelligence. 2019. Vol. 41, no. 2. P. 423–443. DOI: 10.1109/TPAMI.2018.2798607
2. Lahat D., Adali T., Jutten C. Multimodal Data Fusion: An Overview of Methods, Challenges, and Prospects // Proceedings of the IEEE. 2015. Vol. 103, no. 9. P. 1449–1477. DOI: 10.1109/JPROC.2015.2460697
3. Hall D. L., Llinas J. An Introduction to Multisensor Data Fusion // Proceedings of the IEEE. 1997. Vol. 85, no. 1. P. 6–23. DOI: 10.1109/5.554205
4. Gama J., Žliobaitė I., Bifet A., Pechenizkiy M., Bouchachia A. A Survey on Concept Drift Adaptation // ACM Computing Surveys. 2014. Vol. 46, no. 4. Art. 44. DOI: 10.1145/2523813
5. Lu J., Liu A., Dong F., Gu F., Gama J., Zhang G. Learning under Concept Drift: A Review // IEEE Transactions on Knowledge and Data Engineering. 2019. Vol. 31, no. 12. P. 2346–2363. DOI: 10.1109/TKDE.2018.2876857
6. Dawid A. P. Present Position and Potential Developments: Some Personal Views: Statistical Theory: The Prequential Approach // Journal of the Royal Statistical Society. Series A (General). 1984. Vol. 147, no. 2. P. 278–292. DOI: 10.2307/2981683
7. Bifet A., Gavaldà R., Holmes G., Pfahringer B. Machine Learning for Data Streams: With Practical Examples in MOA. Cambridge: MIT Press, 2018. 336 p.
8. Rubin D. B. Inference and Missing Data // Biometrika. 1976. Vol. 63, no. 3. P. 581–592. DOI: 10.1093/biomet/63.3.581
9. Guo C., Pleiss G., Sun Y., Weinberger K. Q. On Calibration of Modern Neural Networks // Proceedings of the 34th International Conference on Machine Learning. 2017. P. 1321–1330. URL: https://proceedings.mlr.press/v70/guo17a.html
10. Zadrozny B., Elkan C. Transforming Classifier Scores into Accurate Multiclass Probability Estimates // Proceedings of the Eighth ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. 2002. P. 694–699. DOI: 10.1145/775047.775151
11. Niculescu-Mizil A., Caruana R. Predicting Good Probabilities with Supervised Learning // Proceedings of the 22nd International Conference on Machine Learning. 2005. P. 625–632. DOI: 10.1145/1102351.1102430
12. Chandola V., Banerjee A., Kumar V. Anomaly Detection: A Survey // ACM Computing Surveys. 2009. Vol. 41, no. 3. Art. 15. DOI: 10.1145/1541880.1541882
13. Fawcett T. An Introduction to ROC Analysis // Pattern Recognition Letters. 2006. Vol. 27, no. 8. P. 861–874. DOI: 10.1016/j.patrec.2005.10.010
14. Hyndman R. J., Koehler A. B. Another Look at Measures of Forecast Accuracy // International Journal of Forecasting. 2006. Vol. 22, no. 4. P. 679–688. DOI: 10.1016/j.ijforecast.2006.03.001
15. UCI Machine Learning Repository. Appliances Energy Prediction. 2017. URL: https://archive.ics.uci.edu/dataset/374/appliances+energy+prediction
16. Candanedo L. M., Feldheim V., Deramaix D. Data Driven Prediction Models of Energy Use of Appliances in a Low-Energy House // Energy and Buildings. 2017. Vol. 140. P. 81–97. DOI: 10.1016/j.enbuild.2017.01.083
17. UCI Machine Learning Repository. Air Quality. 2008. DOI: 10.24432/C5060Z. URL: https://archive.ics.uci.edu/dataset/387/air+quality
18. De Vito S., Massera E., Piga M., Martinotto L., Di Francia G. On Field Calibration of an Electronic Nose for Benzene Estimation in an Urban Pollution Monitoring Scenario // Sensors and Actuators B: Chemical. 2008. Vol. 129, no. 2. P. 750–757. DOI: 10.1016/j.snb.2007.09.060
19. Uzun I. Multimodal DSS: Models and Methods for Multimodal Time-Series Analysis in Intelligent Decision Support Systems – Open-Source Repository. 2026. URL: https://github.com/illiaUzun-pub/PhD-CS-UA