Мультимодальне розпізнавання об’єктів в реальному часі
Анотація
Сучасні БПЛА активно використовуються у військовій сфері для розвідки й моніторингу. Актуальним завданням є розробка адаптивних систем розпізнавання об’єктів, здатних працювати в реальному часі в умовах обмежених ресурсів. У роботі досліджено підходи мультимодального розпізнавання на основі об’єднання RGB, інфрачервоних та глибинних даних. Запропоновано архітектуру з механізмом late fusion та використанням модифікованої нейронної мережі YOLOv5. Розроблений прототип демонструє потенціал до впровадження в системи оперативного спостереження та може бути адаптований для роботи на вебплатформах або вбудованих пристроях.
Посилання
YOLOv5 Drone Detection Using Multimodal Data Registered by the Vicon System / W. Lindenheim-Locher, A. Świtoński, T. Krzeszowski, G. Paleta, P. Hasiec, H. Josiński, M. Paszkuta, K. Wojciechowski, J. Rosner. Sensors. 2023. Vol. 23, № 13. Article ID: 6396. DOI: 10.3390/s23146396.
M2FNet: Multi-modal fusion network for object detection from visible and thermal infrared images / Ch. Jiang, H. Ren, H. Yang, H. Huo, P. Zhu, Z. Yao, J. Li, M. Sun, S. Yang. International Journal of Applied Earth Observation and Geoinformation. 2024. Vol. 130. P. 102300. DOI: 10.1016/j.jag.2024.103918.
Ovchar M. Мультимодальне розпізнавання об’єктів за допомогою YOLOv11 та YAMNet. URL: https://github.com/MichailoOvchar/multimodal_object_detection (дата звернення: 27.04.2025).
