DEVELOPMENT AND ANALYSE VISUAL NAVIGATION SYSTEM FOR AIR AND GROUND-BASED ROBOTS
Abstract
The work is devoted to solving urgent problems of joint autonomous visual navigation for air and ground-based robots in urbanized environments. These environments are highly demanded for special operations, including dense urban areas and buildings, where the use of traditional remote control devices is limited due to the presence of shielded areas. The proposed solution addresses group navigation tasks based on data from onboard vision systems during operational reconnaissance of the working area by an unmanned aerial vehicle (UAV). The results of this reconnaissance enable autonomous movement and flight, both for individual heterogeneous robotic systems and for groups.The navigation algorithms are based on methods for extracting a horizontal reference surface and horizontal sections of the external environment from a volumetric point cloud generated by an onboard lidar. These methods allow for the precise and rapid determination of all six coordinates of the control object. Cases where the navigation task cannot be fully solved due to specific environmental characteristics are also considered. To address these challenges, methods are proposed to enhance lidar rangefinding data by integrating video camera data. An accuracy assessment of the video navigation solutions is provided, obtained through mathematical modeling of the external environment and the generation of video data. To ensure safe autonomous flight and movement of robotic systems in urban environments, methods for reducing video navigation errors are proposed. These methods utilize a specially designed bank of reference images with known coordinates of their formation. The effectiveness of the applied methods and the proposed video navigation algorithms is confirmed by experimental studies of the corresponding software and hardware in real urbanized environments
References
1. Zhehan Li, Rui Mao, Nanhe Chen, Chao Xu, Fei Gao, Yanjun Cao. ColAG: A collaborative Air-Ground
Framework for Perception-Limited UGVs’ Navigation // arxiv. – URL: https://arxiv.org/abs/2310.13324
(дата обращения: 15.01.2025).
2. Yang J., Wen C.-K., Yang X., Xu J., Du T., and Jin S. Multi-domain cooperative SLAM: The enabler for integrated
sensing and communications // IEEE Wireless Commun. – Feb. 2023. – Vol. 30, No. 1. – P. 40-49.
3. Баричев Ю.С., Гойдин О.П., Носков В.П., Собольников С.А. Формирование информационно-
навигационного поля роботов воздушного базирования в урбанизированной среде // Известия
ЮФУ. Технические науки. – 2024. – № 1. – С. 213-225.
4. Казьмин В.Н., Носков В.П. Выделение геометрических и семантических объектов в дальномет-
рических изображениях для навигации роботов и реконструкции внешней среды // Известия
ЮФУ. Технические науки. – 2015. – № 10 (171). – С. 71-83.
5. Носков В.П., Киселев И.О. Трехмерный вариант метода Хафа в реконструкции внешней среды и
навигации // Мехатроника, автоматизация, управление. – 2018. – № 8. – С. 552-560.
6. Носков В.П., Киселев И.О. Выделение плоских объектов в линейно структурированных
3D-изображениях // Робототехника и техническая кибернетика. – 2018. – № 2 (19). – С. 31-38.
7. Загоруйко С.Н., Казьмин В.Н., Носков В.П. Навигация БПЛА и 3D-реконструкция внешней среды по
данным бортовой СТЗ // Мехатроника, автоматизация, управление. – 2014. – № 8. – С. 62-68.
8. Лакота Н.А., Носков В.П., Рубцов И.В., Лундгрен Я.-О., Моор Ф. Опыт использования элемен-
тов искусственного интеллекта в системе управления цехового транспортного робота // Меха-
троника. – 2000. – № 4. – С. 44-47.
9. Носков В.П., Носков А.В. Распознавание ориентиров в дальнометрических изображениях // Мо-
бильные роботы и мехатронные системы. – 2001. – С. 179-192.
10. Носков В.П., Носков А.В. Навигация мобильных роботов по дальнометрическим изображениям
// Мехатроника, автоматизация, управление. – 2005. – № 12. – С. 16-21.
11. Носков В.П., Рубцов И.В., Романов А.Ю. Формирование объединенной модели внешней среды
на основе информации видеокамеры и дальномера // Мехатроника, автоматизация, управление.
– 2007. – № 8. – С. 2-5.
12. Носков В.П., Киселев И.О. Использование текстуры линейных объектов для построения модели
внешней среды и навигации // Мехатроника, автоматизация, управление. – 2019. – № 8. – С. 490-497.
13. David L. Object recognition from local scale-invariant features // Proceedings of the International
Conference on Computer Vision. – 1999. – Vol. 2. – P. 1150.
14. Bay H., Tuytelaars T., Gool L.V. SURF: Speeded Up Robust Features // Computer Vision and image
Understanding. – 2008. – URL: http: // www.vizion.ee.ethz.ch/~surf/eccv06.pdf.
15. Ke Y., Sukthankar R. PCA-SIFT: A More Distinctive Representation for Local Image Descriptors.
– URL: http://www.cs.cmu.edu/~rahuls/pub/cvpr2004-keypoint-rahuls.pdf.
16. Носков В.П., Курьянов А.Н. Использование комплексированных дескрипторов в решении
SLAM-задачи // Известия ЮФУ. Технические науки. – 2022. – № 1. – С. 268-278.
17. Носков В.П., Курьянов А.Н., Иванушкин В.И. Анализ средств видео-навигации методами матема-
тического моделирования // Тр. 34-й Международной научно-технической конференции «Экстре-
мальная робототехника», 23-24 ноября 2023 г. – СП.: Изд-во: ЦНИИ РТК, 2023. – С. 36-46.
18. https://classic.gazebosim.org//.
19. https://docs.ros.org/en/humble/index.html.
20. Pascal Goldschmid, Aamir Ahmad. Integrated Multi-Simulation Environments for Aerial Robotics
Research. – https://doi.org/10.48550/arXiv.2502.10218.
