Электронный каталог

Статья

Го, У.
Супервизорная система для коллаборативной робототехнической ячейки на основе RGBD-камеры / У. Го, В.В. Серебренный, С. Шэнь, Л.А. Пак // Автоматизация. Современные технологии. – 2024. – № 8. – С. 350-358: ил. - Библиогр.: 43 назв.

Задача слежения в коллаборативной робототехнической ячейке является актуальной. Супервизорная система в первую очередь необходима для организации безопасного взаимодействия человека и робота. Подход к применению подобных систем. Две RGBD-камеры для моделирования состояния и поведения человека в целях дальнейшей организации диалога между роботами и людьми. Диалог необходим для динамического распределения задач. В связи с этим разработаны четыре алгоритма с применением нейронных сетей: для распознавания лиц, тела, жестов и инструментов. Для распознавания лиц применяется библиотека Python «face_recognition», предоставленная Адамом Гейтгеем. Для определения ключевых точек тела и рук используются два фреймворка, OpenPose и MediaPipe (приведен их сравнительный анализ). Работа двух моделей сверточной нейронной сети (YOLOv5 и YOLOv7) проанализирована по критерию точности для распознавания инструментов. Концепция данной работы представлена в виде конечного автомата состояний на основе пакета ROS2. Моделирование динамического распределения задач выполнено манипулятором в симуляторе Gazebo. Экспериментальные результаты демонстрируют эффективность данной супервизорной системы.