Изображения, сгенерированные ИИ, могут использоваться для обучения роботов

Модели генеративного ИИ хороши не только для создания картинок, — их можно настроить для обучения роботов.

Модели генеративного ИИ могут за считанные секунды создавать изображения в ответ на запросы, и в последнее время они используются для самых различных целей: от демонстрации присущей им предвзятости до сохранения драгоценных воспоминаний.

Теперь исследователи из Лаборатории обучения роботов Стивена Джеймса в Лондоне используют модели ИИ, генерирующие изображения, для новой цели: создания обучающих данных для роботов. Они разработали новую систему под названием Genima, которая позволяет точно настроить модель генеративного ИИ Stable Diffusion для отрисовки движений роботов, помогая управлять ими как в симуляторах, так и в реальном мире. Результаты исследования будут представлены на Конференции по обучению роботов (CoRL) в следующем месяце.

Система может облегчить обучение различных типов роботов, начиная от механических рук и заканчивая гуманоидными роботами и беспилотными автомобилями. По словам Мохита Шридхара, научного сотрудника, специализирующегося на роботах-манипуляторах, который работал над проектом, система также может помочь усовершенствовать агентов ИИ (новое поколение инструментов ИИ, способных выполнять сложные задачи без контроля человека).

«С помощью систем генерации изображений можно делать почти все, что требуется в робототехнике», — говорит он. «Мы хотели посмотреть, сможем ли мы адаптировать эти удивительные технологии для решения задач робототехники". 

Чтобы научить робота выполнять задание, исследователи обычно обучают нейронную сеть на изображениях того, что находится перед роботом. Затем сеть выдает результат в другом формате: например, координаты, необходимые для движения вперед. 

По словам Ивана Капелюха, аспиранта Имперского колледжа Лондона, специализирующегося на обучении роботов, но не участвовавшего в этом исследовании, подход Genima отличается тем, что и на входе, и на выходе — изображения, на которых машинам легче учиться.

«Это также очень полезно для пользователей, потому что вы можете видеть, куда будет двигаться ваш робот и что он будет делать. Так действия робота становятся более понятными, а это значит, что если вы действительно собираетесь его задействовать, то сможете увидеть, как робот преодолевает препятствия или что-то еще», — говорит он. 

Genima работает, используя способность Stable Diffusion распознавать паттерны (например, она знает, как выглядит кружка, потому что была обучена на изображениях кружек), а затем превращает модель в своего рода агента — систему принятия решений.

Сначала исследователи настроили систему Stable Diffusion так, чтобы она позволяла «наложить» данные с датчиков робота на изображения, снятые его камерами. 

Система отображает желаемое действие, например, открыть коробку, повесить шарф или взять блокнот, в виде ряда цветных сфер поверх изображения. Эти сферы указывают роботу, куда должен двигаться его сустав.

Вторая часть процесса преобразует эти сферы в действия. Для этого команда использовала другую нейронную сеть, называемую ACT, которая была создана на основе тех же данных. Затем они использовали Genima для выполнения 25 симуляций и девяти реальных операций с помощью руки робота. Средний показатель успешности составил 50 % и 64 % соответственно.

Хотя эти показатели не слишком высоки, Шридхар и его команда с оптимизмом смотрят на то, что скорость и точность робота могут быть повышены. Они особенно заинтересованы в применении Genima к моделям ИИ, созданным для работы с видео, что может помочь роботу предсказывать последовательность дальнейших действий, а не только одно. 

Исследование может оказаться особенно полезным для обучения домашних роботов складывать белье, закрывать ящики и выполнять другие бытовые задачи. Однако, по словам Зои Чен, аспирантки Вашингтонского университета, которая ранее также использовала метод Stable Diffusion для создания обучающих данных для роботов, но не принимала участия в этом исследовании, универсальность данного подхода означает, что он не ограничивается каким-то конкретным видом машин. 

«Это действительно захватывающее новое направление», — говорит она. «Я думаю, что это может стать общим способом обучения для всех типов роботов».