Робота научили приносить пиво из холодильника

Модульный суперкомпьютер NVIDIA Jetson TX2, служащий зрительным центром робота, позволил ему не только эффективно проложить путь, но и найти пиво запрошенной марки по этикетке.


Проект подробно описан на сайте ChallengeRocket.

Осенью прошлого года компания NVIDIA запустила Jetson Developer Challenge — конкурс для инженеров, которым предлагается использовать набор для разработки с модульным суперкомпьютером NVIDIA Jetson TX2 для улучшения своих проектов. Среди призов — денежное вознаграждение, видеокарта NVIDIA TITAN Xp, обучающие курсы и поездка на компьютерную конференцию GTC 2018, которая состоится в Кремниевой долине в марте этого года.

Группа инженеров из Университета Кобленц-Ландау использовала Jetson TX2 в качестве зрительной системы робота TIAGo компании PAL Robotics. Суперкомпьютер помог роботу не только эффективно выстроить маршрут до холодильника и найти ручку для того, чтобы его открыть, но и выбрать пиво запрошенной марки. Этого удалось добиться благодаря алгоритму семантической сегментации, который выделяет объекты (в данном случае — продукты в холодильнике) на общем фоне и классифицирует их по форме, выделяя нужные (пивные бутылки и банки). Для обучения хватило всего лишь 60 изображений бутылок на 20 различных фонах.
В итоге TIAGo смог правильно выбрать нужное пиво, а затем — принести и подать ее одной из разработчиков. При этом робот смог закрыть холодильник, несмотря на то, что у него всего одна рука, занятая банкой пива.
Научить робота приносить определенные вещи (в том числе и пиво) — задача многих разработчиков. С этим может помочь, например, виртуальная система, которую придумали разработчики из Алленовского института искусственного интеллекта: она состоит из трехмерных комнат, повторяющих жилые помещения. А робот Aeolus, разработанный одноименным американским стартапом, приносить пиво уже умеет (а также — расставлять посуду и мыть полы)