Click to view
Click to view
Производитель робототехники Figure представил первые плоды сотрудничества с OpenAI - недавнего соглашения о разработке для андроидов модели искусственного интеллекта следующего поколения. На видео F1 демонстрирует навыки взаимодействия с людьми и средой, описывает то, что делает, поддерживает беседу, а также сам планирует и выполняет задачи.
Стартап Figure появился совсем недавно, в прошлом году, собрав инженеров из Boston Dynamics, Tesla, Google DeepMind и Archer Aviation для создания «первого в мире коммерчески успешного универсального человекоподобного робота». В октябре у компании уже был стоящий на двух ногах и выполняющий базовые действия автономный робот, а в начале 2024 года он уже был готов к работе на заводе BMW. Вскоре после этого Figure объявила об успешном раунде финансирования, в котором приняли участие, в частности, Microsoft, Nvidia и OpenAI. Последняя, вдобавок, согласилась разработать для андроидов Figure новое поколение ИИ-моделей. И теперь нам показали, что это значит.
Как подтвердил глава Figure Бретт Эдкок, встроенные в робота F1 камеры посылают данные в большую зрительно-языковую модель, обученную OpenAI, сообщает Venture Beat. Собственная нейросеть Figure «тоже получает картинку с частотой 10 Гц через камеры робота». Также модель OpenAI отвечает за способность андроида понимать человеческую речь. Все эти потоки информации преобразуются нейросетью в «быстрые, низкоуровневые, ловкие действия» F1.
Стоя перед кухонным столом, F1 описал все, что видит, а затем верно интерпретировал просьбу человека дать ему что-нибудь съедобное, аккуратно протянув ему яблоко. Затем робот выбрасывает мусор и ставит тарелку и чашку в сушилку.
Эдкок заверил, что во время съемок видео роботом никто не управлял, и что запись не была ускорена при монтаже. В таком случае это действительно примечательный результат сотрудничества, которому еще только две недели. Конечная цель компании, по словам ее руководителя, обучить модель таким образом, чтобы она могла управлять действиями миллиардов человекоподобных роботов.