Aug 06, 2024 • 12:32

NVIDIA тренирует своих роботов при помощи Apple Vision Pro

Aug 06, 2024 • 12:32

Данная страница содержит «вставки» с других сайтов, скрипты которых могут собирать ваши личные данные для аналитики и своих внутренних потребностей. Редакция рекомендует использовать браузеры с блокировкой трекеров для просмотра таких страниц. Подробнее →

Разработчик графических процессоров и систем на чипе использует масс-маркетовые продукты Apple для тестирования своих.

В одном из свежих пресс-релизов NVIDIA компания дважды упомянула Apple Vision Pro, а также продемонстрировала работу в видео про роботов-гуманоидов, которых обучают при помощи Generalist Robot 00 Technology (Project GR00T) — ИИ-модели на основе ИИ для создания человекоподобных роботов.

В NVIDIA рассказали, что для обучения базовых моделей человекоподобных роботов «требуется невероятное количество данных». Например, достаточно дорогим и сложным является телеоперация — процесс получения демонстрационных данных о человеке.

Он позволяет исследователям и ИИ-разработчикам генерировать огромное количество синтетических данных о движении и восприятии из минимального количества дистанционно снятых человеческих демонстраций.

Для захвата небольшого количества телеопераций разработчики используют Apple Vision Pro, утверждают в NVIDIA:

Затем они моделируют записи в NVIDIA Isaac Sim и используют микросервис MimicGen NIM для создания синтетических наборов данных на основе этих записей. Разработчики обучают базовую модель гуманоида Project GR00T на реальных и синтетических данных, что позволяет им сэкономить время и снизить затраты.

Компания Apple продемонстрировала Vision Pro в рамках ежегодной конференции для разработчиков WWDC 2023 ещё в июне прошлого года. Гарнитура взорвала интернет кучей реакций и мемов. Мы собрали лучшее в отдельном материале.

«Код Дурова» протестировал Apple Vision Pro и подробно в обзоре рассказал, что сейчас умеет «первый пространственный компьютер Apple», комфортно ли в нём находиться и способен ли он изменить мир.