- Nvidia представила мультимодальний ШІ, розроблений спеціально для андроїдів.
- Анонсовано нову модель обчислювальної платформи Jetson.
- Виробники роботів оголосили про партнерство.
Конференція GTC 2024, що проходить у Сан-Хосе, майже повністю присвячена штучному інтелекту. Але 19 березня компанія Nvidia також анонсувала кілька важливих продуктів у сфері робототехніки.
Я є GR00T
Компанія представила проєкт GR00T (Generalist Robot 00 Technology) — мультимодальний штучний інтелект, розроблений спеціально для андроїдів.
Менеджер з досліджень і керівник напрямку втіленого ШІ в Nvidia Джим Фан написав, що завдяки GR00T роботи зможуть розуміти інструкції через мову, відео та спостереження за людиною для виконання різних завдань.
Today is the beginning of our moonshot to solve embodied AGI in the physical world. I’m so excited to announce Project GR00T, our new initiative to create a general-purpose foundation model for humanoid robot learning.
The GR00T model will enable a robot to understand multimodal… pic.twitter.com/EqN19Z3cXH
— Jim Fan (@DrJimFan) March 18, 2024
За словами CEO Nvidia Дженсена Хуанга, GR00T дасть змогу роботам навчатися координації та складних рухів, адаптуватися до того, що відбувається навколо, і взаємодіяти з реальним світом. Під час виступу глава компанії продемонстрував кілька андроїдів, оснащених GR00T, які виконують різні завдання.
Демонстрація андроїдів із GR00T. Джерело: Nvidia.
На час тестів ШІ-продукт доступний тільки для деяких компаній-партнерів, зокрема для 1X Technologies, Agility Robotics, Apptronik, Boston Dynamics, Figure AI, Fourier Intelligence, Sanctuary AI, Unitree Robotics і XPENG Robotics.
«Створення базових моделей для людиноподібних роботів — одна з найбільш захопливих проблем у сфері ШІ на сьогодні. Провідні дослідники всього світу об’єднуються, щоб зробити гігантський стрибок на шляху до робототехніки загального призначення», — заявив Хуанг.
Наразі подробиці про внутрішню архітектуру GR00T невідомі. Апаратна частина функціонує завдяки новій обчислювальній платформі Jetson Thor.
Поповнення в сімействі Jetson
Jetson Thor здатна виконувати складні завдання щодо взаємодії між людьми і машинами. Платформа заснована на чипі Thor SoC і містить новітній графічний процесор Nvidia Blackwell.
Продуктивність GPU системи у вісім разів вища, ніж у попередньої версії Jetson Orin.
Продукт GR00T, що функціонує завдяки Thor, розроблено за допомогою інструментів Isaac Robotic Platform від Nvidia, включно з новою лабораторією Isaac Lab для навчання з підкріпленням.
Isaac Manipulator пропонує бібліотеки, що допомагають виробникам роботів-маніпуляторів додати в продукти нові рухи і збільшити їхню спритність. Вони включають моделі для виявлення і відстеження об’єктів, оцінки їхнього 6D-позиціонування і створення точних прогнозів для взаємодії з навколишнім середовищем.
Isaac Perceptor допомагає справлятися із завданнями управління андроїдами в неструктурованій обстановці. Для тривимірного сприйняття і об’ємного зору використовуються багатокамерний огляд на 360 градусів і прискорені алгоритми штучного інтелекту.
Exciting news from #GTC24! NVIDIA Isaac is revolutionizing robotics in manufacturing & logistics. With #GenAI & advanced simulation, NVIDIA Isaac is accelerating AI-enabled robots. Check out the new foundation models, robot learning framework, & more. https://t.co/nteaW1K5tl pic.twitter.com/4xzpUakpfe
— NVIDIA Robotics (@NVIDIARobotics) March 18, 2024
«Захоплюючі новини з GTC24! Nvidia Isaac здійснює революцію в робототехніці! Завдяки GenAI і передовому моделюванню Nvidia Isaac прискорює роботів з ШІ-підтримкою. Подивіться на нові базові моделі, систему навчання роботів і багато іншого», — повідомив підрозділ робототехніки компанії.
19 березня також стало відомо про появу альянсу у сфері робототехніки.
Роботи вступають в Альянс
Open Source Robotics Foundation запустила Open Source Robotics Alliance (OSRA)
We are pleased to announce our partnership with @OpenRoboticsOrg in launching the Open Source Robotics Alliance. By joining forces with Open Robotics, #NVIDIA will continue to bring accelerated computing and #AI to open-source #robotics.
Learn more: https://t.co/9XfX6gvtuO pic.twitter.com/qgCDCRtY2B
— NVIDIA Robotics (@NVIDIARobotics) March 19, 2024
«Ми раді оголосити про нашу співпрацю з OpenRoboticsOrg у створенні Альянсу робототехніки з відкритим вихідним кодом. Об’єднавши зусилля з Open Robotics, ми продовжимо впроваджувати прискорені обчислення і ШІ в робототехніку з відкритим вихідним кодом», — йдеться в повідомленні.
Компанія стала першим платиновим членом OSRA. У такому ж статусі до альянсу приєдналися Intrinsic і Qualcomm.
Нагадаємо, під час першого дня конференції GTC 2024 Nvidia анонсувала нове покоління ШІ-чіпів і програмне забезпечення для роботи з великими мовними моделями.
