Create: Update:
Google выпустили модель для роботов, которую можно запускать on-device без подключения к Интернету
Первую Gemini Robotics компания выпустила в марте – о ней мы рассказывали вот тут.
Если кратко, GR – это VLA (vision-language-action) модель, то есть базовая модель, которая на вход принимает кадры окружающей среды и команды, а на выход отдает четкие инструкции и траектории, по которым должен двигаться робот. На момент выхода Gemini Robotics выбила SOTA.
А сейчас вот Google решили расширить линейку и выпустили вариант GR, который оптимизирован для запуска локально на роботе. Уже из коробки она сможет выполнять кучу задач, включая что-то на мелкую моторику или что-то многошаговое. Какой будет робот – неважно, модель универсальная, потому что предобучена на большом датасете ALOHA.
При этом при необходимости систему можно дообучить: говорят, робот хорошо схватит новый навык всего за 50-100 демонстраций.
По замерам Google модель на голову перепрыгивает предыдущие on-device и работает чуть хуже основной Gemini Robotics (где-то даже наравне).
Ну и вишенка: Google также выпустили фреймворк инструкций (software development kit) по тому, как запустить все это на своей собственной железке. Там можно будет даже потестировать прототип в симуляторе.
github.com/google-deepmind/gemini-robotics-sdk
Первую Gemini Robotics компания выпустила в марте – о ней мы рассказывали вот тут.
Если кратко, GR – это VLA (vision-language-action) модель, то есть базовая модель, которая на вход принимает кадры окружающей среды и команды, а на выход отдает четкие инструкции и траектории, по которым должен двигаться робот. На момент выхода Gemini Robotics выбила SOTA.
А сейчас вот Google решили расширить линейку и выпустили вариант GR, который оптимизирован для запуска локально на роботе. Уже из коробки она сможет выполнять кучу задач, включая что-то на мелкую моторику или что-то многошаговое. Какой будет робот – неважно, модель универсальная, потому что предобучена на большом датасете ALOHA.
При этом при необходимости систему можно дообучить: говорят, робот хорошо схватит новый навык всего за 50-100 демонстраций.
По замерам Google модель на голову перепрыгивает предыдущие on-device и работает чуть хуже основной Gemini Robotics (где-то даже наравне).
Ну и вишенка: Google также выпустили фреймворк инструкций (software development kit) по тому, как запустить все это на своей собственной железке. Там можно будет даже потестировать прототип в симуляторе.
github.com/google-deepmind/gemini-robotics-sdk
Google выпустили модель для роботов, которую можно запускать on-device без подключения к Интернету
Первую Gemini Robotics компания выпустила в марте – о ней мы рассказывали вот тут.
Если кратко, GR – это VLA (vision-language-action) модель, то есть базовая модель, которая на вход принимает кадры окружающей среды и команды, а на выход отдает четкие инструкции и траектории, по которым должен двигаться робот. На момент выхода Gemini Robotics выбила SOTA.
А сейчас вот Google решили расширить линейку и выпустили вариант GR, который оптимизирован для запуска локально на роботе. Уже из коробки она сможет выполнять кучу задач, включая что-то на мелкую моторику или что-то многошаговое. Какой будет робот – неважно, модель универсальная, потому что предобучена на большом датасете ALOHA.
При этом при необходимости систему можно дообучить: говорят, робот хорошо схватит новый навык всего за 50-100 демонстраций.
По замерам Google модель на голову перепрыгивает предыдущие on-device и работает чуть хуже основной Gemini Robotics (где-то даже наравне).
Ну и вишенка: Google также выпустили фреймворк инструкций (software development kit) по тому, как запустить все это на своей собственной железке. Там можно будет даже потестировать прототип в симуляторе.
github.com/google-deepmind/gemini-robotics-sdk
Первую Gemini Robotics компания выпустила в марте – о ней мы рассказывали вот тут.
Если кратко, GR – это VLA (vision-language-action) модель, то есть базовая модель, которая на вход принимает кадры окружающей среды и команды, а на выход отдает четкие инструкции и траектории, по которым должен двигаться робот. На момент выхода Gemini Robotics выбила SOTA.
А сейчас вот Google решили расширить линейку и выпустили вариант GR, который оптимизирован для запуска локально на роботе. Уже из коробки она сможет выполнять кучу задач, включая что-то на мелкую моторику или что-то многошаговое. Какой будет робот – неважно, модель универсальная, потому что предобучена на большом датасете ALOHA.
При этом при необходимости систему можно дообучить: говорят, робот хорошо схватит новый навык всего за 50-100 демонстраций.
По замерам Google модель на голову перепрыгивает предыдущие on-device и работает чуть хуже основной Gemini Robotics (где-то даже наравне).
Ну и вишенка: Google также выпустили фреймворк инструкций (software development kit) по тому, как запустить все это на своей собственной железке. Там можно будет даже потестировать прототип в симуляторе.
github.com/google-deepmind/gemini-robotics-sdk
1❤105🔥41👍17❤🔥11⚡4
>>Click here to continue<<
Data Secrets
