🚀 RoboArena: платформа для реального оценивания robot policies
RoboArena — первая в своём роде платформа для масштабируемого и воспроизводимого оценивания роботов, основанных на политике управления (robot policies). Это прямой аналог Chatbot Arena, но для роботов, позволяющий исследователям сравнивать и ранжировать решения в реальных условиях.
Задача и мотивация:
• Реальное тестирование роботов дорого и зачастую не воспроизводимо.
• Традиционные симуляторы часто не отражают реальные физические условия.
RoboArena устраняет эти ограничения, предоставляя инфраструктуру для распределённого и стандартизированного оценивания политик на реальных роботах.
Ключевые компоненты платформы:
• Evaluation client — Python-скрипт (Python 3.7+), позволяющий запустить серию оценочных прогонов на вашей аппаратуре. Настраивается через YAML-конфиг для указания камер, названия института и параметров логирования.
• Централизованный logging server — собирает метрики успеха, телеметрию и оценки, обеспечивая единое хранилище данных и построение рейтингов.
• Веб-интерфейс — статический сайт, доступный по адресу robo-arena.github.io, где публикуются данные о политиках, динамически обновляемые графики и сравнительный рейтинг.
Рабочий процесс:
1. Настроить YAML-файл (например, my_institution.yaml) с параметрами камер и логирования.
2. Запустить команду:
```bash
python evaluate.py --config my_institution.yaml
3. Открыть веб-интерфейс в браузере по адресу robo-arena.github.io и просмотреть результаты.
Планы развития:
• Интеграция с world-model платформами (SIMPLER, WPE) для сравнения симуляционного и реального оценивания.
• Полный открытый исходный код client, server и web UI к концу 2025.
• Добавление поддержки новых сенсоров и разных типов роботов.
github.com/pranavatreya/real_eval
>>Click here to continue<<