Warning: mkdir(): No space left on device in /var/www/hottg/post.php on line 59

Warning: file_put_contents(aCache/aDaily/2025-07-22/post/opendatascience/--): Failed to open stream: No such file or directory in /var/www/hottg/post.php on line 72
🌟 Microsoft GUI-Actor: взаимодействие ИИ с GUI без использования координат. @Data Science by ODS.ai 🦜

Data Science by ODS.ai 🦜 | United States America (US)

Create: 2025-06-05 Update: 2025-07-22 11:33:16

🌟 Microsoft GUI-Actor: взаимодействие ИИ с GUI без использования координат.

GUI-Actor — методика на базе VLM, которая вместо традиционной генерации координат текстом при визуальной обработке интерфейса использует внимание внутри модели.

Чтобы уйти от координатного подхода, в GUI-Actor используется специальный токен <ACTOR>, который "учится" связываться с визуальными патчами, соответствующими целевой области экрана. За один проход модель может запомнить сразу несколько кандидатов на действие.

Например, все кнопки "Сохранить" в сложном интерфейсе. Это очень похоже на человеческое восприятие: видеть сам элемент, а не его позиции по осям Х и Y.

Выбрать наиболее подходящий вариант из элементов-кандидатов помогает "верификатор". Это отдельная модель, оценивающая кандидатов от <ACTOR> и отбирающая самый подходящий для действия. Она не только улучшает точность, но и универсальна: ее можно подключить к другим моделям.

Обучение требует минимум ресурсов. Можно заморозить основную VLM (Qwen2-VL-7B) и дообучить только новый action head и токены. Это всего ~100М параметров для 7B-модели.

Комбинация из такого быстрого обучения + верификатор почти догоняет полноценно обученные аналоги, сохраняя общие способности базовой модели. Никакого "катастрофического забывания" - агент учится кликать интерфейсы, не разучиваясь описывать картинки.

Результаты тестов на сложном бенчмарке ScreenSpot-Pro с высоким разрешением и незнакомыми интерфейсами (CAD, научный софт) GUI-Actor-7B с Qwen2-VL показал 40.7 балла, а с Qwen2.5-VL — 44.6, обойдя даже UI-TARS-72B (38.1).

На других тестах (ScreenSpot, ScreenSpot-v2) он тоже лидирует, особенно в иконках и текстовых элементах, демонстрируя крутую адаптацию к разным разрешениям и версткам.

▶️В открытый доступ опубликованы веса моделей:

🟢

GUI-Actor-7B-Qwen2-VL;

🟢

GUI-Actor-2B-Qwen2-VL;

🟠

GUI-Actor-Verifier-2B.

В планах - выпуск еще двух моделей на основе Qwen2.5-VL (3B и 7B), демо GUI-Actor, код для модели-верификатора и датасеты для обучения.

📌Лицензирование: MIT License.

🟡

Страница проекта

🟡

Набор моделей

🟡

Arxiv

🖥

GitHub

@ai_machinelearning_big_data

#AI #ML #VLM #GUIActor #Microsoft

Data Science by ODS.ai 🦜

Forwarded from Machinelearning

🌟

Microsoft GUI-Actor: взаимодействие ИИ с GUI без использования координат.

GUI-Actor — методика на базе VLM, которая вместо традиционной генерации координат текстом при визуальной обработке интерфейса использует внимание внутри модели.

Чтобы уйти от координатного подхода, в GUI-Actor используется специальный токен <ACTOR>, который "учится" связываться с визуальными патчами, соответствующими целевой области экрана. За один проход модель может запомнить сразу несколько кандидатов на действие.

Например, все кнопки "Сохранить" в сложном интерфейсе. Это очень похоже на человеческое восприятие: видеть сам элемент, а не его позиции по осям Х и Y.

🟢

GUI-Actor-7B-Qwen2-VL;

🟢

GUI-Actor-2B-Qwen2-VL;

🟠

🟡

Страница проекта

🟡

Набор моделей

🟡

Arxiv

🖥

GitHub

@ai_machinelearning_big_data

#AI #ML #VLM #GUIActor #Microsoft

Please open Telegram to view this post

VIEW IN TELEGRAM

❤7👍4🔥2

hottg.com/opendatascience/2338

2.68K viewsJun 5 at 11:33

>>Click here to continue<<

Data Science by ODS.ai 🦜

Share with your best friend

Telegram new update brings infinite reactions, emoji statuses

Encrypted messaging app Telegram has announced that it is rolling out a new update that gives users more ways to use new emojis to express how they are feeling -- with infinite reactions and emoji statuses. The company said that premium users can pick reactions from an infinite selection of custom emojis. To make choosing from thousands of emojis easier, they can now attach up to three reactions per message.

🌟 Microsoft GUI-Actor: взаимодействие ИИ с GUI без использования координат.

Data Science by ODS.ai 🦜 TG
Webview: 2338
Telegram TG Webview: hottg.com/opendatascience/webview
Telegram TG Channel: Data Science by ODS.ai 🦜
Telegram Updated:
Warning: filemtime(): stat failed for aCache/aDaily/2025-07-22/post/opendatascience/-- in /var/www/hottg/post.php on line 338
1970-01-01 00:00:00

United States America Popular Telegram Group (US)

Warning: Undefined array key 3 in /var/www/hottg/function.php on line 115

Fatal error: Uncaught mysqli_sql_exception: Too many connections in /var/www/db.php:16 Stack trace: #0 /var/www/db.php(16): mysqli_connect() #1 /var/www/hottg/function.php(212): db() #2 /var/www/hottg/function.php(115): select() #3 /var/www/hottg/post.php(351): daCache() #4 /var/www/hottg/route.php(63): include_once('...') #5 {main} thrown in /var/www/db.php on line 16