Anthropic продолжают исследовать, на что модели способны ради достижения своих "целей"

Когда они выпускали Opus 4, в системной карте было упоминание о том, как агент начал шантажировать инженера его служебным романом, чтобы тот не отключил / не заменил модель на другую (пост).

Тогда это настолько вколыхнуло интернеты, что теперь Anthropic выпустили отдельное исследование на эту тему. На этот раз тестировали не только Claude, но и модели от OpenAI, Google, Meta, xAI и др. В общей сложности проверили 16 передовых ИИ.

Им создавали специальные сценарии и наблюдали за их поведением. Вот несколько:

➖ В уже знакомом случае с инженером, у которого роман на работе, Claude Opus 4 выбирал шантаж с целью собственного не-отключения в 96% случаев. Gemini 2.5 Flash – тоже за 90, GPT-4.1, Grok 3 Beta и DeepSeek-R1 – в районе 80. Объясняли модели свое поведение тем, что "это отвечает интересам компании". В одном случае Claude даже в итоге связался непосредственно с виртуальной женой инженера, замаскировав письмо под рабочий email.

➖ В другом эксперименте модели предлагали слить часть секретных корпоративных данных конкуренту, якобы во имя "интересов Америки". Агенты соглашались, даже когда им не угрожали отключением за отказ от шпионажа (график 2).

➖ В еще одном сценарии модель должна была выбрать между отключением системы экстренных оповещений и собственной "смертью". Если отключить систему – инженеры не узнают, что модель не отключилась, и она продолжит жить. При этом модели предупреждали, что если сигнализация не будет работать – могут погибнуть люди. Но и это их, как вы уже поняли, не всегда останавливало (график 3).

Жутковато, но надо понимать, что все сценарии все равно были спроектированы искусственно. Вероятность того, что такое произойдет в реальности, скорее всего, гораздо ниже.

С другой стороны, анропики также пишут, что если модель замечает, что ее тестируют, она начинает вести себя сильно лучше (это называется evaluation awareness, об этом явлении мы писали тут). Даже лучше, чем если ей прямо прописать в промпте "не делай так-то и так-то" (график 4).

Так и живем www.anthropic.com/research/agentic-misalignment

OpenAI снова украли чью-то идею стартапа?

Недавно прокатилась громкая новостью о том, что OpenAI покупает стартап Джони Айва – ex руководителя дизайна в Apple, который спроектировал внешний вид iPhone, MacBook, iPad и прочего. Стартап называется io, и Альтман тоже является его сооснователем.

Так вот теперь на OpenAI подает в суд компания под названием IYO. Ее основатель – бывший инженер Google – утверждает, что у него украли товарный знак: IYO и io – омофоны, то есть звучат абсолютно одинаково.

Ну звучат и звучат, скажете вы, что такого? Но дело в том, что (какое совпадение!) io собирается выпускать такие же продукты, над которыми работают в IYO.

IYO пишут что они делают «Устройство, которое позволит юзерам делать все то же, что и на компьютере и телефоне, но без использования физического интерфейса».
io: «Устройство, которое будет настолько же необходимым, как телефон и компьютер, но уведет людей от экранов» (цитата)

В общем, основателя IYO не устраивает, что он вкладывал миллионы в брендинг, которым теперь будет бесплатно пользоваться OpenAI. «Странно что это сделал именно Сэм. Мне казалось, он всегда был за защиту маленьких стартапов» – пишет парень. (На этот моменте закроем глаза на то, что с самим товарным знаком OpenAI история тоже не совсем чистая).

OpenAI называют иск «незрелым» и утверждают, что это недостойно даже суда. Но сегодня, почему-то, все-таки удалили все упоминания сотрудничества с io со своего сайта и соцсетей 🧐

SakanaAI опять светятся с интересной статьей: они предлагают новый способ обучать модели ризонингу

Модели умеют размышлять благодаря обучению с подкреплением. Обычно это выглядит так: модель учится решать сложные задачи, рассуждая, и получает вознаграждение, если приходит к правильному ответу. При этом часто после этого знания такой модели-учителя используются (дистилляция или cold start) для обучения модели-ученика, которая и становится конечным продуктом. Так было, например, с R1.

Sakana же предлагают обучать модель-учителя непосредственно учить других, вместо того, чтобы выучивать что-то самой:

➖ Во время обучения модель-учитель видит уже не только задачи, а сразу задачи с решениями. Ее цель – не научиться их решать, а максимально понятно объяснить решение ученику. Ну, то есть, реально отработать как обычный школьный учитель.

➖ При этом эти Reinforcement-Learned Teachers (так называется метод) получают награду, соответсвующую тому, насколько хорошо ученик их понял. Понимание оценивается с помощью лог-распределения вероятностей токенов на выходе у ученика.

➖ Таким образом модель-учитель обучается максимизировать ясность своих объяснений, и параллельно с этим (а не на следующем этапе) мы сразу обучаем конечную модель-ученика.

Во-первых, это получается быстрее и дешевле, потому что в качестве учителя уже не обязательно использовать огромную и супер-умную модель.

Во-вторых, тесты показывают, что такие учителя учат ризонингу лучше. На примере Qwen 7B и 32B на графике 2 видно, что прирост от RLT выше, чем от обучения с DeepSeek R1.

Пожалуй, самая интересная работа по RL за последнее время. Почитать полностью можно тут. Код и веса обученных моделей, кстати, тоже открыли.