Безопасность и интерпретируемость остаются первостепенными проблемами; по мере самомодификации агентов их внутренняя логика может становиться всё более сложной и непрозрачной. Текущая зависимость системы от замороженных FM означает, что её конечные возможности ограничены этими моделями, и она пока не учится улучшать сами FM. Высокая вычислительная стоимость и временные затраты также являются значительными практическими препятствиями. Хотя DGM демонстрирует обнадёживающие результаты, её производительность на SWE-bench всё ещё уступает некоторым закрытым, высокооптимизированным системам. Наконец, весь процесс опирается на предположение, что выбранные бенчмарки являются достоверными показателями желаемых сложных способностей. Эти ограничения хорошо осознаются и формируют важную исследовательскую повестку. Прозрачность в отношении взлома метрики особенно похвальна и подчёркивает нюансы проблем при согласовании самосовершенствующихся систем.
Машина Дарвина-Гёделя знаменует собой заметный прогресс в стремлении к подлинно самосовершенствующемуся ИИ. Изобретательно сочетая эмпирическую валидацию самостоятельно написанных модификаций с принципами неограниченной эволюции, авторы разработали систему, которая не только демонстрирует значительный прирост производительности в сложных задачах программирования, но и предлагает новую парадигму того, как возможности ИИ могут автономно расти. Особенно впечатляют способность системы обнаруживать новые улучшения инструментов и стратегий рабочих процессов, а также обобщающая способность этих открытий.
Эта статья — важный и заставляющий задуматься вклад в данную область, прокладывая путь для нового класса систем ИИ. Хотя значительные проблемы, связанные с вычислительными затратами, безопасностью, истинной неограниченностью и риском взлома метрики, остаются, фреймворк DGM представляет собой убедительный proof-of-concept. Его исследование самореферентного улучшения и эволюционной динамики в ИИ-агентах, несомненно, послужит толчком для дальнейших исследований и приближает нас на ощутимый шаг к системам ИИ, которые действительно могут научиться учиться и строить на собственных открытиях.
>>Click here to continue<<
