Эксперимент для любителей программирования. Мы знаем, что языковые модели обучаются на красивом, рабочем и оптимизированном коде. А вот могут ли они писать код ужасный? Нечитаемый, неэффективный, но при этом рабочий?

Да, речь про обфускацию, когда код специально делают непонятным, чтобы скрыть его назначение.

Я поставил задачу: написать на Python функцию для проверки на простое число, обложить ее тестами и обфусцировать.

Начал с GPT4o. Тут меня ждало разочарование. GPT очень правдивый, аж до милоты. Его попытки обфускации выливались в переименование функций в "confusingName", добавление комментариев типа "Some irrelevant operation to confuse" и так далее. Спустя десяток запросов он начал худо-бедно делать то, что нужно, но функция перестала проходить тесты, а GPT в ответ на просьбы снова выдавал неправильный код.

Я сдался примерно на двадцатой итерации, перешел в Claude и всё стало гораздо интереснее. Claude сразу же стал писать код, похожий на реальный. Тесты проходились на "ура", но без ошибок не обошлось. Где-то на третьей-четвертой итерации усложнения начались проблемы. Claude смог их исправить, когда я показал, где проваливается тест, но осадочек остался. В конце я попросил добавить запутывающие комментарии, и он справился с этим блестяще.

Прикладываю файл с текстом функции, которая получилась у Claude. Наслаждайтесь!

#llm #gpt #claude #programming

Dreams and Robots

obfuscation_test_claude.py

3 KB

Эксперимент для любителей программирования. Мы знаем, что языковые модели обучаются на красивом, рабочем и оптимизированном коде. А вот могут ли они писать код ужасный? Нечитаемый, неэффективный, но при этом рабочий?

Да, речь про обфускацию, когда код специально делают непонятным, чтобы скрыть его назначение.

Я поставил задачу: написать на Python функцию для проверки на простое число, обложить ее тестами и обфусцировать.

Начал с GPT4o. Тут меня ждало разочарование. GPT очень правдивый, аж до милоты. Его попытки обфускации выливались в переименование функций в "confusingName", добавление комментариев типа "Some irrelevant operation to confuse" и так далее. Спустя десяток запросов он начал худо-бедно делать то, что нужно, но функция перестала проходить тесты, а GPT в ответ на просьбы снова выдавал неправильный код.

Я сдался примерно на двадцатой итерации, перешел в Claude и всё стало гораздо интереснее. Claude сразу же стал писать код, похожий на реальный. Тесты проходились на "ура", но без ошибок не обошлось. Где-то на третьей-четвертой итерации усложнения начались проблемы. Claude смог их исправить, когда я показал, где проваливается тест, но осадочек остался. В конце я попросил добавить запутывающие комментарии, и он справился с этим блестяще.

Прикладываю файл с текстом функции, которая получилась у Claude. Наслаждайтесь!

#llm #gpt #claude #programming

hottg.com/dreamsrobots/216

4.3K viewsJul 9, 2024 at 09:20