28Кзнаков о том, что обучение сухих и мокрых нейросеток идёт очень похожим образом. Привожу условные стадии этого обучения — "водопад", но предупреждаю, что водопадов не бывает!
— Водопад против agile в curriculum learning и успеваемость в обучении людей и нежити
— 1. Необученная сеть, на входе у нас "архитектура нейронной сети" или "царь природы", успехи слабые
— 2. Предобучение/pretrain, на выходе -- Base model, успехи посредственные
— 3. Дообучение/finetune, на выходе -- Instruct model, успехи удовлетворительные
— 4. Обучение с подкреплением на основе обратной связи от учителя, RLHF, на выходе -- Chat model, успехи хорошие
— 5. Дрессировка (обучение с подкреплением), RL, на выходе -- Reasoning model, успехи отличные
— 6. Open-endedness, бесконечное познание, на выходе -- PhD model (учёный), успехи в форме нобелевской премии
— 7. Эволюция в физическом мире, на выходе -- Engineer model (инженер), успехи в форме изменения мира к лучшему
— Возвращаемся к проблеме водопада: помним, что его не бывает, это чрезмерное упрощение

Дальше надо только брать -- и делать, брать -- и делать. Картинка как раз об этом.

https://ailev.livejournal.com/1753533.html

Лабораторный журнал

28Кзнаков о том, что обучение сухих и мокрых нейросеток идёт очень похожим образом. Привожу условные стадии этого обучения — "водопад", но предупреждаю, что водопадов не бывает!
— Водопад против agile в curriculum learning и успеваемость в обучении людей и нежити
— 1. Необученная сеть, на входе у нас "архитектура нейронной сети" или "царь природы", успехи слабые
— 2. Предобучение/pretrain, на выходе -- Base model, успехи посредственные
— 3. Дообучение/finetune, на выходе -- Instruct model, успехи удовлетворительные
— 4. Обучение с подкреплением на основе обратной связи от учителя, RLHF, на выходе -- Chat model, успехи хорошие
— 5. Дрессировка (обучение с подкреплением), RL, на выходе -- Reasoning model, успехи отличные
— 6. Open-endedness, бесконечное познание, на выходе -- PhD model (учёный), успехи в форме нобелевской премии
— 7. Эволюция в физическом мире, на выходе -- Engineer model (инженер), успехи в форме изменения мира к лучшему
— Возвращаемся к проблеме водопада: помним, что его не бывает, это чрезмерное упрощение

Дальше надо только брать -- и делать, брать -- и делать. Картинка как раз об этом.

https://ailev.livejournal.com/1753533.html

Livejournal

Стадии водопадного инженерного процесса для сухих и мокрых нейросеток

Водопад против agile в curriculum learning и успеваемость в обучении людей и нежити Идея проста: и у людей, и у современных AI-агентов думалка основана на нейронном вычислителе (мокрые или сухие нейронные сети -- неважно, нейроморфные или "традиционные" с…

❤8👏4👍1

hottg.com/ailev_blog/1323

1.22K viewsedited  Feb 12 at 21:48