Немного новостей AI и моего к ним отношения:
— уволенные бенчмарки, их много
— новая архитектура нейросетки решает ARC-AGI на 20% вообще без обучения.
— вместо CoT делаем CoD (Chain-of-Draft), это занимает 7.6% токенов от CoT с теми же результатами reasoning
— дистилляция трансформера в мамбу (llamba) даёт не слишком хорошее качество, зато влезает в телефоны и требует только 0.1% данных для обучения.
— Cortical Labs выпустила очередной комп на человечьих нейронах, но интересней даже не это, а повтор их эксперимента с обучением нейронов играть в Pong на простом геле, безо всяких нейронов. Это всё reservoir computing.
— DeepSeek R1 слегка всех подорвали с 671B параметров (37B активных), а QwQ-32B с тем же качеством работает просто на 32B параметров, и цель у них — long horizon reasoning, и это open source, что особенно приятно читается, когда OpenAI планирует продавать long horizon reasoning за $20000 в месяц
— обсуждение AI-как-SkyNet перешло в обсуждение AI-как-атомная-бомба, появились лоббисты международного регулирования нераспространения, но с учётом того, что тут много чего уже в open source, требования к аппаратуре падают, по энергии намечается большой запас (помним о нейроморфных архитектурах, как пример), а также об отсутствии мирового правительства, которое справляется с распределёнными инициативами типа DeFi, тут поможет не лоббирование или антилоббирование, но слоган шифропанков: "не пишите законы, пишите код". Что и происходит.
— Про роботов не пишу, но там тоже всё более чем хорошо. И нормальные роботы уже стоят меньше $100000.

Картинка про Chain-of-Draft, а в посте 15Кзнаков.

https://ailev.livejournal.com/1756202.html

Лабораторный журнал

Немного новостей AI и моего к ним отношения:
— уволенные бенчмарки, их много
— новая архитектура нейросетки решает ARC-AGI на 20% вообще без обучения.
— вместо CoT делаем CoD (Chain-of-Draft), это занимает 7.6% токенов от CoT с теми же результатами reasoning
— дистилляция трансформера в мамбу (llamba) даёт не слишком хорошее качество, зато влезает в телефоны и требует только 0.1% данных для обучения.
— Cortical Labs выпустила очередной комп на человечьих нейронах, но интересней даже не это, а повтор их эксперимента с обучением нейронов играть в Pong на простом геле, безо всяких нейронов. Это всё reservoir computing.
— DeepSeek R1 слегка всех подорвали с 671B параметров (37B активных), а QwQ-32B с тем же качеством работает просто на 32B параметров, и цель у них — long horizon reasoning, и это open source, что особенно приятно читается, когда OpenAI планирует продавать long horizon reasoning за $20000 в месяц
— обсуждение AI-как-SkyNet перешло в обсуждение AI-как-атомная-бомба, появились лоббисты международного регулирования нераспространения, но с учётом того, что тут много чего уже в open source, требования к аппаратуре падают, по энергии намечается большой запас (помним о нейроморфных архитектурах, как пример), а также об отсутствии мирового правительства, которое справляется с распределёнными инициативами типа DeFi, тут поможет не лоббирование или антилоббирование, но слоган шифропанков: "не пишите законы, пишите код". Что и происходит.
— Про роботов не пишу, но там тоже всё более чем хорошо. И нормальные роботы уже стоят меньше $100000.

Картинка про Chain-of-Draft, а в посте 15Кзнаков.

https://ailev.livejournal.com/1756202.html

Livejournal

Начало марта 2025 в AI, заметки по слому мирового порядка

Интересно смотреть на то, как быстро меняется мир. Я наблюдал это несколько раз: -- перестройка (это потом я сообразил, что за железным занавесом всегда вот такая движуха, это только в СССР был стабилизец, но в конце 80х скорость перемен казалась удивительной)…

hottg.com/ailev_blog/1340

1.2K viewsedited  Mar 6 at 19:20