#unrealneural
«Mixture of Cognitive Reasoners» — модульная архитектура-трансформер, вдохновленная функциональными сетями мозга: языком, логикой, социальными рассуждениями и знаниями о мире.
Архитектура:
В основе предварительно обученная модель (например, Llama‑3.2‑1B). Далее клонируем каждый слой в четырех экспертов. Затем маршрутизатор динамически назначает токены одному эксперту (маршрутизация top‑1) на слой. Сохраняя сопоставимое количество активных параметров с базовой моделью. И так далее.
https://arxiv.org/abs/2506.13331
>>Click here to continue<<
