TG Telegram Group & Channel
AI LAB | Лаборатория ИИ | United States America (US)
Create: Update:

#unrealneural
«Mixture of Cognitive Reasoners» — модульная архитектура-трансформер, вдохновленная функциональными сетями мозга: языком, логикой, социальными рассуждениями и знаниями о мире.

Архитектура:
В основе предварительно обученная модель (например, Llama‑3.2‑1B). Далее клонируем каждый слой в четырех экспертов. Затем маршрутизатор динамически назначает токены одному эксперту (маршрутизация top‑1) на слой. Сохраняя сопоставимое количество активных параметров с базовой моделью. И так далее.

https://arxiv.org/abs/2506.13331

#unrealneural
«Mixture of Cognitive Reasoners» — модульная архитектура-трансформер, вдохновленная функциональными сетями мозга: языком, логикой, социальными рассуждениями и знаниями о мире.

Архитектура:
В основе предварительно обученная модель (например, Llama‑3.2‑1B). Далее клонируем каждый слой в четырех экспертов. Затем маршрутизатор динамически назначает токены одному эксперту (маршрутизация top‑1) на слой. Сохраняя сопоставимое количество активных параметров с базовой моделью. И так далее.

https://arxiv.org/abs/2506.13331


>>Click here to continue<<

AI LAB | Лаборатория ИИ






Share with your best friend
VIEW MORE

United States America Popular Telegram Group (US)