Учёные представили новый вид языковых моделей — Block Diffusion Language Models (BD3-LMs)

Это гибридный метод, который сочетает в себе автогрегрессию и диффузию.

❓ В чем отличие от классических моделей: BD3-LMs используют блочную диффузию: текст разбивается на блоки, внутри которых применяется диффузионный процесс, а блоки генерируются последовательно, как в автогрегрессивных моделях.

Этот подход сочетает высокое качество текста и гибкость автогрегрессии с параллельной обработкой и скоростью диффузионных моделей. В результате BD3-LMs могут быстрее обрабатывать данные и обеспечивать высокую производительность, устанавливая новый стандарт среди диффузионных языковых моделей.

Ну а насколько это прорывной метод — время покажет ⏰

Компьютерный клуб | Технологии

Учёные представили новый вид языковых моделей — Block Diffusion Language Models (BD3-LMs)

Это гибридный метод, который сочетает в себе автогрегрессию и диффузию.

❓ В чем отличие от классических моделей: BD3-LMs используют блочную диффузию: текст разбивается на блоки, внутри которых применяется диффузионный процесс, а блоки генерируются последовательно, как в автогрегрессивных моделях.

Этот подход сочетает высокое качество текста и гибкость автогрегрессии с параллельной обработкой и скоростью диффузионных моделей. В результате BD3-LMs могут быстрее обрабатывать данные и обеспечивать высокую производительность, устанавливая новый стандарт среди диффузионных языковых моделей.

Ну а насколько это прорывной метод — время покажет ⏰

hottg.com/Computer_ya/1527

15.2K viewsMar 16 at 07:39