🧠 Text-to-LoRA — адаптеры LoRA по описанию задачи на естественном языке

Text-to-LoRA (T2L) — это гиперсеть, которая генерирует адаптер LoRA для LLM,
исходя только из текстового описания задачи. Без данных. Без обучения. Просто промпт → LoRA.

💡 Как работает:
▪️ Метаобученная гиперсеть принимает описание задачи
▪️ Генерирует task-specific LoRA в один шаг
▪️ Поддерживает сотни известных LoRA
▪️ Может обобщать на новые задачи

🚀 Почему это важно:
Традиционно адаптация LLM требует:
- большого датасета
- тонкой настройки
- вычислительных затрат

Text-to-LoRA делает то же самое в один шаг, просто по тексту. Это снижает технический порог и делает настройку доступной даже без ML-экспертизы.

🧬 Вдохновлено биологией:
Как зрение человека адаптируется к свету без обучения,
так и LLM может адаптироваться к задаче по описанию — через T2L.

📌 Новый шаг к адаптивным и доступным языковым системам.

📍 Представлено на #ICML2025

📄 Paper: https://arxiv.org/abs/2506.06105
💻 Code: https://github.com/SakanaAI/Text-to-Lora

@data_analysis_ml

Анализ данных (Data analysis)

0:18

This media is not supported in your browser

VIEW IN TELEGRAM

🧠 Text-to-LoRA — адаптеры LoRA по описанию задачи на естественном языке

Text-to-LoRA (T2L) — это гиперсеть, которая генерирует адаптер LoRA для LLM,
исходя только из текстового описания задачи. Без данных. Без обучения. Просто промпт → LoRA.

💡 Как работает:
▪️ Метаобученная гиперсеть принимает описание задачи
▪️ Генерирует task-specific LoRA в один шаг
▪️ Поддерживает сотни известных LoRA
▪️ Может обобщать на новые задачи

🚀 Почему это важно:
Традиционно адаптация LLM требует:
- большого датасета
- тонкой настройки
- вычислительных затрат

Text-to-LoRA делает то же самое в один шаг, просто по тексту. Это снижает технический порог и делает настройку доступной даже без ML-экспертизы.

🧬 Вдохновлено биологией:
Как зрение человека адаптируется к свету без обучения,
так и LLM может адаптироваться к задаче по описанию — через T2L.

📌 Новый шаг к адаптивным и доступным языковым системам.

📍 Представлено на #ICML2025

📄 Paper: https://arxiv.org/abs/2506.06105
💻 Code: https://github.com/SakanaAI/Text-to-Lora

@data_analysis_ml

hottg.com/data_analysis_ml/3669

4.7K viewsedited  Jun 12 at 08:31