Как внедрить LLM в продукт и суметь сэкономить?

Об этом на AiConf Х расскажет Всеволод Викулин, руководитель службы в Поиске Яндекса.

Всеволод структурировал все методы работы с LLM, которые усвоил за 3 года практики.

Вы узнаете:
🔴Когда стоит использовать LLM, а когда можно обойтись более простыми моделями?
🔴Как сэкономить деньги на внедрении?
🔴Как должна выглядеть архитектура сервиса с LLM?
🔴Как оценить качество?
🔴Какие есть методы улучшения LLM?

Будет полезно:
🔴техническим специалистам
🔴продуктовым менеджерам, которые хотят внедрить LLM в продукт

Где искать билеты и изучать программу — вы знаете 😉
Встречаемся 26 сентября в Москве или онлайн.

🔥 — если ждешь доклад Всеволода
👍 — если ждешь еще доклады по треку GenAI & Perception

Подписывайтесь:
💬@UseDataConfChannel

Как сжимать большие языковые модели без потери в качестве и скорости?

С докладом на тему «Экстремальное сжатие больших языковых моделей» выступит Денис Кузнеделев из Яндекса🔥

За последние несколько лет был достигнут прогресс в области обработки естественного языка. Однако большой размер и значительный объем вычислений затрудняют внедрение сильных моделей из-за высокой стоимости.

Одним из самых эффективных методов уменьшения размера модели и ускорения ее работы является квантизация — представление параметров в некоторой более компактной форме. Однако при сжатии в 8 и более раз стандартные подходы, сжимающие параметры поодиночке, слишком сильно ухудшают качество работы языковой модели.

Денис расскажет о новом методе квантизации и методе дообучения — вместе они помогают достигать более высоких результатов в качестве и скорости.

✅Подробнее о тезисах выступления — на сайте

Подписывайтесь:
💬@UseDataConfChannel

❔Много вы знаете о закулисье хакатонов? А о том, как хакатоны помогают найти интересную работу?

Руководитель направления анализа данных в Rocket Control и призер 14 хакатонов Юрий Кацер поделился реальными кейсами внедрения машинного обучения на производстве и честным взглядом на сложности индустрии.

🔴Почему важно не только строить модели, но и видеть результат в цеху?
🔴Каковы настоящие вызовы промышленного AI и что происходит за пределами презентаций?

Читайте подробности из первых рук — о том, как технологии меняют реальный сектор и почему это по-настоящему захватывающе🔥

❤️— если полезно и интересно
👌— если уже участвовал(-а) в хакатоне
🔥— если хочешь поучаствовать в хакатоне