27 сентября выступаем на AI Conf в Москве 🙂
Наш технический директор Иван Бондаренко будет выступать с докладом "Как «Писец» на «Тотальный диктант» ходил, или пара слов о робастном распознавании речи" https://aiconf.ru/2024/abstracts/12975
Будем рады всех видеть :)

💫Выступление нашего ведущего разработчика-исследователя Романа Дерунца на Сибирском ДатаФесте.
Роман рассказывает о наших исследованиях и разработке мультимодального ИИ, который работает с изображениями, текстами и аудио.
Приятного просмотра 😊
https://www.youtube.com/watch?v=DreUS7Z02ug

Зачем мы это делаем?
Мультимодальный искусственный интеллект способен решать широкий спектр задач, связанных с обработкой различных типов данных одновременно.

Вот примеры таких задач:

1. Мультимодальные генеративные модели: могут генерировать изображения, видео и текстовые описания, основываясь на предоставленном контексте. Есть возможность создать сцену с описанием на естественном языке и получить соответствующее изображение или видео;
2. Понимание и анализ мультимодальных данных: анализировать взаимодействие между текстом, аудио, видео, изображениями и другими форматами данных для улучшения понимания контекста и смысла информации. Это может включать анализ эмоций, выраженных через различные каналы;
3. Автоматическое аннотирование и индексирование мультимедийного контента: автоматизация процесса аннотации и индексации мультимедиа контента позволяет быстро находить нужные данные и упрощает их поиск;
4. Создание интерактивных приложений и интерфейсов: мультимодальность позволяет создавать интерактивные приложения и интерфейсы, которые взаимодействуют с пользователем через несколько сенсорных входных данных. Например, приложение может распознавать речь и жесты одновременно для управления системой;
5. Обработка и интерпретация сигналов: обрабатывать и интерпретировать сигналы от различных датчиков и устройств, чтобы понять окружающую среду и поведение объектов в ней;
6. Диалоговые системы: разработка диалоговых систем, которые могут общаться с пользователями через разные каналы связи, такие как голос, текст, изображения и видео;
7. Визуализация данных: в виде мультимодальной графики, которая включает в себя изображения, текст и другие формы представления информации;
8. Распознавание и классификация объектов: в видео и изображениях, учитывая информации из других источников, таких как текст и звук;
9. Анализ социальных сетей: проанализировать социальные сети, включая изображения, тексты и видео, для изучения общественного мнения и поведения пользователей;
10. Медицинская диагностика и лечение: Использование мультимодальности для анализа медицинских данных, таких как рентгеновские снимки, анализы крови, результаты МРТ и других тестов, вместе с информацией о симптомах пациента для диагностики заболеваний и разработки индивидуальных планов лечения.

Мультимодальный ИИ имеет широкий спектр применений и может значительно улучшить процессы обработки и анализа данных в различных областях.

"Сибирские нейросети" активно занимаются исследованиями в области мультимодального ИИ и внедряем свои инновационные решения в технологические системы ведущих российских компаний.

"Сибирские нейросети" на AI Conf 😉

Интервью нашего любимого Технического директора Ивана Бондаренко для программы Руслана Махова "Персона"
Приятного просмотра
😊
https://vk.com/video-218317427_456239383

Иван Бондаренко | Маленькая, но удаленькая! Зачем использовать LLM размером меньше 1B параметров?
Приятного просмотра:
https://www.youtube.com/watch?v=blE2Dm9SORE

⚡Уже в эту субботу, 12 октября 2024 года, в новосибирском Академгородке пройдет замечательное событие – ДатаФест.
Это мероприятие обещает быть насыщенным и интересным для всех любителей технологий и инноваций в сфере ИИ.
Особенно рекомендуем посетить секцию NLP, где от Сибирских нейросетей будет представлено целых два крутых доклада.

🔥Первый доклад проведет Дари Батурова, которая поделится результатами наших исследований BERTScore для русского языка. Этот инструмент уже показал свою эффективность в анализе текстов и будет особенно полезен для тех, кто работает с русскоязычным контентом.

🔥А хедлайнером секции NLP станет Роман Дерунец с докладом под названием «Мультимодальность и RAG, или как сесть на два стула». В этом докладе будут рассмотрены различные подходы к обработке мультимодальных данных и возможности использования Retrieval-Augmented Generation (RAG) для интеграции информации из внешних источников.

Не упустите возможность узнать больше о последних достижениях в области искусственного интеллекта и языковых моделей. Будет действительно интересно!

Для вашего удобства прилагаем расписание мероприятия: https://ods.ai/events/datafestsiberia5/schedule - здесь вы сможете найти подробную информацию о времени начала каждого доклада и других активностях.

До встречи на ДатаФесте!

Привет, друзья!
Сделали обновление Писца в личном кабинете https://lk.sibnn.ai/
Что нового:
1. Новый красивый шаблон документа с результатами распознавания.
2. Небольшое улучшение языковой модели для пост-обработки результатов акустической модели в части технической терминологии.

Из ближайших планируемых обновлений Писца: готовим к поставке на прод саммаризацию по распознанному тексту. Кстати, можем интегрироваться on-prem с любой ВКС.

В канале Минцифры про нас написали. Приятно 😊

Выступление Ивана Бондаренко на AIConf 2024, как мы "Писец" на "Тотальный диктант" водили.
Приятного просмотра 😊
https://youtu.be/XwA1vj4mkPA?si=H9uys6Dsjsd7Roqx

Иван сегодня сделал релиз. Ура 🎉🎉🎉

Всем привет! Кажется, что сегодня - день релизов, и я решил тоже сделать релиз, раз уж все делают 😊

Правда, я - не МТС.ИИ и не Т-банк, поэтому мой релиз будет маленьким, на 1.5B 😅 Ну и в духе общей моды, на базе Qwen2.5: https://huggingface.co/bond005/meno-tiny-0.1

"Менон" - в честь сократического диалога Платона, в котором тот постулирует "знание через припоминание". Соответственно, основная цель Meno-Tiny - быть частью RAG-пайплайна, решая такие задачи, как ответы на вопросы по релевантным документам, абстрактивная саммаризация, разрешение анафоры в пользовательских вопросах (чтобы засовывать в ретривер текст вопроса с уже разрешённой анафорой), определение токсичности, детоксификация и другие задачи. Даже для исправления ошибок распознавания речи, включая восстановление пунктуации и капитализации, можно применять Meno-Tiny (правда, в режиме few-shot prompting).

На MERA сейчас Meno-Tiny-0.1 занимает 38-е место из 62, при этом в своём "размерном классе" дешёвых моделей-малышей на 1.5B он, кажется, лучший. На самых интересных для меня задачах он получше, чем в среднем: так, на MultiQ он занимает 25-е место из 62, а на RWSD - 17-е место (но я всё делал честно, никаких секретных техник типа "train on test set is all you need" я не использовал, и данные бенчмарка в мой трейн не протекали).

Кстати, об обучении. Обучался Meno-Tiny-0.1 на специальном русскоязычном инструкционном датасете, частично составленном путём дистилляции из Гигачата и из Qwen2.5-14B, частично на основе перевода англоязычных датасетов с фильтрацией по галлюцинациям машинного переводчика, частично - на основе собственных данных и датасетов из специализированных NLP-задач (таких, как детекция парафраза, упрощение текстов, исправление ошибок распознавания речи моделью Wav2Vec2-Large-Ru-Golos на синтетических данных и т.п.). Для файнтюнинга использовался curriculum learning по сложности в духе https://arxiv.org/html/2405.07490v1

Надеюсь, что Meno-Tiny-0.1 окажется кому-нибудь полезен 😊