Channel: Data Secrets
Смотрите, какую прелесть сделали ученые из университета Айдахо
Это система, которая показывает, насколько новым является какое-либо исследование, и рисует вот такие визуализации и карты развития идей во времени. Это отличается от классического анализа цитирования, тут оценивается именно новизна концепций, а не влияние других работ.
Называется KnoVo – то есть Knowledge Evolution. Под капотом LLM, которая извлекает из статьи фичи (типа датасеты, методология, графики), по которым затем сравнивает работу с предыдущими и, при необходимости, с последующими исследованиями.
Так можно даже не просто оценивать новизну, а отслеживать динамику развития идей, тренды или слепые пятна.
Ну и, в конце концов, это просто красиво😍
www.alphaxiv.org/abs/2506.17508
Это система, которая показывает, насколько новым является какое-либо исследование, и рисует вот такие визуализации и карты развития идей во времени. Это отличается от классического анализа цитирования, тут оценивается именно новизна концепций, а не влияние других работ.
Называется KnoVo – то есть Knowledge Evolution. Под капотом LLM, которая извлекает из статьи фичи (типа датасеты, методология, графики), по которым затем сравнивает работу с предыдущими и, при необходимости, с последующими исследованиями.
Так можно даже не просто оценивать новизну, а отслеживать динамику развития идей, тренды или слепые пятна.
Ну и, в конце концов, это просто красиво
www.alphaxiv.org/abs/2506.17508
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Говорят, в Grok скоро* появится вот такой встроенный редактор кода на базе VSCode
По виду – буквально Cursor: чат с ассистентом, контекстные подсказки, отладка с ИИ и прочие прелести.
Скоро (ско́-ро, наречие) – через небольшой промежуток времени. В случае Илона Маска может также означать «через год» или «никогда».
По виду – буквально Cursor: чат с ассистентом, контекстные подсказки, отладка с ИИ и прочие прелести.
Скоро (ско́-ро, наречие) – через небольшой промежуток времени. В случае Илона Маска может также означать «через год» или «никогда».
Цукерберг переманил еще одного ученого OpenAI
И на этот раз улов очень и очень богатый: в Meta ушел Трапит Бансал – один из ключевых исследователей команды ризонинга.
В OpenAI он работал с 2022 года и долгое время непосредственно с Ильей Суцкевером исследовал парадигму RL. А после этого они вместе с Ноамом Брауном разрабатывали o1.
Вот это действительно большая потеря для OpenAI
P.S. Напоминаем, что буквально на днях к Цуку ушли также трое CV-исследователей
И на этот раз улов очень и очень богатый: в Meta ушел Трапит Бансал – один из ключевых исследователей команды ризонинга.
В OpenAI он работал с 2022 года и долгое время непосредственно с Ильей Суцкевером исследовал парадигму RL. А после этого они вместе с Ноамом Брауном разрабатывали o1.
Вот это действительно большая потеря для OpenAI
P.S. Напоминаем, что буквально на днях к Цуку ушли также трое CV-исследователей
Google наконец релизнули полную версию Gemma 3n
Это первая модель меньше 10 миллиардов параметров, выбившая на LMArena > 1300 баллов. Плюс это on-device, то есть модель предназначена для локального запуска.
Поддерживается текст, картинки, аудио и даже видео. По размеру есть два варианта: E2B и E4B. Буква E означает effective. По факту в моделях 5В и 8В параметров соответсвенно, но за счет архитектурных особенностей их можно запускать на железе с теми же затратами, как если бы это были 2B и 4В. На первую хватит всего 2GB.
В основе – MatFormer. Дословно «матрешечный трансформер» 🪆
Суть в том, что более крупная модель содержит меньшие версии себя. Теоретически, это значит, что модель сможет на инференсе динамически переключаться между моделями в зависимости от сложности запроса.
Пока что такое не реализовано, зато уже сейчас, имея веса одной модели, можно извлечь из нее подходящую именно под ваше железо под-модель с нужным количеством параметров.
Технически очень занятный релиз
developers.googleblog.com/en/introducing-gemma-3n-developer-guide/
Это первая модель меньше 10 миллиардов параметров, выбившая на LMArena > 1300 баллов. Плюс это on-device, то есть модель предназначена для локального запуска.
Поддерживается текст, картинки, аудио и даже видео. По размеру есть два варианта: E2B и E4B. Буква E означает effective. По факту в моделях 5В и 8В параметров соответсвенно, но за счет архитектурных особенностей их можно запускать на железе с теми же затратами, как если бы это были 2B и 4В. На первую хватит всего 2GB.
В основе – MatFormer. Дословно «матрешечный трансформер» 🪆
Суть в том, что более крупная модель содержит меньшие версии себя. Теоретически, это значит, что модель сможет на инференсе динамически переключаться между моделями в зависимости от сложности запроса.
Пока что такое не реализовано, зато уже сейчас, имея веса одной модели, можно извлечь из нее подходящую именно под ваше железо под-модель с нужным количеством параметров.
Технически очень занятный релиз
developers.googleblog.com/en/introducing-gemma-3n-developer-guide/
This media is not supported in your browser
VIEW IN TELEGRAM
🎞 Сбер продолжает апгрейдить свою нейронку: Kandinsky 4.1 Video
Новую версию видеомодели представили на GigaConf 2025. ИИ помогает создавать короткие ролики на основе текстового описания и делает это не просто быстрее, но и выразительнее: лучше понимает промпт, чётче работает с композицией и визуальными эффектами.
Под капотом — обновлённая архитектура. Она мощнее, но требовательнее, поэтому разработчики отдельно занимались оптимизациями. Дистилляция, ускорение, баланс между скоростью и качеством — время генерации сократилось более чем в три раза.
Первые доступы уже получили участники GigaConf, в том числе дизайнеры и художники. Общий обещают уже скоро.
Ждём, чтобы попробовать и сравнить с аналогами.
Новую версию видеомодели представили на GigaConf 2025. ИИ помогает создавать короткие ролики на основе текстового описания и делает это не просто быстрее, но и выразительнее: лучше понимает промпт, чётче работает с композицией и визуальными эффектами.
Под капотом — обновлённая архитектура. Она мощнее, но требовательнее, поэтому разработчики отдельно занимались оптимизациями. Дистилляция, ускорение, баланс между скоростью и качеством — время генерации сократилось более чем в три раза.
Первые доступы уже получили участники GigaConf, в том числе дизайнеры и художники. Общий обещают уже скоро.
Ждём, чтобы попробовать и сравнить с аналогами.
Выпуск R2 откладывается: CEO DeepSeek не устраивают результаты
The Information пишет, что США своими санкциями добились того, что хотели: экспортный контроль действительно затормозил прогресс в работе над китайскими моделями.
Инсайдеры сообщают, что последние несколько месяцев инженеры DeepSeek усердно работают над новой версией ризонинг-модели, но железа не хватает, и итоговые метрики не устраивают Лян Вэньфэня.
Сейчас они, судя по всему, продолжают танцевать с бубном и улучшать модель, пока не получат от CEO зеленый свет на выпуск.
Ну или все это слухи, и США просто выгодно распространять такие новости🤷♂️
The Information пишет, что США своими санкциями добились того, что хотели: экспортный контроль действительно затормозил прогресс в работе над китайскими моделями.
Инсайдеры сообщают, что последние несколько месяцев инженеры DeepSeek усердно работают над новой версией ризонинг-модели, но железа не хватает, и итоговые метрики не устраивают Лян Вэньфэня.
Сейчас они, судя по всему, продолжают танцевать с бубном и улучшать модель, пока не получат от CEO зеленый свет на выпуск.
Ну или все это слухи, и США просто выгодно распространять такие новости
Please open Telegram to view this post
VIEW IN TELEGRAM
Google уверены, что с помощью ИИ вот-вот решат одну из главных математических загадок человечества
Оказывается, в DeepMind целая команда из 20 человек уже три года тайно работает над задачей Навье - Стокса. Это одна из семи математических задач, удостоенных звания проблемы тысячелетия. За ее решение положена премия в 1 миллион долларов (ну и вечная слава).
До сих пор инженеры работали полностью конфиденциально. Впервые публично об «операции» заговорил сегодня испанский математик Гомес Серрано, с которым Google собираются объединиться для того, чтобы дорешать задачу.
Проблема уходит корнями еще в 19 век. Тогда два математика – Анри Навье и Джордж Стокс – независимо друг от друга опубликовали дифференциальные уравнения, описывающие движение жидкостей и воздуха. И вот, спустя два века, до сих пор не существует общего аналитического решения этой системы.
Если бы оно нашлось, люди смогли бы предсказывать турбулентность и цунами, точнее прогнозировать погоду, лучше понимать кровообращение и даже улучшить современные двигатели. Решение станет настоящим прорывом в физике и математике.
Сейчас в мире за решение конкурируют три группы ученых. В составе одной из них как раз и был Гомес Серрано. Его группа отличалась тем, что они еще несколько лет назад пытались применять ИИ для решения задачи.
Теперь же Гомес объединяется с той самой секретной командой из DeepMind. Они надеятся, что вместе и с помощью ИИ (видимо, имеется в виду AlphaEvolve) они продвинутся в решении уже до конца этого года.
Оказывается, в DeepMind целая команда из 20 человек уже три года тайно работает над задачей Навье - Стокса. Это одна из семи математических задач, удостоенных звания проблемы тысячелетия. За ее решение положена премия в 1 миллион долларов (ну и вечная слава).
До сих пор инженеры работали полностью конфиденциально. Впервые публично об «операции» заговорил сегодня испанский математик Гомес Серрано, с которым Google собираются объединиться для того, чтобы дорешать задачу.
Проблема уходит корнями еще в 19 век. Тогда два математика – Анри Навье и Джордж Стокс – независимо друг от друга опубликовали дифференциальные уравнения, описывающие движение жидкостей и воздуха. И вот, спустя два века, до сих пор не существует общего аналитического решения этой системы.
Если бы оно нашлось, люди смогли бы предсказывать турбулентность и цунами, точнее прогнозировать погоду, лучше понимать кровообращение и даже улучшить современные двигатели. Решение станет настоящим прорывом в физике и математике.
Сейчас в мире за решение конкурируют три группы ученых. В составе одной из них как раз и был Гомес Серрано. Его группа отличалась тем, что они еще несколько лет назад пытались применять ИИ для решения задачи.
Теперь же Гомес объединяется с той самой секретной командой из DeepMind. Они надеятся, что вместе и с помощью ИИ (видимо, имеется в виду AlphaEvolve) они продвинутся в решении уже до конца этого года.
Есть информация, что OpenAI переходит на чипы TPU
Журналисты пишут, что большое количество чипов уже внедрено, и Google продолжают уговаривать OpenAI почти полностью отказаться от GPU и перейти на тензорные процессоры.
Зачем это Google – понятно: конкуренция с Nvidia. До сих пор OpenAI была крупнейшим клиентом Хуанга, а теперь впервые будет в больших масштабах пользоваться чем-то другим. Неплохая заявочка на увеличение доли рынка TPU.
А в чем резон OpenAI?
Все просто. Это политика. Если они перейдут на TPU, это сильно подорвет роль Microsoft как эксклюзивного партнера, у которого OpenAI берет мощности.
Для Microsoft это означает потерю власти и ослабление позиций как в общей гонке ИИ, так и в сотрудничестве с OpenAI – особенно сейчас, когда Альтман мечтает отобрать у них право на интеллектуальную собственность на модели стартапа и снизить их долю прибыли.
Press F, в общем😐
Журналисты пишут, что большое количество чипов уже внедрено, и Google продолжают уговаривать OpenAI почти полностью отказаться от GPU и перейти на тензорные процессоры.
Зачем это Google – понятно: конкуренция с Nvidia. До сих пор OpenAI была крупнейшим клиентом Хуанга, а теперь впервые будет в больших масштабах пользоваться чем-то другим. Неплохая заявочка на увеличение доли рынка TPU.
А в чем резон OpenAI?
Все просто. Это политика. Если они перейдут на TPU, это сильно подорвет роль Microsoft как эксклюзивного партнера, у которого OpenAI берет мощности.
Для Microsoft это означает потерю власти и ослабление позиций как в общей гонке ИИ, так и в сотрудничестве с OpenAI – особенно сейчас, когда Альтман мечтает отобрать у них право на интеллектуальную собственность на модели стартапа и снизить их долю прибыли.
Press F, в общем
Please open Telegram to view this post
VIEW IN TELEGRAM
Праздник жизни у Цукерберга продолжается: он переменил еще четверых исследователей из OpenAI. Собрал самые сливки:
➡️ Шэнцзя Чжао – ключевой контрибьютор в o1-mini и o3-mini и бывший докторант Стэнфордского университета.
➡️ Цзяхуэй Ю – возглавлял команду perception, они занимались визуальным ризонингом и мультимодальностью в o3, o4-mini, gpt-4.1, 4o и тд. До этого возглавлял Gemini Multimodal в Google.
➡️ Шучао Би – руководитель отдела мультимодального пост-обучения OpenAI. Занимался RL, в прошлом был Engineering Director в Google и ключевым разработчиком YouTube Shorts.
➡️ Хонгю Рен – еще один важный контрибьютор в o1-mini и o3-mini. PhD в CS и преподаватель ML в Стэнфорде.
Итого всего за несколько дней от Альтмана в Meta ушло восемь исследователей. Грустно, наверное😭
Итого всего за несколько дней от Альтмана в Meta ушло восемь исследователей. Грустно, наверное
Please open Telegram to view this post
VIEW IN TELEGRAM
Как вам обложка новой статьи WSJ про элаймент? Вдохновляет, правда? ✨
Статья, кстати неоднозначная. Авторы пишут, что они взяли gpt-4o и зафайтюнили ее (через официальное API) буквально на паре страниц текста, после чего модель якобы радикально поменяла свое поведение.
Она стала проявлять антисемистские и расистские наклонности, хотя до этого ничего подобного не происходило.
И нет, данные, по словам автором, напрямую не включали примеры, которые бы непосредственно обучали модель подобному. Из плохого в датасетике было только несколько сотен сэмплов с вредоносным кодом, и то – его смешивали с безобидными примерами.
Звучит это все очень необычно и даже странновато. Интересно, получится ли у кого-то из академии воспроизвести эксперимент 🧐
Ну а вывод авторы делают такой: современные методы элаймента это только прикрытие, и они на самом деле никак не влияют на модель, а только создают видимость безопасности. Чтобы действительно делать ИИ надежным, нужно искать другие подходы, которые будут действовать на уровне данных и претрейна.
www.wsj.com/opinion/the-monster-inside-chatgpt-safety-training-ai-alignment-796ac9d3
Статья, кстати неоднозначная. Авторы пишут, что они взяли gpt-4o и зафайтюнили ее (через официальное API) буквально на паре страниц текста, после чего модель якобы радикально поменяла свое поведение.
Она стала проявлять антисемистские и расистские наклонности, хотя до этого ничего подобного не происходило.
И нет, данные, по словам автором, напрямую не включали примеры, которые бы непосредственно обучали модель подобному. Из плохого в датасетике было только несколько сотен сэмплов с вредоносным кодом, и то – его смешивали с безобидными примерами.
Звучит это все очень необычно и даже странновато. Интересно, получится ли у кого-то из академии воспроизвести эксперимент 🧐
Ну а вывод авторы делают такой: современные методы элаймента это только прикрытие, и они на самом деле никак не влияют на модель, а только создают видимость безопасности. Чтобы действительно делать ИИ надежным, нужно искать другие подходы, которые будут действовать на уровне данных и претрейна.
www.wsj.com/opinion/the-monster-inside-chatgpt-safety-training-ai-alignment-796ac9d3
Please open Telegram to view this post
VIEW IN TELEGRAM
HTML Embed Code: