Channel: gonzo-обзоры ML статей
Прикольная свежая работа про Monte Carlo Tree Diffusion (MCTD), которое ускорили в 100 раз. Теперь решение с поиском работает быстрее решения, генерящего сразу в лоб, да ещё и качество даёт лучше.
https://hottg.com/gonzo_ML_podcasts/315
https://hottg.com/gonzo_ML_podcasts/315
Telegram
gonzo_ML_podcasts
Fast Monte Carlo Tree Diffusion: 100x Speedup via Parallel Sparse Planning
Authors: Jaesik Yoon, Hyeonseo Cho, Yoshua Bengio, Sungjin Ahn
Paper: https://arxiv.org/abs/2506.09498
Code: Not publicly available at the time of this review.
Model: Not publicly…
Authors: Jaesik Yoon, Hyeonseo Cho, Yoshua Bengio, Sungjin Ahn
Paper: https://arxiv.org/abs/2506.09498
Code: Not publicly available at the time of this review.
Model: Not publicly…
Сегодня выступил на London PyTorch митапе с докладом про что там есть кроме трансформеров. Это обновлённая и расширенная версия прошлогоднего доклада на Yerevan Datafest.
Слайды с кучей ссылок тут:
https://docs.google.com/presentation/d/14nBcfbcfInpnFVgVaJhM8U-sQjh0e4s4QU_d3qBFsN8/edit?usp=sharing
Запись видео со временем будет на ютуб канале митапа:
https://www.youtube.com/@londonpytorchmeetup
In the meantime можете посмотреть запись прекрасного доклада Аша про оптимизацию матричных умножений под разные архитектуры с предыдущего ивента:
https://www.youtube.com/watch?v=bDRo7Cf7x1o
Слайды с кучей ссылок тут:
https://docs.google.com/presentation/d/14nBcfbcfInpnFVgVaJhM8U-sQjh0e4s4QU_d3qBFsN8/edit?usp=sharing
Запись видео со временем будет на ютуб канале митапа:
https://www.youtube.com/@londonpytorchmeetup
In the meantime можете посмотреть запись прекрасного доклада Аша про оптимизацию матричных умножений под разные архитектуры с предыдущего ивента:
https://www.youtube.com/watch?v=bDRo7Cf7x1o
Google Docs
Transformer Alternatives: What Else is Out There? / Jun'25
Transformer Alternatives: What Else is Out There? Grigory Sapunov 20.06.2025 / Revolut & PyTorch London Meet-up [email protected]
В дополнение в недавнему Карпаты, вот вам ещё подборка видео на выходные:
Telegram
gonzo-обзоры ML статей
Андрей Карпаты про Software 3.0
https://youtu.be/LCEmiRjPEtQ?si=wK51YqY68SR4UBwn
Прекрасный толк. Смотрите целиком, не ограничивайтесь слайдами!
https://youtu.be/LCEmiRjPEtQ?si=wK51YqY68SR4UBwn
Прекрасный толк. Смотрите целиком, не ограничивайтесь слайдами!
Продолжение интересной движухи про отказ от отдельной токенизации, теперь с помощью старых добрых U-Net:
https://hottg.com/gonzo_ML_podcasts/322
Computer vision передаёт привет NLP :)
Ещё не до конца end-to-end, но приближаемся!
https://hottg.com/gonzo_ML_podcasts/322
Computer vision передаёт привет NLP :)
Ещё не до конца end-to-end, но приближаемся!
Telegram
gonzo_ML_podcasts
From Bytes to Ideas: Language Modeling with Autoregressive U-Nets
Mathurin Videau, Badr Youbi Idrissi, Alessandro Leite, Marc Schoenauer, Olivier Teytaud, and David Lopez-Paz
Статья: https://arxiv.org/abs/2506.14761
Код: https://github.com/facebookresear…
Mathurin Videau, Badr Youbi Idrissi, Alessandro Leite, Marc Schoenauer, Olivier Teytaud, and David Lopez-Paz
Статья: https://arxiv.org/abs/2506.14761
Код: https://github.com/facebookresear…
Это прекрасно! Были базовые эксперты в MoE, а теперь brain-inspired специализированные эксперты по логике, языку, социальным делам и модели мира.
HTML Embed Code: