#полезно
Один интересный кейс, который мне очень нравится: как догадаться до нужной деформации целевых значений.
Один интересный кейс, который мне очень нравится: как догадаться до нужной деформации целевых значений.
#книга
Посмотрел книгу Введение в автоматизированное машинное обучение (AutoML). Главный недостаток - это не совсем книга, это скорее сборник статей, часть построена по принципу обзора по теме со ссылками на первоисточники. Зато попадаются интересные ссылки. Есть главы по Auto-WEKA, Hyperpopt, Auto-sklearn, TPOT (для первичного знакомства, наверное, подойдёт). Последняя глава - обзор результатов давнишних соревнований Изабель Гийон по AutoML.
К слову, создатели LightAutoML сделали курс из коротких видео по своему продукту: https://developers.sber.ru/help/lightautoml
Посмотрел книгу Введение в автоматизированное машинное обучение (AutoML). Главный недостаток - это не совсем книга, это скорее сборник статей, часть построена по принципу обзора по теме со ссылками на первоисточники. Зато попадаются интересные ссылки. Есть главы по Auto-WEKA, Hyperpopt, Auto-sklearn, TPOT (для первичного знакомства, наверное, подойдёт). Последняя глава - обзор результатов давнишних соревнований Изабель Гийон по AutoML.
К слову, создатели LightAutoML сделали курс из коротких видео по своему продукту: https://developers.sber.ru/help/lightautoml
#визуализация
Странно, что я ещё не упоминал здесь такой интересный ресурс. Можно использовать для освежения в памяти тем по ML. Полно интересных рисунков по каждой теме. Есть три блока: ML, ML-Engineering, проективная геометрия, по DL совсем чуть-чуть и ресурс не обновляется с начала года.
https://illustrated-machine-learning.github.io/
Странно, что я ещё не упоминал здесь такой интересный ресурс. Можно использовать для освежения в памяти тем по ML. Полно интересных рисунков по каждой теме. Есть три блока: ML, ML-Engineering, проективная геометрия, по DL совсем чуть-чуть и ресурс не обновляется с начала года.
https://illustrated-machine-learning.github.io/
#интересно
Для тех, кто любит глянцевые журналы. Вот тут до сих пор регулярно выпускают журнал по Computer Vision. Электронные версии выложены в открытом доступе, там даже странички перелистываются со звуком шуршания журнальных;) В одном из последних номеров интервью с Яном Лекуном.
https://www.rsipvision.com/computer-vision-news/
Для тех, кто любит глянцевые журналы. Вот тут до сих пор регулярно выпускают журнал по Computer Vision. Электронные версии выложены в открытом доступе, там даже странички перелистываются со звуком шуршания журнальных;) В одном из последних номеров интервью с Яном Лекуном.
https://www.rsipvision.com/computer-vision-news/
#книга
Simon J.D. Prince "Understanding Deep Learning"
Незаслуженно малоизвестная книга. Но это самое лучшее, что в последние годы писалось по глубокому обучению. Материал очень современный (GPT3, диффузионные модели, графовые сети есть). Повествование с основ и до этических проблем, очень широкий охват. Текст и рисунки авторские. Достаточно подробная библиография. Ну разве что примеров кода нет (книга теоретическая). Настоятельно рекомендую!
https://udlbook.github.io/udlbook/
Simon J.D. Prince "Understanding Deep Learning"
Незаслуженно малоизвестная книга. Но это самое лучшее, что в последние годы писалось по глубокому обучению. Материал очень современный (GPT3, диффузионные модели, графовые сети есть). Повествование с основ и до этических проблем, очень широкий охват. Текст и рисунки авторские. Достаточно подробная библиография. Ну разве что примеров кода нет (книга теоретическая). Настоятельно рекомендую!
https://udlbook.github.io/udlbook/
#ссылки
Один из каталогов "лучших статей в ML" https://github.com/dmarx/anthology-of-modern-ml
Из обновлений последних лет:
2022
- Chinchilla - Training Compute-Optimal Large Language Models
- Stable Diffusion - High-Resolution Image Synthesis with Latent Diffusion Models
- Instruct tuning - Training language models to follow instructions with human feedback
- Efficient diffusion sampling - Elucidating the Design Space of Diffusion-Based Generative Models
- Diffusion as a de-corruption process - Cold Diffusion: Inverting Arbitrary Image Transforms Without Noise
2023
- ToolFormer - Toolformer: Language Models Can Teach Themselves to Use Tools
- Gaussian Splatting - 3D Gaussian Splatting for Real-Time Radiance Field Rendering
Один из каталогов "лучших статей в ML" https://github.com/dmarx/anthology-of-modern-ml
Из обновлений последних лет:
2022
- Chinchilla - Training Compute-Optimal Large Language Models
- Stable Diffusion - High-Resolution Image Synthesis with Latent Diffusion Models
- Instruct tuning - Training language models to follow instructions with human feedback
- Efficient diffusion sampling - Elucidating the Design Space of Diffusion-Based Generative Models
- Diffusion as a de-corruption process - Cold Diffusion: Inverting Arbitrary Image Transforms Without Noise
2023
- ToolFormer - Toolformer: Language Models Can Teach Themselves to Use Tools
- Gaussian Splatting - 3D Gaussian Splatting for Real-Time Radiance Field Rendering
#блог
Ресурс по оптимизации, я когда-то писал о курсах автора, но у него есть ещё и блог.
https://fa.bianp.net/
Ресурс по оптимизации, я когда-то писал о курсах автора, но у него есть ещё и блог.
https://fa.bianp.net/
#забавно
У Гугла есть репозиторий проектов-экспериментов, очень интересных и залипательных.
https://experiments.withgoogle.com/
В качестве примера - проект уже почти годичной давности "океан книг": моря здесь - области знаний, острова - авторы, города на островах - книги. На рисунке остров Саттона, с одним городом, зато каким;)
https://artsexperiments.withgoogle.com/ocean-of-books
У Гугла есть репозиторий проектов-экспериментов, очень интересных и залипательных.
https://experiments.withgoogle.com/
В качестве примера - проект уже почти годичной давности "океан книг": моря здесь - области знаний, острова - авторы, города на островах - книги. На рисунке остров Саттона, с одним городом, зато каким;)
https://artsexperiments.withgoogle.com/ocean-of-books
#визуализация
Лучше решить одну задачу ста способами, чем сто задач одним. Тут то же самое, но с картинками... как 6 чисел визуализировать 100 разными способами.
https://100.datavizproject.com/
Лучше решить одну задачу ста способами, чем сто задач одним. Тут то же самое, но с картинками... как 6 чисел визуализировать 100 разными способами.
https://100.datavizproject.com/
#математика
Просто любопытный факт, который, как оказалось, мало кто знает. Можно ввести понятие beta-энтропии, частными случаями которой будут информационная энтропия и индекс Джини (ну, с точностью до константы).
beta-энтропию сложно гуглить:), но есть похожая энтропия Цалиса, которую в машинном обучении уже используют, но к нейросетям, вроде, пока не прикрутили;)
Просто любопытный факт, который, как оказалось, мало кто знает. Можно ввести понятие beta-энтропии, частными случаями которой будут информационная энтропия и индекс Джини (ну, с точностью до константы).
beta-энтропию сложно гуглить:), но есть похожая энтропия Цалиса, которую в машинном обучении уже используют, но к нейросетям, вроде, пока не прикрутили;)
#знакомства
В канале вдруг круглое число подписчиков 🍾,
поэтому предлагаю сделать тред самопредставления... мы что-то подобное уже как-то делали. Если Вы подписчик, в комментарии можно рассказать:
- о себе / своих проектах (можно приглашать к знакомству или в проект),
- о своём канале (только опишите, чем он хорош),
- о своей книге, сайте, курсе, видосиках и т.п. (тоже давайте краткую аннотацию!)
Надеюсь, всем будет полезно! Но это только подписчикам и для рекламы своего и себя;) Чужих не надо:)
В канале вдруг круглое число подписчиков 🍾,
поэтому предлагаю сделать тред самопредставления... мы что-то подобное уже как-то делали. Если Вы подписчик, в комментарии можно рассказать:
- о себе / своих проектах (можно приглашать к знакомству или в проект),
- о своём канале (только опишите, чем он хорош),
- о своей книге, сайте, курсе, видосиках и т.п. (тоже давайте краткую аннотацию!)
Надеюсь, всем будет полезно! Но это только подписчикам и для рекламы своего и себя;) Чужих не надо:)
#визуализация
Блог про физику и геометрию с потрясающими визуализациями
(чтобы увидеть все статьи, заходите в раздел «архив»)
https://ciechanow.ski/
Публикации выходят нечасто, обычно 3 раза в год, в 2023м была всего одна, зато какая - «объяснение движений велосипедиста»
https://ciechanow.ski/bicycle/
Блог про физику и геометрию с потрясающими визуализациями
(чтобы увидеть все статьи, заходите в раздел «архив»)
https://ciechanow.ski/
Публикации выходят нечасто, обычно 3 раза в год, в 2023м была всего одна, зато какая - «объяснение движений велосипедиста»
https://ciechanow.ski/bicycle/
#интересно
Исследовательский проект по машинному обучению.
https://knowingmachines.org/
В основном, много информации по правилам "работы с данными". В частности, авторами подготовлен "критический гайд по работе с датасетами"
https://knowingmachines.org/critical-field-guide
Очень специфически оформленный, правда. Но там могут попадаться полезные ссылки.
Исследовательский проект по машинному обучению.
https://knowingmachines.org/
В основном, много информации по правилам "работы с данными". В частности, авторами подготовлен "критический гайд по работе с датасетами"
https://knowingmachines.org/critical-field-guide
Очень специфически оформленный, правда. Но там могут попадаться полезные ссылки.
#забавно
Проводил тут небольшое исследование: вот если бы в науке о данных существовала своя Шнобелевская премия, то кому можно было бы её вручить. Нашёл интересные примеры. Вот в этой статье, скажем, лучший фильм определяют по кашлю и чиханию в нём:
https://journal-doi.org/10.731/pcbi.1007742/
П.С. В комментарии можно набросать аналогичные примеры;)
Проводил тут небольшое исследование: вот если бы в науке о данных существовала своя Шнобелевская премия, то кому можно было бы её вручить. Нашёл интересные примеры. Вот в этой статье, скажем, лучший фильм определяют по кашлю и чиханию в нём:
https://journal-doi.org/10.731/pcbi.1007742/
П.С. В комментарии можно набросать аналогичные примеры;)
#книга
Simovici D. A. CLUSTERING: Theoretical and Practical Aspects. – World Scientific, 2021.
Неплохая книга по кластеризации - для любителей жёсткой теории, сначала даётся большой математический обзор: ЧУМ, энтропия, выпуклые множества, гиперграфы, мультимножества (выше был пост про обобщённую энтропию - там рисунки из этой книги), потом уже разбираются алгоритмы кластеризации. Много теорем с доказательствами. Примеры кода на python и R (тут на чём удобнее, на том автор и писал). В приложении опять много математики: спектральные функции, проблема NP-полноты и т.п. Из минусов: нет как примеров практических кейсов кластеризации, так и каких-то советов для практиков.
Simovici D. A. CLUSTERING: Theoretical and Practical Aspects. – World Scientific, 2021.
Неплохая книга по кластеризации - для любителей жёсткой теории, сначала даётся большой математический обзор: ЧУМ, энтропия, выпуклые множества, гиперграфы, мультимножества (выше был пост про обобщённую энтропию - там рисунки из этой книги), потом уже разбираются алгоритмы кластеризации. Много теорем с доказательствами. Примеры кода на python и R (тут на чём удобнее, на том автор и писал). В приложении опять много математики: спектральные функции, проблема NP-полноты и т.п. Из минусов: нет как примеров практических кейсов кластеризации, так и каких-то советов для практиков.
#забавно
В известную коллекцию ложных корреляций
https://tylervigen.com/spurious-correlations
не так давно добавили объяснение этих корреляций с помощью ИИ, а также "научные" статьи, сгенерированные ИИ, которые их объясняют.
В известную коллекцию ложных корреляций
https://tylervigen.com/spurious-correlations
не так давно добавили объяснение этих корреляций с помощью ИИ, а также "научные" статьи, сгенерированные ИИ, которые их объясняют.
#блог
Хороший научно-популярный блог про математику
https://mathwithbaddrawings.com
- математика с плохими рисунками. Очень оригинальная манера подачи. У автора несколько книжек, переведённых на русский язык, наверное, наиболее занятная - это одноимённая Бен Орлин «Математика с дурацкими рисунками. Идеи, которые формируют нашу реальность». Некоторые считают её одной из лучших для школьного возраста, чтобы полюбить математику.
Хороший научно-популярный блог про математику
https://mathwithbaddrawings.com
- математика с плохими рисунками. Очень оригинальная манера подачи. У автора несколько книжек, переведённых на русский язык, наверное, наиболее занятная - это одноимённая Бен Орлин «Математика с дурацкими рисунками. Идеи, которые формируют нашу реальность». Некоторые считают её одной из лучших для школьного возраста, чтобы полюбить математику.
#визуализация
Сайт с интересной спортивной инфографикой. Перед некоторыми крупными спортивными событиями делают красочные релизы с историями участников и оценкой шансов на победу. Например, на рис. статистика выступлений футбольных команд на чемпионатах мира.
https://stories.mundodeportivo.com/
Сайт с интересной спортивной инфографикой. Перед некоторыми крупными спортивными событиями делают красочные релизы с историями участников и оценкой шансов на победу. Например, на рис. статистика выступлений футбольных команд на чемпионатах мира.
https://stories.mundodeportivo.com/
HTML Embed Code: