Что думаете про приватные каналы в тг? Что там может быть, чтобы был смысл подписываться? Ну кроме типичного онлифанс контента) (и то есть вопросы)

Вижу сейчас прямо какой-то бум популярности после свежего апдейта телеграмма, но остается вопрос, за чем именно туда идут подписчики.

Как я запускал и проводил курс DMIA. Часть вторая

⏭️ Продолжаю историю о том, как мы с командой единомышленников 9 лет обучали людей Data Science бесплатно :)

Постепенно вокруг меня появлялись другие участники.

🥇 В какой-то момент мы скооперировались с Сашей Гущиным, который был очень хорошим кагглером и доходил до топ-5 в мировом рейтинге на Kaggle. Так у нас появилось соревновательное направление.

🤿 С разными другими ребятами мы сделали направление deep learning. Это изначально Арсений Ашуха, который сейчас вовсю занимается наукой, а позже - Никита Селезнев из Яндекса и Таня Савельева, которая впоследствие стала серийным CEO как раз в теме ИИ.

⤴️ Знаковым стал момент, когда к нам присоединилась Эмели Драль и помогла вывести Data Mining in Action на новый уровень. В моём исполнении это всё-таки была немного местечковая, физтеховская тема. Мы познакомились с Эмели, работая вместе в Yandex Data Factory и записывая специализацию на Coursera, стали хорошими друзьями, и сделали намного больше крутых курсов, чем это получилось бы порознь.

🚌 Одним из важных факторов был перевоз курса из Долгопрудного. Это отчасти было задрайвлено тем, что в Долгопрудном было непросто находить аудиторию. В какой-то момент нас выручил ФизТех Парк. Он был недалеко от МФТИ, и там могло разместиться около 500 человек. Но потом стало понятно, что на курс ездят люди со всей Москвы (даже из МГУ доезжали) и как-то не очень правильно концентрировать всё на Физтехе — было бы здорово переместиться куда-то в Москву, чтобы всем было удобнее ездить.

🌍 Эмели, как выпускница РУДН, сразу нашла способы договориться с родным ВУЗом, мы переехали и пару лет пробыли там. К этому моменту у нас сформировались основное направление курса, трек «Индустриальный анализ данных», трек «Спортивный анализ данных» про соревнования по машинному обучению и трек «Глубокое обучение». И в таком качестве мы могли бы достаточно долго существовать, но позже мы познакомились с МИСИСом и переехали к ним.

🤝 Мы начали пытаться как-то дружить с компаниями, то есть договариваться, что они на какую-то небольшую сумму профинансируют курс. Идея была в том, что как минимум эти компании будут представлены, смогут прочитать гостевую лекцию, а как максимум — кого-то наймут на собеседованиях в конце курса.

За год через нас проходила где-то тысяча человек. Не всегда до конца, к концу курса было кратно меньше слушателей, все же у нас давались довольно содержательные знания. Но смысл для нас был в процессе, и в том, что из этого процесса пусть, условно, 25–30% студентов, но выходят, что-то узнав и как-то культурно обогатившись.

🔚 Эта история была бесплатная для студентов, просуществовала она 9 лет, но, к сожалению, уже к концу я не смог нормально её сочетать со своей работой в топ-менеджменте. Основной вывод, который я из этого всего сделал: даже на энтузиазме, при большом желании можно держать большой курс в течение аж 9 лет и привлекать людей. Ну а если под это ещё положить нормальную экономическую модель, будет совсем идеально.

Про экономическую сторону вопроса я немного расскажу в третьей, заключительной части.

#образование
Как я проводил курс DMIA:
часть третья, заключительная

💸 Если вы думаете, что, раз у нас были спонсоры, мы купались в деньгах, это абсолютно не так. То есть было обычной историей, что мы с Эмели скидывались сами, ещё сколько-то добавляли спонсоры (соотношение было условно 0,5х + 0,5х от нас и 0,15-0,45х от спонсоров). Мы фактически обучали за свой счёт других людей, а не зарабатывали на этом. Этим в частности объясняются переезды курса. Когда место, где нас принимали с нашей аудиторией, понимало, что мы ПРАВДА делаем это бесплатно и нам НЕЧЕМ с ними поделиться, энтузиазм от того, чтобы захостить курс на 500 человек в семестр внезапно резко падал 😂 Самыми доброжелательными оказались коллеги из МИСИСа - ничего, кроме пресс-релизов про то, что мы учим именно у них, у нас не просили. Но мы в любом случае очень благодарны всем, кто принимал наш курс в своих стенах.

📌 Со многими из ребят, которые у нас учились, мы впоследствии работали вместе. Кстати говоря, попал я в качестве Chief Data Scientist в Big Data МТС в своё время тоже благодаря своей образовательной деятельности. Люди, которые работали в МТС, назвали моё имя руководству в числе наиболее известных деятелей нашей сферы. Всё потому, что многие из них либо учились у нас, либо просто знали о существовании таких курсов. Поэтому, по большому счёту, хоть это и было благотворительностью, я думаю, что своими карьерными успехами я обязан этой деятельности и она себя оправдала.

📌 Но в будущем, учитывая полученный опыт, я бы предпочёл всё-таки запускать это как коммерческую историю, которая может сама себя поддерживать и не умрёт от того, что в какой-то момент просто не нашлось спонсоров или закончилось время у основателей. Либо с каким-то большим стратегическим партнером надолго и серьезным бюджетом. Кто знает, может какой-то большой корпорации это будет интересно, и однажды DMIA реинкарнирует в виде академии со своим зданием, крутыми преподавателями и нашими любимыми направлениями :)

🏁Первое мероприятие в рамках школы MLinside – онлайн-вебинар для тех, кто хочет погрузиться в Machine Learning!

Совсем недавно мы с командой анонсировали первый курс «Базовый ML» в рамках моей ML-школы и рассказали о том, кого мы ждем на потоке.

Я знаю, что большая часть моей аудитории – инженеры, программисты, аналитики, разработчики и даже проджект/продакт-менеджеры, которые хотят погрузиться в ML, чтобы применять эти знания в работе и повышать свою эффективность (многочисленные кастдевы и опросы не дадут соврать🙂). А также много тех, кто видит большие перспективы в машинном обучении, и кто хочет вкатиться в профессию ML-специалиста будучи новичком.

📌Специально для вас мы с командой организовали онлайн-вебинар, на котором поговорим о направлении ML, ваших перспективах развития в этой сфере, а также расскажем о том, какие навыки необходимы для старта погружения в ML.

Подробной информацией о вебинаре мы уже начали делиться в новой публикации канала MLinside.
Подписывайтесь, чтобы ничего не пропустить☝️

Ну а мы с командой будем ждать всех, кто готов погружаться в машинное обучение и расти в этом направлении!🤝

Тем, кто уже начал думать, чем заменить в работе Notion и Miro

Забудьте про Notion: нашёл для вас open source альтернативу — AFFiNE.

Это ультимативная смесь Notion и Miro — тут собрали лучшее от обеих платформ. Базу знаний с досками можно развернуть локально (плюс к безопасности), а можно юзать на сайте — туда уже завезли мощные ИИ-фичечки.

Как компании экономят миллиарды с помощью ML-специалистов?

🔔Именно такие кейсы, показывающие востребованность и интересность задач в ML, я разберу на вебинаре уже в эту среду (завтра!). Зарегистрироваться на вебинар можно по ссылке ниже⬇️

[ Зарегистрироваться ]

❗️Важно: доступ к регистрации на вебинар закроется 28.08 в 19:00 по Мск, поэтому не откладывайте!

На мероприятии мы:
▪️обсудим, что вы сможете делать с помощью ML, и какие реальные кейсы его применения нас окружают,
▪️поговорим о том, как найти работу начинающему ML-специалисту,
▪️разберемся, с чего начать изучение ML, и какие навыки для этого нужны.

Встречаемся 28.08 в 20:00 по мск⏰

Вебинар – отличная возможность начать погружение в ML уже сейчас👍

Вот мы и начинаем наш первый вебинар в рамках школы MLinside!

Кстати, сегодня на вебинаре мы откроем запись на первый курс, а значит, что деятельности MLinside официально дан старт🚀

Для тех, кто не успел зарегистрироваться на мероприятие, оставляю ссылку👇

[ Присоединиться к вебинару ]

Мы начинаем!

Какие профессии заменит AI в ближайшие 5 лет?🤖

В последнем видео на нашем youtube-канале я рассказал, как на самом деле работают нейросети, и пообещал поделиться своим мнением по поводу того, какие профессии находятся на грани исчезновения или вовсе исчезнуть в ближайшие 5 лет.

Про кассиров, курьеров и водителей я рассказывать не буду. Думаю, об этом итак все знают, так как тенденция замены физических работников уже наблюдается. Итак, вот мой топ профессий, находящихся под угрозой замены искусственным интеллектом👇

1️⃣ Банковские работники. Алгоритмы машинного обучения уже хорошо справляются с анализом и составлением финансовой отчетности. Но пока это касается однотипных задач. В случае нестандартной ситуации понадобится человеческий взгляд и использование накопленного опыта. В зону риска попадают и кредитные эксперты, так как ИИ уже способен посчитать финансовые возможности заемщика, вероятность задержки платежа по кредиту и так далее.
2️⃣ Программист. ChatGPT уже имеет возможность самостоятельно писать и модифицировать код на различных языках программирования. Например, корпорация Microsoft относительно недавно заявляла о сокращении штата сотрудников и инвестировании 10 млрд бюджета в OpenAI. И ожидается, что в ближайшем будущем потребность в начинающих специалистах в программировании будет снижаться.
3️⃣ Учитель. Сейчас искусственный интеллект способен объяснить непростые вещи словами любого уровня сложности. Огромным плюсом является непоколебимость эмоционального состояния. Вы можете хоть 100 раз просить объяснить один и тот же вопрос, и чат-бот будет готов отвечать вам, не выходя из себя. Хочешь, чтобы тебе объяснили высшую математику простыми словами? Или хочешь вспомнить все правила русского языка? А может, хочешь выучить иностранный язык? ChatGPT вам в помощь:) Отсюда, кстати, вытекает следующая профессия
4️⃣ Переводчик. Сейчас совершенствование систем синхронного перевода идет ускоренными темпами. Это сильно скажется на рынке занятости по всему миру. Опытный переводчик, который годами учил иностранные языки и совершенствовал свой уровень, уже будет не так востребован.
5️⃣ Медработник. Сейчас искусственный интеллект не ставит итоговых диагнозов и не дает советы по поводу здоровья, чтобы не брать на себя ответственность. Но скорее всего в будущем ИИ будет, опираясь на состояние пациента, его жалобы и анализы, все чаще помогать врачам ставить диагнозы, и возможно даже в какой-то момент серьезные решения начнут приниматься без участия врача. Рутинные задачи, которым уже можно обучить ИИ: заполнение и обработка рецептов, предоставление информации пациентам о правильном применении медикаментов, побочных эффектах, взаимодействии с другими препаратами, рекомендации альтернативных лекарств, проверка сроков годности лекарств, диагностирование ряда болезней по симптомам и уже сделанным анализам.

☝️Подводя итоги, AI в будущем способен автоматизировать выполнение рутинных задач, не требующих критического и стратегического мышления. Однако это вряд ли будет прям полноценной заменой, просто изменятся требования к специалисту: если раньше нужно было все делать самому, то теперь нужно будет уметь комбинировать работу с ролью оператора AI-решений.

Как я чуть не продолбал свою фамилию

Пару месяцев назад у меня случилась крайне неприятная вещь: я увидел в почте, что у меня закончилось время регистрации домена kantor.ai, буквально на пару дней позже истечения всех сроков 😱

Оказалось, что его уже зарегистрировал кто-то во Владивостоке 🤯

Не то чтобы я активно пользовался доменом, но я успел к нему привязаться, плюс некоторые дальнейшие планы прям совсем не стыковались с его потерей.

Что же делать?

Мои коллеги по MLinside попробовали выручить меня и связаться с новым владельцем домена, а я приготовился отвалить кругленькую сумму за перекупку домена. Но человек нам так и не ответил.

В глубине души я продолжал надеяться, что домен просто станет доступен для регистрации. И вот сегодня чудо свершилось, а я на радостях продлил домен на 10 лет вперед 😂

Вот теперь думаю, уж не маркетинговая ли это уловка была, чтобы продлевали на по-дольше 🤔

Статзначимость в А/В тестах или немного о том, зачем нужна статистика (часть 1/3)

Сейчас я заканчиваю готовить математическую часть нашего курса «База ML» (в частности, модуль по теорверу) и очень плотно работаю с вопросом «а зачем оно надо?». Топ-1 ответом на вопрос, зачем нужны теорвер и статистика в ML (да и не только в нем) по-прежнему остается проверка статистической значимости. В современном мире мы чаще встречаемся с ней в контексте A/B тестов, когда части клиентов показывают одно, части другое, и из этого эксперимента пытаются сделать выводы. В этих постах вас ждет рассказ в трех частях: 1) введение, 2) непосредственно по теме и 3) некоторые интересные моменты, которые тоже полезно обсудить. Кто знает ответы на вопросы, выделенные жирным в этом посте, могут просто пролистать его и переходить сразу ко второму.

Зачем вообще нужны А/В тесты?

Потребность в А/В тестах возникает тогда, когда мы хотим что-то улучшить. Например, взамен какого-то существующего алгоритма персональных рекомендаций товаров или старого интерфейса мобильного приложения внедрить новую версию. А/В тесты как метод отвечают на вопрос: «Как понять, что это правда будет улучшать важные для нас показатели?»

Посмотреть «стало ли продаж больше» и удовлетвориться такой оценкой нововведения — это очень топорный подход, который сработает только когда бизнес-показатели не зависят от времени и нововведение лишь одно. Обычно это не так. Бизнес растет или угасает, бывает «сезон» и «не сезон». Бывает очень много изменений за месяц, и понять, какое именно из них вызвало эффект, невозможно. Однако многие вещи в коммерческих компаниях (даже самых технологичных) и в 2024 году делаются без А/В тестирования. А еще больше — без оценки статзначимости. К А/В тестам не нужно относиться теологически, но стоит понимать силу и возможности инструмента.

Что такое статистическая значимость и A/A тесты?

Допустим, нет пока никакого нововведения, которое вы будете оценивать в А/В тесте, есть пользователи вашего сайта или приложения, и вы просто делите их на две группы и смотрите на результат в каждой (например, на конверсию посещений в покупки на сайте). Такой тест называется А/А тестом, и, наверное, вас не удивит, что даже при хорошем разбиении на группы результаты в них будут немного отличаться.

Статистическая значимость эффекта в А/В тесте, грубо говоря, означает, что различие между группами заметно больше, чем было бы в А/А тесте, т.е. «есть реальный эффект», а не случайные отклонения. Что это значит для бизнеса? То, что хотя бы при сохранении тех же условий, что и во время проведения А/В теста, эффект от нововведения с большой вероятностью будет какое-то время сохраняться (важное уточнение: эффект может затухать со временем, никто не отменял «эффект новизны»).

#математика

Статзначимость в А/В тестах (часть 2/3)

Продолжаю отбирать хлеб у лектора по метрикам и A/B тестам в нашем курсе «База ML» 🙂 (хотя если хотите разобраться подробнее - приходите к нам)

Как проверяют гипотезы с помощью статистики

Рассмотрим простой пример: мы с другом 10 раз сыграли в шахматы, и он 10 раз победил, какова вероятность такого исхода, если мы с ним играем одинаково хорошо?

Если мы одинаково хороши, шанс выиграть у каждого 0.5, значит мой шанс проиграть все 10 игр был 0.5 в степени 10, т.е. около 0.001. Выглядит как не очень вероятное событие, придется признать, что друг все-таки играет лучше. Ровно так же мы будем делать и при проверке того, что между группами А и В в А/В тесте есть статзначимые различия.


Как работает проверка статзначимости в А/В

Работает это так: предположим, что у нас есть какое-то нововведение (новое оформление, новый интерфейс, новый алгоритм рекомендаций), и мы проводим А/В тест. А вот эффекта от нововведения нет и различия между группами на самом деле нет. Это в статистике называется «нулевой гипотезой» — тем, что мы в А/В тесте в идеале хотим отвергнуть.

Предположив, что нулевая гипотеза выполняется (статистически различия между группами нет), мы можем оценить, с какой вероятностью p можно увидеть разность показателей в группах больше, чем Y (тысяч долларов выручки, например). Как это сделать? Например, взять наши данные, много раз случайно разбить их на две группы и посмотреть, в каком проценте случаев различие между группами окажется больше Y. За счет случайности разбиений, даже если эффект в вашем разбиении на группы А и В был, в новых группах его не будет (т.к. пользователи случайно перемешаются), и можно считать это хорошей оценкой вероятности p.

Если вероятность p оказалась очень маленькой, значит разница в группах все-таки существенная.

И что, всегда делать несколько тысяч случайных разбиений?

Приведенный выше пример с моделированием А/А тестов — это лишь один из используемых на практике стат.критериев — перестановочный тест (с некоторыми оговорками, но не будем сейчас вдаваться в детали). По многим показателям этот стат.критерий не самый удобный, но зато очень просто иллюстрирует концепцию проверки гипотез.

В жизни же во многих случаях можно обойтись без численного моделирования и применить какие-то параметрические стат.тесты (те, в которых распределение величины Y, если нулевая гипотеза верна, выписывается явно формулой). Например, если мы считаем, что наша величина Y имеет нормальное распределение, то можно без численных экспериментов обойтись формулами для нормального распределения. На самом деле, не совсем, надо хотя бы проверить, что распределение правда нормальное, но на этом тоже не будем останавливаться.

Главное — получить распределение Y, при условии нулевой гипотезы. Численно, либо по формуле в рамках каких-то предположений. В нашем примере с шахматами тоже использовался параметрический тест — биномиальный.

Как понять, что вероятность p «мала» и что такое p-value?

Величина p в статистике называется p-value. Перед проведением любого А/В теста фиксируют уровень значимости, например 5%, и отвергают нулевую гипотезу только если p-value оказывается меньше уровня значимости. Т.е. мы допускаем вероятность 5% сказать, что эффект есть, когда его на самом деле нет. А/В тесты, к сожалению, вещь вероятностная, поэтому «точного» ответа на вопрос «есть ли эффект» не дают, только могут подтвердить его на каком-то уровне значимости. Само p-value в русской литературе называют достигаемым уровнем значимости (не путать с уровнем значимости выше — он был порогом, с которым сравниваем p-value).

#математика

Статзначимость в А/В тестах: дополнительные вопросы (часть 3/3)

Я слышал, что p-value — это не вероятность нулевой гипотезы, что это значит?

Все верно, это известная бородатая ошибка при интерпретации p-value. P-value — это не вероятность нулевой гипотезы, а вероятность увидеть в тесте такой же «эффект» или больше, при условии справедливости нулевой гипотезы (т.е. когда эффекта на самом деле нет). От этого можно перейти к вероятности нулевой гипотезы, при условии наблюдаемого эффекта по теореме Байеса, если вдруг вы будете знать все нужные для формулы вероятности, но нужды в этом нет.

А еще я слышал, что нулевую гипотезу нельзя принять, о чем это?

В А/В тесте мы хотим отвергнуть нулевую гипотезу, посмотрев на фактические данные. Но можем не отвергнуть. Подтвердить нулевую гипотезу не можем: если нам не хватает свидетельств против чего-то, это еще не значит, что это что-то верно 🙂

Бытовая иллюстрация:
Старушка на лавочке у подъезда выбирает, как поприветствовать Васю. В качестве нулевой гипотезы она принимает утверждение, что Вася обычный парень. А в качестве альтернативы — что Вася наркоман. Чтобы выбрать доброжелательное или агрессивное приветствие, она оценивает, насколько Вася плохо выглядит сегодня. Если «еще терпимо», то заключает, что свидетельств против нулевой гипотезы не хватает и нужно приветствовать доброжелательно. В этом случае она, однако, не может быть уверена, что Вася не наркоман, т.е. принять нулевую гипотезу. Но как вдумчивая и образованная пожилая женщина, не спешит с выводами и собирает данные.

Везде выше постоянно говорилось о каком-то статистическом различии между результатами в группах А/В, которое либо есть, либо нет. А что это значит?

Вот здесь мы вступаем на территорию более сложных формулировок. Если объяснять это не на бытовом уровне, то вы сами выбираете смысл «статистического различия» при формулировке нулевой гипотезы и альтернативы. Например, если мы сравниваем средние чеки в группах А и В, то под «статистически неразличимыми» результатами мы можем иметь ввиду одинаковое матожидание среднего чека в группе А и в группе В. Это будет нулевой гипотезой. Альтернативой — различные матожидания. Есть критерии, которые в качестве нулевой гипотезы рассматривают совпадение медиан распределений или просто совпадение распределений.

А еще слышал что-то про множественную проверку гипотез? Это о чем?

Это о том, что если вы проверяете одновременно несколько гипотез на уровне значимости, скажем, 5% каждая (например, оцениваете эффект сразу и на средний чек, и на конверсию в покупку, и на конверсию в переход на страницу товара), то шанс ложного срабатывания теста хотя бы для одной гипотезы будет уже не 5%, а существенно больше. Есть разные способы учитывать этот эффект.

А всех, кто хочет погрузиться глубже (например, узнать, как быть, если наблюдения в А/В тесте зависимые, и причем здесь бакетное сэмплирование), а также познакомиться и с AB тестами, и с методами машинного обучения - приглашаю на наш курс «База ML»

#математика