Однажды я проводил в родном городе выездную олимпиаду МФТИ по физике и математике. Точнее проводил я её много раз, но тот случай был особенным.

Мы с друзьями из других технических вузов (никогда не отказывавшимися помогать с проведением олимпиады и даже консультаций перед ней) решили развести максимум серьезности и строгости. Во избежание списывания, мы выдавали бумагу для черновиков и финальных решений сами. Каждый лист должен был быть подписан нами, инородные листы бумаги не проверялись.

И вот у одного девятиклассника закончилась бумага, и он попросил у нас дополнительную, добавив «хотя возможно такому идиоту как я не имеет смысла её давать». Беглого взгляда на его черновики хватало, чтобы заметить, что решенных задач в них было весьма не густо, но мне все равно не понравился его настрой. Я взял чистый лист бумаги, подписал его, сделав валидным для решения на нем задач олимпиады, и дописал: «Ты не идиот, верь в себя!».

Вчера он закончил МФТИ :)

О той истории я давно забыл, но её герой сам мне напомнил шесть лет назад, когда уже поступив на Физтех, проводил выездную олимпиаду вместе со мной.

Выводов не будет, просто история, от которой мне тепло на душе. Всем хорошей недели! ☀️

Анкета для тех, кто хочет погрузиться в ML

Итак, в постах выше я уже раз пять или десять упомянул, что мы с моей командой разрабатываем образовательно-карьерный продукт по ML. Нам важно сделать его качественно, поэтому обращаюсь к тем, кто хочет погрузиться в ML как в свою первую специальность или перейти в ML из другого направления.

Пройдите, пожалуйста, небольшой опрос: https://forms.gle/Du2yKQjvzAFHqaKd7

С некоторыми из тех, кто оставит свой контакт, проведем с командой встречу, чтобы узнать больше о вас и вашем пути. Также на основе ваших ответов буду выкладывать полезный контент в канал. Буду очень признателен всем, кто пройдет опрос :)

Какое название ML-школы мы выбрали?

Итак, пораскинув мозгами и почитав ваши идеи для названия нашего проекта, мы с командой всё-таки определились с названием школы. Называться она будет MLinside (хотя вариант "Кантора" никого из нас не оставил равнодушным 😂)

Почему именно так? Во первых, для меня, как для человека, который действительно живет с машинным обучением в сердце, здесь есть некий метафорический смысл. Я верю, что, занимаясь чем-то, намного проще это делать, когда ты это любишь. Поэтому главное, чего мы будем добиваться – делать так, чтобы вы, наши слушатели, влюблялись в ML, чтобы тема стала для вас чем-то большим, чем просто обучением📚 Я считаю, что сейчас самое время влюбляться в машинное обучение, ведь лет 7-10 назад я и представить не мог, что когда-нибудь смогу объяснить своей бабушке, чем я занимаюсь. А сейчас про машинное обучение, искусственный интеллект знают все.

Другая отсылка, конечно, к intel inside. К тому, какие чувства это во мне вызывало в детстве: внутри компьютера, машины, которая так многое может, есть процессор – в некотором смысле сердце вычислений. И здесь хочется, чтобы ML стал сердцем вашей карьеры и вашего будущего.

Также мы заводим новый телеграм-канал, который будет посвящен непосредственно школе MLinside. На него обязательно нужно подписаться, так как все ключевые новости про образование будут выходить именно здесь ⬇️

https://hottg.com/ml_inside

🎲Пятница — время наших традиционных квизов. И сегодня квиз посвящён прогнозированию временных рядов.

Угадывайте и пишите ваш вариант ответа в комментариях под постом ;)

Как я решился на создание школы и уход из топ-менеджмента 😱

Я всегда хотел открыть свою школу машинного обучения. Много лет я преподаю в МФТИ, веду курсы в крупнейших российских компаниях, но я глубоко B2C-шный человек. В том смысле, что какой-то большой заказчик курса, будь то университет или компания, всегда ограничивает творчество. Делать продукт для людей - будь то курсы по выбору в универе (там все гораздо гибче, чем в обязательных) или наша с коллегами онлайн-специализация на Coursera - всегда доставляло мне гораздо больше удовольствия.

Кроме того, за время работы в индустрии у меня выкристализовывался свой взгляд на подготовку специалистов, причем дополненный с разных уровней: линейного сотрудника, руководителя, руководителя руководителей и вообще с точки зрения топ-менеджмента компании. Каждый этап в карьере дополнял картину идеального образовательно-карьерного продукта как огромный пазл, и в своей школе мне хотелось показать его целиком. Тоже не сразу, тоже плавно и своевременно подводя к нужным шагам, но вести слушателя к результату со знанием дела и с пониманием всего пути целиком.

🧩Этот образ пазла и является ответом на вопрос, что же подтолкнуло меня запускать MLinside.

В этом году я успешно доработал до конца первого топ-менеджерского срока (да, кто не читал посты выше - на C-level все по срокам) и могу сказать, что теперь я увидел картину со всех уровней. Кроме того, за мою карьеру мне посчастливилось заниматься внедрением ML в ритейле и e-commerce, телекоме, банках, рекламе, райдтехе и даже немного в промышленности. Покрытие сфер тоже получилось близким к максимальному для одного человека. И я увидел общие задачи и паттерны применения ML в бизнесе, о чем тоже теперь могу рассказать (и что мы готовим в материалах одного из первых наших курсов).

☝️Есть и другая причина, почему я наконец решился открыть школу. После работы в топ-менеджменте моя профессия наконец вывела меня на определенный уровень финансовой независимости (это когда уже не обязательно работать на стабильной надежной наемной работе, чтобы сохранять комфортный уровень жизни). Сразу же встал вопрос, чем же теперь заняться, чтобы с одной стороны получать от этого максимум удовольствия, а с другой стороны иметь возможность полностью себя посвятить новому делу и построить что-то большое и значимое. И за 15 лет я конечно уже понял ответ (да и все, кто меня знают, мне прямо это сказали :) - образованием.

💭Главная идея школы - сочетать разработку курсов с душой, от тех, кто любит свою предметную область, глубоко в ней разбирается и хочет делиться знаниями, с тем, чтобы все эти курсы собирались в один огромный пазл, который приведет вас к любому уровню в data-профессиях, если приложить достаточно усердия и внимания. Во время поверхностности, превосходства форм над содержанием, борьбы за ваше внимание, а не за результат, мы в MLiside - за глубокий продукт, который сделает вашу жизнь и вашу карьеру более полной и значительно более счастливой :)

⚠️ Это большой риск, потому что все деньги образовательного рынка сидят, конечно же, в инфоцыганстве: минимум расходов, попсовые продукты для широкого потребления, никакого экспертного фокуса и затрат на экспертов в команде.

🎨 Но наша философия сделать все иначе, потому что «мы так видим». И здесь кроется еще одна причина, почему я решился. Возник прецедент. Примерно тогда же, когда я пришел в топ-менеджмент, Толя Карпов и Беслан Курашов запускали свой Karpov.Courses. И пока я познавал тонкости работы в руководстве большой группы компаний, ребята построили самую крутую и неинфоцыганскую онлайн-школу DS. Я часто радуюсь успехам других людей, потому что для меня это позитивный сигнал: «смог Вася, значит смогу и я». Так сработало и тут. Толя и Беслан смогли построить бизнес на сотни миллионов выручки, не скатившись и сохранив верность очень высокой планке качества. До них я считал, что это неминуемо приведет к разорению. А теперь я хочу повторить их опыт по-своему и на многое решился для этого :) Толя, Беслан, если вы читаете этот пост - спасибо вам огромное за вдохновение 🙏❤️

🎬 Новый сезон подкаста

😥 Оказалось, что самое трудоемкое это отсмотреть видео и составить список всех вставок с картинками и пояснениями текстом к аббревиатурам, терминам и событиям в развитии технологии, чтобы подкаст было комфортно смотреть не только тем, кто работает в DS, но и их знакомым и друзьям.

💡Пока я занимаюсь этой кропотливой работой, напомню вам, о чем были выпуски прошлого сезона подкаста (тогда еще в голосовом формате). Первым гостем был Александр Фонарев, основатель компании Rubbles, лауреат Forbes 30 до 30 и фактически автор и руководитель ШАДовского практического курса по машинному обучению (т.е. семинарской части курса). Послушать (если еще нет) можно здесь: https://podcast.ru/e/18TtWlj.2Ln

🙏 Btw, если кто-то хочет помочь мне с написанием табличек со вставками в видео вида таймкод-картинка-текст - пишите в личку :)

#карьера
С чего начать погружаться в мир работы с данными

❓ Извечный вопрос, когда хочешь что-то начать: «А начинать-то с чего?». С годами мой ответ на этот вопрос меняется, но сейчас я бы сказал: «Начните с карты». Под картой я подразумеваю общую картину:

1️⃣ Какие есть дата-профессии
2️⃣ Какие проекты и продукты делают люди, работающие с данными
3️⃣ В каких компаниях и чем можно заниматься
4️⃣ Как попасть на работу в компанию в одной из data-ролей

📈Обязательно ли это узнавать с самого начала? Конечно нет, можно просто изучать все по наитию и двигаться туда, где вам интересно. На самом деле этот путь в некотором смысле даже лучше, потому что по крайней мере вам будет нравиться то, что вы делаете. Но для достижения выдающихся результатов полезно иногда посмотреть с высоты птичьего полета на то, куда вы движетесь и какие пути есть рядом.

👨‍🔧Зная, что не только дата саентисты работают с данными, вы будете понимать, что при перекосе в сторону инженерии или аналитики, не обязательно насиловать себя тем, как работают ML алгоритмы.

❤️ Зная, какие большие области в работе с данными есть, вы можете попробовать разные типы задач и выбрать себе то, что и интересно, и отвечает вашим ценностям. Кому-то в кайф принести компании денег, а кому-то - спасать жизни. И там и там есть работа с данными, причем иногда даже в неожиданных местах. Так-то даже беспилотный транспорт в своей изначальной задумке должен радикально снизить число смертей на дорогах - чем не спасение жизней. Ну и конечно есть более очевидные варианты, будь то разработка новых лекарств или поиск потерявшихся людей в лесу по снимкам с дрона.

💼 Зная, в какие компании можно пойти, чем заниматься и как туда попасть, вы будете знать, к чему именно готовиться. Ведь нельзя просто читать статьи или проходить курсы до бесконечности. Нужно скорее попадать в среду людей, которые уже работают, и начинать приобретать практический опыт. Даже сделав домашнее задание на каком-то курсе, вы еще не освоили тему и не научились. Научиться - это уверенно применять в своей практике.

В следующих постах в теге #карьера я напишу ответы на эти вопросы, как их вижу. Буду очень благодарен за дополнения и запросы на другие посты в комментариях, так что комментарии категорически приветствуются 🙂

#classic_ML

Простые методы ML

Есть ряд методов машинного обучения, которым раньше иногда посвящали в курсах целую лекцию, в учебниках целую главу, и вообще относились с большой серьезностью. Сейчас же ситуация немного поменялась, потому что из классических (не deep learning) методов как правило используются или линейные модели (когда нужна интерпретируемость или легкость настройки и выкатки в продакшн, либо когда признаки разреженные, либо когда известно, что зависимость с какой-то точностью можно считать линейной, либо когда мало данных и нет доводов в пользу какого-то другого вида модели) или градиентный бустинг над деревьями (примерно во всех остальных случаях).

Уже лет пять или даже больше я, когда веду курсы машинного обучения, выхожу из положения следующим образом: рассказ про «простые методы» при всем их разнообразии помещается в начале курса в одно занятие, чтобы дать некоторый исторический экскурс и уберечь слушателей от самостоятельного «изобретения» этих методов с последующими большими надеждами, что «ух сейчас как заработает!». Во вторую очередь я отдаю дань истории, потому что не знаю, к кому слушатели однажды попадут на собеседование. Вдруг там будет какой-то любитель наивного байесовского классификатора или kNN, который откажет кандидату просто по принципу «если он такие простые вещи не знает, то о чем с ним говорить». Далее я приведу небольшое описание этих «простых алгоритмов», и чем они еще могут пригодиться в 2024 году.

Метод k ближайших соседей
Идея метода проста до ужаса: чтобы классифицировать объект выборки, найдем k объектов, похожих на него, и ответим тем классом, который среди них больше представлен. Хотим решить задачу регрессии (спрогнозировать число)? Без проблем, также найдем k ближайших объектов и усредним правильные ответы по ним. Ну например, если хотим понять, сколько заработает магазин в новой локации, находим k похожих на него и просто усредняем их продажи. Вот такой вот простой прогноз. Только когда говорят "ближайшие соседи" имеют ввиду именно в пространстве признаков, т.е. прогнозировать продажи в новом магазине надо не по географически ближайшим, а по тем, у которых похожий полный набор параметр: распределение доходов клиентов вокруг локации, количество своих магазинов и магазинов конкурентов рядом, размер города и т.д.

Если продажи в новом магазине сейчас вряд ли кто-то серьезно прогнозирует с помощью kNN, то вот в персональных рекомендациях метод k ближайших соседей до сих пор остается бейзлайном, и хорошо если всякие матричные разложения, бустинги и нейросетки его превосходят по качеству. Гораздо забавнее, если нет, потому что не сравнивали 🙂

Кроме того, kNN это достаточно широкое множество алгоритмов в том смысле, что есть какие параметры покрутить. Можно взвешивать и преобразовывать признаки, можно назначать разные веса соседям, можно применять всякие Kernel-based методы, в общем при желании есть куда закопаться, а это мы еще не вспомнили про быстрый поиск соседей в N-мерном пространстве признаков и всякие там ANN (Approximate Nearest Neighbors). В общем те, кто любят kNN, найдут чем занять и лекцию, и главу, и даже целый учебник.

#образование
Как я начал и полюбил преподавать📚

Мои бабушка, мама, тётя и с некоторых пор даже отец - преподаватели. Поэтому в студенческом детстве (т.е. целые два года с поступления в МФТИ) я категорически избегал того, чтобы стать преподавателем. Ну должна же быть в человеке какая-то индивидуальность 🙂 Однако когда Никита Пустовойтов, заведовавший тогда кафедрой в МФТИ, предложил с ним вести факультатив по ML, я был счастлив до жути и вприпрыжку побежал готовить занятия.

В преподавании мне нравится смотреть на каждую тему с позиции «Что именно здесь может быть не очевидно? Какие вопросы возникают у того, кто видит это впервые или во второй раз?». Кажется, что вот ты рассказал по пунктам, как оно устроено, и все понятно. Но нет, даже стройный последовательный логичный рассказ - это еще не 100% успеха (хотя уже бóльшая его часть).

🔹Одна из причин, почему я люблю преподавание - возможность посмотреть на предмет десятком разных способов, ведь какие-то ваши слова могут быть понятны не всем слушателям. Кто-то лучше понимает формулы, кто-то картинки, кто-то код, а где-то стену непонимания поможет пробить удачная аналогия.

🔹Другая важная причина - чувство ответственности перед слушателем. Когда отвечаешь за свои знания, можешь позволить себе бóльшую небрежность, чем когда все твои ошибки будут размножены на десятки, сотни, тысячи слушателей. Это помогает самому копать глубже и знать на порядок больше.

🔹Ну и, наконец, вопросы аудитории. Ни один солидный эксперт не задавал сам себе все те вопросы, которые за час вбросит два десятка новичков, интересующихся темой. И часто легко впасть в ступор от элементарного вопроса. Но ты же преподаватель, от тебя ожидают, что ты с ним разберешься. В итоге, получается довольно адреналиновая игра. Я в целом уже давно не стесняюсь сказать «не знаю», если у меня нет ответа сходу. Но, как правило, следом за этим я предлагаю порассуждать, и мы со слушателями быстро приходим к ответу. Однажды я спросил своего бывшего студента, что ему больше всего нравилось на занятиях, и он ответил, что именно это. Что можно было увидеть, как, не зная ответа, к нему прийти.

Все это постепенно затягивало меня в преподавание. Но определяющими были два явления, которые постепенно появились в моей жизни. Первое - студенты, как известно, голосуют ногами, и они начали голосовать за меня. Второе - когда я веду занятие, я полностью забываю обо всем, кроме своего предмета. Однажды, будучи в очень подавленном настроении, я вел семинар на Физтехе. В конце семинара я просто был запредельно счастливым человеком и даже в какой-то момент одернул себя: «эй, ты чего такой радостный, у тебя все плохо, давай, грусти обратно!». Этот момент я вспоминаю регулярно, он был поворотным.

С того поворотного момента осознания моей любви к преподаванию прошло наверно 10 или 11 лет. За это время мы с коллегами и друзьями:

✔️превратили DMIA в супер-мега-большой оффлайн курс, через который проходили тысячи студентов за все время,

✔️запустили невероятно успешную специализацию по машинному обучению на Coursera, через которую прошли 200+ тысяч слушателей,

✔️проводили множество крутых обучений в крупных компаниях.

Наши с коллегами по преподаванию ученики все это время тоже не стояли на месте. Они становились крутыми экспертами, присоединялись к нам как преподаватели (или не присоединялись и делали все сами, но все равно очень здорово), создавали и продавали свои стартапы за много миллионов долларов, становились серийными CEO data-стартапов. Очень многими ребятами я действительно горжусь. Не с позиции «вот я так хорошо научил», а просто искреннее участие в жизни другого человека неизбежно вызывает сопереживание, и дальше невольно следишь за успехами. Это тоже, кстати, очень важное наполнение преподавания - долгосрочные человеческие отношения и очень много тепла🫂

#математика

↗️ Идея вот в чем. Если посчитать производную L по a1, а остальные переменные считать константами, получится так называемая частная производная L по a1. А вектор, координатами которого будут частные производные L по a1, a2, ... и ad - называется градиентом. Так вот оказывается, что градиент соответствует направлению наискорейшего роста функции. Т.е. если вам скажут чуть-чуть изменить коэффициенты a1, a2, ..., ad так, чтобы L выросла как можно сильнее - то надо менять их в направлении градиента.

💡 Какое это имеет отношение к нашей задачи поиска минимума? Самое прямое. Если вы хотите как можно быстрее уменьшить L, надо менять параметры в направлении антиградиента (градиент, умноженный на минус 1). Это породило простую идею: начинаем с некоторых случайных весов a1, a2, ..., ad, а дальше считаем антиградиент и меняем веса в его направлении, затем пересчитываем антиградиент уже с новыми весами, а потом снова меняем веса в направлении антиградиента и так до посинения. Ну ладно, не до посинения, а до момента, когда L уже существенно не уменьшается. Найденные значения коэффициентов и будут тем, что мы искали.

Таким образом, найти коэффициенты модели, при которых мы будем как можно точнее работать на обучающей выборке (и понадеемся, что на новых примерах прогнозы будут тоже адекватными) можно с помощью численной оптимизации, например с помощью описанного выше градиентного спуска.

Что из математики при этом нужно знать вам? Если вы применяете ML алгоритмы как черные ящики, то почти ничего. А если вы претендуете на понимание их работы и умение все вывести и расписать - ну тогда достаточно уметь брать производные и знать, как перемежаются матрицы. В нейросетях еще потребуется не пугаться правила дифференцирования сложной функции (chain rule) и его версии для функции многих переменных (гуглим, что такое граф вычислений и как он связан с производной сложной функции) 🙂

А в следующий раз мы поговорим о том, что же нужно знать из теории вероятностей и математической статистики (и зачем).

P.S.: Если вы будете заниматься всякими теоретическими оценками в машинном обучении (если у вас нет математического образования - скорее всего не будете), например оценками обобщающей способности или доказательством того, что при определенных условиях все локальные минимумы ошибки нейросети являются глобальными, вам потребуются гораздо более глубокие вещи. Там найдется место и множествам меры нуль по Лебегу, и устойчивости по Ляпунову, но все это другая история, которой мы коснемся когда-нибудь в другой раз 🙂

#образование
Моя история запуска школы ML🖋️
(часть 1)

Итак, с чего начинается запуск школы ML? С людей, которые ее запустят.

↪️В сентябре прошлого года, как раз когда я уже твердо определился с планом запускать коммерческий образовательный проект, мне написал Савелий - человек, с которым много лет назад меня познакомил мой однокурсник. Савелий закончил ВШЭ и ни дня не работал в больших компаниях - только предпринимательствовал.

🗣️Савелий предложил делать вместе онлайн-школу ML. Т.к. отношения к ML он не имел, я сразу рубанул ему в личку суть и спросил (дословно): "А ты в ней зачем?". Савелий не растерялся, рассказал о своем опыте в построении процессов, наборе команды и маркетинге, короче, проверку на пацана прошел на ура. Поэтому мы договорились встретиться.

✅На встрече выяснилось нечто очень классное: Савелий тоже, как и я, не хочет заниматься инфоцыганством, и наше с ним видение очень быстро сошлось к концепции "Стэнфорд в области ML и в онлайне". Слово Стэнфорд здесь не означает копирование конкретного университета, а скорее синоним приличного заведения с серьезным уровнем подготовки.

🧑‍💻На серьезное заведение нужны серьезные преподаватели. Поэтому я взял в оборот двух друзей, с каждым из которых мы вместе съели пуд соли. И этой историей я подробнее поделился в канале MLinside

Первое видео на YouTube в рамках школы MLinside 🚩

Рад сообщить, что мы с командой дали старт проекту MLinside в том числе и на youtube-канале. В вводном видео я рассказал о том, как бы я учил машинное обучение в 2024, если бы начинал с нуля.

Буду рад вашей поддержке в виде подписки, лайка и комментария✅

Приятного просмотра⬇️
https://www.youtube.com/watch?v=ylMFNJID3Ks&ab_channel=MLinside

#classic_ML

Линейные модели (часть 1)

Когда люди, знакомые со статистикой, слышат, что линейная регрессия или логистическая регрессия - это тоже машинное обучение, они иногда смеются, что все понятно, раньше это называлось статистикой. Но ML и правда надстройка над прикладной статистикой, поэтому не удивительно, что какие-то ее методы легли в основу машинного обучения.

В общем случае линейная модель в машинном обучении выглядит следующим образом. В задаче регрессии:

f(x[1], x[2], ..., x[d]) = w1 * x[1] + w2 * x[2] + ... + wd * x[d]

Где x[1], x[2], ..., x[d] - признаки объекта x,
w[1], w[2], ..., w[d] - веса этих признаков в нашей модели, о подборе которых мы еще поговорим далее.

В задаче классификации на два класса:

То же самое выражение для f, но выбор класса осуществляется по знаку f (>0 - отвечаем класс 1, <0 - отвечаем класс 0).

В задаче классификации на много классов:

Строим свою f для каждого класса (считаем его 1, а все остальные 0), а дальше выбор класса при прогнозе делаем по принципу «какая f больше, тем классом и отвечаем». Такой подход называется One-vs-all («один против всех» в русской локализации).

Остается сделать буквально пару ремарок:

1) Разумеется, случай f = 0 тоже возможен, но если признаки это просто вещественные числа, математически маловероятен. Поэтому хоть в случае f = 0 и было бы правильно отказываться от классификации, можно приписать его куда угодно - хоть в класс 0, хоть в класс 1, различия в теоретической части будут не очень большими.

2) Вы могли заметить, что все веса в формуле для регрессии умножаются на признаки. Но наверно было бы неплохо предусмотреть некий свободный коэффициент w0 (в английской литературе intercept), просто добавляемый к формуле выше, чтобы при нулевых значениях признаков прогноз не был обязан быть нулем (ну например, прогнозируете вы температуру воздуха где-нибудь в ОАЭ, ясно, что почти при любых значениях признаков нуля по Цельсию вам ожидать не стоит). Однако оказывается, что пока мы пишем формулы, а не реализуем алгоритм в программном коде, предусматривать ничего и не надо. Представьте, что в нашем объекте был добавлен искусственно еще один признак х0, который всегда равен 1. Тогда коэффициент перед ним и будет нашим w0. Значит можем писать формулы как писали раньше, только не забываем, что спрятали там вот такой костыль 🙂

Окей, остается вопрос, как подобрать коэффициенты w. Ответ предельно прост: градиентным спуском (о нем я уже писал ранее). Например, если в задаче регрессии вы заходите минимизировать средний квадрат ошибки, то w находится градиентным спуском как минимум L(w), где L:

L(w1, ... ,wd) = ((y1 - f(x1))^2 + (y2 - f(x2))^2 + ... + (yN - f(xN))^2) / N

(Кто хочет спросить, где же в формуле веса w, напомню, что они сидят в формуле для f)

Начав со случайных значений весов, шаг за шагом вы будете приближаться к оптимальным весам, пересчитывая антиградиент L по w и добавляя его к весам. Когда ошибка перестанет существенно меняться, вы можете считать что с какой-то точностью нашли минимум L, и уж по крайней мере полученные веса достаточно неплохие для вашей задачи.

Однако внимательный читатель может заметить, что в формуле для L целых N слагаемых. Если в нашей обучающей выборке, например, миллион объектов, то значит ли это, что нам постоянно на каждом шаге нужно считать сумму из миллиона слагаемых? Конечно нет. Вы можете взять не всю выборку, а ее маленькую часть, например, 100 объектов или 10, и усреднить ошибку по ним. И градиент считать тоже по такой ошибке. Конечно это будет не такой точной оценкой средней ошибки, но тоже сойдет, а если на каждом шаге вы усредняете по новым случайно выбранным объектам - то этот случайный выбор нивелирует неточность оценки средней ошибки на каждом шаге. Такой подход называется стохастическим градиентным спуском (SGD, Stochastic Gradient Descent), а тот набор объектов, по которому вы усредняете ошибку на текущем шаге, называется пакетом или батчем (mini-batch). В предельном случае батч может состоять из одного объекта - т.е. вы просто каждый раз смотрите на ошибку на случайном объекте. И такой алгоритм будет работать на практике.

Идея SGD идет гораздо дальше линейных классификаторов - работая с оптимизацией любой большой суммы довольно однотипных слагаемых, вы можете также ограничиться случайным слагаемым или слагаемыми, просто менять их выбор на каждом шаге оптимизации. Тот же SGD применяется и в матричных разложениях, и в нейросетях и в разных уже древних методах обучения эмбеддингов типа word2vec. Поэтому принцип работы SGD очень важно понимать, если вы сколько-нибудь серьезно занимаетесь машинным обучением.

А в следующий раз мы поговорим о переобучении в линейных моделях, и чем случай классификации отличается от регрессии.