Выступал на прошлой неделе в Вышке, а точнее поотвечал на сцене на вопросы Жене Соколову и студентам ВШЭ.

На фото мы с Женей Соколовым даем студентам автографы на видеокарте «чтобы лучше обучала» 😂 Никогда бы не подумал, что доживу до этого

Кстати некоторые вопросы из зала были довольно каверзные, так что я получил огромное удовольствие, пока давал ответ :)

Например, мой любимый вопрос: надо ли идти в компании, запускающие много новых направлений, ведь не все они взлетят, деньги будут потрачены, и потом придется резать косты (вместе с вашей вакансией). На сцене я дал один очевидный ответ, что ваша карьера зависит от ваших усилий, талантов и находчивости больше, чем от планов компании, потому что даже в период кризисов все равно есть люди, которые добиваются роста области ответственности и доходов. Кроме того, рассуждение «ой я такой хороший работал в компании, но продукт не взлетел» содержит очевидный пробел в логике. Ну работайте так, чтобы у продукта было больше шансов взлететь. Не все зависит от вас, но и самоустраняться так, что вы хорошо все делаете сами по себе, а продукт не летит сам по себе, не надо. Кроме того, менеджмент все же разделяет работу технических специалистов и руководителей, и если есть вера в то, что вы как раз были молодец и все делали классно, вас просто с руками оторвут в другой продукт компании.

Уже после мероприятия я понял, что у меня был пример на эту тему прямо на сцене, который я не догадался привести. Мы с Женей Соколовым были в Яндексе коллегами и работали в Yandex Data Factory, но когда YDF был близок к закрытию, прекрасно возглавили Data Science в Яндекс.Такси (я) и в тогда еще Яндекс.Дзене (Женя). Понадобилось ли нам самим найти себе применение в компании? Конечно да, нужно было пообщаться, узнать где что есть, договориться о переходе. Но никто нас никуда не уволил, всем было чем заняться, работы было вагон.

Манагерский кейс
Как-то встречаю в курилке пару тех лидов и они дружно жалуются что не могут ничего делать руками – в их продукты командировали каналью-скрама и все время встречи отнимают. А сколько встреч в день в среднем? – ну две-три. Пинаю скрама чтобы обсчитала (и объясняю методологию – включать во время встречи еще полчаса после нее на то, чтобы врубиться что происходит) – бодро докладывает что встречи занимают только (!) 9-10% рабочего времени.
Примерный календарь слева

Пришлось проводить работу с PO, CPO, Scrum и прочими на тему что если между встречами час – то ничего закодить не успеешь и для человека, работающего головой а не только лишь ртом (то есть того кто учит модели и пишет код) такой календарь превращается в тот что справа.

И я таки тоже потратил полчаса чтобы объяснить как быть – до обеда дать людям спокойно кодить (0 встреч), после обеда – встречи. Или наоборот , главное чтобы минимум 4 часа подряд было на работу каждый день
Мораль: от перемены мест слагаемых сумма меняется еще как. И особенности психики человека игнорировать нельзя.

Итак, ответ на вопросы успешно найден в комментариях. Т.к. на картинке датасет выстроился почти в непрерывную кривую, разность между координатами соседних текстов оказалась всегда маленькой. Это значит, что и в исходных признаках при переходе от текста к тексту признаки изменялись лишь чуть-чуть.

Очевидный способ достижения этого результата - забыть обнулять счетчики частот слов, что и сделал студент, о чем и догадался научрук. Пассаж про изучение библиотек был, конечно же, о том, что в sklearn есть готовые текстовые векторизации, которые можно взять из коробки и не накосячить таким образом. Тот факт, что студент забыл обнулять счетчики, проверяется легко: достаточно посмотреть на матрицу признаков, ведь к последнему тексту нулей уже, конечно же, не осталось.

Почему же возникали разрывы? Из-за плохой предобработки текстов были тексты с большим количеством всяких спецсимволов и слов, которые давали очень большой прирост к криво выделенным токенам. В частности, картина из предыдущего поста - это еще после фильтрации части таких спецтекстов. Без фильтрации получалась та, которую вы видите в прикрепленных к посту