Про недооценку развития технологий

Только в пятницу на лекции в Сколково говорил, что возможно через лет 10 в каждом чайнике будет LLM, а то и вовсе через 2 года. А уже вот. Буквально чайник 😂😂😂

Вообще я уже не первый раз недооцениваю ситуацию с AI. Когда я говорил что беспилотные машины поедут лет через 5 (на уровне интуиции, конечно я плохо представлял конкретно область автономного транспорта), через год уже возле моего дома начали ездить беспилотные машины Яндекса, а еще через год возле работы - машины Сбера.

Если бы меня 4 года назад спросили, когда случится ChatGPT на его уровне качества, я бы ответил либо «лет через 20», либо вообще «никогда».

🫖ИИ-гаджет для одиночек: встречайте gpTea — чайник, который заваривает чай и общается с вами

Я уже писала о том, что мир переживает эпидемию одиночества, и в некоторых странах даже создаются министерства этого состояния. Похоже, рынок гаджетов и ИИ приспосабливается к новому времени: два разработчика из США Кевин Тан и Келли Фанг создали необычный чайный сервиз под названием gpTea.

Принци его действия прост: как только человек поднимает кружку, чайник, оснащенный ChatGPT, становится собеседником и тут же спрашивает, как у вас дела. Чайник может выслушать вас и даже предложит сам рассказать свою историю.

Сервиз состоит из прозрачной чашки и чайника, установленного на подвижную подставку. Пользователю достаточно засыпать чай и налить воду, и гаджет сам и заварит напиток и нальёт его в ёмкость.

Чашка непростая — в нее интегрирован монохромный округлый дисплей, на котором появляются сгенерированные искусственным интеллектом картинки: они иллюстрируют диалог и истории.

Кстати, неправильно будет назвать этот гаджет подарком для одиночек: чайником gpTea могут пользоваться сразу два человека, находящиеся в разных уголках планеты.

Google: 20 лет развивает AI в поиске и не только
Венчурные инвесторы после бума GPT-моделек: решения на AI вытесняют поиск Google
Google: …

​​🔍 Доля AI в поиске занимает 6%. А что еще интересного?

Стечение обстоятельств, а также тот факт, что у меня теперь есть Perplexity Pro на год, сподвигли посмотреть, что там на рынке поиска-то происходит. Еще пару лет назад никто не мог подумать, что этот рынок можно как-то переделывать.

1/ Итак, поиск информации вместо Google и других поисковых систем уже проходит через AI решения. Как минимум есть вышеупомянутый Perplexity, а также SearchGPT от OpenAI и поиск через чаты с другими моделями, которые имеют доступ в интернет.

2/ Информации не очень много, но можно запомнить следующее:
▪️Google занимает от 89% поиска как search engine до 91% поиска по разным данным, далее (как ни удивительно) следует Bing с 3.4-4.2%, остальные еще меньше;
▪️Доля AI решений сейчас составляет 6%, но по выручке (в деньгах) это 1%;
▪️Доля Perplexity при этом – 0.5% поиска. Это довольно много, например, доля DuckDuckGo в поиске составляет 0.54%-0.69%.

3/ Доля AI поиска может вырасти с 6% сегодня до 14% в 2028 году.

4/ Кому интересно почитать подробнее про Perplexity, можете зайти вот на этот сайт. Там собрана информация про их бизнес и показатели, например, $40M выручки, 10M MAU, 300M поисковых запросов в 2023 году и так далее.

5/ А вот в этой статье есть прикольное сравнение конвенциального поиска с поиском через AI. Например, результаты поиска через SearchGPT от OpenAI только на 46% совпадают с поиском через Google и на 73% с поиском через Bing.

@proVenture

#research #ai #trends

У нас стартует второй поток, тем кто давно хотел попасть в ML - рекомендую :)

Отвечаю в этот понедельник в Вышке на каверзные вопросы вместе с Пашей Ворониным, приходите послушать :)

Через пять минут начинаю вебинар перед запуском второго потока курса "База ML". Расскажу про то, зачем ML аналитикам, менеджерам и разрабам, какой роадмап перехода в ML я считаю правильным, как его пройти самому (!) и как его пройти с нами. И конечно, про курс. Подключайтесь по ссылке, если интересно послушать :) https://mlinside.getcourse.ru/pl/webinar/show?id=3083519

Больше vs лучше
Когда я начинаю уделять больше времени преподаванию, с завидной регулярностью возвращаюсь к выбору «напихать в программу больше интересных вещей» или «лучше рассказать то, что действительно важно». То, что сейчас машинное обучение абсолютно безразмерная область, в которой можно расширять программу курса просто до бесконечности, только провоцирует на первый подход. Кроме того, насыщенная программа легче выдается людям за более полезную. Полистал свои же посты, и пять лет назад тоже во время пика преподавательской активности думал о том же самом, даже рассказал тут про свой любимый курс на Физтехе :)

А что вы думаете? Лучше более интенсивная программа или фокус на понимание самого важного?

#teaching
История про два курса

Когда я учился в университете, в определенный момент у меня в программе был курс функционального анализа - раздела анализа, в котором изучаются топологические пространства (в основном бесконечномерные) и их отображения. Такое вот высокоуровневое развитие привычного всем мат.анализа. Приятная особенность этого предмета в том, что в курсах по нему почти не бывает задач вида «вычислить что-то», только задачи на доказательства и построение примеров довольно абстрактных конструкций. Я, без иронии, был счастлив, что такой курс есть. Меня всегда восхищала красота абстракций, возникающих в математике, и строгих доказательств их свойств при определенных условиях. Разбираться с этим было очень увлекательно и приятно. А вот арифметику я так никогда и не освоил, поэтому радовался, что в кои-то веки на предмете кафедры высшей математики мне не нужно подражать калькулятору.

По этому предмету в моем университете существовало два хорошо сформировавшихся курса, которые читали два разных лектора. Курс более молодого лектора был крайне насыщенным. В нем действительно рассказывалось и доказывалось очень много, как на лекциях, так и на семинарах. Знать все то, что было на этом курсе, было сродни обладанию каким-то невероятным сокровищем, а сам процесс обучения - какое-то запредельное счастье постоянных открытий. И, несмотря на то, что скорость изложения материала зашкаливала, а воспринимать такой плотный поток в принципе затруднительно, предмет был так красив и эстетичен, что награда стоила этих сложностей. Это определенно был очень крутой курс.

Но у меня функциональный анализ вёл другой лектор, существенно старше. Объем материала в его курсе был заметно меньше. И сам курс не производил впечатление очень интенсивного. Звучит хуже? А вот как бы не так. Если первый курс был крутым, то этот курс был гениальным, он был произведением преподавательского искусства. Вместо того, чтобы впихнуть в курс как можно больше, наш лектор (он же был моим семинаристом) оставил время для общения со студентами на занятиях. Нам давали возможность предлагать идеи доказательств, обсуждали с нами возникающие проблемы, давали нам совершать ошибки и помогали учиться на них. Это помогло многим студентам научиться рассуждать на языке математики. Кроме того, курс был насыщен запоминающимися образами. Например, можно было просто формально сообщить слушателям, что значит предъявить эпсилон-сеть для некоторого множества, а можно кроме этого ещё и объяснить, что это то же самое, что целиком осветить парк фонарями, которые освещают круглый пятачок радиусом эпсилон вокруг себя. Детский сад? Может быть. Но образность и осмысленность происходящего позволяла и понимать, и вовлекаться в предмет. И научить нас это помогало.

Последние полгода я часто вспоминаю эти два взгляда на курс. И все чаще задумываюсь, что больше - не значит лучше, ведь «знать» много всего - это, конечно, здорово, но надо же что-то и понимать 🙂 Кроме того, у фокуса на понимание есть приятный бонус: часто достаточно понять совсем немного, чтобы всё остальное стало очевидно и уже не требовало запоминания. Об этом полезно задумываться и преподавателям при подготовке материалов, и слушателям при выборе курсов и траектории обучения в целом.

Ого, в профункторе мем на любимую тему @cryptovalerii :)

Что учить в университете
Вчера записывал интервью с очень крутым разрабом из Яндекса. Обсуждали (уже ближе к концу записи), что нужно учить в университете, а что можно и потом. Прозвучала гениальная по своей простоте и железобетонной логике аксиома: в универе надо учить то, что потом уже не выучишь, например математику и прочую фундаментальщину. Нефундаментальщина через 5-10 лет изменится

Там вышла ллама 3.3
Но самое интересное - цена

По метрикам ± как GPT-4o, но в 25 раз дешевле

Заставляет задуматься

Есть ли отечественные генеративные нейросети на самом деле?

В соцсетях сейчас вирусится видео, прикрепленное к посту: молодой человек рассказывает о том, как отечественные нейросети выдают крайне подозрительный результат по запросу нарисовать «родное».

Первое, что думают люди, видя такое, это что отечественных нейросетей на самом деле нет и они просто перенаправляют запросы в апишку Midjourney и им подобных зарубежных оригиналов.

Те, кто более прошарен, думают, что наши компании просто берут зарубежный опенсорс, разворачивают у себя, а русские запросы обрабатывают после перевода на английский.

А кто еще более прошарен, знает, что опенсорс в целом поддерживает и русский язык. Остается вопрос: так как же все-таки работают отечественные нейросети?

Зачем гадать, если можно спросить эксперта в области технологий AI, который сам имеет отношение к теме генеративного ИИ — Александра Абрамова. См. ответ у него в канале или репост ниже 👇

Вы спросили —Дядя отвечает. Истина находится где-то по середине. Действительно на нашем рынке можно встретить множество решений вокруг открытых моделей с huggingface или же апи модных нынче Midjourney.  Это может работать по принципу перевел с ру на ен и вкинул в апиху, далее выдал результат. Обычно, на старте, это было уделом малых команд, стартапов и пр.

На самом деле, ничего в этом зазорного нет, те же ребята с Perplexity строить свое решение начали именно вокруг топовых апи LLM (OpenAI, Google, Anthropic и т.п.).  Но при этом perplexity имеют свою доп. логику с поиском, линковкой фактов и пр. Что делает ее решение аналогом поисковика "в кармане".  После, они еще и собственные тюны моделей Llama like завезли, благо лицензия открытая позволяет. И это имеет спрос.
Т.е. более крупные игроки, стараются использовать такие решения для холодного старта или во все опираясь на открытые сеты , модели или архитектуры делать собственные решения/тюны/модели. И я думаю, что крупные игроки нашего рынка достигли уже того уровня зрелости, когда могут позволить себе свои исследования, и как следствие, свои решения в виде моделей и сервисов.

Вопрос остается только в источниках данных. Такое поведение, как мы видим на видео, может быть обусловлено, влиянием сетов обучения. Т.к. на рынке множество открытых сетов на английском языке для задач text2image, а для русского языка примеров много меньше. Создание таких ру-ен данных требует затрат на написание/генерацию и чистку. А в открытых сетах для обучения может возникать дисбаланс по ру-ен паре и как следствие превалирование этики из сетов коих больше. Поэтому тот же native/родной после предобучения на таких примерах будет носить знания культуры того языка коего больше. Тк в основном это все переводы с ен языка на ру как есть, да ещё к релевантным для ен языка картинкам. Для того, чтобы решить проблему "перекоса", не достаточно балансировки знаний, надо писать/матчить именно опорные ру тексты с "правильными" картинками к ним,а также придется, скорее всего, прибегнуть к выравниванию поведения — привет alignment/ human feedback и тп. А далее, вооружившись всем этим, нужно будет решать вопросы тюна с эмбеддером text2image, чтобы для языковой пары запрос сводился к "правильной картинке". Именно его представления будут использоваться диффузией как базой генерации. И в тч над этим, думаю, работают исследовательские команды крупных игроков.

Но нет предела совершенству, это непрерывный процесс дообучения и отлова "черных лебедей". Вот как-то так.