[ЧАСТЬ 2]
Выводы Apple косвенно подтверждают другие независимые исследования, где исследователи изучают те же фундаментальные изъяны, но с разных сторон:
Например, исследование "A Peek into Token Bias" доказывает, что модели имеют сильную "предвзятость к токенам" (token bias). Изменение хоть одного слова может привести к совершенно неверному ответу, хотя логическая структура задачи не изменилась.
Исследование "Large language models can be easily distracted by irrelevant context" продемонстрировала, что добавление в условие задачи хотя бы одного предложения с числами значительно снижает точность, так как модели пытаются использовать эти самые числа в расчетах.
Простой пример (в исследованиях используются более сложные примеры):
Оригинал: У Маши было 5 яблок. Она купила еще 3 🍎яблока. Сколько всего яблок у Маши?
ИИ-модель видит числа 5 и 3. Складывает: 5 + 3 = 8.
С нерелевантным контекстом: У Маши было 5 яблок. Её брату 10 лет. Она купила еще 3 🍎яблока. Сколько всего яблок у Маши?
Что делает человек?
Человек читает, мгновенно понимает, что возраст брата не имеет никакого отношения к яблокам. Он отфильтровывает эту информацию как «шум» и решает задачу: 5 + 3 = 8.
Что делает ИИ-модель ?
Модель видит числа 5, 3 и 10. Иногда она буксует и не понимает, что «возраст» и «количество яблок» — это разные, несовместимые сущности. Для нее это просто цифры в тексте.
В гигантском объеме данных, на которых обучаются модели, существует очень сильная корреляция: если число присутствует в условии математической задачи, то оно, скорее всего, необходимо для решения. Модель выучила эту корреляцию, но не всегда "понимает" сам принцип релевантности. Её никогда целенаправленно не учили игнорировать информацию.
Другое исследование Apple "GSM-Symbolic" выявило еще более глубокую проблему. Добавление безобидной описательной фразы, не требующей математических действий (например, "пять 🥝киви были меньше среднего"), приводило к катастрофическому падению точности — до 65%.
Пример:
Оливер собрал 44 киви. Но пять из них были меньше среднего. Сколько киви у Оливера?
И хотя лучшие современные модели Gemini 2.5 Pro, Claude Sonnet 4 скорее всего справятся с этой простой задачей, их способность к фильтрации шума остается хрупкой.
👆Современные LRM, несмотря на их впечатляющие лингвистические способности и кажущуюся компетентность в математике, ведут себя как
Критика Лоусена во многом сфокусирована на методологии конкретного эксперимента и не опровергет (и не ставила такой цели) другие фундаментальные наблюдения о природе LLM: рассуждения современных моделей чрезвычайно хрупки и нестабильны, особенно там, где появляется новизна.
🧠Научная ценность работы Apple интересна тем, что бросает вызов текущей стратегии развития всей области ИИ, отсюда и критика. LLM могут решать сложные задачи, но их способность к этому очень ненадежна и легко может быть нарушена малейшими изменениями контекста.
Ресёрч Apple не говорит о том, что появление AGI невозможно, но масштабирование ИИ-технологий в текущей парадигме вряд ли приблизит исследователей к желаемым результатам. Нужно пересматривать саму парадигму.
Исследователи подводят читателя к мысли, что AGI не может быть создан на базе текущей ИИ-архитектуры в её нынешнем виде, а громкие заголовки
--------------------------
Есть над чем подумать.
