[OpenAI] GPT-4 Technical Report
Статья: https://cdn.openai.com/papers/gpt-4.pdf
Пост продуктовый: https://openai.com/product/gpt-4
Пост технический: https://openai.com/research/gpt-4
Ну что, GPT-4 анонсирована. Если TL;DR, то это картиночно-языковая модель (VLM, мы как раз обсуждали эту тему недавно, https://hottg.com/gonzo_ML/1364), обучена через RLHF (тоже обсуждали недавно, https://hottg.com/gonzo_ML/1277). Технические детали скудны, доступ к API пока через Waitlist, но в ChatGPT Plus пробовать уже можно.
Итак, модель принимает на вход картинки и текст, и выдаёт текст. Это по-прежнему трансформер (видимо, декодер), предсказывающий следующий токен. Какого он размера и sparse ли он, неизвестно (но запросто может оказаться, что и sparse, причём не обязательно MoE). Какой механизм внимания используется для модели с большим окном в 32K тоже непонятно (но я бы поставил на какой-то оптимизированный и вероятно линейный). Обучен на публичных и каких-то отдельно лицензированных данных, дообучен через RLHF (PPO). Картинки с текстом могут произвольно чередоваться, возможно, это сделано по аналогии с Kosmos-1 (https://hottg.com/gonzo_ML/1364), но это не точно. У модели cut off это сентябрь 2021, то есть более свежие данные при её обучении массово не использовались (но чуток было).
Есть вариант модели с большим окном контекста, дефолтная модель с окном 8K токенов (и ценой за $0.03 за 1K токенов в промпте, $0.06/1K в генерации), большая с окном в 32K ($0.06/1K и $0.12/1K соответственно). Для сравнения у новой gpt-3.5-turbo цена $0.002/1K (без различения промпта и продолжения), у предыдущей самой лучшей text-davinci-003 было $0.02/1K.
На этом прекрасные архитектурные подробности заканчиваются, ибо:
"Given both the competitive landscape and the safety implications of large-scale models like GPT-4, this report contains no further details about the architecture (including model size), hardware, training compute, dataset construction, training method, or similar."
Здравствуй, новый мир. Пора делать ставки, через какое время канал придётся закрывать.
Отдельным фокусом работы было создание инфраструктуры для предсказуемого скейлинга, чтобы можно было предсказывать результаты работы больших моделей из поведения маленьких (с 1k-10k меньшими затратами на обучение). Для проверки зафитили степенной лосс вида L(C) = aC^b + c на маленьких моделях и предсказали лосс финальной большой модели, получилось довольно точно.
Кроме лосса предсказывали более понятные и интерпретируемые метрики, например, pass rate на датасете HumanEval, который измеряет способность синтезировать питоновские функции разной сложности.
Что интересно, некоторые задачи демонстрировали инверсный скейлинг (качество ухудшалось с ростом масштаба), но GPT-4 развернуло этот тренд, так что видимо оно U-shaped (https://arxiv.org/abs/2211.02011), что делает тему про emergent abilities (https://hottg.com/gonzo_ML/1031) ещё более интересной.
Модель много тестировали на разнообразных бенчмарках, включая симуляцию человеческих экзаменов (сюда отправлялись модели после обучения в школе RLHF, но без обучения на конкретные экзамены). Была при этом кое-какая контаминация датасета похожими вопросами (например, частью BIG-bench), но тогда репортили результат модели без учёта таких вопросов.
GPT-4 продемонстрировала human-level performance на многих из этих экзаменов. Везде использовался few-shot prompting. RLHF при этом мало что добавлял, базовые модели тоже были хороши. В среднем по всем тестам базовая модель показала 73.7%, а RLHF 74.0%, при этом местами последняя была хуже базовой.
GPT-4 при этом побила много моделей, который были SoTA (state-of-the-art, то есть лучшие на данный момент), включая специально обученные.
Это вообще интересная смена парадигмы в оценке моделей. Долгое время в ML были всякие специальные метрики и датасеты для оценки машин и получить оценку человеческого качества на них не всегда было легко. Теперь мы уходим в совсем знакомые человеческие метрики и экзамены 🙂
>>Click here to continue<<