#machinelearning
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
TRACT: Regression-Aware Fine-tuning Meets
Chain-of-Thought Reasoning for LLM-as-a-Judge
📄 Читать
@machinelearning_books
Chain-of-Thought Reasoning for LLM-as-a-Judge
📄 Читать
@machinelearning_books
Forwarded from Machinelearning
🔥 «The State of LLM Reasoning Models» свежая статья от Себастьяна Рашка, которая посвящена современному состоянию исследований в области рассуждений (reasoning) и масштабирования выводов (inference scaling) для больших языковых моделей (LLM).
Основные моменты:
- Эволюция возможностей рассуждения:
В статье показано, как с увеличением размеров моделей и вычислительных ресурсов появляются «внезапные» способности, позволяющие моделям выполнять сложное логическое и пошаговое рассуждение. Это включает методы вроде chain-of-thought, которые помогают моделям структурировать ответ.
- Масштабирование и его эффекты:
Анализируются закономерности масштабирования — как увеличение числа параметров и использование более мощных аппаратных средств влияет на точность и способность моделей к рассуждению. Выявляются пределы, где дополнительные вычисления начинают давать менее заметное улучшение.
- Инновации в инференсе:
Статья рассматривает новые подходы к оптимизации процесса инференса, что особенно важно для применения LLM в реальном времени и на устройствах с ограниченными ресурсами. Поднимается вопрос балансировки между качеством ответов и затратами на вычисления.
- Практические выводы для исследований:
Сатья служит ориентиром, показывающим, какие направления развития (например, улучшение алгоритмов рассуждения, оптимизация инференс-методов) могут принести наибольший эффект при дальнейшем увеличении масштабов моделей. Это позволяет понять, куда двигаться в будущих исследованиях и как лучше интегрировать существующие технологии в практические приложения.
Отличное воскресенье чтиво📕
📌 Читать
#ai #ml #reasoning #llm
Основные моменты:
- Эволюция возможностей рассуждения:
В статье показано, как с увеличением размеров моделей и вычислительных ресурсов появляются «внезапные» способности, позволяющие моделям выполнять сложное логическое и пошаговое рассуждение. Это включает методы вроде chain-of-thought, которые помогают моделям структурировать ответ.
- Масштабирование и его эффекты:
Анализируются закономерности масштабирования — как увеличение числа параметров и использование более мощных аппаратных средств влияет на точность и способность моделей к рассуждению. Выявляются пределы, где дополнительные вычисления начинают давать менее заметное улучшение.
- Инновации в инференсе:
Статья рассматривает новые подходы к оптимизации процесса инференса, что особенно важно для применения LLM в реальном времени и на устройствах с ограниченными ресурсами. Поднимается вопрос балансировки между качеством ответов и затратами на вычисления.
- Практические выводы для исследований:
Сатья служит ориентиром, показывающим, какие направления развития (например, улучшение алгоритмов рассуждения, оптимизация инференс-методов) могут принести наибольший эффект при дальнейшем увеличении масштабов моделей. Это позволяет понять, куда двигаться в будущих исследованиях и как лучше интегрировать существующие технологии в практические приложения.
Отличное воскресенье чтиво
📌 Читать
#ai #ml #reasoning #llm
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Data Science
Forwarded from Data Science
Introduction to Graph Neural Networks: A Starting Point for Machine Learning Engineers
📓 Paper
@datascienceiot
📓 Paper
@datascienceiot
Forwarded from Machinelearning
Это подробный гайд, где описан процесс разработки приложения для автоматического обнаружения рукописных подписей в документах.
В итоге получился очень годный гайд, со множеством технических деталей.
Сравнительный анализ архитектур показал, что YOLOv8 - обеспечивает идеальный баланс между скоростью и точностью для данной задачи, достигая 94,74 % точности и 89,72 % после оптимизации гиперпараметров с помощью Optuna.
Достигнута высокая точность распознавания: mAP@50 – 94.50%, mAP@50-95 – 67.35%.
Итоговая модель демонстрирует сбалансированное соотношение между точностью, скоростью инференса и экономичностью ресурсов.
Статья демонстрирует, как грамотное сочетание современных архитектур обнаружения объектов, тщательная подготовка данных и оптимизация гиперпараметров позволяет создать эффективное и готовое к развёртыванию решение, очень рекомендуем прочесть ее полностью.
А здесь можно почитать описание семейства моделей Yolo.
#yolo #guide #detection #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
📌 Статья Google Research предлагает метод генерации синтетических данных с использованием дифференциально приватного вывода LLM, чтобы исключить утечки информации из исходного датасета.
Вот ключевые аспекты:
🎯 Цель
Создание синтетических данных, которые:
Сохраняют полезные статистические свойства оригинальных данных.
Гарантируют, что исходные данные нельзя восстановить из сгенерированных образцов.
🔧 Метод
Дифференциально приватный инференс:
Во время генерации текста LLM к выходным распределениям токенов добавляется шум (например, через механизм Гаусса).
Это гарантирует, что наличие/отсутствие отдельного примера в обучающих данных не влияет на результат.
Контроль приватности:
Параметры ε (эпсилон) и δ (дельта) задают уровень приватности.
Чем меньше ε, тем выше защита (например, ε=1–5).
Адаптация под LLM:
Оптимизация добавления шума для сохранения качества текста (согласованность, грамматика).
Использование калибровки шума в зависимости от чувствительности модели к входным данным.
🚀 Технические детали
Механизм шума: Шум добавляется к логам вероятностей модели перед выборкой токена.
Усечение градиентов: Для ограничения влияния отдельных примеров на обучение (если модель дообучается).
Аггрегирование запросов: Группировка запросов к модели для минимизации утечек через множественные обращения.
📊 Результаты
Качество данных: Синтетические данные сохраняют практическую применимость (например, для обучения downstream-моделей).
Приватность: Гарантируется формальная защита (ε < 5) без значительной деградации качества.
🛠 Применение
Обучение моделей на конфиденциальных данных (медицина, финансы).
Тестирование алгоритмов без доступа к реальным данным.
Совместное использование данных между организациями без риска утечек.
⚖️ Компромиссы
Качество vs. приватность: Чем ниже ε, тем хуже качество текста.
Вычислительные затраты: Добавление шума и проверка приватности увеличивают время инференса.
Итог:
Подход Google позволяет использовать LLM как «дифференциально приватный генератор», что открывает путь к этичному использованию ИИ в sensitive-доменах. Это прорыв в балансировке между полезностью данных и защитой приватности.
Читать
Вот ключевые аспекты:
🎯 Цель
Создание синтетических данных, которые:
Сохраняют полезные статистические свойства оригинальных данных.
Гарантируют, что исходные данные нельзя восстановить из сгенерированных образцов.
🔧 Метод
Дифференциально приватный инференс:
Во время генерации текста LLM к выходным распределениям токенов добавляется шум (например, через механизм Гаусса).
Это гарантирует, что наличие/отсутствие отдельного примера в обучающих данных не влияет на результат.
Контроль приватности:
Параметры ε (эпсилон) и δ (дельта) задают уровень приватности.
Чем меньше ε, тем выше защита (например, ε=1–5).
Адаптация под LLM:
Оптимизация добавления шума для сохранения качества текста (согласованность, грамматика).
Использование калибровки шума в зависимости от чувствительности модели к входным данным.
🚀 Технические детали
Механизм шума: Шум добавляется к логам вероятностей модели перед выборкой токена.
Усечение градиентов: Для ограничения влияния отдельных примеров на обучение (если модель дообучается).
Аггрегирование запросов: Группировка запросов к модели для минимизации утечек через множественные обращения.
📊 Результаты
Качество данных: Синтетические данные сохраняют практическую применимость (например, для обучения downstream-моделей).
Приватность: Гарантируется формальная защита (ε < 5) без значительной деградации качества.
🛠 Применение
Обучение моделей на конфиденциальных данных (медицина, финансы).
Тестирование алгоритмов без доступа к реальным данным.
Совместное использование данных между организациями без риска утечек.
⚖️ Компромиссы
Качество vs. приватность: Чем ниже ε, тем хуже качество текста.
Вычислительные затраты: Добавление шума и проверка приватности увеличивают время инференса.
Итог:
Подход Google позволяет использовать LLM как «дифференциально приватный генератор», что открывает путь к этичному использованию ИИ в sensitive-доменах. Это прорыв в балансировке между полезностью данных и защитой приватности.
Читать
Оптимизируя квантовые схемы, она помогает выполнять вычисления быстрее, чтобы экономить ресурсы и ускорять открытия. ↓
🎯 Читать
@machinelearning_books
Please open Telegram to view this post
VIEW IN TELEGRAM
Твой будущий работодатель уже на TechnoCareer! А ты успел зарегистрироваться?
25 марта в Москве — только один день, когда ТОП-компании ищут молодых специалистов. СИБУР, «Росатом», Сколтех, МТС, Марс и другие топ-компании соберутся на TechnoCareer, чтобы найти такого крутого эксперта, как ты! Прийти можно в любое время с 15:00 до 19:00.
• Ты — студент или выпускник технического, промышленного или естественно-научного направления?
• Хочешь оплачиваемую стажировку?
• Готов пройти тест-драйв собеседований?
• Любишь есть пиццу, получать призы и подарки?
Если ДА, тебе срочно нужно ухватить свой билет на TechnoCareer! Места заканчиваются, участие бесплатное https://vk.cc/cJUSrC?erid=2W5zFHVuVUL
25 марта в Москве — только один день, когда ТОП-компании ищут молодых специалистов. СИБУР, «Росатом», Сколтех, МТС, Марс и другие топ-компании соберутся на TechnoCareer, чтобы найти такого крутого эксперта, как ты! Прийти можно в любое время с 15:00 до 19:00.
• Ты — студент или выпускник технического, промышленного или естественно-научного направления?
• Хочешь оплачиваемую стажировку?
• Готов пройти тест-драйв собеседований?
• Любишь есть пиццу, получать призы и подарки?
Если ДА, тебе срочно нужно ухватить свой билет на TechnoCareer! Места заканчиваются, участие бесплатное https://vk.cc/cJUSrC?erid=2W5zFHVuVUL
HTML Embed Code: