Channel: Big data world
Развертывание моделей машинного обучения: пошаговое руководство
Давайте рассмотрим процесс развертывания моделей в производстве.
https://www.kdnuggets.com/deploying-machine-learning-models-a-step-by-step-tutorial
Давайте рассмотрим процесс развертывания моделей в производстве.
https://www.kdnuggets.com/deploying-machine-learning-models-a-step-by-step-tutorial
KDnuggets
Deploying Machine Learning Models: A Step-by-Step Tutorial - KDnuggets
Let us explore the process of deploying models in production.
Хотите изучить квантование в модели большого языка?
Простое руководство, которое научит вас интуитивному квантованию с помощью простого математического вывода и кодирования в PyTorch.
https://pub.towardsai.net/want-to-learn-quantization-in-the-large-language-model-57f062d2ec17
Простое руководство, которое научит вас интуитивному квантованию с помощью простого математического вывода и кодирования в PyTorch.
https://pub.towardsai.net/want-to-learn-quantization-in-the-large-language-model-57f062d2ec17
Medium
Want to Learn Quantization in The Large Language Model?
A simple guide to teach you intuition about quantization with simple mathematical derivation and coding in PyTorch.
Я тебя с вертухи сломаю, если ещё раз заговоришь об ИИ
Последние инновации в сфере ИИ, наиболее примечательными из которых стали проекты наподобие GPT-4, очевидно, могут иметь далеко идущие последствия для общества: от утопического избавления от монотонного труда до антиутопического ущерба для работы художников в капиталистическом обществе, а также до экзистенциальных угроз самому человечеству.
Лично я получил формальное образование дата-саентиста, даже выиграв в высококонкурентном конкурсе по машинному обучению в одном из лучших университетов Австралии и написав магистерскую, для которой создал в MATLAB с нуля собственные библиотеки. Я не гений в этой сфере, но, очевидно, лучше большинства конкурентов, то есть практиков вроде меня; я не могу, сидя в пещере, создавать собственные библиотеки на C, но умею читать учебники, реализовывать готовые решения на языках высокого уровня и использовать библиотеки, написанные элитными организациями.
Поэтому с глубочайшим сожалением должен объявить, что следующий человек, который начнёт говорить мне о реализации ИИ, получит от меня сеанс живительных процедур над позвоночником; иными словами, я сломаю ему нафиг шею. Мне очень-очень жаль. https://habr.com/ru/articles/823584/
Последние инновации в сфере ИИ, наиболее примечательными из которых стали проекты наподобие GPT-4, очевидно, могут иметь далеко идущие последствия для общества: от утопического избавления от монотонного труда до антиутопического ущерба для работы художников в капиталистическом обществе, а также до экзистенциальных угроз самому человечеству.
Лично я получил формальное образование дата-саентиста, даже выиграв в высококонкурентном конкурсе по машинному обучению в одном из лучших университетов Австралии и написав магистерскую, для которой создал в MATLAB с нуля собственные библиотеки. Я не гений в этой сфере, но, очевидно, лучше большинства конкурентов, то есть практиков вроде меня; я не могу, сидя в пещере, создавать собственные библиотеки на C, но умею читать учебники, реализовывать готовые решения на языках высокого уровня и использовать библиотеки, написанные элитными организациями.
Поэтому с глубочайшим сожалением должен объявить, что следующий человек, который начнёт говорить мне о реализации ИИ, получит от меня сеанс живительных процедур над позвоночником; иными словами, я сломаю ему нафиг шею. Мне очень-очень жаль. https://habr.com/ru/articles/823584/
Хабр
Я тебя с вертухи сломаю, если ещё раз заговоришь об ИИ
Последние инновации в сфере ИИ, наиболее примечательными из которых стали проекты наподобие GPT-4, очевидно, могут иметь далеко идущие последствия для общества: от утопического избавления от...
🎯Ищете работу в ИТ? Присоединяйтесь к нашему тг-каналу EKLEFT JOB и будьте в курсе лучших вакансий!
В нашем канале вы найдете:
- Эксклюзивные вакансии в ТОП компаниях из производственной, банковской и сферы ритейла
- Свежие вакансии, срок каждой не более 1-2 дней
Откликаясь на вакансию, вы попадаете сразу к нашему рекрутеру, который сразу расскажет подробности вакансии.
Подпишитесь на канал и начните карьеру в ведущих ИТ-компаниях уже сегодня.
Ваше будущее в ИТ начинается здесь!
В нашем канале вы найдете:
- Эксклюзивные вакансии в ТОП компаниях из производственной, банковской и сферы ритейла
- Свежие вакансии, срок каждой не более 1-2 дней
Откликаясь на вакансию, вы попадаете сразу к нашему рекрутеру, который сразу расскажет подробности вакансии.
Подпишитесь на канал и начните карьеру в ведущих ИТ-компаниях уже сегодня.
Ваше будущее в ИТ начинается здесь!
Эта работа представляет Depth Anything V2. Он значительно превосходит V1 по детализации и надежности. По сравнению с моделями на основе SD, он имеет более высокую скорость вывода, меньшее количество параметров и более высокую точность глубины.
https://github.com/DepthAnything/Depth-Anything-V2
https://github.com/DepthAnything/Depth-Anything-V2
GitHub
GitHub - DepthAnything/Depth-Anything-V2: [NeurIPS 2024] Depth Anything V2. A More Capable Foundation Model for Monocular Depth…
[NeurIPS 2024] Depth Anything V2. A More Capable Foundation Model for Monocular Depth Estimation - DepthAnything/Depth-Anything-V2
Оптимизация машинного обучения с помощью Optuna
Как точно настроить каждый алгоритм машинного обучения в Python. Полное руководство по оптимизации машинного обучения с помощью Optuna для достижения отличных характеристик моделей.
https://towardsdatascience.com/machine-learning-optimization-with-optuna-57593d700e52
Как точно настроить каждый алгоритм машинного обучения в Python. Полное руководство по оптимизации машинного обучения с помощью Optuna для достижения отличных характеристик моделей.
https://towardsdatascience.com/machine-learning-optimization-with-optuna-57593d700e52
Unique3D: высококачественное и эффективное создание 3D-сетки из одного изображения
https://github.com/AiuniAI/Unique3D
https://github.com/AiuniAI/Unique3D
GitHub
GitHub - AiuniAI/Unique3D: [NeurIPS 2024] Unique3D: High-Quality and Efficient 3D Mesh Generation from a Single Image
[NeurIPS 2024] Unique3D: High-Quality and Efficient 3D Mesh Generation from a Single Image - AiuniAI/Unique3D
Короткие размышления об инженерии ИИ и «проваленных проектах ИИ»
Традиционная инженерия ML была очень сложной. Она все еще очень сложная. Я думаю, что одной из самых сложных задач в традиционном жизненном цикле ML является подготовка данных… Сегодня прототипирование приложений ИИ происходит быстрее, чем когда-либо, и гораздо больше людей могут создавать приложения ИИ. Можно утверждать, что LLM предложили (несколько обманчивую) возможность упростить подготовку данных — полностью обойдя ее… Генеративный ИИ и LLM немного интереснее в том смысле, что у большинства людей нет никакой формы систематической оценки перед отправкой
https://www.sh-reya.com/blog/ai-engineering-short/
Традиционная инженерия ML была очень сложной. Она все еще очень сложная. Я думаю, что одной из самых сложных задач в традиционном жизненном цикле ML является подготовка данных… Сегодня прототипирование приложений ИИ происходит быстрее, чем когда-либо, и гораздо больше людей могут создавать приложения ИИ. Можно утверждать, что LLM предложили (несколько обманчивую) возможность упростить подготовку данных — полностью обойдя ее… Генеративный ИИ и LLM немного интереснее в том смысле, что у большинства людей нет никакой формы систематической оценки перед отправкой
https://www.sh-reya.com/blog/ai-engineering-short/
Sh-Reya
Short Musings on AI Engineering and "Failed AI Projects"
Наслаждайтесь волшебством моделей Diffusion!
DiffSynth Studio — это движок Diffusion. Мы реструктурировали архитектуры, включая Text Encoder, UNet, VAE и другие, сохранив совместимость с моделями сообщества открытого исходного кода и одновременно повысив вычислительную производительность. Мы предоставляем много интересных функций. Наслаждайтесь волшебством моделей Diffusion!
https://github.com/modelscope/DiffSynth-Studio
DiffSynth Studio — это движок Diffusion. Мы реструктурировали архитектуры, включая Text Encoder, UNet, VAE и другие, сохранив совместимость с моделями сообщества открытого исходного кода и одновременно повысив вычислительную производительность. Мы предоставляем много интересных функций. Наслаждайтесь волшебством моделей Diffusion!
https://github.com/modelscope/DiffSynth-Studio
GitHub
GitHub - modelscope/DiffSynth-Studio: Enjoy the magic of Diffusion models!
Enjoy the magic of Diffusion models! Contribute to modelscope/DiffSynth-Studio development by creating an account on GitHub.
Яндекс разработал и опубликовал библиотеку YaFSDP — собственное решение для ускорения обучения больших языковых моделей.
При обучении LLM возникает проблема сложности вычислений и коммуникаций GPU в кластере. Большие расчёты должны синхронизироваться на разных видеокартах, а для этого сами устройства должны обмениваться информацией, чтобы не считать два раза одно и то же. Если GPU делают это неэффективно, то они теряют до 30% недоутилизированной мощности.
Библиотека YaFSDP позволяет ускорить обучение больших языковых моделей до 25%. С её помощью можно тратить меньше времени на обучение и расходовать меньше ресурсов графических процессоров (GPU). Подробнее о том, как менялись подходы к оптимизации ресурсов можно прочитать в статье на «Хабре».
Реклама. ООО "ЯНДЕКС". ИНН 7736207543.
При обучении LLM возникает проблема сложности вычислений и коммуникаций GPU в кластере. Большие расчёты должны синхронизироваться на разных видеокартах, а для этого сами устройства должны обмениваться информацией, чтобы не считать два раза одно и то же. Если GPU делают это неэффективно, то они теряют до 30% недоутилизированной мощности.
Библиотека YaFSDP позволяет ускорить обучение больших языковых моделей до 25%. С её помощью можно тратить меньше времени на обучение и расходовать меньше ресурсов графических процессоров (GPU). Подробнее о том, как менялись подходы к оптимизации ресурсов можно прочитать в статье на «Хабре».
Реклама. ООО "ЯНДЕКС". ИНН 7736207543.
Обнаружение галлюцинаций в больших языковых моделях с использованием семантической энтропии
Большие языковые модели (LLM), такие как ChatGPT и Gemini, часто генерируют ложные или необоснованные результаты, создавая риски в таких областях, как юриспруденция, журналистика и медицина. Новый статистический метод, использующий оценщики неопределенности на основе энтропии, может обнаруживать эти «галлюцинации», оценивая неопределенность сгенерированного значения, а не конкретные последовательности слов, что повышает надежность, не требуя данных, специфичных для конкретной задачи. https://www.nature.com/articles/s41586-024-07421-0
Большие языковые модели (LLM), такие как ChatGPT и Gemini, часто генерируют ложные или необоснованные результаты, создавая риски в таких областях, как юриспруденция, журналистика и медицина. Новый статистический метод, использующий оценщики неопределенности на основе энтропии, может обнаруживать эти «галлюцинации», оценивая неопределенность сгенерированного значения, а не конкретные последовательности слов, что повышает надежность, не требуя данных, специфичных для конкретной задачи. https://www.nature.com/articles/s41586-024-07421-0
Nature
Detecting hallucinations in large language models using semantic entropy
Nature - Hallucinations (confabulations) in large language model systems can be tackled by measuring uncertainty about the meanings of generated responses rather than the text itself to improve...
Регрессия Пуассона против линейной регрессии
Линейная регрессия — не единственная линейная модель.
https://blog.dailydoseofds.com/p/poisson-regression-vs-linear-regression
Линейная регрессия — не единственная линейная модель.
https://blog.dailydoseofds.com/p/poisson-regression-vs-linear-regression
Dailydoseofds
Poisson Regression vs. Linear Regression
Linear regression is not the only linear model.
Изучите тонкую настройку трансформатора и сегментируйте что угодно
https://towardsdatascience.com/learn-transformer-fine-tuning-and-segment-anything-481c6c4ac802
https://towardsdatascience.com/learn-transformer-fine-tuning-and-segment-anything-481c6c4ac802
Medium
Learn Transformer Fine-Tuning and Segment Anything
Train Meta’s SAM to segment high fidelity masks for any domain
Машинное обучение на устройстве с TensorFlow Lite📲
https://medium.com/@akshaynagamalla23/on-device-machine-learning-with-tensorflow-lite-ec4544acfb50
https://medium.com/@akshaynagamalla23/on-device-machine-learning-with-tensorflow-lite-ec4544acfb50
Medium
On-Device Machine Learning with TensorFlow Lite📲
At Sangraha360, we’re at the forefront of mobile cybersecurity, constantly exploring new frontiers with cutting-edge federated learning…
Метаобучение синтезу текста в речь на более чем 7000 языках
https://github.com/digitalphonetics/ims-toucan
https://github.com/digitalphonetics/ims-toucan
GitHub
GitHub - DigitalPhonetics/IMS-Toucan: Controllable and fast Text-to-Speech for over 7000 languages!
Controllable and fast Text-to-Speech for over 7000 languages! - DigitalPhonetics/IMS-Toucan
От «голого железа» до модели 70B: настройка инфраструктуры и скрипты
https://imbue.com/research/70b-infrastructure
https://imbue.com/research/70b-infrastructure
Imbue
From bare metal to a 70B model: infrastructure set-up and scripts
We would like to thank Voltage Park, Dell, H5, and NVIDIA for their invaluable partnership and help with setting up our cluster. A special…
Как я освоил структуры данных и алгоритмы
https://blog.algomaster.io/p/how-i-mastered-data-structures-and-algorithms
https://blog.algomaster.io/p/how-i-mastered-data-structures-and-algorithms
blog.algomaster.io
How I Mastered Data Structures and Algorithms
#16 How I mastered DSA
Оживляем хоккей с помощью ИИ: отслеживание игроков с помощью компьютерного зрения
Используя PyTorch, методы компьютерного зрения и сверточную нейронную сеть (CNN), я работал над моделью, которая отслеживает игроков, команды и базовую статистику производительности.
https://towardsdatascience.com/spicing-up-ice-hockey-with-ai-player-tracking-with-computer-vision-ce9ceec9122a
Изучите мудрость LSTM, ведущую к xLSTM — вероятному конкуренту современных LLM
https://towardsdatascience.com/deep-dive-into-lstms-xlstms-by-hand-%EF%B8%8F-c33e638bebb1
Используя PyTorch, методы компьютерного зрения и сверточную нейронную сеть (CNN), я работал над моделью, которая отслеживает игроков, команды и базовую статистику производительности.
https://towardsdatascience.com/spicing-up-ice-hockey-with-ai-player-tracking-with-computer-vision-ce9ceec9122a
Изучите мудрость LSTM, ведущую к xLSTM — вероятному конкуренту современных LLM
https://towardsdatascience.com/deep-dive-into-lstms-xlstms-by-hand-%EF%B8%8F-c33e638bebb1
Medium
Spicing up Ice Hockey with AI: Player Tracking with Computer Vision
Using PyTorch, computer vision techniques, and a CNN, I worked on a model that tracks players, teams, and basic performance statistics
This media is not supported in your browser
VIEW IN TELEGRAM
Оживите портреты!
Portrait Animation стремится синтезировать реалистичное видео из одного исходного изображения, используя его в качестве эталона внешнего вида, с движением (то есть выражениями лица и позой головы), полученным из движущегося видео, аудио, текста или генерации. Вместо того, чтобы следовать основным методам, основанным на диффузии, мы исследуем и расширяем потенциал фреймворка, основанного на неявных ключевых точках, который эффективно уравновешивает вычислительную эффективность и управляемость.
https://github.com/KwaiVGI/LivePortrait
Portrait Animation стремится синтезировать реалистичное видео из одного исходного изображения, используя его в качестве эталона внешнего вида, с движением (то есть выражениями лица и позой головы), полученным из движущегося видео, аудио, текста или генерации. Вместо того, чтобы следовать основным методам, основанным на диффузии, мы исследуем и расширяем потенциал фреймворка, основанного на неявных ключевых точках, который эффективно уравновешивает вычислительную эффективность и управляемость.
https://github.com/KwaiVGI/LivePortrait
Принципы обучения с подкреплением: введение в Python
https://machinelearningmastery.com/principles-of-reinforcement-learning-an-introduction-with-python
https://machinelearningmastery.com/principles-of-reinforcement-learning-an-introduction-with-python
MachineLearningMastery.com
Principles of Reinforcement Learning: An Introduction with Python - MachineLearningMastery.com
Reinforcement Learning (RL) is a type of machine learning. It trains an agent to make decisions by interacting with an environment. This article covers the basic concepts of RL. These include states, actions, rewards, policies, and the Markov Decision Process…
HTML Embed Code: