🖥 PDF to Podcas- еще один проект преобразования текста в подкасты от NVIDIA

Он предназначенный для преобразования PDF-документов в персонализированный аудиоконтент с использованием технологий генеративного ИИ.

Ключевые компоненты:

- Инструмент преобразования PDF в Markdown: Извлекает содержимое из PDF-файлов и конвертирует его в формат Markdown для дальнейшей обработки.

- Сервис создания монологов или диалогов: Обрабатывает Markdown-контент, обогащая или структурируя его для создания естественного аудиоконтента.

- Сервис преобразования текста в речь (TTS): Преобразует обработанный контент в высококачественную речь.

Преимущества использования:

- Персонализация: Возможность адаптации решения под специфические потребности организации, включая брендинг, аналитику, реальное время перевода или интерфейс цифрового человека для повышения вовлеченности.
- Конфиденциальность: Решение соответствует требованиям конфиденциальности на всех этапах обработки данных.
- Гибкость: Модульная структура позволяет добавлять дополнительные функции, соответствующие потребностям пользователей.

- Микросервисы NVIDIA NIM используются для развертывания и масштабирования моделей на GPU.

- Модели Llama 3.1 применяются для обработки и генерации текста.

- Langchain используется для обработки и интеграции данных.

- Docling применяется для парсинга документов.

- ElevenLabs предоставляет сервисы преобразования текста в речь.

Лицензирование:
Использование моделей в этом проекте регулируется NVIDIA AI Foundation Models Community License.

▪ Github: https://github.com/NVIDIA-AI-Blueprints/pdf-to-podcast
▪Project: build.nvidia.com/nvidia/pdf-to-podcast

@ai_machinelearning_big_data


#nim #tts #pdftopodcast

🌟 scGPT-spatial: модель для анализа данных о пространственной организации клеток в тканях.

scGPT-spatial - расширенная версия модели scGPT в помощь ученым-биологам для анализа пространственной транскриптомики. Основная цель scGPT-spatial — интегрировать информацию о пространственной локализации клеток и их транскриптомных профилях с знаниями scGPT для расширения понимания организации тканей и взаимодействия клеток в микроокружении.

scGPT-spatial обучалась с с учётом пространственных координат на наборе данных SpatialHuman30M (30 миллионов клеток и спотов из 4 протоколов секвенирования: Visium, Visium HD, MERFISH и Xenium) и использует архитектуру MoE.

В тестах scGPT-spatial показала отличные результаты в задачах кластеризации клеточных типов, деконволюции спотов и импутации генной экспрессии. В экспериментах на интеграцию данных из нескольких слайдов и модальностей модель обошла методы PCA и Seurat v4, достигнув показателя AvgBIO 0.86.

В задаче деконволюции клеточных типов scGPT-spatial превзошла Tangram и Cell2location, со средним Macro F1 в 0.58, а медианный коэффициент корреляции Пирсона в импутации генной экспрессии составил значение 0.6.

Веса модели опубликованы в открытом доступе, а в репозитории проекта на Github - подробная инструкция по настройке окружения для scGPT и ipynb демо-ноутбук инференса.


📌Лицензирование

🟢Код : MIT License.
🟠Модель: CC-BY-4.0 License.


🟡Модель
🟡Техотчет
🖥GitHub

@ai_machinelearning_big_data

#AI #ML #MedML #ScGPT

✔️ 3 день недели Опенсорса от DeepSeek

⭐️ DeepGEMM — это не просто очередная библиотека для матричных умножений, а настоящий «мастер-класс» по оптимизации FP8 GEMM для новейших GPU.

Проект написан на CUDA и рассчитан исключительно на использование тензорных ядер архитектуры NVIDIA Hopper, что уже само по себе делает его очень современным 🖥

В основе DeepGEMM лежит идея максимально эффективного выполнения операций умножения матриц с использованием 8-битной точности.

Для решения проблемы накопления в FP8 (которое может давать неточные результаты) разработчики внедрили двухуровневое накопление, которое использует возможности CUDA-ядра для повышения точности без потери производительности.

Что действительно радует – это минимализм кода.

✔ Ядро библиотеки представлено всего в одном ключевом модуле, состоящем примерно из 300 строк, что позволяет легко разобраться в его работе и даже внести собственные улучшения.

При этом все ядра компилируются «на лету» с помощью легковесного JIT-компилятора, так что нет долгого этапа сборки при установке.

DeepGEMM поддерживает разные режимы работы: обычные GEMM для плотных моделей, а также группированные операции для моделей типа Mix-of-Experts, где требуется обрабатывать данные в нескольких форматах – как в «континуальном», так и в «masked» виде. Это особенно актуально для современных решений в области глубокого обучения.

Оптимизации, заложенные в DeepGEMM, включают использование новых функций Hopper, таких как Tensor Memory Accelerator (TMA) для асинхронной передачи данных, а также тонкую настройку блоковых размеров и оптимизацию инструкций FFMA для лучшего перекрытия вычислений и загрузки данных. Результаты говорят сами за себя: производительность этой библиотеки на ряде тестовых примеров сравнима или даже превосходит решения, построенные на базе CUTLASS.

DeepGEMM – это лаконичный и эффективный инструмент, который может послужить отличной базой для исследований и практических разработок в области ускорения вычислений для глубокого обучения.

▪ Github


#ai #deepseek #opensource #DeepEP #OpenSourceWeek:

✔️ 5 день недели опенсорса: и новый релиз от DeepSeek

DeepSeek представили Fife-Flyer File System (3FS) – параллельную файловую систему, способную использовать всю пропускную способность современных SSD и RDMA-сетей.

▶️ Это решение показывает впечатляющие результаты:

• 6.6 TiB/s – суммарная скорость чтения в 180-узловом кластере
• 3.66 TiB/min – пропускная способность на GraySort в 25-узловом кластере
• 40+ GiB/s – пик производительности KVCache lookup на одном клиентском узле

Архитектура 3FS дезагрегирована и обеспечивает строгую согласованность, что делает её незаменимой для задач предварительной обработки данных, загрузки датасетов, сохранения контрольных точек и быстрого поиска эмбеддингов во время инференса (V3/R1).

Показатели 3FS демонстрируют, что будущее обработки данных лежит в использовании распределенных и дезагрегированных архитектур, где каждая компонента системы работает на максимуме своих возможностей.

В дополнение к Fife-Flyer File System, представлен Smallpond – фреймворк для обработки данных на базе этой системы, который помогает ещё больше упростить рабочие процессы с большими объёмами информации.

▪3FS → github.com/deepseek-ai/3FS
▪Smallpond → github.com/deepseek-ai/smallpond

@ai_machinelearning_big_data


#OpenSourceWee #DeepSeek #Smallpond #3FS #opensource