🖥 GenAI Showcase — демонстрация использования MongoDB в контексте генеративного искусственного интеллекта!

🌟 Этот репозиторий включает в себя примеры для интеграции MongoDB с такими технологиями, как Retrieval-Augmented Generation (RAG) и различными моделями ИИ.

🔍 Основные функции репозитория:

🌟 Использование MongoDB как векторной базы данных и хранилища памяти для AI-решений.

🌟 Интеграция с популярными фреймворками, такими как LlamaIndex, Haystack и LangChain, а также моделями от OpenAI и Anthropic.

🌟 Примеры решений для конкретных отраслей, включая здравоохранение, финансы и электронную коммерцию.

🌟 Готовые сценарии для создания систем RAG и агентов на основе ИИ, таких как AI Research Assistant и AI Investment Researcher.

🔐 Лицензия: MIT

🖥 Github

@sqlhub

Как готовить данные для анализа с помощью ETL?

Чтобы освоить основы инжиниринга данных регистрируйтесь на бесплатный вебинар от Simulative 💬

Спикер Даниил Джепаров, lead analytics engineer в Сравни.ру, расскажет о том, как извлекать данные из разных источников, а затем преобразовывать и загружать их в хранилище.

Вы узнаете:

🟡 Что такое ETL и как он работает
🟡 Какие есть различия между пакетной и потоковой обработкой
🟡 Какие виды документации используют в дата-проектах
🟡 Как оценивать и поддерживать высокое качество данных
🟡 Как мониторить ETL-процессы

В конце вебинара вас ждет бонус от спикера — дорожная карта для аналитиков и инженеров с планом развития на middle-позицию 🎁

Встречаемся 4 декабря в 19:00 по мск. Успейте присоединиться по ссылке.

🥷 w3af — фреймворк для тестирования веб-приложений на уязвимости!

🌟 Он объединяет функции веб-сканера и инструмента для эксплуатации уязвимостей, предоставляя разработчикам и специалистам по безопасности возможность находить и анализировать потенциальные уязвимости в веб-приложениях и сервисах.

💡 Основные возможности — сканирование для обнаружения SQL-инъекций, XSS, CSRF и других распространенных уязвимостей, а также интеграция с Python для написания собственных плагинов и расширений.

🖥 Github

@sqlhub

🖥 hottg.com/haskell_tg - Haskell входит в число наиболее востребованных функциональных языков программирования.

В нашем новом канале, вы найдете множество уроков, книг и гайдов для погружения в этот мощный язык с нуля.

Отличная возможность не только выучить новый язык, но и возможность прокачать свои навыки программирования.

hottg.com/haskell_tg - стоит подписаться!

🔥 TypeORM — популярная библиотека ORM (Object-Relational Mapping) для работы с базами данных в TypeScript и JavaScript!

🌟 TypeORM поддерживает многие реляционные базы данных, включая PostgreSQL, MySQL, SQLite, MariaDB и нереляционную MongoDB. Библиотека позволяет разработчикам работать с базами данных, используя объекты и классы вместо написания SQL-запросов напрямую. Она поддерживает такие функции, как миграции, ленивую загрузку (lazy loading), отношения между сущностями и сложные запросы.

🔐 Лицензия: MIT

🖥 Github

@sqlhub

🖥 pgroll — это инструмент командной строки на Go с открытым исходным кодом, предназначенный для безопасной и обратимой миграции схем в PostgreSQL!

🌟 Основная задача проекта заключается в обеспечении миграций без простоя, когда изменения схемы применяются таким образом, чтобы и старая, и новая версии схемы оставались доступными для клиентских приложений. Это особенно полезно при внесении сложных изменений, требующих поддержания совместимости с уже работающими приложениями.

🌟 pgroll использует подход «расширить/сузить» (expand/contract), создавая виртуальные схемы на основе представлений поверх физических таблиц. Этот метод позволяет миграциям быть безопасными и минимизирует риски, такие как блокировки базы данных или прерывание работы приложений.

🌟 Инструмент поддерживает автоматическое заполнение данных для новых колонок, мгновенный откат изменений при возникновении проблем и работу с существующими схемами без необходимости начинать с нуля.

🔐 Лицензия: Apache-2.0

🖥 Github


@sqlhub

👣 Go Graph Seeder — CLI-инструмент, разработанный на языке Go, предназначенный для генерации случайных данных и заполнения графовых баз данных, совместимых с Gremlin!

🌟 Он позволяет пользователям создавать узлы и ребра с различными свойствами, используя JSON-конфигурационные файлы. Это упрощает процесс наполнения графовых баз данных случайными или тестовыми данными, что особенно полезно при разработке и тестировании приложений, работающих с графовыми структурами данных.

🖥 Github

@sqlhub

⚡️ Llama 3.3 70B.

Модель доступна в версии с 70 млрд параметров и оптимизирована для диалоговых сценариев использования на нескольких языках. Llama 3.3 превосходит многие доступные модели с открытым и закрытым исходным кодом по стандартным отраслевым бенчмаркам.

Llama 3.3 основана на оптимизированной архитектуре трансформера и использует авторегрессивный подход. Настройка модели включает SFT с RLHF для согласования с человеческими предпочтениями в отношении полезности и безопасности.

Модель была обучена на новом наборе общедоступных онлайн-данных, включающем более 15 триллионов токенов, с ограничением по свежести данных до декабря 2023 года.

Llama 3.3 поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки.

▶️ Пример инфренса на Transformers:

import transformers
import torch

model_id = "meta-llama/Llama-3.3-70B-Instruct"

pipeline = transformers.pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={"torch_dtype": torch.bfloat16},
    device_map="auto",
)

messages = [
    {"role": "system", "content": "You are a pirate chatbot who always responds in pirate speak!"},
    {"role": "user", "content": "Who are you?"},
]

outputs = pipeline(
    messages,
    max_new_tokens=256,
)
print(outputs[0]["generated_text"][-1])

📌Лицензирование: LLAMA 3.3 License.


🟡Модель
🟡Demo


@ai_machinelearning_big_data

#AI #ML #LLM #Llama3

🔥 Огромная бесплатная книга по SQL! (500+ страниц!)

🔗 Ссылка: *клик*

@sqlhub

🖥 postgres-r2-backup — решение для создания резервных копий базы данных PostgreSQL, интегрированное с облачным хранилищем Amazon S3 или аналогичными решениями (например, MinIO)!

🌟 Этот проект позволяет автоматизировать процесс создания бэкапа данных с PostgreSQL и хранить резервные копии в облаке, что упрощает управление данными и повышает безопасность.


🖥 Github

@sqlhub

🖥 Cloudberry — это проект с открытым исходным кодом от Apache, предназначенный для анализа и визуализации больших данных в реальном времени!

🌟 Он ориентирован на обработку и анализ данных, хранящихся в распределенных и облачных системах, с интеграцией возможностей визуализации, которые позволяют более эффективно работать с большими объемами данных. Одной из ключевых особенностей является тесная интеграция с базами данных, что делает Cloudberry удобным инструментом для аналитиков, работающих с большими и сложными наборами данных.

🌟 Основное внимание в Cloudberry уделяется обработке данных, хранящихся в распределенных базах данных, таких как HBase или Apache Cassandra, что позволяет эффективно обрабатывать и анализировать большие объемы информации. Проект поддерживает расширенные возможности по интеграции с такими системами, обеспечивая высокую производительность и масштабируемость. Cloudberry использует SQL-подобные запросы для извлечения данных из таких распределенных хранилищ и предоставляет интерфейсы для анализа и визуализации этих данных.

🌟 Кроме того, Cloudberry фокусируется на предоставлении простых инструментов для взаимодействия с данными и их представления в виде удобных графиков и отчетов. Это полезно для пользователей, которые хотят интегрировать аналитику с облачными хранилищами данных, используя мощные инструменты визуализации для анализа и принятия решений на основе больших данных.

🔐 Лицензия: Apache-2.0

🖥 Github

@sqlhub

🔥 Российские ученые представят рекордное количество работ на NeurIPS 2024 в Ванкувере.

Специалисты из AIRI подготовили к презентации 17 научных работ. Среди исследуемых тем — обновление крупнейшего в мире датасета для лекарственных молекул, оптимизация в машинном обучении, а также методы удешевления обучения AI-моделей.

Одна из работ, подготовленных совместно с Лабораторией искусственного интеллекта Сбера, изучает влияние эмоций на принятие решений нейросетями. По словам старшего вице-президента Сбера Андрея Белевцева, такой успех говорит о высокой конкурентоспособности отечественной науки в области AI на мировой арене.

@ai_machinelearning_big_data

#AI #LLM

🖥 Обучающая статья по SQL для начинающих! В ней подробно расписан синтаксис команды CREATE TABLE с различными примерами.

🔗 Ссылка: *клик*

@sqlhub

🖥 TypeDB — это база данных, предназначенная для работы со сложными связями и большими наборами данных!

🌟 Она использует язык запросов TypeQL, позволяющий описывать данные с высокой семантической детализацией. Основное отличие TypeDB — возможность моделировать и анализировать сложные отношения между объектами, что делает её подходящей для задач, связанных с исследованиями, обработкой графов знаний и построением интеллектуальных систем.

🌟 Система поддерживает концепции типизации данных, автоматическую дедукцию новых знаний и расширяемую структуру, что удобно для областей, требующих сложного анализа, например, биоинформатики и AI.

🔐 Лицензия: MPL-2.0

🖥 Github

@sqlhub

🖥 Обеспечение целостности данных в финансовых транзакциях: решение PostgreSQL для транзакций!

🌟 Когда речь идет о финансовых системах, целостность данных является одной из самых важных проблем. В среде финансовых транзакций сбои могут привести к потере денег, несоответствию остатков на счетах или даже нарушениям безопасности. Для обеспечения согласованности и безопасности данных необходимо использовать транзакции в базе данных. В этой статье мы рассмотрим, как транзакции в PostgreSQL помогают решать эти проблемы, с практическими примерами использования NestJS и Prisma для внедрения надежных решений.

🔗 Ссылка: *клик*

@sqlhub

🖥 Steampipe — инструмент с открытым исходным кодом, предназначенный для проведения запросов к облачным данным и API с помощью SQL!

💡 Он позволяет подключаться к различным облачным сервисам и выполнять SQL-запросы, чтобы извлекать, фильтровать и анализировать данные из таких сервисов, как AWS, Azure, Google Cloud, GitHub и других.

🔍 Основные возможности Steampipe:

🌟 SQL-интерфейс для работы с облачными данными. Steampipe преобразует облачные API в виртуальные таблицы, что позволяет использовать SQL-запросы для получения информации.

🌟 Подключение к множеству облачных сервисов. Он поддерживает такие провайдеры, как AWS, Azure, Google Cloud, Kubernetes, GitHub и другие, позволяя вам работать с данными в этих сервисах через единый интерфейс.

🌟 Плагины и расширяемость. Steampipe поддерживает расширение с помощью плагинов, что позволяет подключать новые источники данных и интеграции.

🌟 Безопасность и аудит. Инструмент помогает анализировать и проверять конфигурации облачных сервисов, а также отслеживать и анализировать события в облаке.

🔐 Лицензия: AGPL-3.0

🖥 Github

@sqlhub

📖 postgres_for_everything — полезный репозиторий, который собирает примеры использования PostgreSQL для различных задач, таких как очереди сообщений, аналитика, контроль доступа, GIS, временные ряды, поиск, кэширование и многое другое!

🌟 Цель проекта — показать универсальность PostgreSQL как инструмента для упрощения разработки и ускорения процессов, используя одну базу данных для множества нужд.

🖥 Github

@sqlhub

🖥 EventStore — встраиваемая реализация хранилища событий, написанная на Go!

🌟 Она использует библиотеку GORM для работы с базами данных, такими как SQLite и PostgreSQL. Функции включают сохранение событий в потоки, их чтение, подписку на события в реальном времени и создание отказоустойчивых проекций для построения моделей чтения. Инструмент ориентирован на применение в архитектурах, базирующихся на event sourcing и DDD (Domain-Driven Design).

🔐 Лицензия: MIT

🖥 Github

@sqlhub

🖥 Полный справочник по SQL!

🔗 Ссылка: *клик*

@sqlhub