Channel: Data Science | Machinelearning [ru]
Работаете с ML?
19 июля в Москве пройдет Turbo ML Conf от группы Т-Технологий. Приходите за опытом и знаниями, которые обычно остаются внутри команд. Полезно тем, кто давно работает с AI-продуктами.
Узнаете больше про NLP, Research, RnD, LLM Applications & Copilots, RecSys, CV, Speech от экспертов Т-Банка, Сбера, Яндекса и других компаний.
Будет много общения, игр, активностей и даже создание комикса.
Участие бесплатное. А подробности тут
19 июля в Москве пройдет Turbo ML Conf от группы Т-Технологий. Приходите за опытом и знаниями, которые обычно остаются внутри команд. Полезно тем, кто давно работает с AI-продуктами.
Узнаете больше про NLP, Research, RnD, LLM Applications & Copilots, RecSys, CV, Speech от экспертов Т-Банка, Сбера, Яндекса и других компаний.
Будет много общения, игр, активностей и даже создание комикса.
Участие бесплатное. А подробности тут
❤3
Разбираемся, почему Stack Overflow теряет аудиторию: виноваты ли ИИ, UX или жадность? Плюс — что делает администрация и что ждёт разработчиков в пост-SO эпоху.
Читать...
Please open Telegram to view this post
VIEW IN TELEGRAM
❤4👎2⚡1
Разбор отчёта о соревнованиях по ML за 2024 год: кто победил, как и почему. Без мотивационных цитат — только конкретные приёмы, модели и стратегии, которые реально приносят $22 млн.
Читать...
Please open Telegram to view this post
VIEW IN TELEGRAM
❤3⚡1
Создайте Python-скрипт, который читает большой CSV-файл построчно, фильтрует строки по заданному критерию и подсчитывает агрегированные данные на основе указанного столбца. Скрипт должен эффективно обрабатывать файл, используя потоковое чтение (без загрузки файла целиком в память) и выводить итоговую статистику в консоль.
•
python process_data.py data.csv age 30
— фильтрует строки, где значение в столбце age
больше 30
, и подсчитывает общее количество таких записей и среднее значение в другом числовом столбце, например, salary
.Решение задачи
import csv
import sys
def process_large_csv(file_path, filter_column, threshold, aggregate_column):
count = 0
total_sum = 0.0
with open(file_path, 'r', encoding='utf-8') as file:
reader = csv.DictReader(file)
for row in reader:
# Преобразование значений для фильтрации и агрегации
try:
filter_value = float(row[filter_column])
aggregate_value = float(row[aggregate_column])
except ValueError:
continue # Пропускаем строки с некорректными данными
# Фильтрация строк по заданному условию
if filter_value > threshold:
count += 1
total_sum += aggregate_value
# Вывод итоговой статистики
if count > 0:
average = total_sum / count
print(f"Обработано записей: {count}")
print(f"Среднее значение {aggregate_column} для записей, где {filter_column} > {threshold}: {average:.2f}")
else:
print("Записи, соответствующие условиям фильтрации, не найдены.")
if __name__ == "__main__":
if len(sys.argv) < 5:
print("Использование: python process_data.py <file_path> <filter_column> <threshold> <aggregate_column>")
sys.exit(1)
file_path = sys.argv[1]
filter_column = sys.argv[2]
threshold = float(sys.argv[3])
aggregate_column = sys.argv[4]
process_large_csv(file_path, filter_column, threshold, aggregate_column)
Please open Telegram to view this post
VIEW IN TELEGRAM
⚡2❤2
• Построение базы знаний компании и поиска документов на LLM и RAG
• Что побуждает LLM врать и как этого избежать в своих продуктах
• Ломаем капчу 4Chan
• На чём учатся современные модели машинного перевода: опыт команды Яндекс Переводчика
• Gemini вырывается вперед, Китай спамит моделями, в Minecraft запустили AI-агентов: главные события ноября в сфере ИИ
Please open Telegram to view this post
VIEW IN TELEGRAM
⚡2❤1
This media is not supported in your browser
VIEW IN TELEGRAM
Из окон офисов VK — самые красивые закаты. А в самих офисах обитают самые любимые коллеги!
Ребята не только делают сервисы VK быстрее и удобнее, но и любят делиться знаниями. Совсем скоро они проведут открытый Java AI-митап и расскажут о том, как мы масштабируем процессы, а ещё поделятся фишками, которые стоят за сервисами VK.
Откликайтесь, если откликается!
Ребята не только делают сервисы VK быстрее и удобнее, но и любят делиться знаниями. Совсем скоро они проведут открытый Java AI-митап и расскажут о том, как мы масштабируем процессы, а ещё поделятся фишками, которые стоят за сервисами VK.
Откликайтесь, если откликается!
👎12❤1
Автор исследует, почему нейросети пока плохо отличают ИИ-тексты от человеческих, и делится, что реально работает (или не очень), если вы вдруг решите их «перехитрить».
Читать...
Please open Telegram to view this post
VIEW IN TELEGRAM
⚡1❤1
Обновил библиотеку, всё сломалось, и теперь ты в дебаге на два часа? Классика.
Please open Telegram to view this post
VIEW IN TELEGRAM
⚡2❤1
RDS — это про то, как машинке выбрать лучший вариант уведомления или карточки, чтобы ты вернулся. Объясняем, как он усиливает ML-модели и растит вовлечённость пользователей.
Читать...
Please open Telegram to view this post
VIEW IN TELEGRAM
❤5⚡1
Открытые онлайн-уроки в Центральном университете!
🎓 Тебя ждут лекции от ведущих преподавателей Центрального университета, а также возможность попасть на буткемп, сертификат о прохождении и тиражный мерч.
💻 Последняя лекция 9 июля — можно подключиться в любой момент.
Не упусти шанс — регистрируйся уже сейчас!
Реклама. АНО ВО "Центральный университет", ИНН 7743418023, erid:2RanynR6Nmo
🎓 Тебя ждут лекции от ведущих преподавателей Центрального университета, а также возможность попасть на буткемп, сертификат о прохождении и тиражный мерч.
💻 Последняя лекция 9 июля — можно подключиться в любой момент.
Не упусти шанс — регистрируйся уже сейчас!
Реклама. АНО ВО "Центральный университет", ИНН 7743418023, erid:2RanynR6Nmo
❤1👍1👎1
Автор копает, почему ИИ фантазирует, как это мешает в работе и чем тут помогут промпты. В финале — гайд, как писать запросы без сюрпризов.
Читать...
Please open Telegram to view this post
VIEW IN TELEGRAM
⚡1❤1
У вас есть список действий пользователей на платформе. Каждое действие представлено словарём с полями
"user_id"
, "action"
, и "timestamp"
. Нужно реализовать функцию, которая определит, является ли пользователь "уникальным".Уникальный пользователь — это тот, кто:
• совершал более 3 действий,
• все действия происходили в разные дни,
• не совершал одинаковые действия дважды.
Верните список
user_id
, соответствующих этому критерию.Решение задачи
from collections import defaultdict
from datetime import datetime
def find_unique_users(logs):
activity = defaultdict(lambda: {"actions": set(), "days": set(), "count": 0})
for log in logs:
user = log["user_id"]
action = log["action"]
date = datetime.fromisoformat(log["timestamp"]).date()
activity[user]["actions"].add(action)
activity[user]["days"].add(date)
activity[user]["count"] += 1
result = []
for user, data in activity.items():
if (
data["count"] > 3 and
len(data["days"]) == data["count"] and
len(data["actions"]) == data["count"]
):
result.append(user)
return result
# Пример использования
logs = [
{"user_id": 1, "action": "login", "timestamp": "2023-05-01T10:00:00"},
{"user_id": 1, "action": "view", "timestamp": "2023-05-02T11:00:00"},
{"user_id": 1, "action": "click", "timestamp": "2023-05-03T12:00:00"},
{"user_id": 1, "action": "logout", "timestamp": "2023-05-04T13:00:00"},
{"user_id": 2, "action": "login", "timestamp": "2023-05-01T10:00:00"},
{"user_id": 2, "action": "login", "timestamp": "2023-05-01T11:00:00"},
{"user_id": 2, "action": "click", "timestamp": "2023-05-01T12:00:00"},
]
print(find_unique_users(logs)) # Ожидаемый результат: [1]
Please open Telegram to view this post
VIEW IN TELEGRAM
⚡2❤2
История о том, как в текущем моменте истории, по сути любой разработчик может в одиночку задизраптить любой вертикальный рынок и даже отрасль.
Читать...
Please open Telegram to view this post
VIEW IN TELEGRAM
❤2⚡1
💡 77% ИТ-руководителей уже знают, что такое Data Lakehouse. А вы?
🚀 TAdviser и DIS Group выпустили первое трендвотчинг-исследование рынка Data Lakehouse в России.
💧Data Lakehouse (озеро-хранилище данных) - это современная архитектура данных, объединяющая преимущества Data Lake (гибкость хранения любых типов данных) и Data Warehouse (высокая производительность и управляемость)
Вот ключевые цифры:
✅ 77% ИТ-руководителей знакомы с концепцией Data Lakehouse
✅ 41% компаний уже мигрировали с классического Data Warehouse на Lakehouse
✅ 85% используют Data Lakehouse как основу для проектов ИИ
🔍 В исследовании:
– Как меняется подход к данным в России
– Зачем компаниям Lakehouse, а не просто DWH
– Как Data Lakehouse становится базой для AI-проектов
– Что говорят CIO крупнейших организаций
📈 Почему это важно?Data Lakehouse — это не просто тренд, а ответ на вызовы хранения, скорости доступа и масштабирования данных в бизнесе.
👉🏻 Скачать полное исследование по ссылке
#реклама
О рекламодателе
🚀 TAdviser и DIS Group выпустили первое трендвотчинг-исследование рынка Data Lakehouse в России.
💧Data Lakehouse (озеро-хранилище данных) - это современная архитектура данных, объединяющая преимущества Data Lake (гибкость хранения любых типов данных) и Data Warehouse (высокая производительность и управляемость)
Вот ключевые цифры:
✅ 77% ИТ-руководителей знакомы с концепцией Data Lakehouse
✅ 41% компаний уже мигрировали с классического Data Warehouse на Lakehouse
✅ 85% используют Data Lakehouse как основу для проектов ИИ
🔍 В исследовании:
– Как меняется подход к данным в России
– Зачем компаниям Lakehouse, а не просто DWH
– Как Data Lakehouse становится базой для AI-проектов
– Что говорят CIO крупнейших организаций
📈 Почему это важно?Data Lakehouse — это не просто тренд, а ответ на вызовы хранения, скорости доступа и масштабирования данных в бизнесе.
👉🏻 Скачать полное исследование по ссылке
#реклама
О рекламодателе
❤3👎2🔥2
Сравниваем 4 синтеза речи: интонации, паузы, эмоции. Кто из них справится с «Хоббитом» и сможет звучать как рассказчик, а не как робот? Проверим голосом, а не графиком.
Читать...
Please open Telegram to view this post
VIEW IN TELEGRAM
❤1⚡1
argparse
в Python?argparse
— это стандартный модуль Python для работы с аргументами командной строки. Он позволяет удобно разбирать, валидировать и документировать входные параметры.import argparse
# Создаём парсер аргументов
parser = argparse.ArgumentParser(description="Пример работы с argparse")
parser.add_argument("--name", type=str, help="Имя пользователя")
parser.add_argument("--age", type=int, help="Возраст пользователя")
# Разбираем аргументы
args = parser.parse_args()
# Используем аргументы
print(f"Привет, {args.name}! Тебе {args.age} лет.")
🗣️ В этом примере argparse разбирает аргументы --name и --age, переданные через командную строку. Это упрощает создание CLI-приложений.
Please open Telegram to view this post
VIEW IN TELEGRAM
Python documentation
argparse — Parser for command-line options, arguments and subcommands
Source code: Lib/argparse.py Tutorial: This page contains the API reference information. For a more gentle introduction to Python command-line parsing, have a look at the argparse tutorial. The arg...
⚡2❤1
START — опенсорсная LLM для точных вычислений и проверки кода. В START решены две главные проблемы большинства обычных моделей: галлюцинации и ошибки в многоэтапных расчетах. В статье разберемся, зачем и как именно эти проблемы решены..
Читать...
Please open Telegram to view this post
VIEW IN TELEGRAM
❤3⚡2🔥1
HTML Embed Code: