Шпаргалка по синтаксису cron

Привет всем! До начала нового сезона Podlodka Techlead Crew 🛠«Observability: monitoring, alerting, tracing» ещё осталось время. Мы перенесли старт на 17 октября. А значит вы еще можете успеть купить билет, чтобы узнать ответы на вопросы:

⚡️Как справляться быстро и эффективно с ошибками в проде — советы от Михаила Дружинина из Datadog.
⚡️Как и зачем нужно измерять надежность системы и какие подходы для этого применять. Тайны раскроет Павел Лакосников из «Авито».
⚡️Зачем нужны SRE-инженеры: почему возникла эта профессия, какие ее основные принципы и инструменты и чем они отличаются от DevOps-парадигмы. Примеры из практики Ганны Новиковой из Intergiro.
⚡️Как устроено SRE в разных компаниях — послушаем на круглом столе с Дмитрием Масленниковым из «Тинькофф», Михаилом Фесенко из Booking.com, Сергеем Бухаровым из АО «Финам» и Максимом Гусевым.
⚡️Какие бенефиты компания получит от внедрения SRE-культуры, как ее поддерживать и развивать — в интервью с Максимом Гусевым.
⚡️Кому, когда и зачем нужно тестирование доступности — сессия с Алексеем Мишкиным.
⚡️Как выбирать технические метрики правильно — чтобы избежать нескольких итераций и боли от множественных переделок. Секреты раскроет Маргарита Ольшанская из Bolt.

Все подробности сессий уже есть на сайте. Купить билет можно уже сейчас — до следующего понедельника действуют скидки!

​​Weekend Offer для бэкенд-разработчиков 29–30 октября

Получить оффер Яндекса можно за 2 дня. Участвуйте в Weekend Offer Backend: решите тестовое, пройдите 2–3 секции 29 октября, а уже 30 октября получите оффер.

От Яндекса в мероприятии участвуют команды, которые готовы предложить работу в гибком формате — полностью удаленно, в смешанном режиме или из любого офиса или коворкинга в 20 городах России и мира. Варианты работы обсуждаются с каждым кандидатом индивидуально.

На мероприятии ждут инженеров с опытом разработки от 3-х лет на Java, C++, Python и Go, либо готовых к работе на этих языках программирования.

Зарегистрироваться на мероприятие

Реклама. Информация о рекламодателе на сайте http://www.yandex.ru/company

В сети стали доступны доклады с DjangoCon Europe 2022: https://bit.ly/3VIOHxt
В этот раз доклады получились более чем интересные, особенно про внутрянку Django: админку, работу ORM и т.д.

Сегодня в 17:00 UTC состоится релиз Python 3.11. Релиз будет в прямом эфире, который можно посмотреть по ссылке: https://www.youtube.com/watch?v=PGZPSWZSkJI

Релиз Python 3.11

Вчера вышел долгожданный (как минимум мною) релиз Python 3.11
Новая версия быстрее предыдущей на 10-60%, а в среднем на 22%, но помимо буста в производительности релиз содержит ряд крутых фич:

— TaskGroup, можно забыть про asyncio.gather
— ExceptionGroups
— Читабельные traceback с подчеркиваниями

Мне особенно зашла фича с группами исключений, даже накидал небольшой демо-пример.

Когда стоит переводить проект на Python 3.11?
Торопиться не стоит, т.к. далеко не все пакеты в вашем проекте могут иметь работающие колёса (wheel). Прямо сейчас, например, нет колёс для библиотеки psycopg2 для python3.11 под Windows. Я бы рекомендовал подождать пару минорных версий с исправлениями и уже после готовиться к миграции.

Всем хорошего кодинга! 🐍

Ко мне обратилась IT-компания с просьбой провести анонимный опрос среди подписчиков моего канала. Если у вас есть пара минут, порефлексируйте, пожалуйста, с нами о новой реальности в небольшом опросе. Ваши ответы помогут крупной IT-компании понять, где теперь лучше организовывать профессиональные мероприятия и оказывать помощь и поддержку комьюнити.

Пройти опрос.

​​Все наверняка слышали про историю Твиттера и Илона Маска. Сейчас в компании началась оптимизация о которой Илон неоднократно упоминал. Gergely Orosz у себя в блоге Pragmatic Engineer написал подробный разбор того, что сейчас творится внутри: https://blog.pragmaticengineer.com/turmoil-at-twitter/

В сети стали публично доступны доклады с PyCon Russia 2022: https://bit.ly/3UwdOBR

А на этот раз в сеть подъехали доклады с PiterPy 2022: http://bit.ly/3A2bdId

Если вы разработчик и у вас есть пара минут, порефлексируйте, пожалуйста, с нами о происходящем в небольшом опросе. Ваши ответы помогут крупному работодателю понять, где теперь открывать офисы и какая помощь и поддержка вам нужны.

Пройти опрос

В сети стали доступны доклады с DjangoCon US 2022. Я ещё не смотрел, но выделил для себя интересные презентации на основе названий:

- The Django Admin Is Your Oyster: Let’s Extend Its Functionality

- Django Logging Demystified

- Why I Didn't Start With Django

- Herding your database queries: diagnosing, improving and guarding performance of DB interactions

- Type checking your Django code with django-types and Pyright

- Keeping track of architectural-ish decisions in a sustainable way

- Explaining EXPLAIN: A dive into PostgreSQL's EXPLAIN plans

- Security Best Practices for Django Applications

- Why large Django projects need a data (prefetching) layer

- A pythonic full-text search with Paolo Melchiorre

- Integrating React in the Django way!

- Full Text Search with Django and PostgreSQL: More Facets, Less Dependencies!

Полный плейлист с докладами доступен по ссылке.

К слову, Django по-прежнему остаётся моим фаворитом когда дело касается разработки веб-приложений на Python 🐍

В блоге у компании Sentry нашел свежую и классную серию статей про Django Performance Improvements:

- Part 1: Database Optimizations
- Part 2: Code Optimization
- Part 3: Frontend Optimizations
- Part 4: Caching in Django Applications

Как стать хорошим бэкенд-инженером?

Наткнулся на интересную статью от известного в узких кругах инженера Hussein Nasser про фундаментальные знания для бэкэнд-разработчика — How To Become a Good Backend Enginner. У автора более 18 лет опыта в разработке бэкенда и для себя он выделяет несколько основных фундаментов на которые опирается хорошее бэкенд-приложение:

- Протоколы транспортного уровня TCP и UDP. Самые популярные протоколы прикладного уровня так или иначе базируются либо на TCP либо на UDP.

- Нюансы работы веб-сервера, будь то nginx, apache httpd/tomcat и т.д. Я полностью согласен с автором, т.к. понимание как работает веб-сервер значительно упрощает решение проблем с производительностью приложения. У автора есть статья про разбор архитектуры nginx.

- Базы данных. Бесспорно база данных это сердце практически любого бэкенд-приложения. Понимание как работают индексы, что значит ACID Compliance, как база хранит данные на диске сделают вас лучшим инженером. От себя добавлю, что важно понимать плюсы и минусы той или иной БД, чтобы ваш выбор был максимально взвешенным и обоснованным. Чем с большим количеством баз вы столкнётесь на практике тем более взвешенным будет ваше решение о её выборе.

- Прокси-серверы. В эпоху микросервисной архитектуры появилось множество сервисов для проксирования запросов как транспортного уровня (например, HAProxy) так и прикладного (nginx http reverse-proxy, HAProxy HTTP). Область их применения разнообразная: балансировка нагрузки между серверами, кеширование, проверка авторизации/аутентификации и т.д.

- Системы обмена сообщениями (Messaging systems). Apache Kafka, RabbitMQ, Redis и многие другие популярные системы обмена сообщениями прочно вошли в нашу жизнь в эпоху распределённых приложений. Помимо преимуществ в масштабировании ваших сервисов, системы обмена сообщениями также значительно снижают связность между приложениями. Автор статьи рекомендует читателю разобраться в тонкостях той или иной системы, а именно в механизме создания и получения сообщения, нюансам доставки сообщений (at most once, at least once)

- Формат сообщений. XML, JSON, ProtoBuf, MessagePack и другие. Существует множество форматов кодирования информации для обмена между системами и у каждой есть свои минусы и плюсы (кроме XML, шутка). Если вы уменьшаете размер пересылаемой информации (например, выбирая сжатый формат), то не забывайте про накладные расходы CPU при десериализации сообщения.

- Безопасность. Знания об основах безопаности никогда не будут лишними. Для веб-разработчиков рекомендую ознакомиться с Топ-10 наиболее популярных уязвимостей в веб-приложениях: https://owasp.org/www-project-top-ten/

А что бы вы добавили от себя? Пишите в комментариях.

Django 4.2 LTS

Вчера вышла LTS версия Django 4.2. Из значимых изменений:

— поддержка psycopg3 (асинхронный режим для работы с PostgreSQL)
— возможность добавлять комментарии к таблицам/моделям
— тёмный режим в админке Django
— асинхронный интерфейс для Related Managers

Бесплатный курс об изучении языка Rust. Курс рассчитан на 12 полных недель. Каждую неделю открывается новый материал для изучения, сейчас доступен материал 1-й недели.

В сети появились долгожданные доклады с прошедшей в конце апреля конференции PyCon US 2023: https://bit.ly/3WLW0oG

Доклады с DjangoCon Europe 2023:

— Squeezing Django performance for 14.9 million users on WhatsApp
— Building and scaling a live event platform with django-channels
— Tuning PostgreSQL to work even better
— Good form: How Django’s form rendering improved during the 4.x series

Выше список наиболее интересных с моей т.з. докладов с прошедшей конференции. Полный список можно посмотреть тут.

ML Research Engineer
GOAT.Al
4.000 to 5.000 USD NET per month
Almaty Office

GOAT.Al is a research lab on Human <> AI engagement.
The team behind the popular app GoatChat.Al.
We are working on solving the problems of large language models, including hallucination, mode collapse, and context length limitations.

Responsibilities:
• Conduct cutting-edge research on large language models
• Write and publish academic papers describing new research

Requirements:
• Broad knowledge of academic research in the field of deep learning, with a focus on the latest trends and papers
• Experience with PyTorch and related frameworks like DeepSpeed and HuggingFace
• Knowledge of state-of-the-art training techniques, including mixed-precision training
• Proficiency in MLOps and experience with distributed training

Optional skills: Experience with natural language processing (NLP) or reinforcement learning (RL) is preferred, but not required.

Contacts:
📧 [email protected]
@rempact

Спустя полтора года "молчания" в блоге, я таки написал небольшую заметку про тестирование RQ в Django с использованием fakeredis: Django, RQ и FakeRedis