Channel: /usr/bin
Шардированный не значит распределённый: что важно знать, когда PostgreSQL становится мало
В основе большинства шардированных решений для PostgreSQL лежит очень простая идея: вместо одного PostgreSQL берут N, где каждый из Postgres'ов отвечает за определённый диапазон ключей таблицы. Знанием об этих диапазонах обладает специальный слой маршрутизации (координатор), который теперь для пользователя становится точкой входа. Слой маршрутизации может как находиться на стороне сервера (Citus-подобные решения), так и быть частью клиентского приложения. Важно понимать, что эти N инстансов PostgreSQL ничего не знают друг о друге и никак не взаимодействуют между собой. Читать дальше на Хабре.
В основе большинства шардированных решений для PostgreSQL лежит очень простая идея: вместо одного PostgreSQL берут N, где каждый из Postgres'ов отвечает за определённый диапазон ключей таблицы. Знанием об этих диапазонах обладает специальный слой маршрутизации (координатор), который теперь для пользователя становится точкой входа. Слой маршрутизации может как находиться на стороне сервера (Citus-подобные решения), так и быть частью клиентского приложения. Важно понимать, что эти N инстансов PostgreSQL ничего не знают друг о друге и никак не взаимодействуют между собой. Читать дальше на Хабре.
Выкрутили автоматизацию на максимум: с чем кроме инвентаризации помог переход на NetBox
В этой статьекровавый крупный энтерпрайз рассказывает о своем опыте использования NetBox. А продукт и правда интересный. Поделитесь в комментариях о своем опыте его использования.
В этой статье
Работа с длинными строками в PostgreSQL
В полях типов text и bytea могут храниться данные до 1 Гб. Если размер строки в процессе обработки превышает 1 Гб, возникают ошибки нехватки памяти. Обнаруживают такие ошибки обычно при выгрузке данных утилитой pg_dump, которая преобразует бинарные данные в текстовый вид.
Когда строки таблицы выгружаются командой COPY TO (вообще, когда происходит обработка данных любыми командами), выделяется память под строковый буфер, причем выделяется он динамически в процессе обработки каждой строки, а не при запуске серверного процесса. Максимальный размер буфера задан в stringinfo.c константой MaxAllocSize, которая равна 0x3fffffff, что равно 1 Гб – 1 байт (1 073 741 823 байт). Читать дальше.
В полях типов text и bytea могут храниться данные до 1 Гб. Если размер строки в процессе обработки превышает 1 Гб, возникают ошибки нехватки памяти. Обнаруживают такие ошибки обычно при выгрузке данных утилитой pg_dump, которая преобразует бинарные данные в текстовый вид.
Когда строки таблицы выгружаются командой COPY TO (вообще, когда происходит обработка данных любыми командами), выделяется память под строковый буфер, причем выделяется он динамически в процессе обработки каждой строки, а не при запуске серверного процесса. Максимальный размер буфера задан в stringinfo.c константой MaxAllocSize, которая равна 0x3fffffff, что равно 1 Гб – 1 байт (1 073 741 823 байт). Читать дальше.
Подводные камни при работе с файлами в Linux с примерами на Python
Работа с файлами в Python кажется простой — open, read, write. Но на практике, особенно в системах с высокими требованиями к отказоустойчивости, стабильности и логированию, за банальными строками кода может скрываться целый мир проблем.
В этой статье разобрано, как знание внутренностей Linux может помочь избежать потерь данных и облегчить отладку. Все примеры будут на Python, но применимы к любым языкам, работающим через POSIX-интерфейсы.
Работа с файлами в Python кажется простой — open, read, write. Но на практике, особенно в системах с высокими требованиями к отказоустойчивости, стабильности и логированию, за банальными строками кода может скрываться целый мир проблем.
В этой статье разобрано, как знание внутренностей Linux может помочь избежать потерь данных и облегчить отладку. Все примеры будут на Python, но применимы к любым языкам, работающим через POSIX-интерфейсы.
Амбициозные проекты, удалёнка и рост в сфере DevOps — звучит как работа мечты! Отправляйте резюме до 8 июня и присоединяйтесь к команде YADRO! 🧑💻
Как это сделать?
1️⃣ Выберите направление, которое вам интересно: Infrastructure или CI/CD
2️⃣ Пройдите скрининг, а также техническое и менеджерское интервью
3️⃣ Присоединяйтесь к команде талантливых инженеров с широкой экспертизой
Вам точно подойдёт эта работа, если вы:
✔️ Имеете больше 1 года коммерческого опыта с основными devops-инструментами
✔️ Хотите освоить новые продукты
✔️ Умеете работать в команде
Работайте с экспертами, чей опыт составляет от 10 лет в ведущих мировых телекоммуникационных компаниях, а у некоторых — более 25 лет в индустрии. Станьте частью большого инженерного сообщества YADRO.
Оставляйте заявку — мы ждём именно вас!
Как это сделать?
1️⃣ Выберите направление, которое вам интересно: Infrastructure или CI/CD
2️⃣ Пройдите скрининг, а также техническое и менеджерское интервью
3️⃣ Присоединяйтесь к команде талантливых инженеров с широкой экспертизой
Вам точно подойдёт эта работа, если вы:
✔️ Имеете больше 1 года коммерческого опыта с основными devops-инструментами
✔️ Хотите освоить новые продукты
✔️ Умеете работать в команде
Работайте с экспертами, чей опыт составляет от 10 лет в ведущих мировых телекоммуникационных компаниях, а у некоторых — более 25 лет в индустрии. Станьте частью большого инженерного сообщества YADRO.
Оставляйте заявку — мы ждём именно вас!
Docker на каждый день: Ключевые команды в одной статье-шпаргалке
Забудьте о том, что Docker — это некий таинственный инструмент исключительно для DevOps-инженеров. В современном мире разработки Docker стал таким же незаменимым швейцарским ножом, как Git или ваш любимый редактор кода. Он позволяет любому разработчику писать код, который будет одинаково работать на машине коллеги, на тестовом стенде и в продакшене, забыв о кошмаре "а у меня на машине все работает". Если вы еще не погрузились в мир контейнеризации или вам нужен удобный источник команд, эта статья — ваш экспресс-билет.
Забудьте о том, что Docker — это некий таинственный инструмент исключительно для DevOps-инженеров. В современном мире разработки Docker стал таким же незаменимым швейцарским ножом, как Git или ваш любимый редактор кода. Он позволяет любому разработчику писать код, который будет одинаково работать на машине коллеги, на тестовом стенде и в продакшене, забыв о кошмаре "а у меня на машине все работает". Если вы еще не погрузились в мир контейнеризации или вам нужен удобный источник команд, эта статья — ваш экспресс-билет.
Paranoia Mode: подборка инструментов для приватной и безопасной работы в Linux
В этой статье рассказывают о нескольких проверенных методов и технологий для минимизации цифрового следа — без лишней паранойи, но с пониманием, как все устроено.
В этой статье рассказывают о нескольких проверенных методов и технологий для минимизации цифрового следа — без лишней паранойи, но с пониманием, как все устроено.
Рассказ о том, как rclone в 4 раза быстрее rsync синхронизирует файлы по сети
Перевод статьи о преимуществах rclone в части возможностей параллельной передачи файлов.
Перевод статьи о преимуществах rclone в части возможностей параллельной передачи файлов.
Kubernetes Best Practices I Wish I Had Known Before
В этой статье автор рассказывает о некоторых важных рекомендациях по Kubernetes. Они основаны на его многолетнем опыте работы с Kubernetes в проде. Это как шпаргалка по Kubernetes, которую желательно иметь с первого дня эксплуатации k8s.
В этой статье автор рассказывает о некоторых важных рекомендациях по Kubernetes. Они основаны на его многолетнем опыте работы с Kubernetes в проде. Это как шпаргалка по Kubernetes, которую желательно иметь с первого дня эксплуатации k8s.
📣Большая конференция для системных администраторов
17 октября в московском кластере «Ломоносов» пройдет SysAdmin 2025. Участие бесплатное, нужна только регистрация.
О чем конференция:
- Управление корпоративными рабочими местами Linux, Windows, macOS;
- Cмешанные инфраструктуры;
- Решения MDM/UEM/EMM;
- Администрирование Apple
- Управление ИТ-инфраструктурой;
- Информационная безопасность для системных администраторов;
- Миграция на Linux;
- Организация работы ИТ отдела, системных администраторов и поддержки
- Мониторинг инфраструктуры;
И будет афтепати с квизом и призами.
📍Ссылка на регистрацию: sysadminconf.ru
Есть еще возможность бесплатно выступить с докладом на конференции. Кто хочет, оставляйте заявки на сайте или по почте [email protected]
#реклама
О рекламодателе
17 октября в московском кластере «Ломоносов» пройдет SysAdmin 2025. Участие бесплатное, нужна только регистрация.
О чем конференция:
- Управление корпоративными рабочими местами Linux, Windows, macOS;
- Cмешанные инфраструктуры;
- Решения MDM/UEM/EMM;
- Администрирование Apple
- Управление ИТ-инфраструктурой;
- Информационная безопасность для системных администраторов;
- Миграция на Linux;
- Организация работы ИТ отдела, системных администраторов и поддержки
- Мониторинг инфраструктуры;
И будет афтепати с квизом и призами.
📍Ссылка на регистрацию: sysadminconf.ru
Есть еще возможность бесплатно выступить с докладом на конференции. Кто хочет, оставляйте заявки на сайте или по почте [email protected]
#реклама
О рекламодателе
Как работает DNS в Linux. Часть 1: от getaddrinfo до resolv.conf
Когда мы вводим в браузере имя сервера или доменное имя сайта, выполняем ping или запускаем любое удаленное приложение, операционная система должна преобразовать указанные имена в IP-адреса. Этот процесс называется разрешением доменного имени. На первый взгляд он может показаться весьма прозрачным, однако за ним скрывается многослойный механизм.
Данная статья — начало серии, посвященной низкоуровневой архитектуре разрешения имен. Поговорим о том, как устроен этот процесс в Linux на уровне ядра, различных библиотек C и системных вызовов.
Когда мы вводим в браузере имя сервера или доменное имя сайта, выполняем ping или запускаем любое удаленное приложение, операционная система должна преобразовать указанные имена в IP-адреса. Этот процесс называется разрешением доменного имени. На первый взгляд он может показаться весьма прозрачным, однако за ним скрывается многослойный механизм.
Данная статья — начало серии, посвященной низкоуровневой архитектуре разрешения имен. Поговорим о том, как устроен этот процесс в Linux на уровне ядра, различных библиотек C и системных вызовов.
Ozon Tech приглашает на Platform Meetup.
20 июня инженеры команды Платформы расскажут, как запустили учения по отключению дата-центра.
Что в программе:
⚫️ запуск боевых нагрузочных тестов по продовым рубежам;
⚫️ восстановление порядка в хаосе с волшебными пуллерами и discovery во спасение кластеров;
⚫️ активацию токенов, пробуждение протоколов и новую жизнь системы;
⚫️ Service Mesh и вести об отключении через Warden;
⚫️ единство множества кластеров в славном Федеративном Кубере.
Регистрируйтесь на офлайн/онлайн.
20 июня инженеры команды Платформы расскажут, как запустили учения по отключению дата-центра.
Что в программе:
⚫️ запуск боевых нагрузочных тестов по продовым рубежам;
⚫️ восстановление порядка в хаосе с волшебными пуллерами и discovery во спасение кластеров;
⚫️ активацию токенов, пробуждение протоколов и новую жизнь системы;
⚫️ Service Mesh и вести об отключении через Warden;
⚫️ единство множества кластеров в славном Федеративном Кубере.
Регистрируйтесь на офлайн/онлайн.
Кто сказал, что изучать DevOps дорого?
Учебный центр Слёрм дарит гранты на обучение на курсе-профессии DevOps Upgrade:
⭐️ 2 места — скидка 100%
⭐️ 3 места — скидка 50%
⭐️ 5 мест — скидка 35%
Условия:
1. Подписаться на канал ментора курса Вячеслава Федосеева
2. Заполнить входную анкету
3. Пройти тестирование по ссылке до 20 июня
4. Дождаться результатов — их объявят на канале 23 июня.
DevOps Upgrade — продвинутый курс с высокой интенсивностью, который позволяет за 9 месяцев освоить все необходимые hard skills для позиции DevOps-инженера.
Изучить программу курса — по ссылке.
Учебный центр Слёрм дарит гранты на обучение на курсе-профессии DevOps Upgrade:
⭐️ 2 места — скидка 100%
⭐️ 3 места — скидка 50%
⭐️ 5 мест — скидка 35%
Условия:
1. Подписаться на канал ментора курса Вячеслава Федосеева
2. Заполнить входную анкету
3. Пройти тестирование по ссылке до 20 июня
4. Дождаться результатов — их объявят на канале 23 июня.
DevOps Upgrade — продвинутый курс с высокой интенсивностью, который позволяет за 9 месяцев освоить все необходимые hard skills для позиции DevOps-инженера.
Изучить программу курса — по ссылке.
Организация собственной библиотеки на сервере с веб-интерфейсом
Несколько лет назад к автору статьи обратился коллега с просьбой помочь собрать домашний NAS. Он хотел не просто хранилище, а универсальное решение, в том числе — для организации библиотеки. Они настроили DLNA, RAID и другое, но подходящего решения именно для книг тогда не нашли. Calibre был на слуху, но его интерфейс показался неудобным, и коллега ограничился SMB-шарой.
В этой статье рассказано как развернуть на сервере Linux библиотеку на базе Calibre-Web и Kavita.
Несколько лет назад к автору статьи обратился коллега с просьбой помочь собрать домашний NAS. Он хотел не просто хранилище, а универсальное решение, в том числе — для организации библиотеки. Они настроили DLNA, RAID и другое, но подходящего решения именно для книг тогда не нашли. Calibre был на слуху, но его интерфейс показался неудобным, и коллега ограничился SMB-шарой.
В этой статье рассказано как развернуть на сервере Linux библиотеку на базе Calibre-Web и Kavita.
На что способен GPU-сервер YADRO G4208P G3 c H100 NVL и RTX 4090 на борту
Какую платформу выбрать для решения конкретной ИИ-задачи? Нужны ли именно вам топовые H100 NVL или можно обойтись RTX 4090, которые в заводских условиях адаптированы для работы в GPU-сервере? Что такое NVLink и когда он нужен?
Инженеры из YADRO отвечают на эти и многие другие вопросы по итогам масштабного тестирования собственного GPU-сервера G4208P G3. Тесты проводились на десятке ИИ-моделей и бенчмарков, включая GPT-2 Андрея Карпаты на 1,6 млрд параметров и промышленный MLCommons.
Статья на Хабре →
Какую платформу выбрать для решения конкретной ИИ-задачи? Нужны ли именно вам топовые H100 NVL или можно обойтись RTX 4090, которые в заводских условиях адаптированы для работы в GPU-сервере? Что такое NVLink и когда он нужен?
Инженеры из YADRO отвечают на эти и многие другие вопросы по итогам масштабного тестирования собственного GPU-сервера G4208P G3. Тесты проводились на десятке ИИ-моделей и бенчмарков, включая GPT-2 Андрея Карпаты на 1,6 млрд параметров и промышленный MLCommons.
Статья на Хабре →
Windows Subsystem for Linux теперь open source. Как WSL объединяет Windows и Linux
В мае 2025 года Microsoft сделала важный шаг: исходный код Windows Subsystem for Linux (WSL) выложили на GitHub под лицензией MIT. Авторы проекта подчеркнули, что это решение открывает новые возможности для разработчиков. В статье обсуждается, что такое WSL, почему переход к open source так важен и как эта подсистема сближает Windows и Linux.
В мае 2025 года Microsoft сделала важный шаг: исходный код Windows Subsystem for Linux (WSL) выложили на GitHub под лицензией MIT. Авторы проекта подчеркнули, что это решение открывает новые возможности для разработчиков. В статье обсуждается, что такое WSL, почему переход к open source так важен и как эта подсистема сближает Windows и Linux.
Три специальных технологических доклада на VK Cloud Conf 2025
26 июня пройдет ежегодная конференция VK Cloud Conf 2025, посвященная облачным технологиям.
В 17:30 начнется особенная часть конференции — технологический трек, на котором приглашенные эксперты расскажут:
🔹 как организовать доставку и обработку 1,5 млн событий в секунду,
🔹 перейти от арендованных ЦОДов к собственной инфраструктуре,
🔹 построить CDN VK под нагрузками в миллион запросов в секунду.
Темы докладов
🔹 Highload-логистика: как управлять потоком из 1,5 млн событий в секунду
Доклад про организацию доставки и обработки событий, возникающие проблемы и используемые инструменты.
Спикеры: Дмитрий Куколев, руководитель направления безопасности Runtime; Кирилл Назаров, руководитель группы DevOps, направление безопасности Runtime, блок «Информационная безопасность», VK.
🔹 Без единой точки отказа: путь к облаку на трех AZ и tier-4 ЦОДах
Опыт перехода к первым в России ЦОДам Tier-4.
Спикер: Николай Бутенко, директор по надежности сервисов VK Cloud, лучший спикер Highload++ 2024.
🔹 Много храним и быстро раздаем: как мы построили CDN VK под нагрузками в миллион запросов в секунду
Узнайте, как обслуживать миллионы запросов и раздавать десятки терабит в секунду.
Спикер: Дмитрий Радчук, руководитель группы граничных сервисов, департамент инфраструктурных сервисов VK.
Регистрируйтесь
26 июня пройдет ежегодная конференция VK Cloud Conf 2025, посвященная облачным технологиям.
В 17:30 начнется особенная часть конференции — технологический трек, на котором приглашенные эксперты расскажут:
🔹 как организовать доставку и обработку 1,5 млн событий в секунду,
🔹 перейти от арендованных ЦОДов к собственной инфраструктуре,
🔹 построить CDN VK под нагрузками в миллион запросов в секунду.
Темы докладов
🔹 Highload-логистика: как управлять потоком из 1,5 млн событий в секунду
Доклад про организацию доставки и обработки событий, возникающие проблемы и используемые инструменты.
Спикеры: Дмитрий Куколев, руководитель направления безопасности Runtime; Кирилл Назаров, руководитель группы DevOps, направление безопасности Runtime, блок «Информационная безопасность», VK.
🔹 Без единой точки отказа: путь к облаку на трех AZ и tier-4 ЦОДах
Опыт перехода к первым в России ЦОДам Tier-4.
Спикер: Николай Бутенко, директор по надежности сервисов VK Cloud, лучший спикер Highload++ 2024.
🔹 Много храним и быстро раздаем: как мы построили CDN VK под нагрузками в миллион запросов в секунду
Узнайте, как обслуживать миллионы запросов и раздавать десятки терабит в секунду.
Спикер: Дмитрий Радчук, руководитель группы граничных сервисов, департамент инфраструктурных сервисов VK.
Регистрируйтесь
Конец Windows 10 — лучший подарок для десктопного Linux
14 октября 2025 года Microsoft перестанет выпускать новые фичи и обновления безопасности для Windows 10. Окончание поддержки самой популярной операционной системы в мире затронет 240 млн компьютеров. В этой статье об инициативной группе «Конец десятки», которая продвигает Linux в массы (без привязки к дистрибутиву) и предлагает простые способы его установки.
14 октября 2025 года Microsoft перестанет выпускать новые фичи и обновления безопасности для Windows 10. Окончание поддержки самой популярной операционной системы в мире затронет 240 млн компьютеров. В этой статье об инициативной группе «Конец десятки», которая продвигает Linux в массы (без привязки к дистрибутиву) и предлагает простые способы его установки.
Как мигрировать большую 10+ Тб базу 1С из MS SQL в PostgreSQL и уложиться в трехчасовое окно
В этом посте про миграцию большой базы данных 1С Предприятие с MS SQL Server на PostgreSQL. Тема перехода на PostgreSQL весьма популярна, и почти на каждой конференции по PG обязательно есть парочка докладов на эту тему. Читать на Хабре.
В этом посте про миграцию большой базы данных 1С Предприятие с MS SQL Server на PostgreSQL. Тема перехода на PostgreSQL весьма популярна, и почти на каждой конференции по PG обязательно есть парочка докладов на эту тему. Читать на Хабре.
Я сисадмин и у меня... зависимость. У меня слишком много зависимостей.
Забыть про Dependanсy hell можно на курсе «Docker для админов и разработчиков» от Слёрма. Покажем, как упаковывать приложения в изолированные контейнеры и избавиться от конфликта зависимостей.
После курса сможете:
👉 Управлять зависимостями и создавать масштабируемые микросервисы;
👉 Автоматизировать рутину и CI/CD;
👉 Выжимать максимум из ресурсов;
👉 Стать ближе к DevOps-карьере.
Формат видеоматериалов в сочетании с обратной связью от практикующих экспертов — это турбо-ускоритель для ваших навыков и карьерного роста.
▶️ Записаться на курс – по ссылке.
Забыть про Dependanсy hell можно на курсе «Docker для админов и разработчиков» от Слёрма. Покажем, как упаковывать приложения в изолированные контейнеры и избавиться от конфликта зависимостей.
После курса сможете:
👉 Управлять зависимостями и создавать масштабируемые микросервисы;
👉 Автоматизировать рутину и CI/CD;
👉 Выжимать максимум из ресурсов;
👉 Стать ближе к DevOps-карьере.
Формат видеоматериалов в сочетании с обратной связью от практикующих экспертов — это турбо-ускоритель для ваших навыков и карьерного роста.
▶️ Записаться на курс – по ссылке.
HTML Embed Code: