Warning: mkdir(): No space left on device in /var/www/hottg/post.php on line 59

Warning: file_put_contents(aCache/aDaily/2025-07-22/post/DevOpsKaz/--): Failed to open stream: No such file or directory in /var/www/hottg/post.php on line 72
👀 Постмортем инцидента Google Cloud от 12 июня 2025 года @KazDevOps

Create: 2025-06-18 Update: 2025-07-22 07:09:01

👀 Постмортем инцидента Google Cloud от 12 июня 2025 года

Инцидент, затронувший Google Cloud, Google Workspace и Google Security Operations 12 июня 2025 года, связан с увеличением ошибок 503 при внешних API-запросах. Это привело к перебоям для клиентов по всему миру. Давайте разберём, что произошло и как реагировали в компании.

Что произошло

В сервис Service Control (часть системы управления API Google) добавили новую функцию для проверки квот. Код не был защищён фич-флагом и не имел надёжной обработки ошибок. Далее изменение политики в региональных таблицах Spanner включило проблемный кодовый путь, который столкнулся с нулевым указателем (null pointer), вызвав крах бинарных файлов.

Из-за мгновенной глобальной репликации данных ошибка распространилась на все регионы, а перезапуск задач Service Control вызвал перегрузку инфраструктуры из-за отсутствия экспоненциального отката.

Затронуты десятки сервисов, включая IAM, BigQuery, Cloud Storage, Gmail, Google Drive и другие. Клиенты испытывали проблемы с доступом к API и интерфейсам, хотя стриминговые и IaaS-ресурсы остались нетронутыми.

Реакция Google

Команда SRE начала расследование через 2 минуты после начала сбоя, через 10 минут определила причину и через 25 минут подготовилась к отключению проблемного пути обработки.

Через 40 минут начали восстановление, сначала в меньших регионах, а затем в крупных, где потребовалось ограничение задач и перераспределение трафика.

Выводы и план улучшений

Google признал ошибки и пообещал:

⚪️Модулизацию Service Control для изоляции функций и отказа с сохранением работы API
⚪️Аудит систем с глобальной репликацией данных для постепенного распространения и проверки
⚪️Обязательное использование фич-флагов для критических изменений с отключением по умолчанию
⚪️Улучшение статического анализа, тестирования и внедрения экспоненциального отката
⚪️Повышение качества внешней коммуникации и обеспечение работы мониторинга даже при сбоях

Хотите защитить свою инфраструктуру от подобных рисков? Приходите на аудит к Core 24/7 — и мы заберем вашу головную боль.

@DevOpsKaz 😛

KazDevOps

👀

Постмортем инцидента Google Cloud от 12 июня 2025 года

Инцидент, затронувший Google Cloud, Google Workspace и Google Security Operations 12 июня 2025 года, связан с увеличением ошибок 503 при внешних API-запросах. Это привело к перебоям для клиентов по всему миру. Давайте разберём, что произошло и как реагировали в компании.

Что произошло

В сервис Service Control (часть системы управления API Google) добавили новую функцию для проверки квот. Код не был защищён фич-флагом и не имел надёжной обработки ошибок. Далее изменение политики в региональных таблицах Spanner включило проблемный кодовый путь, который столкнулся с нулевым указателем (null pointer), вызвав крах бинарных файлов.

Из-за мгновенной глобальной репликации данных ошибка распространилась на все регионы, а перезапуск задач Service Control вызвал перегрузку инфраструктуры из-за отсутствия экспоненциального отката.

Затронуты десятки сервисов, включая IAM, BigQuery, Cloud Storage, Gmail, Google Drive и другие. Клиенты испытывали проблемы с доступом к API и интерфейсам, хотя стриминговые и IaaS-ресурсы остались нетронутыми.

Реакция Google

Команда SRE начала расследование через 2 минуты после начала сбоя, через 10 минут определила причину и через 25 минут подготовилась к отключению проблемного пути обработки.

Через 40 минут начали восстановление, сначала в меньших регионах, а затем в крупных, где потребовалось ограничение задач и перераспределение трафика.

Выводы и план улучшений

Google признал ошибки и пообещал:

⚪️Модулизацию Service Control для изоляции функций и отказа с сохранением работы API
⚪️Аудит систем с глобальной репликацией данных для постепенного распространения и проверки
⚪️Обязательное использование фич-флагов для критических изменений с отключением по умолчанию
⚪️Улучшение статического анализа, тестирования и внедрения экспоненциального отката
⚪️Повышение качества внешней коммуникации и обеспечение работы мониторинга даже при сбоях

Хотите защитить свою инфраструктуру от подобных рисков? Приходите на аудит к Core 24/7 — и мы заберем вашу головную боль.

@DevOpsKaz 😛

Please open Telegram to view this post

VIEW IN TELEGRAM

2👍3🔥3😎3❤2

hottg.com/DevOpsKaz/1513

1.41K viewsJun 18 at 07:03

>>Click here to continue<<

KazDevOps

Share with your best friend

Telegram Desktop App Not Working on Windows?

Run Telegram in Compatibility Mode

The fix won't work if the app was functioning normally a few days ago and you haven't made drastic changes to the OS or updated Windows. If the issue appears after a Windows update, or you're running an older version of Telegram, it's possible the current version of the app isn't compatible with your operating system. Therefore, update your app to the most recent and compatible version or roll back your Windows update.If you can't do either, run the app in compatibility mode. You might not have used it before, but it is one of the handy hidden modes in Windows.However, before doing that, run the compatibility troubleshooter that may resolve the issue right away. To run the troubleshooter, right-click on Telegram's shortcut and go to Properties. Navigate to the Compatibility tab in the Telegram Properties window and click Run compatibility troubleshooter.If the troubleshooter doesn't identify the issue, manually adjust compatibility settings. To do so, follow these steps: Check the box for Run this problem in compatibility mode for: and select Windows 8 from the dropdown menu. Hit OK after clicking Apply.

👀 Постмортем инцидента Google Cloud от 12 июня 2025 года

KazDevOps TG
Webview: 1513
Telegram TG Webview: hottg.com/DevOpsKaz/webview
Telegram TG Channel: KazDevOps
Telegram Updated:
Warning: filemtime(): stat failed for aCache/aDaily/2025-07-22/post/DevOpsKaz/-- in /var/www/hottg/post.php on line 338
1970-01-01 00:00:00

United States America Popular Telegram Group (US)

Warning: Undefined array key 3 in /var/www/hottg/function.php on line 115

Fatal error: Uncaught mysqli_sql_exception: Too many connections in /var/www/db.php:16 Stack trace: #0 /var/www/db.php(16): mysqli_connect() #1 /var/www/hottg/function.php(212): db() #2 /var/www/hottg/function.php(115): select() #3 /var/www/hottg/post.php(351): daCache() #4 /var/www/hottg/route.php(63): include_once('...') #5 {main} thrown in /var/www/db.php on line 16