Проверка на выживание. Как тестируют отказоустойчивость облачных платформ
Выключить сервер или обесточить целую стойку, так инженеры проверяют готовность систем к реальным авариям. В распределённых средах наличие реплик не гарантирует работу, если они физически находятся на одном оборудовании.
На схемах архитектура всегда выглядит надёжной: есть резервные копии, разные серверы и кластеры. На практике же возникает вопрос. Что будет, если оборудование исчезнет мгновенно? Команда платформы dBrain.cloud регулярно имитирует такие сценарии.
От поломки отдельных машин до полного обесточивания серверных стоек. При этом клиентские сервисы должны продолжать работать под нагрузкой.
На уровне хранения данных используется Ceph. В основном пуле с объёмом 140 PiB и технологией erasure coding 8+3 система выдерживает одновременный выход из строя двух серверов. Для баз данных, где используется тройная репликация, допустим только отказ одного сервера.
Если отключить второй, пул перейдёт в режим «только чтение». Это предотвратит потерю данных, но заблокирует запись.
Работа баз данных вроде PostgreSQL или Cassandra зависит от физического распределения. Чтобы авария не затронула все копии сразу, используется правило node-anti-affinity. Оно запрещает размещать несколько реплик на одном физическом сервере. В случае с Kafka или PostgreSQL это позволяет переключаться на запасные узлы, даже если часть оборудования вышла из строя.
Для управления кластером Kubernetes используются три экземпляра etcd на master-нодах. Выход из строя одной мастер-ноды не влияет на работу сервисов, но потеря двух узлов переводит систему в режим «только чтение», что требует ручного восстановления. Это значит, что надёжность системы зависит не от количества копий, а от того, насколько грамотно они разнесены по физическим стойкам.
Текст подготовила языковая модель по материалам источников.
