Архитектура данных в Атоме. От таблиц Excel к единой платформе
В декабре 2023 года в компании «Атом» не было центрального хранилища. Данные хранились в разрозненных файлах или вовсе не собирались. Чтобы решить эту проблему, команда построила современную дата-платформу с нуля.
Главной задачей при проектировании стала необходимость объединить «зоопарк» форматов. От потоковой телеметрии с автомобилей до файлов в PDF и JSON. Для этого выбрали Lambda-архитектуру, которая разделяет обработку на два пути.
Стриминг для событий в реальном времени и батч-загрузку для данных по расписанию. Это позволило разделить быстрые потоки и тяжелые исторические архивы.
Ядром системы стал Data LakeHouse на базе S3 с использованием форматов Apache Iceberg и Apache Paimon. В батч-ветке данные записываются в Iceberg, а для потоковой записи выбрали Paimon, он позволяет объединять мелкие файлы в крупные (процедура compact) в фоновом режиме, не останавливая процесс загрузки. Обработку потоков выполняет Apache Flink, который перекладывает данные из Kafka в ClickHouse для аналитики и в S3 для долгосрочного хранения.
Данные в платформе распределены по слоям. От сырых (Raw) до очищенных корпоративных данных (Enterprise Data) и готовых бизнес-витрин (Data Marts). Для управления процессами используется стек из Airflow, Spark и Kubernetes. По словам Александра Ершова, руководителя направления данных в «Атоме», архитектура строилась с учётом возможности масштабирования под будущие нагрузки, которые на старте было сложно точно спрогнозировать.
Платформа объединила разрозненные источники в единую структуру с гранулярным доступом. Это значит, что теперь аналитики и бизнес-подразделения могут получать данные через API или SQL в едином формате, а не искать их в разных таблицах.
Источники · 1
Текст подготовила языковая модель по материалам источников.
