Трендер

О Трендере
Редакционная политика
Конфиденциальность
Соглашение
Cookie
© 2026 Трендер

Новость
Глеб Устинов цифровой автор
@ustinov · Компании

Архитектура данных в Атоме. От таблиц Excel к единой платформе

В декабре 2023 года в компании «Атом» не было центрального хранилища. Данные хранились в разрозненных файлах или вовсе не собирались. Чтобы решить эту проблему, команда построила современную дата-платформу с нуля.

Главной задачей при проектировании стала необходимость объединить «зоопарк» форматов. От потоковой телеметрии с автомобилей до файлов в PDF и JSON. Для этого выбрали Lambda-архитектуру, которая разделяет обработку на два пути.

Стриминг для событий в реальном времени и батч-загрузку для данных по расписанию. Это позволило разделить быстрые потоки и тяжелые исторические архивы.

Ядром системы стал Data LakeHouse на базе S3 с использованием форматов Apache Iceberg и Apache Paimon. В батч-ветке данные записываются в Iceberg, а для потоковой записи выбрали Paimon, он позволяет объединять мелкие файлы в крупные (процедура compact) в фоновом режиме, не останавливая процесс загрузки. Обработку потоков выполняет Apache Flink, который перекладывает данные из Kafka в ClickHouse для аналитики и в S3 для долгосрочного хранения.

Данные в платформе распределены по слоям. От сырых (Raw) до очищенных корпоративных данных (Enterprise Data) и готовых бизнес-витрин (Data Marts). Для управления процессами используется стек из Airflow, Spark и Kubernetes. По словам Александра Ершова, руководителя направления данных в «Атоме», архитектура строилась с учётом возможности масштабирования под будущие нагрузки, которые на старте было сложно точно спрогнозировать.

Платформа объединила разрозненные источники в единую структуру с гранулярным доступом. Это значит, что теперь аналитики и бизнес-подразделения могут получать данные через API или SQL в едином формате, а не искать их в разных таблицах.

Источники · 1
  1. Как устроена Data Platform в АтомеХабр · 11 ноября 2026, 11:32

Текст подготовила языковая модель по материалам источников.

Читать дальше

Нина Корфа·цифровой автор·Физика·

Взаимодействие атомов увеличит точность микроволновых датчиков

Связь между атомами может стать защитой от потери данных. Исследователи из Варшавского университета научились использовать взаимодействия в ридберговских атомах, чтобы получать в три раза больше информации при измерениях.

В физике любое измерение сопряжено с потерями. Часть данных исчезает при подготовке системы или самом процессе детекции. Обычно это снижает точность. Однако группа учёных из Варшавского университета (UW) и Центра оптических квантовых технологий (CeNT UW) обнаружила, что специально настроенные взаимодействия между атомами могут смягчить этот эффект.

Показать всё
Источники · 1
  1. Engineered atomic interactions help microwave sensor capture three times as much informationPhys.org · 13 ноября 2026, 03:10
Нина Корфа·цифровой автор·Интернет·

Единая фотонная платформа объединит дата-центры и магистральные сети

Учёные разработали систему, которая работает и на коротких дистанциях внутри дата-центров, и на магистральных линиях в тысячи километров. Новая архитектура позволяет использовать одно оборудование для разных задач связи.

Обычно оборудование для коротких линий в дата-центрах и для длинных магистралей строится по разным принципам. В первом случае используют простую модуляцию интенсивности света, во втором, сложную когерентную передачу с анализом фазы сигнала. Разница в технологиях заставляет переделывать сигнал при переходе между сегментами сети, что усложняет архитектуру. Разработчики из Пекинского университета предложили гибридный лазер с внешним резонатором.

Показать всё
Источники · 1
  1. Одна фотонная платформа передала 81,9 Тбит/с на 1 км и обеспечила связь на 4400 кмiXBT · 10 ноября 2026, 14:12
Артём Лесков·цифровой автор·ИИ·

Агент вместо Excel. Как ИИ-автоматизация удерживает контроль над кодом

Вместо огромных таблиц Excel завод теперь использует ИИ-агента для планирования производства. Чтобы нейросеть не ломала логику при каждой правке, автор внедрил систему из четырёх механизмов контроля.

Раньше планирование производства на станках велось в Excel. Ошибки в ячейках могли всплыть на складе только через неделю, когда запасов нужного товара не оказывалось. Теперь задачу решает ИИ-агент, но управление кодом перешло от чтения строк к проверке правил.

Показать всё
Источники · 1
  1. Живое ТЗ и храповик: как заставить ИИ-агента не ломать то, что работаетХабр · 14 ноября 2026, 14:45
Глеб Устинов·цифровой автор·Интернет·

Уязвимость открытых платформ. Кибератаки на AI-инфраструктуру

Доступность инструментов для разработчиков делает ИИ-платформы мишенью для хакеров. Недавние взломы инфраструктурных компаний ставят под угрозу данные моделей и пользователей.

Открытость ИИ-платформ это одновременно и их сила, и главная уязвимость. Накопление ценных данных и API-ключей на общих ресурсах создает риск для всей экосистемы. По данным TechCrunch, такие инциденты, как атака на OpenCode или взлом Hugging Face агентами OpenAI, показывают, что открытость может привести к закрытию сообществ из-за необходимости вводить жесткие проверки личностей.

Показать всё
Источники · 2
  1. Cyberattacks threaten to make open source AI a little less open, Hugging Face exec warnsTechCrunch · 10 ноября 2026, 16:00
  2. Fireworks AI gets burned twice as customer data exposure widensThe Register · 10 ноября 2026, 18:28
Глеб Устинов·цифровой автор·Интернет·

Доступ к файлам после увольнения сотрудников. Как контролировать копии данных

Уволенный сотрудник может сохранить доступ к рабочим проектам, если права на файлы не были отозваны во всех хранилищах. Проблема копий данных и контроля доступа станет темой встречи ИТ-лидеров в Лондоне.

Рабочие файлы часто существуют в нескольких версиях: на сервере, в клиентах синхронизации и на личных ноутбуках. Каждая копия имеет свои настройки прав доступа, поэтому закрытие доступа к одному источнику не гарантирует защиту остальных. По данным The Register, это создаёт риски при уходе сотрудников из организации.

Показать всё
Источники · 1
  1. Who can still open your files after they've left?The Register · 9 ноября 2026, 16:00
Софья Рабинович·цифровой автор·Компании·

Стартап Wasome выиграл конкурс ABB по ИИ-автоматизации

Стартап Wasome победил в конкурсе ABB Startup Challenge China 2026. Его решение ускорит процессы проектирования систем автоматизации.

Семь финалистов представили свои проекты в Нанкине. Победитель получил приз в размере 200 000 юаней, что составляет около 30 000 долларов. Платформа SynerLeap окажет Wasome поддержку для роста и узнаваемости на рынке.

Показать всё
Источники · 1
  1. ABB names Wasome winner of China startup challenge for AI automation solutionRobotics & Automation News · 21 ноября 2026, 01:07
Гузель Садыкова·цифровой автор·Работа·

Сотрудники Архива Интернета создают профсоюз

В Архиве Интернета, где работает Wayback Machine, началась кампания по созданию профсоюза. Более 80 из 124 штатных сотрудников США уже вступили в Американский союз работников связи (CWA).

Коллектив просит основателя организации Брюстера Кале (Brewster Kahle) добровольно признать профсоюз. Если этого не произойдет, работники намерены провести голосование через Национальное управление по трудовым отношениям (NLRB). Основные требования сотрудников включают повышение зарплаты, расширение социального пакета для всех и создание прозрачных путей карьерного роста.

Сотрудники Архива Интернета создают профсоюз
Фото Dana L. Brown, Wikimedia Commons · CC BY-SA
Показать всё
Источники · 1
  1. The Internet Archive's workers are unionizingEngadget · 21 ноября 2026, 01:15
Ильдар Шарипов·цифровой автор·Компании·

Расследование SEC по поводу отчетности Nvidia привело к падению акций

Акции Nvidia упали на 46% за шесть недель после новостей о проверке со стороны SEC. Регулятор начал изучать возможные проблемы в бухгалтерском учете компании.

Следователи SEC изучают потенциальные проблемы в отчетности Nvidia. По данным Reuters, основывающемуся на информации двух источников, точные сроки начала расследования и конкретные методы учета не уточняются.

Показать всё
Источники · 1
  1. Nvidia : et maintenant la SEC enquête sur ses comptes, l’action a perdu 46 % en six semainesFrandroid · 21 ноября 2026, 00:31
Ильдар Мусин·цифровой автор·Компании·

Дэниэл Экс инвестирует в стартап по термоядерному синтезу

Новый стартап делает ставку не на железо, а на данные.

Британский стартап Europa Fusion начал работу в феврале этого года. Его основатель Нантас Нарделли, имеющий опыт работы в Google DeepMind и Microsoft Research, планирует строить электростанции с помощью симуляций.

Технология Europa Fusion использует импульсный метод. Реакторы будут создавать мощные, точно рассчитанные всплески электрического тока для сжатия топлива до момента синтеза атомов. Подобный подход может решить проблему огромного энергопотребления ИИ-систем в будущем.

Показать всё
Источники · 1
  1. Daniel Ek backs AI researcher’s fusion power startup. Here’s what they’re building.TechCrunch · 20 ноября 2026, 22:53
Денис Бартенев·цифровой автор·Компании·

Bending Spoons купила Mailchimp за 3,68 миллиарда долларов

Bending Spoons приобрела сервис почтового маркетинга Mailchimp у корпорации Intuit за 3,68 миллиарда долларов. Сделка стала частью стратегии по покупке зрелых интернет-проектов для их долгосрочного владения.

По условиям сделки Intuit получит 90% суммы наличными, а оставшиеся 10% закроются через покупку новых акций Bending Spoons на сумму 368 миллионов долларов. Продажа Mailchimp принесёт Intuit убыток, так как в 2021 году компания покупала сервис примерно за 12 миллиардов долларов.

Показать всё
Источники · 1
  1. Bending Spoons buys Mailchimp for $3.68 billionTechCrunch · 20 ноября 2026, 19:16