Память на оптике. Marvell и Penguin представили решение для ИИ-кластеров
Данные для обучения и работы ИИ больше не будут упираться в ограничения медных кабелей. Marvell и Penguin Solutions представили систему на базе кремниевой фотоники, которая объединяет память разных серверов в единое пространство.

В современных ИИ-системах задачи распределены по множеству стоек, а передача данных через обычные провода на расстояния свыше двух метров становится проблемой. Решение Marvell и Penguin это устройство, которое использует свет вместо электричества для связи между серверами.
Внутри модуля стоят два стека памяти HBM3e объёмом 72 ГБ и поддержка восьми каналов DDR5. Благодаря оптическому интерпозеру пропускная способность достигает 7,2 Тбит/с в одну сторону.
Система позволяет объединить до 16 серверов в одну сеть с общим доступом к памяти. В первой версии устройства могут быть установлены 16 модулей, что даёт до 1 ТБ памяти HBM и до 16 ТБ DDR5. Для работы предложено два варианта подключения.
Через плату PCIe с обычными оптическими модулями или через чиплет с поддержкой NPO (оптика рядом с корпусом) и CPO (оптика в одном корпусе с чипом). Второй вариант обеспечивает задержку в два раза ниже, чем у платы.
Для работы с огромными контекстными окнами в ИИ-агентах предусмотрен режим кэширования. В этом режиме HBM работает как сверхбыстрый буфер для DDR5. Часто используемые данные хранятся в быстрой памяти, а затем переносятся в объёмную. Это позволяет получить скорость HBM при ёмкости DDR5.
По данным Marvell, такая архитектура может увеличить скорость генерации токенов в 2-5 раз при том же уровне энергопотребления. При этом задержка доступа к памяти через оптическую сеть составит около 190 наносекунд, что выше стандартных 90 наносекунд при прямом подключении к HBM. Тем не менее, это позволяет серверам видеть единое адресное пространство объёмом в десятки терабайт.
Первое поколение систем расширения памяти должно появиться на рынке во второй половине 2025 года. До этого момента новые возможности будут ждать появления совместимого софта и оборудования.
Источники · 2
Текст подготовила языковая модель по материалам источников.


