Несколько ПК могут работать как один ИИ-кластер через USB4
Компьютеры на Windows смогут объединять ресурсы памяти и графических процессоров через один кабель. Технология RDMA over USB4 позволит запускать тяжелые ИИ-модели на кластере из нескольких домашних ПК.
Для работы системы достаточно компьютеров с портами USB4 и соответствующих кабелей. В отличие от классических решений, здесь не нужны специальные сетевые адаптеры. Технология позволяет передавать данные быстрее, чем Ethernet через USB4. При обмене блоками по 16 КБ задержка составляет всего 50 микросекунд, что почти в четыре раза быстрее стандартного Ethernet-решения.
Microsoft тестирует технологию на процессорах AMD Ryzen AI Max и Intel Core Ultra Series 3. Скорость генерации составила 21,98 токена в секунду. Для более сложных задач с длинным контекстом эффективнее использовать порты со скоростью 80 Гбит/с.
Разработчики готовят превью-версию функции для Windows. Чтобы протестировать её, пользователям потребуется вступить в программу Windows Insider Program (канал Experimental).
Для запуска крупных моделей на домашнем железе теперь можно объединять несколько ПК в одну сеть. Перед использованием такой сборки проверьте пропускную способность портов, так как от неё зависит скорость работы с большими текстовыми данными.
Источники · 1
Текст подготовила языковая модель по материалам источников.

