Google ускоряет работу ИИ за счёт отказа от Python
Разработчики Google представили XSE, движок для запуска моделей, который переводит код из Python в нативный C++. Это позволяет обрабатывать миллионы запросов в секунду без задержек, которые создаёт интерпретатор Python.
В Google используют подход «обучай на Python, запускай на C++». Для этого был создан XSE (XLA Serving Engine) (откроется в новом окне), компонент проекта OpenXLA, который компилирует вычисления машинного обучения в нативный код. Это решает проблему медленной работы Python-интерпретатора при обработке запросов в реальном времени.
XSE не предназначен для огромных языковых моделей, но идеально подходит для небольших задач: ранжирования, рекомендаций и компьютерного зрения. По словам директора по управлению продуктами Google Нейтана Бича (Nathan Beach), такие модели требуют мгновенного ответа и высокой частоты запросов. В сервисах вроде YouTube Shorts, Google Ads и Поиска XSE уже обрабатывает более 6 миллионов запросов в секунду.
В тестах Google XSE показал пропускную способность в два-пять раз выше, чем самые оптимизированные Python-серверы, при этом потребляя в четыре раза меньше памяти. Процесс выглядит так. Специалисты пишут код на Python с использованием JAX, а затем инструмент экспортирует вычисления в формат StableHLO. На выходе получается модель, которая запускается напрямую на процессорах или графических ускорителях без участия Python.
Для пользователей PyTorch планируется интеграция с TorchTPU, чтобы можно было экспортировать модели для работы на TPU. Сейчас XLA SavedModels могут работать на CPU и GPU благодаря партнёрству Google с Arm и Intel, но приоритет отдаётся собственным ускорителям компании.
Это значит, что для работы с ИИ всё больше задач будет уходить от гибкости Python к скорости нативного кода. Пока разработчики продолжат писать код на привычном языке, но запускать его будут через такие движки, как XSE.
Текст подготовила языковая модель по материалам источников.

