Экономия на GPU через гибкую архитектуру. Опыт AssemblyAI
Преобразование речи в текст требует огромных вычислительных мощностей. Чтобы не разориться на аренде видеокарт, компания AssemblyAI перевела часть задач на прерывистые инстансы AWS.
Для работы моделей распознавания речи нужны тысячи видеокарт. Постоянная аренда мощностей по стандартным тарифам стоит слишком дорого. Чтобы снизить расходы, AssemblyAI использует Spot-инстансы в Amazon EC2.
Это дешевые вычислительные ресурсы, которые облачный провайдер может забрать обратно с предупреждением за две минуты. Основная задача заключалась в том, чтобы такие перерывы не нарушали обязательства по качеству сервиса перед клиентами.
Решение строится на трёх принципах. Во-первых, система использует разные семейства видеокарт, от моделей g4dn до g6. Это позволяет забирать свободные мощности из разных пулов и реже сталкиваться с дефицитом. Во-вторых, архитектура разделяет постоянную базу и пиковые нагрузки.
Для стабильной работы всегда включены On-Demand инстансы, а для всплесков задач подключаются дешевые Spot-ресурсы. В-третьих, за сохранность данных отвечает очередь Amazon SQS. Если инстанс внезапно отключают, задача возвращается в очередь и подхватывается другим свободным узлом.
Такой подход позволяет масштабировать ИИ-инференс без резкого роста бюджета. Вместо покупки избыточных мощностей компания использует гибкий пул ресурсов, который подстраивается под текущую очередь задач. Это освобождает бюджет для разработки новых моделей. Для тех, кто внедряет ИИ в бизнес-процессы, это пример того, как архитектура может компенсировать нестабильность дешевого железа.
Текст подготовила языковая модель по материалам источников.

