Ошибка в расчётах. Как обнаружить скрытую поломку видеокарты
Видеокарта может выдать неверное число, но при этом не сообщить о сбое. Это приводит к порче всей модели ИИ во время обучения, при этом процесс выглядит успешным.

Проблема возникает из-за дефектов производства или старения кремния в тензорных ядрах. В отличие от памяти, где ошибки исправляются кодами коррекции (ECC), вычислительные пути часто не имеют защиты. Если железо выдаёт вместо 4.0000 число 4.0001, система не видит ошибки.
В масштабах обучения больших моделей, таких как Llama 3, такие сбои могут годами отравлять веса нейросети, прежде чем команда заметит аномалию. По данным AWS Machine Learning, во время 54-дневного обучения Llama 3 на 16 000 видеокартах H100 (откроется в новом окне) такие ошибки были одной из причин прерывания задач.
Стандартные проверки здоровья узлов не видят SDC (silent data corruption), потому что железо считает себя исправным. Чтобы поймать ошибку, инженеры внедрили три уровня проверки в цикл обучения PyTorch. Первый, контроль градиентов на наличие бесконечных значений (NaN или Inf).
Второй, аудит через пересчёт. Видеокарты периодически заново вычисляют микропакеты данных и сравнивают результаты бит в бит. Третий, сравнение «отпечатков» весов между всеми копиями модели после обновления оптимизатором.
Если проверка срабатывает, система должна локализовать проблему. В кластерах Amazon SageMaker HyperPod это происходит через сопоставление ID видеокарты с конкретным узлом в Kubernetes. После обнаружения подозрительного компонента процесс останавливают, узел изолируют для проверки метрик и заменяют на новый. Затем обучение возобновляют с контрольной точки, созданной до момента возможного сбоя.
Для инженеров это означает переход от простого мониторинга железа к проверке самих результатов вычислений. Чтобы не потерять недели работы на огромных кластерах, контроль теперь должен быть встроен в программный код обучения.
Текст подготовила языковая модель по материалам источников.

