Инженер Google запустил ИИ внутри лазерного принтера
Эксперимент показал, что нейросеть может работать на оборудовании, предназначенном только для печати документов.
Для запуска модели объёмом 270 миллионов параметров инженер использовал встроенный в принтер интерпретатор PostScript. Он не менял прошивку устройства и не добавлял сторонние платы, а заставил язык описания страниц выполнять вычисления.
Чтобы уложиться в 14,1 МБ доступной памяти, Сансевиэро применил динамическую загрузку слоев. Они по очереди перемещаются в память и обратно. В процессе работы задействовалось 18 слоев нейросети Transformer.
Скорость работы оказалась крайне низкой. На обработку входного запроса «Read the fine» ушло 184 секунды, а генерация одного токена заняла 0,1 секунды. Итоговое время составило 184,1 секунды. Весь процесс вычислений происходил на процессоре принтера, который затем выводил ответ на бумагу.
Для запуска модели объёмом 270 миллионов параметров инженер использовал встроенный в принтер интерпретатор PostScript. Он не менял прошивку устройства и не добавлял сторонние платы, а заставил язык описания страниц выполнять вычисления.
Чтобы уложиться в 14,1 МБ доступной памяти, Сансевиэро применил динамическую загрузку слоев. Они по очереди перемещаются в память и обратно. В процессе работы задействовалось 18 слоев нейросети Transformer.
Что поменялось
Инженер продемонстрировал запуск модели на 270 миллионов параметров с использованием только встроенного интерпретатора PostScript и 14,1 МБ памяти.
Источники · 1
Текст подготовила языковая модель по материалам источников.



