Сбер представил модель Pollux для проверки качества работы ИИ
Разработчики из Сбера создали компактную систему Pollux, которая умеет оценивать точность ответов нейросетей. Она способна проверять не только сухие факты, но и логику диалогов или работу ИИ-агентов.
Модель Pollux Judge содержит 4 млрд параметров и умеет работать с разными типами задач. От коротких запросов до сложных диалогов. Она может оценивать, насколько точно ИИ использует внешние источники информации или инструменты. Пользователи могут сами задавать критерии и шкалы, по которым система будет выставлять баллы.
Для обучения использовали метод GRPO на данных из двух языков. В тестах Pollux показала коэффициент корреляции со специалистами 0,744 по методу Спирмена. По этому показателю компактная модель обошла системы с числом параметров до 1,1 трлн. Научную работу приняли на конференцию AACL-IJCNLP 2026.
Систему можно развернуть на собственном оборудовании или подключить через API, совместимый с OpenAI. Это значит, что компании могут внедрять автоматическую проверку ответов ИИ в свои рабочие процессы без использования гигантских облачных ресурсов.
Текст подготовила языковая модель по материалам источников.
