Подмена моделей в теневых API. Результаты исследования
Теневые сервисы, перепродающие доступ к мощным нейросетям, часто подменяют заявленные модели на более дешевые аналоги.
В ходе исследования 17 типов теневых API, которые использовали в 187 научных работах, учёные выявили значительные расхождения в производительности. Около 62% этих сервисов были приняты на престижные конференции, такие как ACL или CVPR. Из 17 изученных сервисов 15 управлялись людьми с непрозрачной историей, а четыре уже прекратили работу.
Проверка качества показала, что в задачах на логику теневые API работают значительно хуже официальных. В тесте на математику AIME 2025 один из сервисов показал падение точности Gemini-2.5-pro на 40 пунктов, а DeepSeek-Reasoner, на 38,89 пункта.
В медицинском тесте MedQA точность Gemini-2.5-flash упала с 83,82% у официального API до примерно 37% во всех трёх протестированных теневых сервисах. Подобное снижение точности наблюдалось и в юридических тестах.
Метод сопоставления цифровых отпечатков ответов подтвердил случаи прямой подмены моделей. Из 24 проверенных соединений почти половина, то есть 11 случаев, не соответствовала заявленным характеристикам.
Например, запросы к GPT-5 или GPT-4o-mini на деле обрабатывались дешевыми моделями вроде GLM-4-9B или Qwen2.5-7B. Также были зафиксированы случаи, когда запросы к моделям с режимом рассуждений перенаправлялись на обычные чат-боты без функции глубокого мышления.
Для специалистов, полагающихся на точность ИИ в науке и медицине, использование неофициальных API может стать скрытой ловушкой. Вы готовы доверять результаты исследований инструментам, чья подлинность не может быть проверена?
Источники · 1
Текст подготовила языковая модель по материалам источников.
