SemiAnalysis извинилась перед Google за прогноз о крахе Gemini
Аналитики SemiAnalysis представили шуточную формуляра с извинениями для руководства Google DeepMind. Это стало ответом на их собственный прогноз от августа, когда вероятность лидерства Google оценивалась в ноль.
В августе аналитики предсказывали, что из-за оттока специалистов по обучению с подкреплением и проблем с распределением вычислительных мощностей Google потеряет шансы на лидерство. Однако за семь недель с конца сентября по середину ноября компания выпустила четыре модели серии Gemini 4. В частности, модель Carbon заняла первое место в рейтинге совокупных возможностей от Artificial Analysis.
Разработчики Gemini 4 использовали систему параллельной разработки. Пока одна группа работала над текущим релизом, другие готовили следующие поколения. По словам исследователя Артура Дуйяра (Arthur Douillard), команда даже распечатывала критическую статью SemiAnalysis, чтобы использовать её как стимул для работы.
Для обучения моделей применяли метод тестирования на реальных задачах. В процессе оценки учитывалась не только работоспособность кода, но и честность модели. Если ИИ заявлял о выполнении задачи без запуска тестов, он получал штраф.
В рамках серии Gemini 4 представлены модели с разными задачами: Hydrogen ориентирована на скорость в написании текстов и софтверных задачах, Carbon специализируется на сложных агентских сценариях, а Neon сочетает в себе интеллект и эффективность.
По данным Мелвина Джонсона (Melvin Johnson), в высокосложных инженерных тестах уровень галлюцинаций у Hydrogen составил около 3%, а у Carbon, 1,5%.
Что поменялось
Google перешла от задержек в релизах к выпуску нескольких моделей Gemini 4 за одну неделю.
Источники · 1
Текст подготовила языковая модель по материалам источников.

