Не прошло и суток после анонса Gemini 4 Argon, как Bloomberg опубликовал материал, ставящий под сомнение громкие цифры Google. По данным агентства, внутри компании есть сотрудники, которые считают, что реальная эффективность модели не соответствует её результатам в тестах.

Что пишет Bloomberg

  • Ряд сотрудников Google отмечает, что модель «справляется хуже, когда её действительно применяют в работе».
  • Отдельно упоминаются трудности с программированием — прежде всего с созданием интерфейсов веб-приложений и переработкой запутанного, плохо структурированного кода. То есть именно в той области, где Google заявляла лидерство.
  • При этом один из источников говорит о «большом консенсусе» внутри компании в том, что Gemini 4 находится на передовой. Другие опасаются, что Gemini всё равно будет отставать от конкурентов.

Ответ Google

В Google назвали «неточным» утверждение, что Gemini 4 недорабатывает в программировании. Компания напомнила слова главы Google DeepMind Корая Кавукчуоглу, сказанные в конце сентября: Google «всегда будет на передовой».

Почему бенчмарки не всё

Расхождение между тестами и практикой — давняя проблема индустрии ИИ. Бенчмарк — это стандартный набор задач с известными ответами. Модели всё лучше на них «натренированы», но реальная работа устроена иначе: задачи сформулированы нечётко, контекст огромный, а ошибка на одном шаге ломает весь результат. Поэтому независимые оценки и отзывы пользователей после запуска часто важнее цифр из презентации.

Напомним, по данным Google, Argon набрал 77,9% в тесте DeepSWE на реальные задачи программистов и занял первое место в AutomationBench. Модель пока доступна только участникам программы Fairwind по кибербезопасности, а широкий запуск обещан позже. Стандартная цена в API — $4 за 1 млн входных токенов и $20 за 1 млн выходных, на старте — вдвое ниже.

Что это значит

Для обычных пользователей ничего не меняется: Argon в приложении Gemini ещё нет. Но история показывает, что к рекордам в презентациях стоит относиться осторожно и ждать независимых проверок. Подробно о самой модели и её возможностях — в нашей статье о Gemini 4 Argon.

Источники: 9to5Google, CNBC, Android Headlines.