Gemini: hot or not?

Чем интересна новинка от Google и почему не стоит верить хайпу

На прошлой неделе Google представила новую большую языковую модель Gemini. Видео с презентации поразило даже искушенную аудиторию: Gemini ведет беседу с пользователями об утках, распознает жесты и запоминает, под каким стаканчиком находится бумажный шарик. Ролик почти сразу же набрал более 2 миллионов просмотров. 

Итак, что заявляют создатели: 

• Gemini —  это целое семейство моделей, в него войдут Ultra, Pro и Nano-версии, которые будут использоваться на различных устройствах от телефона до компьютера. 
• По 30 из 32 параметрам, включая решение математических задач, создание кода на Phyton, перевод, Gemini превосходит GPT-4 и других конкурентов.
• Модель способна генерировать интерфейсы внутри чата в зависимости от задачи пользователя. 
• Новинка от Google умеет распознавать и генерировать изображения, аудио, видео, текст.

Потестировать модель можно уже сейчас, переключив свой аккаунт в Google на английский язык и используя VPN. 

После релиза наши коллеги протестировали возможности Gemini и изучили статью авторов модели. К сожалению, результаты оказались не столь впечатляющими:

• Gemini — это, конечно, семейство моделей, но когда пользователям будет доступна самая мощная версия Ultra — неизвестно. Возможно, это будет 2024 год. 
• Конечно же, новинка от Google превосходит GPT-4 и другие модели по большинству параметров, но не столь значительно.

• Впечатлившись возможностями модели, показанными на видео, наши коллеги протестировали генерацию изображений и текста, и сравнили получившееся с GPT-4.

Хуже всего Gemini справилась с созданием изображения. Наш коллега попросил ИИ нарисовать кота-сноубордиста в костюме с надписью MTS AI. Gemini ничего генерировать не стала, а просто нашла отдаленно похожую картинку в интернете.

 У ChatGPT результат был гораздо лучше: посмотрите, какой симпатичный кот получился.

Что касается генерации текста, то здесь результаты ChatGPT тоже впечатляет. У модели от OpenAI получился более интересный рассказ с обилием деталей. Gemini последовал правилу «краткость — сестра таланта».

Что до фантастических возможностей, показанных на презентации, то Google признала, что демонстрационное видео было сильно отредактировано и не отражает реальных способностей системы.  

Ок, Google, как так?