Google Gemini обогнал GPT-4 в пять раз. Как пишет Semianalysis.com, компания выпустила языковую модель Meena, которая за короткое время стала лучшей в мире. 

По сравнению с существующей современной генеративной моделью OpenAI GPT-2, модель Meena в 1,7 раз мощнее, её обучали на количестве данных, превышающих обычный набор в 8,5 раз. 

“Мы представляем Meena, диалоговую модель на основе нейросетей. Meena может вести более разумные и конкретные беседы, чем существующие современные чат-боты”, — писали в Google на заре разработки модели.

Появление модели Meena заставило вспомнить записку Ноама Шазира, в которой он написал "Meena съест мир". В этой записке он предсказал многие вещи, с которыми столкнулся остальной мир после выхода ChatGPT. Главные выводы заключались в том, что языковые модели будут всё больше интегрироваться в нашу жизнь различными способами. Ноам настолько опередил своё время, когда написал это, но это было в основном проигнорировано или даже высмеяно ключевыми лицами, принимающими решения.

В основе Meena лежит архитектура Evolved Transformer seq2seq. Meena работает с помощью одного блока кодера Evolved Transformer и 13 блоков декодера Evolved Transformer. Кодер отвечает за обработку контекста разговора, чтобы Meena могла понять смысл сказанного. Затем декодер использует эту информацию для формулирования ответа.

Издание предполагает, что “гигант Google проснулся”, и его итерации идут такими темпами, можно рассчитывать на 20-кратный рост ИИ к концу следующего года. Хватит ли у Google духу выложить эти модели на всеобщее обозрение без ущерба для своего творчества и существующей бизнес-модели — это уже другой разговор.