Что умеет делать первая мультимодальная модель искусственного интеллекта

В России представили первую русскоязычную мультимодальную модель искусственного интеллекта OmniFusion 1.1 в открытом доступе. Это ещё одни шаг для развития и внедрения ИИ в различных сферах, заявил REX директор научного центра перспективных исследований в искусственном интеллекте, доцент кафедры информатики РЭУ им. Г.В. Плеханова Сергей Ярушев.

Институт искусственного интеллекта AIRI представил первую версию мультимодальной модели OmniFusion еще на конференции AI Journey 2023. Модель была способна вести диалог не только на основе текстовых вопросов, но и отвечать на вопросы по изображениям.

Новая версия OmniFusion 1.1 поддерживает диалог на русском языке и, по словам разработчиков, превосходит на ряде бенчмарков многие открытые модели схожего размера, такие как например, LLaVA-7B и LLaVA-13B.

В отличие от уже давно известных моделей Kandinsky от «Сбера» или YandexArt от «Яндекса», OmniFusion 1.1 способна понимать вопросы, основанные на изображениях.

Подобные мультимодальные модели, в основе которых находятся большие языковые модели, обучаются специальным образом, «понимают», что изображено на картинке и в дальнейшем могут отвечать и вести диалог с пользователем на естественном языке.

Очень важно, что в России исследователи ведут подобные разработки и предоставляют пользователям возможность работать в открытом доступе с отечественными разработками. Это может стать хорошим драйвером для развития всей индустрии искусственного интеллекта в России.

Как сообщал REX, в России разработали первую мультимодальную модель искусственного интеллекта (ИИ), способную вести визуальный диалог и отвечать на вопросы, основываясь на изображениях, с поддержкой русского языка.