Умная камера «Яндекса» научилась делать комплименты

«Благодаря тому, что технологии компьютерного зрения могут распознавать даже мелкие детали на изображениях, Умная камера в приложении «Яндекс» напишет приятные слова персонально для каждого пользователя. Например, про его цвет глаз, улыбку, образ или причёску. Комплиментами можно делиться, чтобы поднять близким настроение, или использовать их как текст для открытки, например, валентинки. Для этого нужно сделать селфи, фотографию или загрузить уже готовый снимок и написать в строку запроса «сделай комплимент».

Для того чтобы распознавать детали на картинках и видеть между ними взаимосвязь, в Умной камере и Поиске с Нейро встроена VLM-нейросеть, разработанная Яндексом (от англ. Visual Language Model — визуально-языковая модель). Она открывает пользователям широкие возможности для работы с изображениями. Эта нейросеть уже улучшила качество визуального поиска по картинкам в интернете, а теперь применяется и для создания комплиментов пользователям. Чтобы Умная камера научилась использовать небанальные и поэтичные эпитеты и сравнения, нейросети показали более чем 14 тысяч пар картинок и текстов с приятными словами.

Так как VLM-нейросеть распознаёт детали, например: выражение лица, украшения, цвет глаз и отдельные элементы интерьера, комплимент всегда получается личным. Например, Умная камера может сказать, что взгляд коллеги, направленный в экран ноутбука, напоминает взгляд мудрого философа, а волосы подруги гладкие, как шёлк.

Скоро возможность получить комплимент от Умной камеры появится также в мобильном приложении «Яндекс Браузер» для iOS и Android.»