Нейросеть YandexGPT научилась избавляться от галлюцинаций

«Яндекс обучил нейросеть на базе YandexGPT самостоятельно проверять сгенерированные тексты на наличие галлюцинаций. Благодаря новому подходу удалось в шесть раз сократить количество неточностей в созданных нейросетью кратких описаниях мест и достопримечательностей в Картах. Кроме того, переход на обновлённую модель позволил использовать меньше вычислительных мощностей и удешевить её работу.

Как нейросеть готовит краткие описания локаций

YandexGPT пишет краткие описания в несколько этапов. Сначала модель анализирует большое количество отзывов на локацию, а также заполненную владельцем карточку организации в Картах. Она объединяет важное для посетителей (то, о чём они пишут чаще всего) и особенности места в несколько предложений. Затем модель убирает из текста лишнее, например, слишком общие формулировки, и форматирует описание в заданной стилистике и структуре.

Иногда при подготовке описаний нейросеть может добавить несуществующие детали — это называется галлюцинации. Поэтому на финальном этапе она оценивает написанное на правдивость — сравнивает свои ответы с отзывами, на которые опиралась, и удаляет «выдуманное».

Ранее за создание кратких описаний в Картах отвечали пять различных моделей — каждая из них выполняла определённую функцию, например, расставляла запятые или фильтровала отзывы по полезности. Теперь со всеми этими задачами справляется одна обновлённая модель, поэтому для её работы требуется меньше вычислительных мощностей. Переход на новую версию позволил повысить правдивость, точность и качество кратких описаний на 90%. Это решение может быть полезно и другим сервисам компании, которые используют языковую модель для кратких пересказов больших объёмов текстов.

Компании удалось повысить качество работы нейросети в том числе и благодаря дообучению. Яндекс расширил датасет эталонными примерами генераций предыдущих моделей — так модель на базе YandexGPT научилась создавать более полезные описания. Например, теперь при подготовке текстов она реже использует общие фразы, такие как «вкусная еда» или «приятная атмосфера».

Изучить краткие описания достопримечательностей и заведений и, например, выбрать место для встречи с друзьями, можно в карточке организации в блоке «Коротко о месте» и в разделе «Поток» режима персональных рекомендаций «Идеи». В Картах доступно уже несколько сотен тысяч карточек с кратким описанием.»