Сибирские ученые разработали фильтр от «галлюцинаций» нейросетей

Нейросети часто уверенно транслируют выдуманные факты, вводя пользователей в заблуждение. Исследователи из красноярского Университета Решетнева предложили решение этой проблемы: систему стресс-тестирования и автоматического контроля, которая в режиме реального времени оценивает достоверность ответов алгоритма и сигнализирует об ошибках, если уровень уверенности ИИ падает ниже допустимого предела.

Команда под руководством доцента Анастасии Поляковой отказалась от традиционных RAG-систем, которые подтягивают информацию из внешних баз знаний, но часто ошибаются из-за опечаток или неполных данных. Вместо этого разработчики создали классификатор типичных «галлюцинаций» и внедрили пайплайн для автоматической проверки ответов по эталонным значениям. Прототип модуля постоянно анализирует диалог: как только алгоритм начинает генерировать сомнительную информацию, система выставляет низкий балл надежности и уведомляет оператора.

Технология универсальна и не привязана к конкретным архитектурам нейросетей. По замыслу авторов, такой надстройкой можно оснастить как простые справочные чат-боты, так и критически значимые платформы вроде медицинских систем или сервиса «Госуслуги». Это позволит снизить риски при использовании автоматизированных помощников в сферах, где цена ошибки слишком высока.