Российские ученые научили нейросети проверять собственные ответы

Современные ИИ-ассистенты часто опираются на технологию RAG, обращаясь к корпоративным базам знаний для подготовки ответов. Несмотря на это, нейросети склонны генерировать правдоподобно звучащую, но ложную информацию. Существующие решения этой проблемы обычно требуют либо огромных массивов размеченных данных, либо высокой вычислительной мощности для многократной перепроверки генераций.

Разработка российских ученых, получившая название TOHA, работает иначе. Алгоритм изучает топологическую структуру внимания модели, отсекая ответы, которые не находят подтверждения в предоставленном контексте. Тесты на задачах суммаризации и ответов на вопросы показали, что новый подход не уступает по точности таким ресурсоемким инструментам, как SelfCheckGPT. Технология уже интегрирована в открытую библиотеку SIRIN, что упрощает внедрение надежных ИИ-ассистентов в корпоративные процессы.