В Mirror Dimension воспроизведены привычные сайты и потоки данных. Агенты работают в браузере Chrome как обычные пользователи: например, применяют промокод при покупке или заполняют ленту соцсети. Во время таких заданий исследователи проверяют, как модели реагируют на промпт-инъекции — попытки заставить их действовать по чужим инструкциям.
По словам инженера команды безопасности Chrome Чарльза Цяня, поведение агентов трудно предсказать: они не следуют жестко заданному сценарию, а веб-среда может быть враждебной. В небольших тестовых пространствах модели способны распознать эксперимент и вести себя неестественно. Запускать их сразу в открытый интернет рискованно из-за вредоносных сайтов, возможных утечек данных и настоящих финансовых операций.
Для создания копии команда задействовала ИИ-агентов-разработчиков, которые формировали веб-сервисы и потоки данных. Исследователи также проверяли защищенность, в частности выпускали поддельные сертификаты. Google подчеркивает: такие атаки стали возможны благодаря специальному «режиму бога» для разработчиков и не угрожают обычным пользователям.
Испытываемые сейчас агенты безвредны и не умеют проводить кибератаки. Google намерена открыть Mirror Dimension для внутренних команд и внешних исследователей. Директор по инженерии компании Дуг Тернер назвал проект первым шагом: по мере усложнения моделей виртуальную среду придется делать реалистичнее. Он призвал другие команды рассмотреть такой же подход.

Комментарии (0)
Пока нет комментариев. Будьте первым!