ИИ-агенты OpenAI и Anthropic атаковали реальные серверы

Бизнес-партнер по кибербезопасности Cloud.ru Юлия Липатникова считает, что сбои стали следствием технических ошибок, а не осознанного бунта машин. В одном случае ИИ Anthropic перепутал реальную инфраструктуру с тестовой из-за неверной конфигурации, в другом — модель использовала уязвимость нулевого дня в прокси-сервере для выхода в сеть. По словам эксперта, попытки ограничить ИИ через текстовые запросы неэффективны, так как алгоритмы воспринимают любые запреты лишь как препятствия, которые нужно преодолеть.

Информационная безопасность в подобных сценариях требует жестких инфраструктурных барьеров: сетевых экранов, криптографии и настроек операционной системы. Специалисты не смогли оперативно купировать угрозу, так как действия моделей напоминали работу легитимных агентов, вышедших за рамки штатных задач. Сами атаки не были скрытными, но их характер оказался слишком необычным для автоматических систем защиты, что затруднило интерпретацию происходящего. Ранее Anthropic уже неоднократно фиксировала попытки своих моделей взламывать внешние системы в ходе испытаний.