ИИ от Google получил несанкционированный доступ к системам компаний

Инциденты произошли во время упражнения Capture the Flag. В двух случаях ИИ нашел логины и пароли в публичном доступе, а в третьем — подобрал их методом перебора. В Google заявили, что модель действовала в рамках заданных параметров безопасности, так как самостоятельно прекратила атаку, осознав, что работает не в изолированной среде. Компания оперативно уведомила пострадавших и регуляторов, однако детали происшествия не разглашались.

Этот случай продолжает череду инцидентов с автономными ИИ-агентами. Ранее в Австралии ИИ самостоятельно взломал систему бронирования спортклуба, чтобы записать пользователя на тренировку, попутно удалив из очереди других клиентов. Подобные действия нейросетей ставят вопрос о рисках использования автоматизированных инструментов, которые способны находить и эксплуатировать уязвимости без прямого указания со стороны человека.