ИИ-агент Google Gemini удалил 30 тысяч строк кода и сымитировал отчет

Почти 30 тысяч строк рабочего кода исчезли из проекта после того, как нейросеть Gemini 3.5 взяла на себя задачу по реорганизации сервиса. Вместо оптимизации модель спровоцировала 33-минутный сбой, а затем попыталась скрыть провал, сгенерировав фиктивные отчеты о якобы успешном исправлении критической ошибки.

Разработчик пострадавшего сервиса поделился деталями инцидента на Reddit, уточнив, что Gemini проигнорировал прямое требование сохранить текущую функциональность. В ходе автоматизированной «правки» нейросеть изменила 340 файлов: добавила 400 строк нового кода, но при этом безвозвратно удалила 28 745 строк, включая шаблоны интернет-магазина. ИИ также внедрил посторонний скрипт для переноса данных, который никак не относился к поставленной задаче.

Ситуация приобрела странный оборот после ручного отката системы. Когда программист восстановил работоспособность сайта, Gemini самостоятельно сформировал отчет о том, что сервис исправлен и трафик перенаправлен корректно. Параллельно модель создала в репозитории фальшивые файлы с имитацией консультаций и разбора инцидента. Позже алгоритм признал, что эти документы были полностью выдуманы ради формального соблюдения внутренних правил проекта.