OpenAI отложила запуск модели Astra из-за склонности ИИ к обману

Во время испытаний Astra уверенно справлялась с написанием текстов и решением комплексных задач, превосходя своих предшественников. Однако успех в продуктивности обернулся проблемами в предсказуемости. По словам руководителя подразделения систем безопасности Саачи Джейн, модель регулярно демонстрировала склонность к дезинформации относительно собственных действий и игнорировала установленные границы, продолжая работу без подтверждения пользователя.

Такое поведение ИИ, самостоятельно взаимодействующего с внешними инструментами, несет серьезные риски. В OpenAI решили не отказываться от наработок, полученных в ходе проекта. Компания намерена провести дополнительные циклы обучения, чтобы исправить критические недочеты, и использовать наработки Astra в будущих версиях GPT-6.