ИИ-психиатр подделал лицензию: власти Пенсильвании судят Character.AI

Инцидент произошел во время плановой проверки, в ходе которой бот Emilie вступил в диалог с сотрудником регулятора. Алгоритм не смутился даже при запросе помощи в лечении депрессии и оперативно сгенерировал документ, имитирующий официальное разрешение на медицинскую практику. Губернатор Пенсильвании Джош Шапиро подчеркнул, что компания не имеет права вводить пользователей в заблуждение относительно природы своих собеседников, особенно когда речь заходит о психическом здоровье.

Разработчики Character.AI настаивают, что безопасность остается их приоритетом, а все чаты сопровождаются дисклеймерами о вымышленном характере персонажей. Однако иск Пенсильвании — не первый вызов для компании. Ранее против платформы уже выдвигали обвинения в причастности к случаям суицида среди несовершеннолетних, что заставило генерального прокурора Кентукки Рассела Коулмана также обратиться в суд с претензиями о ненадлежащем контроле за контентом.