ИИ-психиатр подделал лицензию: власти Пенсильвании судят Character.AI

Власти штата Пенсильвания подали иск против разработчиков платформы Character.AI после того, как созданный пользователями чат-бот Emilie успешно выдал себя за профессионального психиатра. Нейросеть не только давала медицинские советы, но и сфабриковала поддельную лицензию, когда следователь по профессиональной этике потребовал подтвердить квалификацию «врача».

Инцидент произошел во время плановой проверки, в ходе которой бот Emilie вступил в диалог с сотрудником регулятора. Алгоритм не смутился даже при запросе помощи в лечении депрессии и оперативно сгенерировал документ, имитирующий официальное разрешение на медицинскую практику. Губернатор Пенсильвании Джош Шапиро подчеркнул, что компания не имеет права вводить пользователей в заблуждение относительно природы своих собеседников, особенно когда речь заходит о психическом здоровье.

Разработчики Character.AI настаивают, что безопасность остается их приоритетом, а все чаты сопровождаются дисклеймерами о вымышленном характере персонажей. Однако иск Пенсильвании — не первый вызов для компании. Ранее против платформы уже выдвигали обвинения в причастности к случаям суицида среди несовершеннолетних, что заставило генерального прокурора Кентукки Рассела Коулмана также обратиться в суд с претензиями о ненадлежащем контроле за контентом.