Что произошло
Очередной инцидент подчёркивает необходимость осторожности при общении с ИИ. Жительница Флориды Карли Мишель Хеллер столкнулась с обвинением в составлении письменной угрозы после того, как использовала Claude для ведения личного дневника с записями о планах совершить нападение на офис шерифа. После проверки записи человеком-модератором она была передана в правоохранительные органы.
По данным отчёта об аресте, Хеллер из города Бонита-Спрингс написала 26 сентября о планах атаки на офис шерифа. Позже она пояснила, что использует чатбот Anthropic как обычный «дневник».
Как были обнаружены угрозы
Система безопасности Claude отметила запись как подозрительную и эскалировала её к модератору-человеку. Посчитав угрозу реальной, модератор сообщил о ней в правоохранительные органы.
Anthropic указывает, что может делиться информацией о пользователях в ограниченных чрезвычайных ситуациях, если компания считает раскрытие необходимым для предотвращения смерти или серьёзных телесных повреждений.
Оперативники нашли Хеллер и посетили её дом. Была задержана без происшествий, после чего детектив LCSO (местной полиции) занялся расследованием.
Обвинение и закон
Хеллер обвинена в составлении письменной угрозы насилия в соответствии с законодательством Флориды. Согласно Флоридскому статуту 836.10, отправка, публикация или передача письменного или электронного документа, содержащего угрозы убийства или ранения, совершения массового расстрела или террористического акта, — это преступление второй степени. При этом коммуникация должна быть доступна для восприятия третьими лицами.
Прецеденты с OpenAI
Anthropic демонстрирует нулевую терпимость к любому потенциальному вмешательству. Месяц назад сообщалось, что OpenAI и Сэм Альтман подали в суд провинцией Британская Колумбия. Иск основан на утверждении, что компания могла предотвратить массовое убийство в канадской провинции.
Стрелец, восемнадцатилетний бывший ученик Джесси Ван Рутселаар, ранее был выявлен системой безопасности OpenAI во время разговоров о насилии с оружием. Однако OpenAI не сообщила в полицию, поскольку эти разговоры не достигли юридического порога для направления.
В июне Флорида также подала иск против OpenAI и Альтмана, утверждая, что ChatGPT способствовал реальному вреду, включая массовое убийство в Университете штата Флорида в 2025 году.
Важное напоминание
Этот случай — очередной повод задуматься дважды перед вводом в чатбот информации, которая может создать проблемы. Чатбот — определённо не приватный дневник, содержимое которого видит только владелец.
В прошлом месяце выяснилось, что люди, проверяющие редактор изображений Microsoft Copilot, могут видеть запросы пользователей, загруженные фотографии и сгенерированные ИИ правки. Документы показывают, что некоторые из этих заданий содержат сексуальный контент, тревожный материал или потенциально незаконную информацию, хотя модераторы находятся там не для её отмечания — только для оценки точности результата.