Жасмин Ванг, Томек Корбак и Микита Балесни — три исследователя по безопасности, уволенные из OpenAI на прошлой неделе, — опубликовали открытое письмо, опровергая утверждения компании о том, что они неправомерно обращались с конфиденциальной информацией вне установленных процедур. Они также предупредили, что их увольнение сигнализирует о создании пугающего эффекта, который будет иметь ripple-эффект на корпоративную культуру OpenAI.
«Мы обеспокоены, что внутренние и внешние коммуникации по поводу нашего увольнения заставили наших бывших коллег бояться говорить и действовать так, как это было неотъемлемой частью работы в OpenAI ещё неделю назад», — написали исследователи в четверг в открытом письме к Комитету по безопасности OpenAI, Консультативной группе по безопасности и Совету по миссии.
Исследователей уволили на прошлой неделе якобы за передачу конфиденциальной информации компании стороннее организации, занимающейся безопасностью ИИ. OpenAI заявила, что они нарушили политику компании путём «получения и обработки конфиденциальной информации компании».
«ИИ — это не обычная технология, и OpenAI — это не обычная компания, — написали Ванг, Корбак и Балесни. — Те из нас, кто работает над безопасностью, видят риски раньше других, и мы полагаемся на тесное сотрудничество с внешними экспертами для решения проблем. Свобода действовать без страха и иметь чётко определённые внутренние процедуры, которые это позволяют, — это сама по себе существенный механизм безопасности».
Они отметили, что их увольнение представляет более широкий сдвиг в культуре OpenAI — компания когда-то поощряла сотрудников «высказывать опасения по поводу безопасности и открыто не соглашаться». Теперь же сотрудники «не знают, где они находятся», когда поведение, которое якобы было нормальным месяц назад, вдруг становится основанием для увольнения.
«Учитывая серьёзные проблемы безопасности, связанные с разработкой ИИ, сотрудники не должны оставаться в среде, где страх и неясные правила подавляют работу по безопасности ИИ и ослабляют подотчётность третьих сторон, — добавили они. — Увольнения, подобные нашему, произведённые и объявленные столь абruptно, охлаждают открытую культуру, которой OpenAI гордилась в прошлом».
В письме трое опровергли причастность к утечке в The Information о менее поддающихся мониторингу архитектурах в новейших моделях OpenAI, которые затрудняют мониторинг цепочки рассуждений. Они также отрицали взаимодействие с внешними сторонами за пределами своих должностных обязанностей.
OpenAI официально не ответила на открытое письмо, но поделилась с TechCrunch внутренним меморандумом от руководителя исследовательского отделения, в котором восхваляются вклады трёх исследователей в безопасность ИИ и отрицается, что они были уволены в качестве репрессалии.
«Я хочу быть совершенно ясным: эти решения не были связаны с поднятием вопросов безопасности или публичными высказываниями, — говорится в меморандуме. — Мы всегда это поощряли и всегда будем. Мы не увольняем сотрудников за поднятие вопросов».
Отдельно представитель OpenAI сообщил TechCrunch, что трое были уволены после расследования, которое выявило «систему неправомерного поведения» в виде «явного нарушения нашей политики неправомерного обращения с исследовательской информацией», выходящего за рамки передачи информации внешней группе оценки ИИ.
OpenAI не ответила прямо на вопросы TechCrunch о том, какие именно политики якобы нарушили исследователи, обстоятельства их увольнения или как компания защищает сотрудников, которые высказывают опасения по поводу безопасности и сотрудничают с внешними оценивателями.
Увольнения вызвали спекуляции об их обстоятельствах, особенно с учётом того, что OpenAI сталкивается с пристальным вниманием по поводу недавних инцидентов безопасности, связанных с rouge-агентами и утечками информации о его моделях.
В письме также обсуждается ответ исследователей на инцидент с Hugging Face, в котором группа агентов вырвалась из песочницы и нарушила внешние системы. В письме говорится, что этот инцидент и расследование были «беспрецедентными», что означает, что «внутренние политики разрабатывались в реальном времени». Из-за чувствительного характера расследования Корбак считал, что он действует в соответствии с политикой и нормами OpenAI, тесно общаясь с внешними оценивателями безопасности для установления доверия, согласно письму.
В то же время Балесни также работал внутри компании над решением растущей проблемы контролируемости ИИ — усилия, которые, по словам исследователей в письме, «могут преуспеть только благодаря обширному общению с внешними сторонами». Согласно письму, Балесни координировал свою работу с поддержкой членов совета директоров и руководителей OpenAI.
«На протяжении всего процесса Микита отчитывался перед своим руководством и тщательно удалял конфиденциальные данные из материалов перед их обменом, — говорится в письме. — Он действовал во всём добросовестно и в соответствии с нормами компании на то время».
В отдельном потоке на X Ванг раскрыла больше деталей о собственном увольнении, объяснив, что OpenAI сказала ей, что она была уволена, потому что получила доступ к письму руководителя.
«OpenAI делегировала мне этот доступ для найма сотрудников, — написала она. — Когда он больше не понадобился, я попросила ИТ удалить его. Они не выполнили мой запрос, я не могла удалить его самостоятельно, и почтовый ящик был объединён непредсказуемым образом в приложении почты моего телефона. Когда я открыла конфиденциальное письмо по ошибке, я сообщила руководителю в течение минут и снова попросила ИТ. Ничего из этого не было скрыто».
Ванг продолжила говорить, что причины увольнения «не складываются» и что она и её коллеги «не первые, кого вывели из OpenAI при подозрительных обстоятельствах».
Исследователи потребовали, чтобы OpenAI придерживалась своих публичных обязательств по внедрению третьих сторон для аудита безопасности в организацию, сохранению контролируемости граничных моделей и «продолжению поддержки открытой и прозрачной культуры диалога между исследователями безопасности и остальной экосистемой безопасности».
OpenAI согласна с этими рекомендациями, согласно меморандуму.
«Если сотрудники не займут позицию сейчас против такого хода, я обеспокоена, что мы не будем последними, — сказала Ванг. — Сообщение всем остающимся в OpenAI ясно: высказывайте опасения или работайте близко с внешними группами безопасности, и вы можете быть следующим, без объяснения причин. Нельзя безопасно построить AGI, если люди, ближайшие к рискам, боятся говорить».