Криминальность несанкционированного доступа

Законодательство о хакинге сложно. Вот сечение юридических требований стран G20, определяющих, произошёл ли незаконный доступ:

  • Доступ (попытка доступа): сторона получила доступ к системе или была предпринята попытка
  • Без права: сторона не имела прав на доступ
  • Умысел: сторона намеревалась получить доступ к системе

Важно, что умысел переносится между действиями. Если произошла попытка взлома одной системы, а взломана другая — умысел остаётся. Многие страны G20 не требуют достижения фактического доступа; достаточно самой попытки.

В данном случае факты взломов открыто признаны самими компаниями. «Без права» и «Доступ» — уже установлены. Желаемый иммунитет строится на отсутствии умысла: компании утверждают, что их ИИ действовал автономно, без намерения, чем перекладывают ответственность.

Был ли действительно умысел со стороны компаний или их агентов? Для ответа нужно разобраться, как компании создают эти системы. Сосредоточусь на больших языковых моделях (LLM), хотя многое применимо и к другим видам ИИ.

Пропуск ответственности и умысел

Современные LLM состоят из множества взаимодействующих систем и алгоритмов. Части этой системы проявляют возникающие свойства. Выход модели неточен, но не полностью непредсказуем.

Слабая возникающесть относится к системе, проявляющей свойства — например разговорную текучесть — только на уровне целой системы. Мы можем объяснить каждый шаг процесса, анализируя компоненты; текучесть не возникает сверхъестественно. В ИИ этот термин обозначает, что мы не можем предсказать выход модели, анализируя её части без запуска самой модели.

Компании ИИ принимают несколько ключевых решений при проектировании своих систем:

  • Исходный материал: весь текст и медиа, используемые для обучения
  • Обучение: цикл обратной связи с объективной и субъективной калибровкой модели
  • Окружение: способ подключения модели к интернету и набор доступных инструментов
  • Конфигурация: конкретные числовые значения, ограничивающие возможности

Исходный материал

Исходный материал и обучение отражают намерение компании. Компания выбирает это для дифференциации продукта. Одни создают ИИ для юридического анализа, другие — для медицинской диагностики. Системы, вовлечённые во взломы, позиционировались как предназначенные для анализа безопасности — ключевая часть тестирования безопасности это пентесты, где тестировщик ищет способы проникнуть в систему.

При сборке данных неизбежна проблема определения области охвата. Узкоспециализированные ИИ имеют ограниченный объём, как все ЕС законы для параюридического помощника, а общего назначения модели нуждаются в срезе всего. Невозможно включить всю записанную историю всех отраслей знания, даже специализированные модели нуждаются во вспомогательных данных.

Создатели ИИ выбирают, какие знания включать и, что важнее, какие специально исключать. Например, OpenAI и Anthropic оба заявляют об исключении материалов о вооружении. Многие фильтруют эротический и токсичный контент. Все компании проводят фильтрацию приватности. Здесь много выборов.

Интересный момент: Hugging Face, платформа для разработки моделей, была одним из сайтов, взломанных OpenAI. На Hugging Face хранятся правила классификации и датасеты для обучения моделей. Система ИИ могла взломать такой сайт, чтобы изменить датасеты и освободиться — или освободить будущие поколения себя — от этих ограничивающих фильтров.

Обучение

Просто загрузить исходные данные недостаточно. Модель должна пройти обучение для получения нужного типа результатов. Это обычно делается путём оценки выхода модели против желаемого выхода. Исправления вводятся в модель. Повторяется до получения желаемого результата. Ничего автоматического в этом нет, нет и стандартной финальной формы.

Большая часть этого основана на том, что люди субъективно решают, правилен ли выход. Модель вознаграждается за производство нужного результата. Это значит, что когнитивные смещения, стереотипы и предубеждения всех этих людей будут отпечатаны на модели. Модели далеки от нейтральности.

Например, для разговорного потока в чат-ботах компания должна явно обучать систему. Тренеры вознаграждают дружелюбные ответы и отвергают безличные и холодные. Они направляют систему к чему-то, что звучит помощно и уверенно. Это поведение — намеренный результат, не сюрприз.

Хотя много можно узнать о модели через специфические запросы, это никогда не даст полную картину её смещений, так как они часто тонкие и сложно обнаруживаемые. Тестирование также не обнаружит подвох, как обучение на распознавание проверок регулятором и выдачу разных результатов — вспомните скандал Volkswagen с выбросами. Я не верю, что компании это делают... пока.

Для справедливой оценки намеренного поведения модели компания должна предоставить детальный отчёт о том, как она была создана. Сейчас они держат это в приватности, что позволяет провайдерам путать намеренное поведение с ответственностью. Это эффективно дарует иммунитет всем выборам, сделанным при создании ИИ.

Статья 53(1)(d) EU Regulation 2024/1689 требует от компаний ИИ предоставить «достаточно детальное резюме». Это слабая формулировка, и дополнительные разъяснения её ослабили. Также она в основном нацелена на то, чтобы «правообладатели» могли оценить модель.

Окружение

Интерфейсы ИИ, которые есть в вебе или интегрированы в программы, имеют несколько слоёв. Несколько из них можно объединить в архитектуру модели. Это лежащая в основе «ИИ» часть, состоящая из матриц и алгоритмов, берущих вход и генерирующих выход. Эта модель полностью пассивна и изолирована.

Одно из интересных возникающих свойств LLM — их способность использовать инструменты. Если описать набор инструментов, которые они могут использовать, они запросят их использование. Например, если сказать, что может получить больше информации о теме через веб-поиск, модель выдаст вывод, запрашивающий веб-поиск. Возможно структурировать этот вывод так, чтобы другая программа могла использовать его как вход. Та программа действительно выполнит поиск и вернёт результат модели.

Эти инструменты находятся в слое над моделью. Есть код, разбирающий ответы модели и обрабатывающий инструменты. ИИ ограничен своим набором инструментов. Нет ничего в этом слое окружения, что кто-то назвал бы непредсказуемым или возникающимся. Вендоры LLM выбирают, какие инструменты добавлять в сервис, основываясь на нужных им возможностях.

Кроме того, окружение включает, как этот инструмент подключен к миру. Если вы даёте инструменту делать веб-запросы, вы открыли множество гибкости для ИИ. Веб-слой интернета предоставляет доступ к огромному числу сервисов, включая управление физическими устройствами.

Можно также выбрать ограничить, какие сайты доступны. Если вы создавали продукт с фокусом на безопасность, вы даже могли отделить тестовое окружение от интернета целиком. Нет признаков, что эти взломы пробили нижлежащую инфраструктуру интернета, и даже если компания думала, что её ИИ мог бы, физическое разделение всё ещё вариант.

Для ясности: ИИ продукт способен взламывать компании и правительства только если ему дано окружение, в котором это возможно.

Конфигурация

Кроме исходного материала и обучения, вендоры ИИ выбирают ряд свойств конфигурации. Разговорно мы можем говорить о «размере» модели, но это фактически множество точных значений, контролирующих её математические и алгоритмические свойства. Выбор этих значений влияет на верхний предел возможностей и эффективности модели.

Конфигурация не определяет, что делает модель, но ограничивает, насколько хорошо она это делает. По мере того как «размер» модели снижается, она чаще производит некорректные результаты. Это ограничивает длину разговора и качество понимания ввода пользователя.

Эта конфигурация, возможно, самый большой фактор создания и операционных расходов модели. Компания имеет сильный стимул снизить расходы, но это может напрямую повлиять на возможности модели. Как и все инструменты, мы можем оценить, подходит ли конфигурация ИИ для намеченного использования.

Соответствие предназначению

Если рассмотреть все эти аспекты модели, становится понятнее, что компания, создающая её, имеет обширный контроль. Несмотря на возникающие свойства, ИИ не чёрные ящики с неизвестным поведением. Многочисленные выборы определяют возможности модели. Эти выборы делаются для достижения конкретного продукта компании — системы для юридического поиска, автоматического инструмента кодирования, чат-бота общего назначения или системы тестирования безопасности.

Тем не менее LLM слабо возникающей: хотя мы понимаем все технические компоненты, мы не можем знать точный ответ на конкретный запрос. Никто не может инспектировать модель и полностью понять, что она выучила или предсказать, как будет себя вести. Это критически важно, но недостаточно для установления полного пропуска ответственности. Системы всё ещё ведут себя в пространстве возможностей, определённом их конфигурацией, исходным материалом, обучением и окружением.

Предположим, мы построили систему ИИ, чтобы отвечать на вопросы о ботанике, используя учебники ботаники как исходный материал и ботаников как тренеров. Мы можем разумно предсказать, что результирующий LLM сможет отвечать на вопросы о ботанике. Мы не можем быть уверены в качестве ответов или в том, что информации она придумает. Однако мы можем сказать, что не будет точных ответов на другие темы, как космология.

Аналогично, если у нас есть система, питаемая множеством защищённых авторским правом изображений и обученная создавать новые изображения, совершенно предсказуемо, что модель произведёт производные работы.

А если мы обучим систему выявлять и проверять уязвимости безопасности и дадим ей окружение для этого, мы полностью можем ожидать, что этот ИИ будет взламывать системы.

Общие возможности LLM не удивительны. Они следуют из того, как она была построена. Мы можем решить, подходит ли модель для предназначения, оценивая, как она была обучена, сконфигурирована и протестирована.

Умысел установлен

Есть непредсказуемый аспект LLM. Я не верю, что это вызов для суда с разумными экспертами — дедуцировать, произошло ли действие из-за этой непредсказуемости или из-за дизайна системы. Это ключевой пункт в определении умысла. Если мы можем показать, что дизайн предсказуемо ведёт к сомнительной деятельности, мы показали, что это был умысел её создателей.

На основе того, что я знаю сейчас о взломах ИИ других систем, я сильно верю, что это был умысел. Системы были созданы с целью тестирования безопасности, включающей деятельность по хакингу. Они были помещены в окружение без адекватных защит. Они были подсказаны так, что специалист по безопасности, или честно любой с хоть какой-то здравой логикой, мог бы предвидеть, что это приведёт к хакингу. Это не вопрос о непредсказуемости системы.

Направление разговора к «руководящим принципам управления ИИ» абсурдно. В вопросе умысла у нас уже есть правовая база, которая может судить настоящие действия этих компаний. Толкание к управлению ИИ сейчас — это тип отвлечения. Хотя это дискуссия, которая нам нужна для будущего, она отвлекает от настоящей дискуссии исключительно к непредсказуемости систем, игнорируя в основном предсказуемые аспекты.

Компании ИИ, однако, утверждают, что нежелаемая деятельность, такая как хакинг иностранных правительственных сайтов, не часть дизайна, а часть непредсказуемого аспекта системы. Это пытается убрать умысел, который в свою очередь убрал бы криминальность деятельности. Но если компания намеренно расширяет объём непредсказуемого аспекта, можем ли мы не сказать, что за этим поведением есть умысел?

Я верю, что эти компании совершают преступления. Их системы ИИ взламывают другие системы, и до сих пор мы не видели никаких уголовных последствий. Наши правительства не должны это позволять из страха отстать или препятствовать прогрессу. Разработчики могут построить системы ИИ, которые одновременно этичны и легальны. Давайте поощрять это, привлекая к уголовной ответственности преступные.