Написание — это размышление
Цель любого исследования — сформировать точные убеждения по важным вопросам и передать их аудитории. Написание — один из лучших способов сделать это.
Пол Грэм отметил, что:
Написание о чём-либо, даже о том, что ты хорошо знаешь, обычно показывает, что на самом деле ты это не так хорошо знал. Превращение идей в слова — суровое испытание. [...] Половина идей, оказавшихся в эссе, приходит в голову уже во время написания. Собственно, для этого я их и пишу.
В подкасте Патрика Макензи Клара Коллиер говорит:
Когда я пишу что-то содержательное, на протяжении всего процесса я постоянно думаю и меняю своё мнение. От наброска до конечного текста, от целого предложения до отдельных слов. Часто я буду разрабатывать переход, и он не будет работать, и я понимаю — этот переход не работает, потому что эти два пункта вообще не должны быть рядом. То, что я пытаюсь делать, неправильно. И если я введу набросок в LLM, он не остановится и не подумает, может быть, набросок плохой. [...]
Патрик отвечает:
Я полностью согласен, что процесс написания — это процесс мышления, и сейчас у нас есть эмпирическое доказательство: создаёшь машину, которая пишет, и мышление просто появляется как побочный эффект.
Но когда пишешь многостраничный текст, даже если у тебя сильный тезис, акт принуждения себя к написанию в предложения и абзацы, структурирование аргумента — всё это выявляет дыры в аргументе. Это показывает, где твой исследовательский процесс был неадекватен. Это выводит на поверхность: ой, вообще-то, здесь есть что-то, что противоречит тому, что я хочу сказать. И, будучи относительно честным человеком, я думаю, что должен это признать, или мне нужно добавить, что полностью доказуемый вывод меньше, чем тот, который я, так сказать, «хотел бы написать».
Здесь стоит согласиться. Написание требует сначала понять, что ты хочешь сказать — то есть обдумать доказательства, аргументы и прийти к убеждениям. Написание заставляет делать именно эти необходимые вещи. Для любого исследовательского проекта кто-то должен иметь всё в голове — все куски доказательств, соображения, аргументы и то, как они связаны. Написание с AI делает проще избежать этого необходимого размышления.
Тексты на AI неясны и ошибаются так, чтобы это было трудно заметить
При написании текста принимается множество маленьких решений о конкретных словах и формулировках. Вместе эти решения определяют ясность и правильность текста.
Например, при запросе у Claude Fable 5 "напиши короткий абзац о проблеме контрабанды чипов AI", которая была описана и освещена в средствах массовой информации, модель выдаёт:
С октября 2022 года Соединённые Штаты ограничили экспорт передовых чипов AI в Китай, стремясь замедлить прогресс Китая на границе AI. Но экспортные контроли — лишь столько же сильны, сколько их соблюдение, а чипы AI компактны, чрезвычайно ценны и продаются через разветвленные глобальные цепочки поставок — свойства, которые делают их привлекательными и возможными для контрабанды. Сети отвлечения маршрутизируют контролируемые GPU через посредников в местах типа Сингапура, Малайзии и ОАЭ, используя подставные компании и поддельные документы для перемещения их в Китай. Оценки масштаба сильно различаются — от десятков тысяч до, возможно, более ста тысяч высокопроизводительных чипов в год, и даже нижний предел представляет достаточные вычисления для обучения и развёртывания продвинутых систем AI. Тем временем Бюро промышленности и безопасности, задача которого — полицейская деятельность в торговле стоимостью в сотни миллиардов долларов, работает с бюджетом и численностью персонала, больше подходящими для гораздо меньшей проблемы. Таким образом, контрабанда чипов угрожает тихо подорвать один из центральных столпов политики США в области AI.
Это не ужасно и, возможно, даже вполне разумно, но это то, как бы вы это написали? Нет — Claude сделал множество выборов, которые кажутся мне тонко неправильными или плохими:
Claude пишет, что «экспортные контроли — лишь столько же сильны, сколько их соблюдение», но что это означает? Либо это говорит что-то очевидное (политика, которая не соблюдается или плохо соблюдается, менее эффективна), либо вообще ничего.
Claude пишет, что чипы AI «компактны», что верно, но обычно контрабандой идут серверы AI, которые не компактны. Но это важнее — контрабанда чипов AI редко предполагает попытку скрыть продукты при прохождении таможни; обычно продукты просто переклассифицируют как какой-то другой товар и отправляют в открытую, так сказать.
Claude пишет, что их продажа «через разветвленные глобальные цепочки поставок» делает их «привлекательными и возможными для контрабанды». Что это значит? Это означает, что контрабандисты могут легче покупать чипы у компаний вне США? (До недавнего времени контрабандисты, похоже, могли получать чипы AI от компаний с штаб-квартирой в США относительно легко.) Это означает, что закупка большого количества чипов AI в странах, таких как Малайзия, контрабандистами менее заметна? (Это ближе к истине, думаю.) Или это что-то ещё?
Claude пишет, что оценки масштаба контрабанды «сильно различаются — от десятков тысяч до, возможно, более ста тысяч высокопроизводительных чипов в год». Это буквально верно, но низкие оценки почти наверняка неправильны, и истинное число, вероятно, намного ближе к верхнему концу, указанному Claude, то есть сотни тысяч. Поэтому это вводит в заблуждение. Также Claude не указывает год, но объёмы контрабанды сильно колебались с октября 2022 года, и не указывает, что такое «высокопроизводительный» чип (это звучит как предмет роскоши, изготовленный вручную и продаваемый исключительно саудовским королям и вдовствующим герцогиням).
Claude пишет, что «даже нижний предел представляет достаточные вычисления для обучения и развёртывания продвинутых систем AI». Эта фраза не имеет информационной ценности. В некотором смысле одиночный чип AI «представляет» вычисления для обучения и развёртывания систем AI, продвинутых или нет. (И что такое «продвинутая система AI» вообще? Почему небольшое количество вычислений имеет больше значения для продвинутой системы AI, чем для несовершенной? Если на то пошло, можно было бы подумать, что наоборот, что более слабая система AI в большей степени выиграет от небольшого количества вычислений.)
Claude пишет, что Бюро промышленности и безопасности (BIS) «задача которого — полицейская деятельность в торговле стоимостью в сотни миллиардов долларов». Здесь было бы намного лучше просто упомянуть цифру.
Claude пишет, что BIS «работает с бюджетом и численностью персонала, больше подходящими для гораздо меньшей проблемы». Во-первых, мы знаем бюджет и численность BIS, поэтому было бы лучше упомянуть эти цифры и поставить их в контекст. Во-вторых, что означает «меньшая проблема»? Означает ли это, что она менее важна, или что требует меньше усилий для решения, или что-то ещё? Разве не важно то, что больше ресурсов для BIS, вероятно, заметно улучшит соблюдение, а не то, что текущее количество ресурсов BIS лучше подходит для некоторой другой проблемы?
Последнее предложение Claude, что контрабанда чипов AI «угрожает тихо подорвать один из центральных столпов политики США в области AI», — это чистый смысловой шум.
Одна или две такие проблемы в тексте могут не иметь большого значения, но тексты AI по моему опыту очень плотны с ненужно неясными и тонко неправильными фразами. Заметим, что эта проблема существует также, когда вы предоставляете AI много контекста, такого как написанные заметки и наброски.
Аналогично, Эрик Шверцгебель пишет:
Человеческие эксперты думают иначе и лучше, чем LLM. Их выбор слов, даже тонкие, отражают чувствительность, которую они сами могут и не осознавать. Обычно проза эксперта будет чувствительнее к вопросам, в которых он эксперт, чем результат языковой модели. [...]
Вы можете возразить: конечно, я читаю результаты LLM перед отправкой, и я не отправлю письмо, тем более не подам статью, если я не одобрю каждое слово! Итак, возражение продолжается, вы действительно подумали мысли выраженные. Текст отражает ваше экспертное лучшее суждение — может быть, даже что-то лучшее, чем ваше экспертное лучшее суждение: ваше экспертное лучшее суждение в сочетании с экспертизой LLM.
Я возражаю: существует огромное когнитивное различие между кивком, согласясь при чтении чего-то, и действительным продуктивным созданием текста. Две причины: во-первых, как только текст на странице, легко пассивно позволить приблизительному слову достаточным быть, вместо того чтобы думать о выборе слова в том же трудолюбивом, активном способе, который мы делаем при создании прозы заново. Во-вторых, как я предположил выше, я сомневаюсь, что человеческие существа, даже эксперты, имеют хорошее чувство всех факторов, которые формируют выбор слова — всё, чему они чувствительны. Вы бы это сформулировали немного иначе, и даже если вы этого не знаете или почему, разный сигнал отправляется и принимается.
Согласен с этим. Но на самом деле это намного хуже! AI не только пишут тексты, которые ненужно неясны и тонко неправильны, но делают это таким образом, который почти максимально убедителен! Если AI не знает то, о чём вы просите его писать, он обычно не остановится и не скажет вам, что не знает; вместо этого он напишет что-то настолько неясное и бессмысленное, чтобы быть верным, или что-то, что звучит правдиво, но не является таковым, или не обязательно. Люди, конечно, часто ошибаются и неясны, но я думаю, мы склонны ошибаться и быть неясными способами, которые менее убедительны и проще заметить.
Требуется много усилий, чтобы прочитать текст, написанный AI, и заметить все маленькие проблемы, как я делал ранее с текстом о контрабанде чипов. Если бы я не знал много о контрабанде чипов AI, я, вероятно, не заметил бы большинство проблем, которые я перечислил, если бы не подумал очень тщательно над текстом. Но если бы я вместо этого написал текст сам, я не смог бы избежать заметить, где я был в замешательстве.
Писать с AI (и не обозначать это как таковое) невежливо и вводит в заблуждение
Иногда, когда пишу текст, я пишу его, предполагая, что его будут читать другие люди. Например, я могу хотеть его опубликовать, поделиться им с коллегами для обратной связи, отправить его как письмо или издателю. Когда публикую или делюсь текстом, читатель, вероятно, ожидает, что я положил в него мысли, и в частности, что текст представляет мои мысли. Или, по крайней мере, они должны так ожидать, и я хочу, чтобы они. Это подразумеваемый контракт между читателем и писателем: читатель предоставляет внимание, писатель отвечает чем-то ценным, например информацией или развлечением.
На том же выпуске подкаста Патрика Макензи Клара Коллиер также говорит:
Может быть, я чересчур чувствительна, но версия моего письма, которую LLM может произвести, всегда будет чего-то не хватать, что я могу добавить. Что опять же не потому, что — есть много областей, где модели знают больше, чем я. Но любой может спросить Claude о чём угодно когда хочет.
Если они читают что-то, что я написала, или что я как редактор выбрала выставить перед ними, это потому что есть подразумеваемый контракт. Я предлагаю им что-то, что они не могут получить откуда-то ещё. Это будет лучшее использование их времени, чем просто спросить модель напрямую. И по этой причине я не буду использовать напрямую созданный LLM текст — или если буду, я хочу быть очень ясной, что вы получаете прежде, чем вы потратили время на это.
Всё, что я писал выше, о тонких ошибках и неясности, и всё, что я писал о том, что, когда текст написан AI, у вас нет представления, потратил ли автор много времени на размышления — всё это нарушает этот контракт. Поэтому, когда я читаю текст и замечу, что он полностью или частично написан AI, моё доверие к тексту и к автору немедленно, и я думаю, рационально, снижается.
И по всем этим причинам, когда вы продвигаете текст, написанный AI, или отправляете черновик текста, написанного AI, кому-то, я думаю, вы ведёте себя невежливо. Думаю, это похоже на отправку очень неаккуратного черновика кому-то и скрывание того, что он очень неаккуратный. И если вы не обозначите явно результаты, написанные AI, вы вводите в заблуждение читателя, который ожидает, что ваш текст будет вашим текстом, тщательно продуманным и представляющим ваши убеждения конкретно.
Конечно, вы можете обойти проблемы невежливости и введения в заблуждение, обозначив текст как написанный AI или существенно написанный AI. Я подозреваю, что это не то, что большинство людей хотят делать.
Разве нет исключений?
Вопрос: разве я не могу включить результаты, написанные AI, в текст, если я их явно обозначу? Ответ: да, это кажется в основном нормальным. Например, иногда я делаю поверхностное исследование чего-то и полагаюсь на Claude для части информации, а потом могу написать что-то вроде: "Claude Fable 5 говорит мне, что такой-то это случай". Это может быть полезно, когда нет смысла тратить много времени на проверку этого конкретного утверждения. Важно то, что результат явно отмечен как написанный AI, поэтому читатель может дисконтировать его (или нет) как они видят подходящим.
Вопрос: тогда я могу просто сделать это для всего текста, не так ли? Ответ: я думаю, почти никогда не имеет смысла использовать AI для написания целого содержательного текста, даже если он обозначен как таковой, по крайней мере если вы намеревайтесь, чтобы кто-нибудь ещё его читал. Это потому что, во-первых, результат, вероятно, будет намного хуже, чем если бы вы сами его написали, и во-вторых, люди (справедливо) не будут читать ваш текст, если вы обозначите его как написанный AI. Я думаю, вероятно, часто также ошибка писать тексты с AI, даже если единственный человек, который их будет читать, это вы сами, поскольку при этом вы теряете преимущества, описанные в первых двух разделах выше.
Вопрос: могу ли я, не-носитель английского языка, который борется с написанием на английском, использовать AI для написания на английском? Ответ: иногда предлагается, что это приемлемо, включая делание этого без раскрытия. Я не согласен по всем причинам, упомянутым выше. Я думаю, что можно использовать AI для переводить текст, написанный на своем родном языке, но даже тогда я думаю, лучше раскрыть это. В целом, моё впечатление, что AI лучше при сохранении ясности и точности при переводе, чем при, скажем, черновике из пуль-пойнтов.
Вопрос: что если ставки очень высоки и это просто очень важно и ценно использовать AI для ускорения необходимого написания, например, писать политические меморандумы, связанные с AI? Ответ: я не думаю, что использование AI для написания меня намного ускоряет? Или, я думаю, на практике способ, которым это ускорил бы вещи, — это компромисс на качестве, и я не думаю, что вы должны идти на компромисс по качеству. Например, DC уже тонет в отчётах и кратких справках по вопросам, которые почти никто не читает; что редко, и что действительно помогает лицам, принимающим решения, — это более точные и продуманные анализы важных тем.