AI ужасен для письма
Видна четкая закономерность: люди строят что-то новое с помощью AI, а затем используют AI для ретроспективного описания результата в виде проектного документа. Читать такой документ — это пытка. Проектный документ больше не служит предложением построить консенсус, увлечь людей в процесс и отшлифовать идеи через медленное, вдумчивое мышление — это машинный пересказ в утомительных деталях, без контекста и перспективы. Нечитаемо. Бесчеловечно. Авторы таких документов раздражаются, когда люди не включены в процесс, но сложно не быть скучающим, когда то, что они создали, уже работает.
Всё чаще встречаются резюме pull request'ов, явно написанные машинами для машин. Они богаты деталями: это изменилось на то, эти вещи разделены, те объединены, это осталось нетронутым, тесты добавлены для того-то. Но остаётся вопрос: зачем мы это делаем? В чём ценность? Насколько рискованна или спешна эта работа? Где вы хотите мой вклад? На что мне обратить внимание? То же касается обработанных AI тикетов или резюме встреч. Текст, как всё больше в мире, состоит из предложений вне контекста.
Получил личное сообщение о чувствительной теме, явно доработанное с помощью AI в попытке добавить нюанс и не обидеть. Но сообщение стало безличным, хладнокровным и разрозненным. Все части были на месте, но не складывались в целое. Не было интереса читать или отвечать. Намного предпочту, чтобы человек остался собой и писал своим голосом, со своей страстью, даже если не находит нужные слова или рискует обидеть.
В отношениях с людьми есть уязвимость и риск. В общении с AI их нет, и попытки устранить уязвимость и риск устранят саму логику отношений. Как пишет Simon Sarris в эссе Resist Summary:
Я думаю, что нужно писать столько, сколько сможешь, со своего собственного опыта, своими собственными чувствами, давая читателю свою собственную характеристику жизни или событий.
—Simon Sarris, Resist Summary
Пожалуй, самое ленивое и оскорбительное применение AI письма, которое я видел: кто-то использовал AI, чтобы резюмировать мои комментарии на их предложение как свой ответ мне! Спасибо! Я не смог бы сказать лучше!
У меня нет вашего контекста
Cynthia Dunlop недавно поделилась результатами опроса о чтении статей, написанных AI, под названием Report: How developers react to AI-scented blog posts. Для большинства читателей, если они думают, что статья написана с помощью или полностью AI, они остановят чтение (78%) и будут избегать автора в будущем (71%). Как Bryan Cantrill писал об этом исследовании в своём эссе The revolt of the reader: «наш мозг вытягивает рычаг эвакуации, запущенный LLM, выбрасывая нас из середины предложения в акте самосохранения».
Самый сильный результат опроса — люди подавляющим большинством предпочли собственное письмо автора (98%) со всеми его недостатками и идиосинкразией, нежели безликую переделку AI. Аутентичное письмо — один из лучших способов связаться с людьми. Это напоминает мне комментарий Bjarne Stroustrup, создателя C++, сделанный на панельной дискуссии о написании книг, которую я посетил более десяти лет назад:
Когда я читаю книгу, я действительно чувствую, что если я могу услышать голос автора, звучащий в моей голове — со всеми его странными акцентами и особенностями паттернов речи — тогда я чувствую, что что-то удалось. Если это похоже на сухой, академический текст, значит, кто-то написал ещё один сухой, академический текст. И поэтому лекции по предмету действительно помогают. И для многих людей... я могу услышать их, когда читаю, и это хорошо.
—Bjarne Stroustrup
Когда ты — тот, кто написал подсказку для AI, выходной текст часто полезен. Но не путайте это с эффективным письмом. Когда вы читаете результат, у вас уже есть много контекста — вы сформулировали подсказки, установили ограничения и предоставили артефакты, такие как документация, исходный код, логи, статистику, картинки и т. д., которые привели к выводу. Можно быстро просмотреть результат и решить, что актуально и ценно, а что нет или неправильно. Также вы участвовали в процессе — писали подсказки и видели результаты — это разговор и ответ. Вносите человеческую перспективу в машину. Но когда отправляешь тот же текст кому-то другому, у них мало или вообще нет контекста. Они не участвовали в процессе — нет разворачивания — поэтому намного сложнее решить, что актуально, а что нет. Вынуждены читать всё подряд и рассматривать каждую строку, вглядываясь во внутренности машины в надежде установить контекст. Естественно бросить чтение.
AI может быть отличным для письма
Недавно написал академическую статью. Использовал AI активно, и это сделало процесс письма быстрее и приятнее. Но AI не написал ни одной строки статьи. Писал статью на LaTeX. Контекст, предоставленный AI, включал руководство по стилю журнала и шаблон LaTeX, все статьи, ранее опубликованные в журнале, исходный код для программных систем, о которых писал, конфигурацию, логи и метрики для продакшн-развёртываний ПО.
После написания параграфа часто просил AI убедиться, что написанное верно, ссылаясь на исходный код или конфигурацию, или изучая продакшн-логи или метрики. Например, убедиться, что правильно описал, какие колонки в БД индексированы, или как отсортированы строки в файлах Parquet. Это позволило оставаться в контексте письма, часто переходя к следующему параграфу, пока AI проверял предыдущий. Помогло обнаружить важные упущения и неточности. Удивительно, но обратный процесс — попросить AI написать параграф из предоставленного контекста, как описание того, как что-то работает, из исходного кода — никогда не был ценным. Ни разу. Было последовательно неприятно читать, и часто неточно.
Другое, что помогло оставаться в контексте — использование AI для завершения цитаты. Утомительно искать детали статьи, веб-сайта или книги, заполнять формат BibTeX и затем ссылаться на это в тексте. Вместо этого оставлял парентетические инструкции для AI ссылаться на то, что нужно, и продолжал писать без потери темпа.
AI был невероятно хорошо — да, безжалостно — находил орфографические и грамматические ошибки. Был отличен в предложении упрощений слишком длинных или неясных предложений. Был умел рисовать технические диаграммы на TikZ, снова ускоряя работу и спасая от необходимости изучать этот синтаксис. AI даже нашел очень тонкую ошибку, где неправильно использовал нотацию в одном параграфе — что-то четыре человеческих рецензента, эксперты в системе, все пропустили.
Какая была одна вещь, которую AI был невероятно хорош в написании? Он написал аннотацию — самую лаконичную, механическую, бесчеловечную часть всей статьи — действительно, самую абстрактную часть. Включил её полностью без изменений. Пожалуй, это не должно быть сюрпризом, так как AI отличен в резюме, абстракции и переосмыслении оригинальной работы.
Может ли AI научиться хорошему письму?
Было бы ошибкой недооценивать письмо, которое может быть достигнуто AI в один день. Мы всё ещё на очень ранних стадиях развития моделей, и модели, которыми пользуется большинство из нас, обучены быть фактическими, прямыми и правильными, а не творческими. Однако отличное эссе Murat Demirbas'а The Safest Job from AI may be Writing отмечает, что качество письма LLM вышло на плато и может быть сложно улучшить, так как, в отличие от программирования, математики и бухучета, сложно предоставить четкую формулировку и проверяемый результат.
Поскольку LLM не имеют активной ментальной модели конкретного человека-читателя, они просто оптимизируют для статистической вероятности следующего слова над огромным датасетом. Они не могут сочувствовать человеку-читателю, так как не имеют человеческого прожитого опыта. И у них нет никаких ставок в игре.
—Murat Demirbas, The Safest Job from AI may be Writing
Интересуюсь двумя подходами к улучшению AI письма, которые недавно обнаружил. Первый — ASD-STE100 Simplified Technical English, стандарт для написания технической документации, выросший из рабочей группы аэрокосмической отрасли в 1980-х. Состоит из двух частей: контролируемого словаря и правил о грамматике и стиле. Версия ASD-STE100 создана для использования с AI моделями. ASD-STE100 не подходит для всех AI-генерируемых текстов — он специально нацелен на ясные и легко понимаемые инструкции по эксплуатации. Собираюсь попробовать его для инструкций по установке, runbook'ов и аналогичной документации.
Второй — Pangram, модель fine-tuned для обнаружения AI письма. Bryan Cantrill в эссе The revolt of the reader отмечает:
Использовать LLM для письма — значит нарушить социальный контракт между писателем и читателем: читателей не следует ожидать работать для понимания предложения, которое писатель сам не потрудился создать.
—Bryan Cantrill, The revolt of the reader
Полностью согласен. Bryan начал экспериментировать с Pangram для обнаружения AI-генерируемого письма, нарушающего этот контракт, и даже пошел настолько далеко, чтобы потребовать, чтобы все публичное письмо в Oxide сообщалось Pangram как написанное человеком. Такой инструмент мог бы спасти нас от самого ленивого и худшего AI письма.
Когда нет слов
Когда пишем, смысл слов не всегда прямой, фактический или лаконичный. Примеры включают поэзию, литературу, песню, мифологию, юмор и театр. Iain McGilchrist, который, я считаю, один из самых важных писателей нашего поколения, пишет в книге The Matter with Things: «Чем важнее что-то, тем больше мы должны бороться в попытке свести это к языку». Попросите LLM надежную формулу для влюбления. В AI-генерируемом письме детальная информация создает иллюзию значения. Но в подражании человеческим знаниям, интеллекту и пониманию, AI, пишущий о фактах, очень отличается от качества письма из прожитого опыта. Целое не может быть разложено на части без существенной потери значения.
Прямой подход разрушает свой объект. Аналогично, есть вещи, которые можно передать только косвенно. Чтобы вернуть глубину того, что говорится, или чтобы сказать что-то действительно новое, мы всегда ходим туда-обратно за пределы повседневного языка, что означает быть внимательным к тому, что говорится неявно.
—Iain McGilchrist, The Matter with Things
Может показаться глупым говорить, что письмо в бизнесе, инженерии или науке должно включать неопределённость, не только факты и выводы. Но операции, реагирование на инциденты, разработка продукта, инженерия производительности, охота на уязвимости безопасности, обзоры производительности, заявления о миссии и многие другие начинания творческие и включают неопределённость. Повествование часто столь же важно, как факты и выводы. Также легко антропоморфизировать LLM как хорошие системные мыслители, потому что они могут синтезировать такой широкий диапазон информации. Однако, возвращаясь к Simon Sarris: «повествование сопротивляется сжатию» и «противоположность резюме — внимание к деталям».
Несмотря на акцент на линейное, первопринципиальное мышление, работа хорошего системного инженера, как и работа хорошего антрополога или психолога, сложна для выражения в словах, и особенно в резюме. Не всегда можно наблюдать и записывать вещи по формуле. Даже запись вещей теряет какой-то контекст. Наблюдатель также часть этого контекста. Системная работа всегда содержит ощущение открытия, сохранения открытости неизвестному, разворачивание отношения с самой системой и готовность быть удивлённым. Обычный язык не всегда имеет слова.
Природа результата, резюме, в ускорении движения вперёд. Но следствие — избегнуть необходимости строить собственную сложную ментальную модель чего-либо. Я беспокоюсь, что без сложной модели в собственном уме, можешь никогда не заметить сложные взаимосвязи, которые иначе пропускаются. Потеря внимания к деталям.
—Simon Sarris, Resist Summary
Заключение
Не хочу жить в мире, где ты используешь AI, чтобы свести что-то важное к нечитаемому тексту, а потом я использую AI в попытке его расшифровать. Хочу услышать тебя, со всеми недостатками. Хочу твою интерпретацию эстетики, красоты, качества, отношения, времени. Хочу знать, как ты чувствуешь. Хочу, чтобы ты прорезал и сказал мне, что действительно имеет значение. Не хочу читать резюме фактов и связей отдельно от опыта и отношения. Как описывает Iain McGilchrist, как мы обращаем внимание на мир, меняет природу того, что появляется, единственный мир, который мы можем узнать.
Если попросишь машину что-то делать для себя, рискуешь просить не то, что хочешь, а то, что она может делать хорошо. Если то, что она может делать хорошо — это резюме, и полагаешься на инструмент, можешь отрегулировать свои вопросы так, чтобы получить лучшие ответы. Это выглядит как обучение машины делать то, что ты хочешь, но это также обучение себя задавать вопросы о мире определённым образом. Какие вопросы ты опускаешь?
—Simon Sarris, Resist Summary
Намеренное письмо, вероятно, станет более ценным. Люди, которые пишут и пишут, чтобы думать, думать глубоко и осторожно, или создавать, делиться, или захватить что-то важное без её явного выражения, будут продолжать писать и производить оригинальную работу. Люди, которые никогда не были писателями, будут использовать AI для создания большого количества текста.
По мере того как мы читаем всё больше текста, генерируемого AI, можешь не заметить, что AI нарушил и изменил, потому что мы в любом случае стали более поверхностны. Поиск уверенности ограничивает нашу человечность. Иногда важнее не находить слова. Я не хочу читать то, что ты не написал.