Исследование психолингвистических особенностей ИИ-текста
Ощущение того, что текст, созданный ИИ, стал сложнее для восприятия, получило научное подтверждение. Исследователи из Университета Карнеги — Меллона провели систематический анализ психолингвистических признаков, коррелирующих с трудностью человеческого понимания: объектные относительные придаточные, длинные синтаксические зависимости, низкочастотные n-граммы.
На основе нового корпуса текстов, созданных ИИ в различных областях, учёные выявили, что современные модели используют эти сложные конструкции значительно чаще, чем перефразирования, полученные через круглый перевод. По сравнению с человеческим письмом все девять передовых и близких к передовым моделей используют больше неживых подлежащих с одушевленными глаголами и больше низкочастотных n-грамм. Большинство также применяют более длинные зависимости, скопления существительных и чаще редуцированные объектные относительные в диалогах — при этом наблюдается существенная вариативность между семействами моделей.
Оптимизация под информационную плотность
Исследователи предложили гипотезу, объясняющую это явление: человеческий язык оптимизирован для успешной коммуникации, тогда как текст ИИ всё чаще оптимизируется под другие задачи — математику, программирование, рассуждения — где действует давление в сторону информационной плотности, а не успешной передачи смысла.
Для проверки этой идеи исследователи провели эксперимент с файн-тюнингом языковой модели под штрафом за длину. Это привело к расхождению с человекоподобным лингвистическим поведением, подтвердив исходную гипотезу.
Практические выводы
Результаты исследования указывают на значительный разрыв между лингвистическими требованиями человеческого восприятия и тем, как работают современные LLM. Авторы предполагают несколько возможных путей решения проблемы, хотя конкретные рекомендации требуют дальнейшей разработки.
Работа опубликована на arXiv (идентификатор 2610.29162) авторами Thomas Hikaru Clark, Matias B. Martin и Kyle Mahowald.