Есть ли на Reddit проблема с astroturfing? Что показывают данные

Почему вообще можно проверить этот вопрос

Год назад был отточен небольшой NER-модель GLiNER для извлечения марок, моделей и типов стали из комментариев о ножах. Из фразы «picked up a Mazaki in white #2, way better than my old Fibrox» она возвращает Mazaki как марку, Fibrox как модель и white #2 как тип стали. Модель обрабатывает каждый комментарий, который собирает скрейпер New Knife Day из шести сабреддитов: r/knives, r/knifeclub, r/chefknives, r/japaneseknives, r/FixedBladeEdc и r/KnifeSteels.

Таким образом, для каждого комментария известно, кто его написал, какие марки в нём упоминаются и является ли тема, в которой он находится, вопросом о покупке. Этого достаточно, чтобы задать узкий вопрос: в темах, где рекомендация может изменить покупку, кто даёт советы?

Как астротурфинг выглядел бы в данных

Никто не публикует свои фейковые аккаунты, поэтому пришлось заранее решить, что оставит платный постинг. Рынок этого не скрывается. REDCmts продаёт один комментарий Reddit за $9.99 и сотню за $699.99, используя, как они говорят, «реальные, состарённые аккаунты». Soar заявляет, что его аккаунты «состарены и вручную разминаны» в течение недель перед первым упоминанием бренда. Bazzly рекламирует автоматические ответы на каждый пост, похожий на покупку.

Исходя из этих страниц, платная кампания для одной марки, доставленная через небольшое количество подготовленных аккаунтов, должна выглядеть так:

• Маленький хвост аккаунтов, пишущих непропорционально большую долю упоминаний марки в темах «что купить».
• Эти аккаунты почти каждый раз упоминают одну марку при любых упоминаниях вообще.
• Тонкие аккаунты: мало комментариев, низкие оценки, нет реального авторитета в сабреддите.
• Молодые аккаунты или аккаунты с скрытыми или стёртыми историями.
• Аккаунты, постящие в основном в ножевых сабреддитах, так как это именно то, за что платят.
• Ссылки на магазин или партнёрскую страницу.

Каждый из этих признаков также есть у преданного фаната, работника марки, пишущего в свободное время, или постоянных участников сабреддита марки, случайно зайдящих в тему о покупке. Публичные данные Reddit могут показать, что рекомендации сконцентрированы, но не могут показать почему. Всё ниже — только о первой части.

Корпус и обновление, которое изменило ответ

Скрейпер сохраняет каждый новый пост и его комментарии вскоре после публикации. Оказалось, что это неправильный момент для этого вопроса: тема о покупке собирает рекомендации в течение следующего дня или двух, а посты в r/knives имели 1.5 сохранённых комментария каждый. Повторный проход вернулся к 3,607 постам старше 48 часов и перезагрузил их деревья комментариев, что увеличило корпус с 21,673 комментариев до 51,129. Без этого обновления тест ниже ничего не нашёл бы, потому что примерно 800 упоминаний в темах о покупке — слишком мало, чтобы отличить 7.6% от 7.1%, которые даёт случайность.

Три определения делают основную работу. Тема о покупке — это пост, чей заголовок или текст совпадает с фразами типа «should I buy», «recommend», «under $» или «best knife»; это регулярное выражение, не классификатор. «Фокусировка на марку» автора — доля их комментариев, которые упоминают марку, с упором на упоминание одной и той же марки каждый раз. Хвост — это топ 5% из 987 авторов с 10 или более комментариями по этому показателю, 49 аккаунтов. Такой подсчёт выбран, потому что аккаунт, постоянно упоминающий одну марку, — это именно то, что продают вендоры выше.

Вопрос в том, какую долю упоминаний марок в темах о покупке хвост напишет случайно, учитывая объём постов каждого. Для вычисления удерживаются все упоминания марок как они есть, в своей теме и с упоминанием своей марки, а имена авторов перераспределяются случайно по этим упоминаниям, как если бы переклеивали бейджики. Плодовитый аккаунт получает много упоминаний, тихий — мало, но в какие темы попадает аккаунт, больше не зависит от того, кто это. Это повторяется 1,000 раз и записывается доля хвоста каждый раз. Если реальная доля лежит в диапазоне, произведённом этими 1,000 перераспределениями, хвост сконцентрирован в темах о покупке не более, чем объём постов объясняет. Если лежит выше — аккаунты хвоста появляются в темах о покупке чаще, чем объём постов объясняет. Авторы во всём корпусе засолены хешами; никакие имена пользователей и текст комментариев не покидают базу данных.

Что показывают данные

Если хвост появляется в темах о покупке только потому, что много постит, случайное перераспределение говорит, что он должен написать около 7.9% упоминаний марок там, почти всегда между 6.3% и 10.1%. Он написал 11.3%. Только 2 из 1,000 случайных перераспределений достигли этого. В абсолютных числах примерно одна из девяти рекомендаций о покупке приходит от этих 49 аккаунтов, где случайность говорит одна из тринадцати, — это примерно 50 лишних рекомендаций из 1,471.

Важнее, куда падает эта лишняя доля, чем её размер. Если бы Reddit о ножах в целом был обманут, каждый сабреддит был бы выше случайности. Два таких есть: r/chefknives и r/knifeclub. r/knives, самый большой, в пределах половины пункта от случайности. Платная кампания куплена одной маркой, поэтому должна также проявиться марка за маркой, и так оно и есть: три марки получают гораздо больше советов о покупке из хвоста, чем случайность даёт, одна крупная марка получает немного меньше, три не получают ничего. Это форма, которую оставили бы несколько целевых кампаний, и также форма, которую оставила бы несколько громких фанатских баз.

Марки закодированы, потому что статистика концентрации — не доказательство того, что какая-либо марка что-либо оплачивала, и марка с самым сильным сигналом имеет также большую, шумную фанатскую базу.

На данных корпуса хвост также соответствует двум ещё прогнозам выше. Аккаунты тонкие: медиана 12 комментариев в этих шести сабреддитах, медиана оценки 1, так что никто их не взлетает в популярность. Они верны одной марке: две трети упоминаний марок аккаунта из хвоста идут на одну и ту же марку. Это три из шести прогнозов, всё, что корпус может проверить. Возраст, фокусировка на ножи и ссылки на магазины требуют полной истории Reddit каждого аккаунта.

Их полные истории Reddit выглядят обычно

Были загружены 23 аккаунта из хвоста из трёх марок с сигналом и всё, что Reddit вернёт для каждого: примерно 2,000 комментариев и их отправок, дату создания аккаунта и карму. Для сравнения — 23 других автора с 10 и более комментариями из того же корпуса, выбранные случайно из диапазона комментариев хвоста. Восемь историй хвоста и семь историй сравнения были скрыты, заморожены или удалены; остальные были читаемы.

Подготовленный оплачиваемый аккаунт должен быть молодым, постить в основном в сабреддитах, за которые платят, и пропагандировать одну марку. Аккаунты хвоста 4.5 года на медиане, как и аккаунты сравнения. Только 3% их комментариев в шести ножевых сабах против 10% в группе сравнения, и они разбросаны по 66 сабреддитам против 47 у группы сравнения. Во всей истории они упоминают семь ножевых марок, не одну. Ссылки на магазины редки в обеих группах.

Были сравнены примерно две дюжины признаков всего. С 15 и 16 читаемыми аккаунтами никакая разница не больше, чем часто производила бы случайное разделение 31 человека на две группы, и те, что наклоняются куда-либо, наклоняются в сторону того, что хвост менее сконцентрирован на ножи.

Это не то, как выглядит состарённый, специализированный аккаунт. Это то, как выглядит человек, который много времени на Reddit, и у которого сильные чувства к одному производителю ножей. Это также то, как выглядит хорошо управляемый оплачиваемый аккаунт, поэтому вендоры продают состарённые аккаунты вместо свежих. Восемь скрытых историй хвоста могут содержать всю историю, и прочитать их невозможно.

Недостатки

• Детектор марок — это стоковая модель GLiNER, не состарившаяся на ножах из более ранней статьи, потому что тот репозиторий отправился без весов. Она пропускает некоторые марки и чрезмерно помечает некоторые названия моделей. Ручной проверки её вывода на этом корпусе пока нет.
• «Тема о покупке» — это регулярное выражение над заголовками и текстами. Она не проверена на 100 ручных помеченных темах. Обе проверки дёшевы, и я их не сделал; до тех пор каждый процент выше — это процент от машинных меток.
• Хвост — 49 аккаунтов, а результаты по маркам опираются на 15-20 из них. Один ложный положительный результат бренд-модель в NER может сдвинуть строку по маркам.
• Протестированы восемь марок и шесть сабреддитов, и при таком количестве тестов один-два выглядят необычно случайно. Общий результат 11.3% — это один тест и не имеет этой проблемы.
• Аккаунты сравнения были вытянуты из диапазона комментариев хвоста, не спарены аккаунт с аккаунтом. У них медиана 23 комментария в корпусе против 13 у хвоста, что должно сделать их более сконцентрированными на ножи, а не менее.
• Истории ограничены тем, что возвращает листинг Reddit, около 2,000 комментариев. Для аккаунтов сверх лимита возраст на первый комментарий о ножи неизвестен и оставлен пусто.
• Листинги Reddit останавливаются около 1,000 постов на сабреддит, поэтому сабы кухни охватывают примерно год, а r/knives и r/knifeclub только недели перед обновлением. Это шесть сабреддитов, не весь Reddit.
• New Knife Day, который я веду, отслеживает те же марки, что этот корпус считает. У меня нет отношений ни с какой маркой в данных и нет способа доказать это вам.

Что из этого следует

Добавление «reddit» к поиску ножей всё ещё даёт людей, в основном. Для пары марок четверть или треть советов о покупке приходит от аккаунтов, которые в основном рекомендуют эту марку. Оплачены ли они или фанаты, неизвестно, и после прочтения их историй есть наклонность к фанатам и это нужно держать свободно.

Практическая проверка — это та, которую данные поддерживают: когда рекомендация ножа приходит от незнакомого аккаунта, нажмите и посмотрите, упоминал ли он когда-либо другую марку. В этом корпусе один этот вопрос отделяет хвост от всех остальных лучше, чем карма. Это не поймает платный комментарий от реального состарённого аккаунта, и я не думаю, что что-либо, что читатель может сделать, поймает.

Код, анонимизированные данные и графики находятся в общедоступном репозитории, указанном ниже. Имена пользователей, текст комментариев, истории аккаунтов и ключ кода марки не публикуются и публиковаться не будут.

С первого взгляда

Вопрос

Показывают ли темы «что купить» в ножевых сабреддитах концентрацию, которую оставила бы платная разноска

Подход

Теги GLiNER марок на 51,129 комментариях из шести сабреддитов, 1,000 случайных перераспределений авторов для оценки шанса, затем полные истории Reddit для 23 аккаунтов хвоста и 23 аккаунтов сравнения

Результат

Аккаунты хвоста пишут 11.3% упоминаний марок в темах о покупке против 7.9% ожидаемых; их полные истории 4.5 лет в возрасте и не более сконцентрированы на ножи, чем группа сравнения

Не показано

Платёж, координация или какая марка это B003