Отключение Яндекса: данные показывают, что вместо того чтобы уйти в оффлайн, вредоносные боты просто переехали

Что произошло: влияние ударов и базовые показатели до события

С 7 по 11 октября сообщалось об ударах украинских беспилотников по трём объектам Яндекса в России, поэтапно выводивших из строя дата-центры и сетевые мощности. Согласно данным Cloudflare Radar, это завершилось почти полным коллапсом сети Яндекса 11 октября: трафик упал на 99% ниже обычного для поисковой системы (AS13238) и на 90% для облачных сервисов (AS200350). Несмотря на кратковременное частичное восстановление, оба сегмента сети оставались нарушены до 13 октября, стабилизировавшись на отметке 86–90% ниже нормы. (По состоянию на 14 октября в 18:00 UTC трафик составляет 85% от нормального.)

Падение общего HTTP-трафика только подтверждает, что сеть вышла из строя. Оно не раскрывает, были ли нарушены вредоносные или скрытные боты. Глядя на базовые показатели автоматизированного трафика до события, можно увидеть, что автоматизированные запросы составляли 36,1% от всего HTTP-трафика, наблюдаемого во всём мире в сети Cloudflare, и 35,8% трафика с российских IP-адресов.

Отключение по-разному повлияло на автоматизированную активность двух затронутых сегментов сети, так как они выполняли разные роли.

Поисковая система Яндекса (AS13238) используется для краулинга поисковых индексов. Cloudflare классифицировал 99,5% её запросов как автоматизированные, а 93,6% ботов как проверенные. Анализ показал, что трафик с этого сегмента индексировал страницы, отображал страницы и отображал изображения — поведение, соответствующее работе поискового краулера. Поисковое ПО Яндекса обеспечивало около 7% российских ботских запросов и всего 0,05% от глобального объёма.

Облачные сервисы Яндекса (AS200350) — это облачная сеть хостинга с совершенно иным набором автоматизации. Примерно 95,0% оценённых запросов были ботами, но ни один из наблюдаемых ботских запросов не был проверен Cloudflare. Боты Яндекс.Облако напоминали программные приложения: почти две трети их запросов отправляли данные на сайты, некоторые представлялись программами на JavaScript, Python или Go, а большая доля приходилась на компании-разработчики, чем поисковые боты Яндекса. Облачные сервисы Яндекса обеспечивали около 2% российских ботских запросов и всего 0,01% от глобального объёма.

Влияние события на общий трафик ботов

«Трафик ботов» — это автоматизированные запросы к сайтам в сети Cloudflare, таким как краулеры и скрипты, а не обязательно активность на платформах социальных сетей. По мере того как сети Яндекса теряли мощности, падал и их ботский трафик. Это было ожидаемо: почти весь трафик от поиска Яндекса и облачных сервисов Яндекса был автоматизирован. Хотя мы видели очевидное падение общего трафика, мы не нашли никаких доказательств связи глобального сбоя в вредоносном трафике с падением трафика от Яндекса.

Ботские запросы с российских IP-адресов упали примерно пропорционально вышедшему из строя трафику Яндекса, поскольку большинство запросов из этих сетей были автоматизированы.

* Radar выводит глобальный трафик как по общему объёму HTTP-запросов, так и по HTML-запросам (приблизительное соответствие просмотру страницы). Таблица выше отражает общий объём запросов.

Влияние на поисковую систему Яндекса (AS13238): меньше краулинга

Падение на поисковом ПО Яндекса было почти полностью связано с краулингом поиска. Выборочный анализ запросов показал, что 78,1% принадлежали проверенному YandexBot, 11,5% — YandexRenderResourcesBot и 1,9% — YandexImages.

Среди сайтов и сервисов наиболее резкое падение трафика наблюдалось в сегменте издательств и газет, где трафик с сетей Яндекса снизился на 44%. Примерно 90% трафика с этого сегмента на новостные сайты до события был из YandexBot, индексирующего статьи, а 40,5% клиентов Cloudflare возвращали HTTP 403 Forbidden, так как владелец сайта блокировал краулер. Когда поисковое ПО Яндекса вышло из строя, клиенты просто увидели меньше индексирования от Яндекса.

Влияние на облачные сервисы Яндекса (AS200350): законное использование и перемещение вредоносного трафика

Облачные сервисы Яндекса демонстрировали совершенно иной профиль. После сообщаемых ударов ботский трафик из облачных сервисов упал примерно на 40%. Несколько категорий атак показали особенно резкое снижение. Например, сканирование плагинов WordPress упало на 90%, а запросы, идентифицированные как сканеры, упали на 93%. Интересно (и показательно), что блокировки клиентами Cloudflare трафика облачных сервисов также упали на 70% в период события, предполагая, что пропорционально меньше вредоносного трафика вообще достигало WAF Cloudflare с этого сегмента.

Влияние на деловые отрасли

Ботский трафик облачных сервисов Яндекса также интересен при разбиении по основным отраслям-получателям запросов:

Большинство трафика из облачных сервисов Яндекса сконцентрировалось в двух категориях: компьютерное программное обеспечение и азартные игры. Категория программного обеспечения была предсказуемой для сегмента, предназначенного для размещения приложений третьих сторон и интеграции ПО. Фактически, мы даже видели, что api.cloudflare.com — это основное имя хоста для трафика запросов облачных сервисов Яндекса. Большинство этого трафика завершилось успешно (запросы вернули коды 200) как до события, так и во время события, указывая на легитимное использование.

Сегмент азартных игр даёт самое яркое доказательство того, что вредоносная автоматизация переместилась, а не исчезла. Почти весь ботский трафик облачных сервисов был направлен на один аккаунт клиента азартных игр, с трафиком, перемещавшимся между его хостнеймами. Сразу после сбоя 8 октября ботский трафик из облачных сервисов на этот аккаунт упал до нуля. Одновременно идентичные запросы начали появляться с других российских хостинг-сегментов, включая Radist и Selectel. Входящий трафик сохранял одинаковый отпечаток во всех провайдерах:

• Одинаковый отпечаток TLS-клиента JA4
• Одинаковые необычные пути запросов и HTTP-заголовки
• Одинаковые пользовательские строки User-Agent

В целом, российский ботский трафик, нацеленный на аккаунты азартных игр, остался практически без изменений за неделю, изменившись с 167,7 млн на 170,1 млн запросов (+1,4%). Автоматизация никогда не перестала работать; операторы просто переместили свои рабочие нагрузки на альтернативных облачных провайдеров, когда облачные сервисы Яндекса стали недоступны.

Во большинстве отраслей доля ботских запросов из облачных сервисов Яндекса, возвращающих любой ответ HTTP 4xx, упала. Это в основном связано с падением атакоподобного трафика, упомянутого выше. В сочетании с анализом аккаунта азартных игр это показывает, что вредоносный трафик, отправляемый через облачные сервисы Яндекса, просто переместил свои «услуги» на других провайдеров после сбоя обслуживания.

Наконец, при анализе трафика социальных сетей мы не обнаружили неожиданных изменений ни с российских IP (снижение на 0,6% за период события), ни в глобальном масштабе (увеличение на 1,2% за период события). Мы повторили анализ на ботском трафике, попадающем на endpoint-ы «post», «reply» и «like» для конкретной платформы социальных сетей, и аналогично не обнаружили неожиданного сдвига ни с российских IP (снижение на 5,7% за период события), ни в глобальном масштабе (увеличение на 1,1% за период события). На основе нашей оценки данные не похоже поддерживают утверждения, что удары парализовали манипуляции в социальных сетях, хотя без дополнительного анализа с использованием данных за пределами Cloudflare, мы не можем окончательно сказать, что связи нет.

Что рассказали нам данные — и чего не рассказали

Когда трафик из сетей Яндекса рухнул, в интернете распространялись предположения, что российские операции влияния и вредоносные ботнеты получили сокрушительный удар. Данные Cloudflare рассказывают другую историю: в сети Cloudflare не было никаких доказательств того, что удары отключили манипуляции в социальных сетях или иным образом нарушили вредоносную активность в интернете. Вместо этого данные продемонстрировали:

• Снизилось индексирование поиска. Подавляющее большинство трафика, который упал с поискового ПО Яндекса, состояло из проверенных краулеров YandexBot, извлекающих новостные статьи и веб-ресурсы. Основное влияние заключалось в снижении обнаружения контента в поиске Яндекса.
• Вредоносная автоматизация переместилась вместо того, чтобы остановиться. Хотя сканирование уязвимостей и проверка плагинов временно снизились на облачных сервисах, крупнотоннажные операции быстро переместились на альтернативные сети хостинга.

Сетевое отключение означает, что определённые серверы перестали отправлять запросы, но это не означает, что автоматизированная угроза исчезла. Облачные рабочие нагрузки портативны, поэтому когда дата-центр гаснет или префикс IP блокируется, операторы могут переместить свои скрипты на другого провайдера в течение часов.

Наш анализ здесь — напоминание о том, что объём трафика клиентского сегмента является ненадёжным показателем для интерпретации поведения автоматизированных ботов. Защита от автоматизированных угроз требует проверки поведения запросов, такой как выявление общих отпечатков JA4, мониторинг аномальных частот запросов и применение правил WAF к чувствительным endpoint-ам, независимо от того, из какой сети исходит запрос. Физическая инфраструктура статична, но вредоносная автоматизация создана, чтобы двигаться.