Защита от ботов для CS-Cart: Bot Firewall

Чужие программы обходят магазин круглосуточно — и платите за это вы

Сборщики цен, SEO-краулеры, обучающие роботы языковых моделей, сканеры уязвимостей. Они ничего не покупают, но тратят то же, что и покупатели: процессорное время, память базы и полосу канала. Модуль отделяет их от людей и позволяет ответить каждой группе по-своему.

Зачем это магазину

Бота легко опознать по тому, как он представился: по строке браузера и по списку адресов. Трафик, из-за которого магазины и начинают искать защиту, так не ловится — он ходит с честным Chrome в заголовке, с обычных домашних адресов, держит cookie и исполняет скрипты.

Сверху — главная глазами покупателя: под шапкой товарная подборка. Снизу — та же страница глазами бота из списка со скрытием: подборка не собрана, её место занял следующий блок.

Списки ботов: у каждого свой ответ

Список — это набор правил и один ответ на них. Списки проверяются по позиции сверху вниз. У списка есть флаг «Останавливать проверку»: пока он стоит — а в поставке он стоит у всех, — судьбу страницы решает первый совпавший список. Снимите флаг, и запрос продолжит сверяться с остальными. В поставке первыми стоят поисковые системы — позиция 10, выше всех остальных поставляемых списков.

Скрытие блоков и секций в этот ряд не входит: это свойство самого объекта макета, и оно работает рядом с любой политикой.

• •  Пропускать — страница собирается и отдаётся целиком, как человеку; снимаются только счётчики, если включена соответствующая настройка. Так работают поисковые системы и цитирующие краулеры ИИ.
• •  Лёгкая страница — страница собирается без блоков выбранных типов: обычно это товарные подборки и фильтры, те блоки, которые собираются дольше остальных.
• •  Проверка в браузере — невидимая задача, которую решает настоящий браузер и не решает простой обходчик.
• •  Ограничивать частоту — сверх лимита запрос получает код 429.
• •  Отвечать кодом — 403, 404, 410, 429, 451 или 503, до сборки страницы.
• •  Только наблюдать — ничего не делаем, но пишем в журнал. Это состояние по умолчанию у нового списка.

Сверху — что списки поймали за неделю, ниже — сами списки по позиции проверки. Пометка «До кэша» — список отвечает ещё до старта магазина; списки без пометки «из поставки» заведены на демо-стенде.

Лёгкая страница: тот же адрес без блоков выбранных типов — на демо это товарные подборки. Шапка, меню и остальные блоки на месте.

Проверка в браузере: страница ждёт ответа настоящего браузера и открывается сама.

Девять типов правил

Правило — это признак, по которому запрос попадает в список. Дешёвые проверки идут первыми, обратный DNS — последним: он один стоит сетевого запроса.

• •  Подстрока в строке браузера.
• •  Регулярное выражение по строке браузера.
• •  Адрес, подсеть или диапазон — IPv4 и IPv6.
• •  Обратный DNS с прямой перепроверкой — так подтверждаются настоящие поисковые роботы.
• •  Согласованность заголовков запроса.
• •  Шаблон адреса страницы.
• •  «Браузер не отозвался» — страница отдана, а маячок молчит.
• •  Оценка поведения — складывается из признаков запроса и истории посетителя.
• •  Частота обращений за окно времени.

Карточка списка: что делать с запросом, код ответа и позиция проверки; ниже на странице — правила.

«Проверка правил» отвечает, что будет с конкретным запросом и какой список сработает.

Краулеры ИИ — две разные породы

Их часто закрывают одним правилом, хотя задачи у них разные. Обучающие (GPTBot, ClaudeBot, CCBot и подобные) забирают тексты в обучающую выборку. Цитирующие (OAI-SearchBot, ChatGPT-User, Claude-SearchBot, PerplexityBot) идут за страницей затем, чтобы сослаться на магазин в ответе пользователю.

Поэтому в модуле это два разных списка: цитирующие по умолчанию пропускаются, обучающие стоят в наблюдении. Кого из них закрывать, решает магазин.

Скрытие блоков и секций макета

Скрытие — свойство объекта макета, а не ответ на запрос: вы заходите в настройки блока или секции и отмечаете, от каких списков их не показывать. Работает с любой политикой, в том числе с пропуском.

Блок не просто прячется — он вообще не собирается. Секция обходится ещё дешевле: она уходит из макета целиком, и магазин не идёт за содержимым стоящих в ней блоков.

Настройки блока: число отмеченных списков видно в подзаголовке, раскрывать не нужно.

То же у секции макета — вместе со всеми блоками, которые в ней стоят.

Отсечение до полностраничного кэша

Если в магазине включён полностраничный кэш, страница часто отдаётся из него, не доходя до PHP, — и обычное средство защиты в такой ситуации просто не запускается. Модуль ставит парный служебный модуль, который выполняется раньше кэша: он читает снимок списков из файла и отвечает отказом сам, ещё до подключения к базе.

На странице списков видно, кто какую работу взял на себя. Пометка «До кэша» стоит у списков с политикой «Отвечать кодом», все правила которых опознают запрос по строке браузера или адресу: такой список отвечает сам. Пометка «Мимо кэша» — у списков, которые сами не отвечают, но помечают запрос некэшируемым, иначе кэш отдал бы боту готовую страницу и скрытие блоков не сработало бы.

Журнал и отчёт

Режим наблюдения — состояние по умолчанию. Неделю модуль никого не блокирует и просто записывает, кого поймал бы: вы смотрите отчёт и убеждаетесь, что в списках нет ваших сотрудников, партнёрских сервисов и мониторинга. Только потом включаете реальные политики.

• •  Сводка по спискам за период: сколько запросов, с каких адресов, средняя оценка поведения.
• •  Динамика по дням и адреса-рекордсмены.
• •  Запись о каждом решении: список, правило, оценка и из чего она сложилась.
• •  Сколько блоков и секций вырезано из страницы.
• •  Отбор по списку, действию, адресу и строке браузера.

Отчёт за неделю: сколько запросов, с каких адресов и какое решение принято.

Настройки и защита форм

• •  Пять разделов настроек, у каждой — понятная подсказка.
• •  Режим наблюдения одним переключателем на весь модуль.
• •  Маршруты-исключения: маячок модуля, обмен с 1С, импорт и экспорт не проверяются всегда, свои маршруты — платёжные колбэки, API — добавляются настройкой.
• •  Защита форм: лимиты отправок за час и за сутки, тихий отбой слепых отправок.
• •  Видимая проверка показывается тому, кто её вызвал, а не всем покупателям.
• •  Константы для интеграции: решение модуля доступно в шаблонах и в коде других модулей.

Общий раздел настроек: у каждой настройки подсказка — что она делает и когда её менять. Доверенные прокси нужны магазину за CDN, иначе все посетители выглядят одним адресом.

Что нового в версии 2.7

• •  Витрина больше не падает у магазинов, которые ставились на версии 1.1 (сборки с июля 2023). В перекрытиях счётчиков та версия писала свой тег и возила его обработчик; уборка файлов 1.x в версии 2.5 обработчик убрала, а перекрытия сохранила — и магазин отвечал ошибкой 500. Обновление переводит такие перекрытия на нынешний механизм, который понимает и прежние параметры. Магазинам, уже обновившимся на 2.5 или 2.6, правка доходит при первом заходе в панель администратора.

Что нового в версии 2.6

• •  Счётчики и пиксели можно не отдавать ботам, не подменяя чужие шаблоны. В настройках появился список частей адресов — Метрика, Google Analytics, Google Tag Manager, Facebook Pixel, reCAPTCHA, top.mail.ru, VK. Счётчик снимается всеми тремя способами, какими его ставят модули: готовый тег в шаблоне, встроенный фрагмент и подключение файла механизмом платформы; проверено на штатных Google Analytics, Facebook Pixel и Яндекс.Метрике. Работает у любого списка с рабочей политикой, включая «Пропускать»: поисковик в аналитике искажает цифры так же, как парсер. Список в наблюдении страницу не меняет, а страница, с которой счётчик снят, не попадает в общий полностраничный кэш. Если адрес уже лежит в кэше, бот получит готовую страницу со счётчиком, пока кэш не сбросится; в режиме Varnish модуля «Полностраничный кэш» счётчики не снимаются вовсе. Настройка включена по умолчанию, в том числе после обновления.
• •  Проверка в браузере принимает ответ только методом POST.
• •  Досборка при обновлении собрана в один класс: скрипт версии и миграция вызывают его оба, и шаги обновления больше не расходятся между каталогами версий.
• •  Объявления необязательных параметров приведены к PHP 8.4: прежняя запись давала предупреждение об устаревшем синтаксисе.

Частые вопросы