Аномальная нагрузка на сайт 2024

На протяжении долгого времени наблюдал такую картину и никак не мог понять, в чем беда.

Саид Айвазов

Кто-то

В общем не буду томить, в 2023 году активировался злой GPTBot который сканируется все и вся с бешеной скорости и без капли скромности.

Таким же занимается и Bingbot, но не так нагло.

Если у вас имеется сайт который непонятно почему начал набирать 1000% нагрузку, возможно решение которое я напишу в статье, поможет.

Решение №1

У нас есть замечательный файл robots.txt.
Настроить этот файл можно через SEO плагины(Yoast SEO или Rank Math и т.п.) или вручную(для кастомных сайтов).

Добавьте чтобы заблокировать GPTBot:

User-agent: GPTBot
Disallow: /

Для BingBot:

User-agent: Bingbot
Disallow: /

Так же по этой теме советую ознакомиться с полезной статьей.

Решение №2

Если решение №1 не помогло или вы хотите сиюминутно прекратить это безобразие, тогда самым лучшим вариантом будет — блокировка через Apache или Nginx.

Apache — редактируем файл .htaccess

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} ^.*(bingbot|GPTBot).*$ [NC]
RewriteRule .* - [F,L]

Nginx

if ($http_user_agent ~* (bingbot|GPTBot)) {
        return 403;
}

Дополнение по хостингу - Beget

Первое обращение в тех поддержку по этому вопросу, написал 28.06.2024.

Потом когда началась проблема на другом сайте, так же написал обращение.

На два обращения, +- одинаковый ответ

Насколько могу видеть, основную нагрузку создают не сайты, а cron-задания. Можете уменьшить частоту выполнения заданий в разделе CronTab.
Beget

Время шло, увеличивались тарифы за высокую нагрузку.
И вот спустя 3 месяца надоело, решил лично заняться этим вопросом.
После недолгого расследования, увидел что GPTBot оооочень много запросов отправляет, максимально на все GET параметры(к примеру для фильтрации) которые находит на страницах.

Когда конкретно в лоб написал техподдержке, ребята так же не догоняют.

Читать снизу вверх

На данный момент об этом особо нигде не пишут, поэтому проблема не для всех явная, но скорее всего хостинг провайдеры будут в теме и скоро будут давать нормальные ответы.
Очень жаль, что бегет не смог помочь с этим вопросом, однако даже несмотря на это, я также продолжаю считать этот хостинг одним из лучших и самых удобных.