Плохие поисковые боты — различия между версиями
Dream (обсуждение | вклад) |
Dream (обсуждение | вклад) |
||
| Строка 7: | Строка 7: | ||
Рекомендуют полное перекрытие кислорода указанным ботам. В противном случае сервер будет получать повышенную нагрузку и может стать уязвимым перед наплывом большого количества посетителей. | Рекомендуют полное перекрытие кислорода указанным ботам. В противном случае сервер будет получать повышенную нагрузку и может стать уязвимым перед наплывом большого количества посетителей. | ||
| + | |||
| + | == Код для закрытия доступа == | ||
| + | Нужно добавить в .htaccess строки: | ||
| + | <pre> | ||
| + | RewriteCond %{HTTP_USER_AGENT} AhrefsBot | ||
| + | RewriteRule (.*) - [F,L] | ||
| + | RewriteCond %{HTTP_USER_AGENT} MJ12bot | ||
| + | RewriteRule (.*) - [F,L] | ||
| + | RewriteCond %{HTTP_USER_AGENT} Detectify | ||
| + | RewriteRule (.*) - [F,L] | ||
| + | RewriteCond %{HTTP_USER_AGENT} dotbot | ||
| + | RewriteRule (.*) - [F,L] | ||
| + | RewriteCond %{HTTP_USER_AGENT} Riddler | ||
| + | RewriteRule (.*) - [F,L] | ||
| + | RewriteCond %{HTTP_USER_AGENT} SemrushBot | ||
| + | RewriteRule (.*) - [F,L] | ||
| + | RewriteCond %{HTTP_USER_AGENT} LinkpadBot | ||
| + | RewriteRule (.*) - [F,L] | ||
| + | RewriteCond %{HTTP_USER_AGENT} BLEXBot | ||
| + | RewriteRule (.*) - [F,L] | ||
| + | RewriteCond %{HTTP_USER_AGENT} FlipboardProxy | ||
| + | RewriteRule (.*) - [F,L] | ||
| + | RewriteCond %{HTTP_USER_AGENT} aiHitBot | ||
| + | RewriteRule (.*) - [F,L] | ||
| + | RewriteCond %{HTTP_USER_AGENT} trovitBot | ||
| + | RewriteRule (.*) - [F,L] | ||
| + | |||
| + | </pre> | ||
{{Навигация|Интернет}} | {{Навигация|Интернет}} | ||
[[Категория:Интернет]] | [[Категория:Интернет]] | ||
Версия 23:43, 10 апреля 2017
Плохие поисковые боты — вредоносные поисковые боты, которые способны существенно увеличить нагрузку на сайт и даже повалить его (в случае, если для его поддержки используется не совсем сильное железо).
Способы предохранения
Самый простой и проверенный способ защиты от поисковых ботов - блокировка их заходов на сайт, которая делается посредством правки файла .htaccess. Есть вариант ручной блокировки через консоль или (как вариант) через панель CloudFlare, в случае, если сайт на этой панели висит.
Среди наиболее агрессивных ботов отмечаются Semrush, AhrefsBot, MJ12bot, Detectify, DotBot, Riddler, LinkpadBot, BLEXBot, FlipboardProxy, aiHitBot, trovitBot.
Рекомендуют полное перекрытие кислорода указанным ботам. В противном случае сервер будет получать повышенную нагрузку и может стать уязвимым перед наплывом большого количества посетителей.
Код для закрытия доступа
Нужно добавить в .htaccess строки:
RewriteCond %{HTTP_USER_AGENT} AhrefsBot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} MJ12bot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} Detectify
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} dotbot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} Riddler
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} SemrushBot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} LinkpadBot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} BLEXBot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} FlipboardProxy
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} aiHitBot
RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} trovitBot
RewriteRule (.*) - [F,L]
