0

Как избавиться от надоедливых ботов?

Опубликовано : 14-09-2013 | Автор : alex-saratov | в разделе : htaccess, Безопасность в сети

Метки: , , , ,

Последнее время надоедливые и безобидные боты (роботы), начали создавать ощутимую нагрузку на сервера. Каждый из роботов по отдельности безобиден, но когда все одновременно начинают сканировать сайт, то это больше напоминает DDos атаку.

Большинство роботов слушается правил обусловленных в файлах robots.txt, но не все. Для особо не послушных создадим правила в файле .htaccess

RewriteEngine On
# Блокировка надоедливых роботов
RewriteBase /

RewriteCond %{HTTP_USER_AGENT} ^rogerbot [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^exabot [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^MJ12bot [OR]
RewriteCond %{HTTP_USER_AGENT} ^dotbot [OR]
RewriteCond %{HTTP_USER_AGENT} ^gigabot [OR]
RewriteCond %{HTTP_USER_AGENT} ^Sogou.* [OR]
RewriteCond %{HTTP_USER_AGENT} ^TurnitinBot [OR]
RewriteCond %{HTTP_USER_AGENT} ^AhrefsBot
RewriteRule ^.* - [F,L]

Результатом будет страница ошибки .

Это тот список роботов, которые одолевают наши сервера, на текущий момент. Однако большинство роботов маскируется под браузеры, отсечь их значительно сложней.

Ждите обновлений списка.

0

Скрипт конвертирования содержимого из CP1251 в UTF8

Опубликовано : 22-02-2012 | Автор : alex-saratov | в разделе : Linux

Метки: , , , ,

Если Вы пользователь Linux, то часто содержимое файлов текстовых форматов имеет для не читаемый вид. Это не соответствие кодировки. Я пробовал множество путей перекодирования, но пока остановился на сценариях Nautilus. Самый быстрый и удобный способ, с учетом того, что чаще всего приходится конвертировать только в одну сторону.

1

Тест и сравнение Ubuntu 11.04 & Debian 6

Опубликовано : 16-07-2011 | Автор : alex-saratov | в разделе : Linux

Метки: , , ,

Т.к. системы Ubuntu и Debian близки по сути решил провести тест последних изменений на удобство работы с точки зрения пользователя.

0

JQuery — Теги занимают много места

Опубликовано : 24-06-2011 | Автор : alex-saratov | в разделе : JQuery

Метки: ,

Чем дольше живет сайт тем больше накапливается меток ( тегов ). Теги очень важны для внутренней перелинковки страниц, но размещать их бывает сложно. Однако мы можем применить к ним анимацию с скрыть лишние.

0

Смена движка сайта.

Опубликовано : 07-06-2011 | Автор : alex-saratov | в разделе : Новости

С текущего момент сайт компании работает на WordPress.

На WordPress выбор пал не случайно. Множество работ, которые выполнялись для наших клиентов, были ориентированы именно под WordPress, к достоинствам которого можно отнести — надежность, гибкость, удобство работы, большое количество готовых решений.

В связи с ведущимися работами, возможны временные перерывы. Приносим извинения.