Работа над статистикой посещений и защитой от роботов-ебоботов в очередной раз поставила вопрос о создании реестра IP с ботами. Есть полезные роботы, которые нужны для сбора информации, поисковые боты, системы анализа сайта, так называемые «белые», и есть вредоносные, которые тысячами запросов бомбят сервер, портят статистику, занимают ресурсы и вообще. Из-за таких негодяев решено создать список «чёрных» ботов для фильтрации трафика.
На момент написания этой заметки блеболыч зафиксировал 1751 уникальных посетителя и 3050 загрузок страниц. Не все из уникальных человеки. У меня написан механизм синхронизации данных, и когда будет сделан список ботов - стирать статистику не нужно, можно отфильтровать IP по группам (человек, поисковик, rss crawler и т. д.). Этих ботов тысячи, миллионы их, и охватить всех цели нет. Но механоидов из Сингапура и прочей Азии, Германии, Нидерландов пора секануть, надоели они уже. Всех вредных ботов-гадёнышей в концентрационный лагерь.
