REJIK

Ситуация: проверял список из 100 адресов из web-proxy.
Результат: более 90% доменов снято с регистрации.
Предложение: переложить работу по проверке регистрации доменов на робота.
Плюсы: сокращение бан-листов, что позволит ускорить работу rejik-а и снять с людей работу по проверке этих адресов.

Удалил из web-mail.urls правила, которых нет в dns, чуть позже запущу робота, который будет делать тоже для всех urls списков.
До сегодняшнего дня робот чистил только porno.urls.

есть мнение, что в списки нужно добавить механизм комментирования и не вычищать роботом старые урлы, а комментить. проверять все подряд, и комменты тоже, если урл оживет, то коммент снимать.
бывает так, что домены банятся или истекает срок регистрации, а через какое-то время снова "размораживаются", а инфа уже потерта безвозвратно..
..а может и специальные системы ротации существуют, которые и рассчитаны на подобных роботов.

Разумно, что-то похожее я и сделал, алгоритм такой:

Запускаем раз в неделю
{
все правила, которые являются урлом проверяются в dns:
Если в dns нет, то счетчик dns_check для этого правила увеличивается на единицу.
иначе dns_check для этого правила равен 0.

Если dns_check >4, то правило удаляется
}

Проще говоря, правило будет удалено, если доменное имя недоступно более месяца.

Странно что файлы меньше не стали, хотя например porno.urls количество правил уменьшилось на 69337 только 23 марта. Что-то не так.

Судя по логам, Вы не скачиваете новый лист, как следствие, не видите новые правила.

Мне кажется метод описаный выше не подходит для оптимизации списка extremism_rf. Он не такой большой чтобы замедлять работу rejik'a, да и наличие или отсутствие урла в списке должно определяться наличием или отсутствием его в списке Минюста, а не доступностью доменного имени.

alexK писал(а):Мне кажется метод описаный выше не подходит для оптимизации списка extremism_rf. Он не такой большой чтобы замедлять работу rejik'a, да и наличие или отсутствие урла в списке должно определяться наличием или отсутствием его в списке Минюста, а не доступностью доменного имени.

Согласен, отключил чистку для него.
Впрочем, есть сомнения, что он ещё нужен, подобные сайты сейчас на уровне провайдеров блокируют.