Предложение: Оптимизация списков

Обсуждение распределенного бан-листа
Ответить
gb03db
Сообщения: 1
Зарегистрирован: Ср фев 18, 2015 13:31

Предложение: Оптимизация списков

Сообщение gb03db »

Ситуация: проверял список из 100 адресов из web-proxy.
Результат: более 90% доменов снято с регистрации.
Предложение: переложить работу по проверке регистрации доменов на робота.
Плюсы: сокращение бан-листов, что позволит ускорить работу rejik-а и снять с людей работу по проверке этих адресов.

Slava
Site Admin
Сообщения: 2251
Зарегистрирован: Пт апр 02, 2004 12:34
Контактная информация:

Re: Предложение: Оптимизация списков

Сообщение Slava »

Удалил из web-mail.urls правила, которых нет в dns, чуть позже запущу робота, который будет делать тоже для всех urls списков.
До сегодняшнего дня робот чистил только porno.urls.

MAGNet
Сообщения: 2
Зарегистрирован: Вс мар 08, 2015 20:52

Re: Предложение: Оптимизация списков

Сообщение MAGNet »

есть мнение, что в списки нужно добавить механизм комментирования и не вычищать роботом старые урлы, а комментить. проверять все подряд, и комменты тоже, если урл оживет, то коммент снимать.
бывает так, что домены банятся или истекает срок регистрации, а через какое-то время снова "размораживаются", а инфа уже потерта безвозвратно..
..а может и специальные системы ротации существуют, которые и рассчитаны на подобных роботов.

Slava
Site Admin
Сообщения: 2251
Зарегистрирован: Пт апр 02, 2004 12:34
Контактная информация:

Re: Предложение: Оптимизация списков

Сообщение Slava »

Разумно, что-то похожее я и сделал, алгоритм такой:

Запускаем раз в неделю
{
все правила, которые являются урлом проверяются в dns:
Если в dns нет, то счетчик dns_check для этого правила увеличивается на единицу.
иначе dns_check для этого правила равен 0.

Если dns_check >4, то правило удаляется
}

Проще говоря, правило будет удалено, если доменное имя недоступно более месяца.

fil
Сообщения: 27
Зарегистрирован: Вт фев 09, 2010 12:57

Re: Предложение: Оптимизация списков

Сообщение fil »

Странно что файлы меньше не стали, хотя например porno.urls количество правил уменьшилось на 69337 только 23 марта. Что-то не так.

Slava
Site Admin
Сообщения: 2251
Зарегистрирован: Пт апр 02, 2004 12:34
Контактная информация:

Re: Предложение: Оптимизация списков

Сообщение Slava »

Судя по логам, Вы не скачиваете новый лист, как следствие, не видите новые правила.

alexK
Сообщения: 17
Зарегистрирован: Чт ноя 27, 2014 14:52

Re: Предложение: Оптимизация списков

Сообщение alexK »

Мне кажется метод описаный выше не подходит для оптимизации списка extremism_rf. Он не такой большой чтобы замедлять работу rejik'a, да и наличие или отсутствие урла в списке должно определяться наличием или отсутствием его в списке Минюста, а не доступностью доменного имени.

Slava
Site Admin
Сообщения: 2251
Зарегистрирован: Пт апр 02, 2004 12:34
Контактная информация:

Re: Предложение: Оптимизация списков

Сообщение Slava »

alexK писал(а):Мне кажется метод описаный выше не подходит для оптимизации списка extremism_rf. Он не такой большой чтобы замедлять работу rejik'a, да и наличие или отсутствие урла в списке должно определяться наличием или отсутствием его в списке Минюста, а не доступностью доменного имени.
Согласен, отключил чистку для него.
Впрочем, есть сомнения, что он ещё нужен, подобные сайты сейчас на уровне провайдеров блокируют.

Ответить