Идеи и пожелания по развитию DBL

Обсуждение распределенного бан-листа
Slava
Site Admin
Сообщения: 2251
Зарегистрирован: Пт апр 02, 2004 12:34
Контактная информация:

Сообщение Slava »

Есть более простое решение, запретите клиентам прокси ходить по ip адресам.

Александр22
Сообщения: 11
Зарегистрирован: Чт дек 21, 2006 22:36

Сообщение Александр22 »

В моем случае это неприменимо - через прокси работают клиентбанки, а они ходят на нерезолвящиеся IP адреса, также не будут работать различные месенжеры, да и часто попадаются ftp'шники и web сервера(например с набором файлов для скачивания и т.п.),которые не имеют dns имени, баннерные системы, которые использую IP адреса, не будут работать различные P2P сети и т.д.

P.S. Если не сложно, подскажите как можно запретить ходить на IP адреса?(для общего развития:)) Через rejik(pcre) или как-то по другому?

Slava
Site Admin
Сообщения: 2251
Зарегистрирован: Пт апр 02, 2004 12:34
Контактная информация:

Сообщение Slava »

Александр22 писал(а): P.S. Если не сложно, подскажите как можно запретить ходить на IP адреса?(для общего развития:)) Через rejik(pcre) или как-то по другому?
Ушлые юзеры пытаются обойти редиректор, определяют ip адрес заблокированного сайта и вводят его в адресную строку браузера. Как им помещать?
Добавьте в redirector.conf строки:
<IP>
ban_dir /usr/local/rejik/banlists/ip
url http://127.0.0.1/ban/ip.html

В файл /usr/local/rejik/banlists/ip/pcre впишите строку:
(^|\:\/\/)\d+\.\d+\.\d+\.\d+

это заблокирует доступ ко всем адресам типа:
"("начало строки" или ":\")цифра.цифра.цифра.цифра"
Если нужно будет дать доступ на какие-либо ip адреса, пропишите их в allow_urls

smumrik
Сообщения: 3
Зарегистрирован: Ср окт 10, 2007 20:02

Сообщение smumrik »

asket писал(а):Ручная проверка списка. Много сложностей.
Например, я вот отправил большой список - около 1500 банов. В нем попадаются следующие сайты:
- которые на первый взгляд выглядят вполне пристойными - сайт по закачке mp3, - каталоги, исполнители, альбомы и пр. Но если углубиться и дойти до собственно закачки, то при любой попытке что-то скачать происходит редирект на сайты с проститутками.
- сайты, к которым нет прямого доступа. Например, http://66.28.201.20
используется как хранилище порно-jpg
http://66.28.201.20/h-hotelmgp/st/thumb ... 563836.jpg
можно указывать проверочный урл, можно занести сайт в непроверенные, но через месяц-другой картинки обновятся и урл станет нерабочим.
ИМХО нужны комменты. Может быть, пользователям их скачивать и не нужно, но в случае тех или иных проблем с данным урлом комменты будут очень ценной инфой. Естественно, для большей части правил они не нужны.

Rus
Сообщения: 112
Зарегистрирован: Пт ноя 18, 2005 13:44

Сообщение Rus »

Slava писал(а):Недавно сделал интерфейс для пополнеия из скриптов пользователей в группу порно. Доступен он для пользователей с рейтингом свыше 1000.
"Для добавления правила нужно перейти по урлу вида:

http://www.rejik.ru/cgi-bin/add_rule.cg ... w.porno.ru
Для других групп можно сделать такой же интерфейс ?

Slava
Site Admin
Сообщения: 2251
Зарегистрирован: Пт апр 02, 2004 12:34
Контактная информация:

Сообщение Slava »

Сделал, добавьте group=lala дял указания группы.
PS: параметр reason не обязателен
Rus писал(а):
Slava писал(а):Недавно сделал интерфейс для пополнеия из скриптов пользователей в группу порно. Доступен он для пользователей с рейтингом свыше 1000.
"Для добавления правила нужно перейти по урлу вида:

http://www.rejik.ru/cgi-bin/add_rule.cg ... w.porno.ru
Для других групп можно сделать такой же интерфейс ?

Rus
Сообщения: 112
Зарегистрирован: Пт ноя 18, 2005 13:44

Сообщение Rus »

что-то не работает :(
http://www.rejik.ru/cgi-bin/add_rule.cg ... answer=yes
почему-то добавляет icq.com в группу porno.urls

<record id="676153">
<rule>icq.com</rule>
<group>porno.urls</group>
<add>
<timestamp>2010-04-07 10:24:28</timestamp>
<user>Rus</user>
<answer>Yes</answer>
</add>
</record>

Slava
Site Admin
Сообщения: 2251
Зарегистрирован: Пт апр 02, 2004 12:34
Контактная информация:

Сообщение Slava »

От Вас:
в 2010:10:24:27 был запрос без group
в 2010:10:24:45 был запрос с group

Если group не указанна, то добавляется в porno.urls
Rus писал(а):что-то не работает :(
http://www.rejik.ru/cgi-bin/add_rule.cg ... answer=yes
почему-то добавляет icq.com в группу porno.urls

<record id="676153">
<rule>icq.com</rule>
<group>porno.urls</group>
<add>
<timestamp>2010-04-07 10:24:28</timestamp>
<user>Rus</user>
<answer>Yes</answer>
</add>
</record>

Rus
Сообщения: 112
Зарегистрирован: Пт ноя 18, 2005 13:44

Сообщение Rus »

Разобрался ... все работает как надо!!!
Первый запрос был неправильный - кеш браузера не обновился

Rus
Сообщения: 112
Зарегистрирован: Пт ноя 18, 2005 13:44

Сообщение Rus »

еще одно пожелание ...
Сейчас при выборке, если для банлиста нет ни одного правила то соответствующий файл не создается.

Было бы правильно чтоб создавался пустой файл для такого банлиста

FaithNOmore
Сообщения: 8
Зарегистрирован: Вт апр 27, 2010 23:29
Контактная информация:

Сообщение FaithNOmore »

Несколько раз столкнулся с такой фигней - при скачьке wget'ом обновлений бан листов (скрипт update) происходили обрывы связи (ну там причин масса может быть: маршрутизатор прова впал в "кому", сетевой интерфейс отвалился и т.д.) и скачивался либо не полностью файл обновлений либо не все патчи. Сам wget при этом ошибок не выдавал, так как какая-никакая а скачка происходила. Далее шли ошибки либо на этапе выполнения скрипта update, при этом создавались и не удалялись темпы, либо на этапе парсинга dbl_expand, при этом создавались и не удалялись темпы листов типа
-porno.urls (со знаком минус временные листы). После такого кривого "обновления" требовалось только ручное вмешательство - удаление всех темпов и правка версии бан-листов в файле VERSION и последующим перезапуском скриптов обновлений.

В связи с этим пожелания такие
- добавить контрольные суммы (md5) к файлам обновлений, чтобы после скачки wget'ом проверять на предмет правильности скачки.
Дать скажем 10 попыток на закачку обновлений, если неуспешно - прога завершается с неким кодом ошибки и далее не парсятся криво скачанные банлисты.

Прошу ногами не пинать - писатель из меня хреновый -:)

Немного офтоп. Вообще хотел выразить благодарность автору за отличную идею с DBL банлистами и за режик. Сам использую правда squidGuard (так исторически сложилось) + DBL банлисты режика+shallalist.de +urlblacklist.com (аЦкий коктейль)
Если кому надо скрипты для "переваривания" режиковских банлистов в формат удобоваримый squidGuard - их есть у меня -:) Надеюсь я тем самым автора не обижу. Вообще думаю надо данный проект развивать всесторонне - ведь есть еще масса людей кто использует DanceGuardian например и им листы режика очень даже не помешают. Какая разница какой редиректор. Главное что и эти пользователи смогут использовать и пополнять блэклисты режика и тем самым развивать проект.
Сколько man'ов не читал, а так дураком и остался...

Slava
Site Admin
Сообщения: 2251
Зарегистрирован: Пт апр 02, 2004 12:34
Контактная информация:

Сообщение Slava »

FaithNOmore писал(а): В связи с этим пожелания такие
- добавить контрольные суммы (md5) к файлам обновлений, чтобы после скачки wget'ом проверять на предмет правильности скачки.
Дать скажем 10 попыток на закачку обновлений, если неуспешно - прога завершается с неким кодом ошибки и далее не парсятся криво скачанные банлисты.
Логично, надо будет сделать.

alcorp
Сообщения: 13
Зарегистрирован: Сб май 01, 2010 15:28

Сообщение alcorp »

При добавлении в базу, наверное, стоит проверять на существование доменных имен (ботом).
Очень высокий процент доменных имен, которых просто уже не существует.

rainbow_goblin
Сообщения: 15
Зарегистрирован: Вс янв 08, 2012 10:46

Re: Идеи и пожелания по развитию DBL

Сообщение rainbow_goblin »

Нельзя ли url -ки периодически проверять скриптами на существование DNS имени и на наличие минимального контента. Много сайтов expired или for sale.

Slava
Site Admin
Сообщения: 2251
Зарегистрирован: Пт апр 02, 2004 12:34
Контактная информация:

Re: Идеи и пожелания по развитию DBL

Сообщение Slava »

При добавлении доменного имени, оно, как правило существует, резолвится и содержит искомый контент.
Периодическая проверка на резолв доменов существует, стартует каждую пятницу, можно посмотреть по статистике, уменьшение числа правил.
Проверка на контент пока не реализована, сложно отличить фор_сале от нормальных сайтов.

Ответить