Идеи и пожелания по развитию DBL

[Slava]

Есть более простое решение, запретите клиентам прокси ходить по ip адресам.

[Александр22]

В моем случае это неприменимо - через прокси работают клиентбанки, а они ходят на нерезолвящиеся IP адреса, также не будут работать различные месенжеры, да и часто попадаются ftp'шники и web сервера(например с набором файлов для скачивания и т.п.),которые не имеют dns имени, баннерные системы, которые использую IP адреса, не будут работать различные P2P сети и т.д.

P.S. Если не сложно, подскажите как можно запретить ходить на IP адреса?(для общего развития:)) Через rejik(pcre) или как-то по другому?

[Slava]

P.S. Если не сложно, подскажите как можно запретить ходить на IP адреса?(для общего развития:)) Через rejik(pcre) или как-то по другому?

Ушлые юзеры пытаются обойти редиректор, определяют ip адрес заблокированного сайта и вводят его в адресную строку браузера. Как им помещать?
Добавьте в redirector.conf строки:
<IP>
ban_dir /usr/local/rejik/banlists/ip
url http://127.0.0.1/ban/ip.html

В файл /usr/local/rejik/banlists/ip/pcre впишите строку:
(^|\:\/\/)\d+\.\d+\.\d+\.\d+

это заблокирует доступ ко всем адресам типа:
"("начало строки" или ":\")цифра.цифра.цифра.цифра"
Если нужно будет дать доступ на какие-либо ip адреса, пропишите их в allow_urls

[smumrik]

Ручная проверка списка. Много сложностей.
Например, я вот отправил большой список - около 1500 банов. В нем попадаются следующие сайты:
- которые на первый взгляд выглядят вполне пристойными - сайт по закачке mp3, - каталоги, исполнители, альбомы и пр. Но если углубиться и дойти до собственно закачки, то при любой попытке что-то скачать происходит редирект на сайты с проститутками.
- сайты, к которым нет прямого доступа. Например, http://66.28.201.20
используется как хранилище порно-jpg
http://66.28.201.20/h-hotelmgp/st/thumb ... 563836.jpg
можно указывать проверочный урл, можно занести сайт в непроверенные, но через месяц-другой картинки обновятся и урл станет нерабочим.

ИМХО нужны комменты. Может быть, пользователям их скачивать и не нужно, но в случае тех или иных проблем с данным урлом комменты будут очень ценной инфой. Естественно, для большей части правил они не нужны.

[Rus]

Недавно сделал интерфейс для пополнеия из скриптов пользователей в группу порно. Доступен он для пользователей с рейтингом свыше 1000.
"Для добавления правила нужно перейти по урлу вида:

http://www.rejik.ru/cgi-bin/add_rule.cg ... w.porno.ru

Для других групп можно сделать такой же интерфейс ?

[Slava]

Сделал, добавьте group=lala дял указания группы.
PS: параметр reason не обязателен

Недавно сделал интерфейс для пополнеия из скриптов пользователей в группу порно. Доступен он для пользователей с рейтингом свыше 1000.
"Для добавления правила нужно перейти по урлу вида:

http://www.rejik.ru/cgi-bin/add_rule.cg ... w.porno.ru

Для других групп можно сделать такой же интерфейс ?

[Rus]

что-то не работает
http://www.rejik.ru/cgi-bin/add_rule.cg ... answer=yes
почему-то добавляет icq.com в группу porno.urls

<record id="676153">
<rule>icq.com</rule>
<group>porno.urls</group>
<add>
<timestamp>2010-04-07 10:24:28</timestamp>
<user>Rus</user>
<answer>Yes</answer>
</add>
</record>

[Slava]

От Вас:
в 2010:10:24:27 был запрос без group
в 2010:10:24:45 был запрос с group

Если group не указанна, то добавляется в porno.urls

что-то не работает
http://www.rejik.ru/cgi-bin/add_rule.cg ... answer=yes
почему-то добавляет icq.com в группу porno.urls

<record id="676153">
<rule>icq.com</rule>
<group>porno.urls</group>
<add>
<timestamp>2010-04-07 10:24:28</timestamp>
<user>Rus</user>
<answer>Yes</answer>
</add>
</record>

[Rus]

Разобрался ... все работает как надо!!!
Первый запрос был неправильный - кеш браузера не обновился

[Rus]

еще одно пожелание ...
Сейчас при выборке, если для банлиста нет ни одного правила то соответствующий файл не создается.

Было бы правильно чтоб создавался пустой файл для такого банлиста

[FaithNOmore]

Несколько раз столкнулся с такой фигней - при скачьке wget'ом обновлений бан листов (скрипт update) происходили обрывы связи (ну там причин масса может быть: маршрутизатор прова впал в "кому", сетевой интерфейс отвалился и т.д.) и скачивался либо не полностью файл обновлений либо не все патчи. Сам wget при этом ошибок не выдавал, так как какая-никакая а скачка происходила. Далее шли ошибки либо на этапе выполнения скрипта update, при этом создавались и не удалялись темпы, либо на этапе парсинга dbl_expand, при этом создавались и не удалялись темпы листов типа
-porno.urls (со знаком минус временные листы). После такого кривого "обновления" требовалось только ручное вмешательство - удаление всех темпов и правка версии бан-листов в файле VERSION и последующим перезапуском скриптов обновлений.

В связи с этим пожелания такие
- добавить контрольные суммы (md5) к файлам обновлений, чтобы после скачки wget'ом проверять на предмет правильности скачки.
Дать скажем 10 попыток на закачку обновлений, если неуспешно - прога завершается с неким кодом ошибки и далее не парсятся криво скачанные банлисты.

Прошу ногами не пинать - писатель из меня хреновый -:)

Немного офтоп. Вообще хотел выразить благодарность автору за отличную идею с DBL банлистами и за режик. Сам использую правда squidGuard (так исторически сложилось) + DBL банлисты режика+shallalist.de +urlblacklist.com (аЦкий коктейль)
Если кому надо скрипты для "переваривания" режиковских банлистов в формат удобоваримый squidGuard - их есть у меня -:) Надеюсь я тем самым автора не обижу. Вообще думаю надо данный проект развивать всесторонне - ведь есть еще масса людей кто использует DanceGuardian например и им листы режика очень даже не помешают. Какая разница какой редиректор. Главное что и эти пользователи смогут использовать и пополнять блэклисты режика и тем самым развивать проект.

[Slava]

В связи с этим пожелания такие
- добавить контрольные суммы (md5) к файлам обновлений, чтобы после скачки wget'ом проверять на предмет правильности скачки.
Дать скажем 10 попыток на закачку обновлений, если неуспешно - прога завершается с неким кодом ошибки и далее не парсятся криво скачанные банлисты.

Логично, надо будет сделать.

[alcorp]

При добавлении в базу, наверное, стоит проверять на существование доменных имен (ботом).
Очень высокий процент доменных имен, которых просто уже не существует.

[rainbow_goblin]

Нельзя ли url -ки периодически проверять скриптами на существование DNS имени и на наличие минимального контента. Много сайтов expired или for sale.

[Slava]

При добавлении доменного имени, оно, как правило существует, резолвится и содержит искомый контент.
Периодическая проверка на резолв доменов существует, стартует каждую пятницу, можно посмотреть по статистике, уменьшение числа правил.
Проверка на контент пока не реализована, сложно отличить фор_сале от нормальных сайтов.