Идеи и пожелания по развитию DBL

Обсуждение распределенного бан-листа
Rus
Сообщения: 112
Зарегистрирован: Пт ноя 18, 2005 13:44

Идеи и пожелания по развитию DBL

Сообщение Rus »

В связи с тем, что Слава пока не хочет браться за переделку DBL, предлагаю всем высказать свои соображения по развитию DBL.

Вот последнее что хотелось предложить:

Было бы неплохо иметь в DBL возможность доверия к участникам DBL не только по всей базе, но и по каждому DBL листу.
Например, в порно листе меня устраивает рейтинговая система, а в virus-detect и spyware я хочу доверять только своим проверкам.

Slava
Site Admin
Сообщения: 2239
Зарегистрирован: Пт апр 02, 2004 12:34
Контактная информация:

Сообщение Slava »

Список планируемых изменений в DBL:

1. Добавление листов произвольного размера в базу.
Модерируемая функция(добавление после ручной проверки мной), позволяющая вводить в базу свои наработки, как в список проверенных, так и в список непроверенных урлов.

2. Группы участников DBL. Общие затраты за скачивание. Общий список для fast update.

3. Возможность передачи банов (которыми расплачиваются за скачивание) от одного участника, к другому.

4. (может быть) Реферальная система участников. С привлеченных участником пользователей, будет капать процент на счет.

5. (может быть) Возможность платной подписки, как альтернатива для тех, кто не имеет свободного времени на проверку листов.

6. История действий участника в DBL.

asket
Сообщения: 40
Зарегистрирован: Вт янв 24, 2006 19:32
Откуда: Москва

Сообщение asket »

На первый взгляд все разумно.

Мне понравился последний пункт - не знаю точно, как это будет выглядеть, но если было бы возможно просмотреть историю деятельности участника, - что, когда он вводил/удалял, хотя бы за какой-то последний период, то тогда можно было более точно принять доверять ему или нет.
По первому пункту есть некоторые сомнения.
Ручная проверка списка. Много сложностей.
Например, я вот отправил большой список - около 1500 банов. В нем попадаются следующие сайты:
- которые на первый взгляд выглядят вполне пристойными - сайт по закачке mp3, - каталоги, исполнители, альбомы и пр. Но если углубиться и дойти до собственно закачки, то при любой попытке что-то скачать происходит редирект на сайты с проститутками.
- сайты, к которым нет прямого доступа. Например, http://66.28.201.20
используется как хранилище порно-jpg
http://66.28.201.20/h-hotelmgp/st/thumb ... 563836.jpg
можно указывать проверочный урл, можно занести сайт в непроверенные, но через месяц-другой картинки обновятся и урл станет нерабочим.
- сайты смешанного содержания, - где-то там в каком-то пункте/подпункте содержится ххх, да и само ххх может быть разного содержания.

Во всех этих случаях, при выборочной проверке может создаться впечатления, что список плохой, - в самом деле в списке порнухи - сайт с mp3, какой-то безымянный IP и сайт с софтом-музыкой-форумом-приколами.

Если есть проверяющий, то должен быть способ как-то разрешать упомянутые ситуации.

Rus
Сообщения: 112
Зарегистрирован: Пт ноя 18, 2005 13:44

Сообщение Rus »

По поводу истории действий участников в DBL.

Можно пока сделать парсилку для list.dbl которой на входе даем точку отсчета (дату) а на выходе будет что и кто добавил/проверил в DBL, после указанной даты.

Rus
Сообщения: 112
Зарегистрирован: Пт ноя 18, 2005 13:44

Сообщение Rus »

Было бы неплохо, чтоб в DBL была автоматическая проверка на предмет не существующих доменов.
Например, если домен не существует пол года - удалять его из базы.

Slava
Site Admin
Сообщения: 2239
Зарегистрирован: Пт апр 02, 2004 12:34
Контактная информация:

Сообщение Slava »

Rus писал(а):Было бы неплохо, чтоб в DBL была автоматическая проверка на предмет не существующих доменов.
Например, если домен не существует пол года - удалять его из базы.
Каким образом проверять? dns, whois?

Rus
Сообщения: 112
Зарегистрирован: Пт ноя 18, 2005 13:44

Сообщение Rus »

DNS resolving.

P.S. Можно сделать опцию - блокировать или нет помеченные не существующие домены (незнаю правда нужно это или нет) :D

Slava
Site Admin
Сообщения: 2239
Зарегистрирован: Пт апр 02, 2004 12:34
Контактная информация:

Сообщение Slava »

Rus писал(а):DNS resolving.
С dns две проблемы:
1. Неизвестно точно, какое имя резолвить, правила блокировки далеко не всегда являются существующими доменными именами.

2. Ошибки/перестройки DNS серверов дают в конкретный момент времени отсутствие ip, а через день/месяц, появляются вновь.

Если по второму пункту можно собрать статистику, для принятия решения, то первый пункт решается только с потерями.. например проверить только наличие в DNS доменов равных правилам или с приставкой www.

Наверное придется что-то такое сделать, для правил из порно, которые еще никто не проверял...

Rus
Сообщения: 112
Зарегистрирован: Пт ноя 18, 2005 13:44

Сообщение Rus »

Еще пожелание.
При проверке DBL (porno, audio-video, chats, icq, online-games, warez).urls можно сделать, чтоб в присылаемом листе во фрейме сразу открывался проверяемый сайт.
Все равно для проверки приходиться заходить на этот сайт, а те, кто уже вычислил закономерность повторения названий сайтов, в принципе вообще может туда не заходить (не проверять), а “проверять наугад”.
А с фреймами мне кажется повыситься скорость и качество проверок!

Я пробовал на себе такой способ - мне понравилось.
в каждой строке существующие колонки прижал к левому краю и добавил еще одну колонку:
<td><IFRAME src="__URL__" frameBorder=1 width=800 scrolling=yes height=150></IFRAME> </td>

Slava
Site Admin
Сообщения: 2239
Зарегистрирован: Пт апр 02, 2004 12:34
Контактная информация:

Сообщение Slava »

Опасно. Многие сайты ставят защиту от загрузки в фреймах, другие открывают много попапов. Или страница с проверочным листом уйдет или машинка подвиснет от большого количества окошек.
Rus писал(а):Еще пожелание.
При проверке DBL (porno, audio-video, chats, icq, online-games, warez).urls можно сделать, чтоб в присылаемом листе во фрейме сразу открывался проверяемый сайт.
Все равно для проверки приходиться заходить на этот сайт, а те, кто уже вычислил закономерность повторения названий сайтов, в принципе вообще может туда не заходить (не проверять), а “проверять наугад”.
А с фреймами мне кажется повыситься скорость и качество проверок!

Я пробовал на себе такой способ - мне понравилось.
в каждой строке существующие колонки прижал к левому краю и добавил еще одну колонку:
<td><IFRAME src="__URL__" frameBorder=1 width=800 scrolling=yes height=150></IFRAME> </td>

asket
Сообщения: 40
Зарегистрирован: Вт янв 24, 2006 19:32
Откуда: Москва

Сообщение asket »

Слава, добрый день,
прошел месяц, у меня опять накопился большой список porno-urls (1704 шт. на этот час). Свой прошлый список, отправленный месяц назад, я так и не увидел в общем списке (с момента отправки прошлого списка общее прибавление в порно-списке + 160 или я что-то не понимаю).
Мне пока не слать свои списки? Подождать когда появится возможность вводить больше одного бана за раз?

И еще. Глядя на статистику DBL я могу сказать, что эффективность работы участников DBL довольно низкая. Причины понятны. Мало народа, мало ищут, мало находят.
В связи с этим у меня пара предложений по работе DBL:

1. Сделать сайт режика двуязычным (ru/en), хотя бы в основных частях. Для работы DBL это просто необходимо - кол-во участников должно со временем заметно возрасти, что положительно отразится на качестве DBL.
2. Насколько я понимаю, сейчас рейтинг зависит только от кол-ва проверенных банов. Я перестал проверять общие списки. Скачал пару раз и больше незачем. При текущем положении я сам пополняю его в несколько раз быстрее, чем все остальные. Пока нет возможности делиться результатами своей работы, надеюсь она появится. Но на будущее - может стоить предусмотреть повышение рейтинга не только за проверки (они нужны, но они не приносят в список ничего нового), но и за добавление новых банов. Кому-то удобнее проверять, то, что нашли другие, а кому-то удобнее искать и находить новые баны, - это вещи одного порядка ценности для общего списка.

Slava
Site Admin
Сообщения: 2239
Зарегистрирован: Пт апр 02, 2004 12:34
Контактная информация:

Сообщение Slava »

Видимо я не получил Ваш список, пришлите еще раз, как добавлю, отпишу, если не отписал в течении дня, значит что не так.
Вы случайно не с mail.ru писали? У них бывает, ошибается антиспам, некоторые письма, с вложенными списками, где есть некоторые порнушные ссылки не доходят.

Сайт режика уже двуязычный, за исключением некоторых описаний. Например описаний dbl. Сам dbl переведен, можно проверить, перейдя на английский вариант сайта и зайдя в dbl.
Необходимо перевести остальные описания, в частности dbl, но мои знания английского малы для этого. Если Вы сможете перевести, думаю, было бы здорого.

Я думал, повышать рейтинг за пополнение, но тут есть проблема. Если давать балы за сам факт добавления нового правила, то это откроет возможность спекуляции: добавил мусора для повышения рейтинга и качай себе..
Если после того, как проверит кто-то еще, то во первых, любой может завести несколько логинов, а во вторых, в случаях с порно, dbl предложит добавленные правила не скоро, поскольку есть большое количество правил, ни разу не проверенных.
Есть идеи, как этого избежать?

Кстати, проверки приносят новые правила. Непроверенные недоступны для скачивания, а как только их кто-то проверит, сразу же дается возможность их скачать.

asket
Сообщения: 40
Зарегистрирован: Вт янв 24, 2006 19:32
Откуда: Москва

Сообщение asket »

Действительно, посылал с mail.ru, значит не дошло.
Посылаю в rar с паролем, два файла прошлый и новый. Пароль на архив - rejik.

Насчет языка это я промахнулся, не заметил на первой странице. Хотя ... содержимое DBL все пустое, ничего не переведено. Я бы за это взялся, английский у меня средний, перевести основные вещи смог бы наверное, но не сейчас. Куча дел, отпуск скоро, попозже, возможно, попробую.

Насчет порчи общего списка при добавлении банов не по одному, а списком.
Палка о двух концах - больше возможностей для ввода, - больше возможностей что-то специально испортить.

Видимо, нужно:
- предлагать к проверке прежде всего новые правила, и прежде всего, - занесенные списком, при получении ошибок админ может принять решение о блокировке списка, пользователя или запрете ввода для него списком.
- производить контроль вводимых списков прямо при вводе. список может быть подпорчен банами иного содержания умышленно или случайно, Вводимый список должен проверяться на совпадение с сайтами, заведомо не имеющих к этому списку отношения. При обнаружении ошибки переставать принимать списки от этого пользователя (перевод в построчный режим) до разборки инциндента с админом.
- к вводу списком допускать пользователей с высоким рейтингом, или тех, кто проверил некоторое большое кол-во банов. В этом случае вредителю придется поработать на сообщество, прежде, чем он достигнет цели. При проверке, естественно ему должны предлагаться уже и проверенные баны, для контроля (по-моему, сейчас так и делается)
- пользователи DBL должны иметь возможность просматривать что именно вводит тот или иной пользователь DBL и решать доверять ли ему, использовать ли его списки - как это сделано сейчас, т.е. доверяя или не доверяя его банам.

Это то, что сходу пришло в голову, может быть, кто-то еще что-то придумает.

Slava
Site Admin
Сообщения: 2239
Зарегистрирован: Пт апр 02, 2004 12:34
Контактная информация:

Сообщение Slava »

Добавил от вашего имени, думаю сейчас изменения доступны Вам по FAST, немного позже сгенерится для FULL (это происходит каждые пол часа).

Slava
Site Admin
Сообщения: 2239
Зарегистрирован: Пт апр 02, 2004 12:34
Контактная информация:

Сообщение Slava »

asket писал(а): Насчет порчи общего списка при добавлении банов не по одному, а списком.
Палка о двух концах - больше возможностей для ввода, - больше возможностей что-то специально испортить.
Недавно сделал интерфейс для пополнеия из скриптов пользователей в группу порно. Доступен он для пользователей с рейтингом свыше 1000.
"Для добавления правила нужно перейти по урлу вида:

http://www.rejik.ru/cgi-bin/add_rule.cg ... w.porno.ru

answer может быть yes или no, остальное, вроде как, все прозрачно.

В случае успешного добавления, возвращает страничку со словом "ok", иначе
страничку со словом "error" в первой строке и расшифровкой ошибки в
последующих строках.

Добавления производятся в реальную базу, прошу использовать с осторожностью."
asket писал(а): Видимо, нужно:
- предлагать к проверке прежде всего новые правила, и прежде всего, - занесенные списком, при получении ошибок админ может принять решение о блокировке списка, пользователя или запрете ввода для него списком.
- производить контроль вводимых списков прямо при вводе. список может быть подпорчен банами иного содержания умышленно или случайно, Вводимый список должен проверяться на совпадение с сайтами, заведомо не имеющих к этому списку отношения. При обнаружении ошибки переставать принимать списки от этого пользователя (перевод в построчный режим) до разборки инциндента с админом.
- к вводу списком допускать пользователей с высоким рейтингом, или тех, кто проверил некоторое большое кол-во банов. В этом случае вредителю придется поработать на сообщество, прежде, чем он достигнет цели. При проверке, естественно ему должны предлагаться уже и проверенные баны, для контроля (по-моему, сейчас так и делается)
- пользователи DBL должны иметь возможность просматривать что именно вводит тот или иной пользователь DBL и решать доверять ли ему, использовать ли его списки - как это сделано сейчас, т.е. доверяя или не доверяя его банам.

Это то, что сходу пришло в голову, может быть, кто-то еще что-то придумает.
Спасибо, приму к сведенью

Ответить