Идеи и пожелания по развитию DBL

Обсуждение распределенного бан-листа
Rus
Сообщения: 112
Зарегистрирован: Пт ноя 18, 2005 13:44

Сообщение Rus »

Slava писал(а): Недавно сделал интерфейс для пополнеия из скриптов пользователей в группу порно. Доступен он для пользователей с рейтингом свыше 1000.
"Для добавления правила нужно перейти по урлу вида:

http://www.rejik.ru/cgi-bin/add_rule.cg ... w.porno.ru

answer может быть yes или no, остальное, вроде как, все прозрачно.

В случае успешного добавления, возвращает страничку со словом "ok", иначе
страничку со словом "error" в первой строке и расшифровкой ошибки в
последующих строках.

Добавления производятся в реальную базу, прошу использовать с осторожностью."
Предлагаю свои наработки по групповому пополнению porno.url
http://www.rejik.nm.ru

Rus
Сообщения: 112
Зарегистрирован: Пт ноя 18, 2005 13:44

Сообщение Rus »

На прошлой неделе у меня появилось много недовольных пользователей - сайты которыми они давно пользовались вдруг оказались "плохими". В итоге мне пришлось отказаться от записей в DBL добавленных пользователем asket слишком много ложных срабатываний!!!
Например: nnm.ru - это очень популярный warez сайт, там конечно иногда бывают картинки для "взрослых" но зачем блокировать весь сайт???
asket писал(а):прошел месяц, у меня опять накопился большой список porno-urls (1704 шт. на этот час).
За месяц накопать столько??? И все были "лично" визуально проверены ??? что-то не вериться...
asket писал(а):Глядя на статистику DBL я могу сказать, что эффективность работы участников DBL довольно низкая. Причины понятны. Мало народа, мало ищут, мало находят.
Мало да качественно !!! Лучше ничего не добавить чем пару сотен "ложных" правил

До начала работы новой версии DBL предлагаю:
Организовать почтовую рассылку для пользователей DBL. Раз в день сообщать о планируемых изменений в DBL (с указанием кто и что изменил). Для пользователя, который сам добавил новое правило в базу оно доступно для скачивания сразу, а для всех остальных делается задержка, например на сутки, чтоб все могли узнать о планируемых изменениях и как-то заранее отреагировать на нежелательные изменения.
Последний раз редактировалось Rus Пн мар 27, 2006 23:00, всего редактировалось 1 раз.

asket
Сообщения: 40
Зарегистрирован: Вт янв 24, 2006 19:32
Откуда: Москва

Сообщение asket »

Сайт nnm.ru я действительно включил ошибочно и сам по просьбе пользователей его разблокировал.

Больше никаких жалоб от моих пользователей (~500 человек, может и больше) по поводу банов за это время не поступало. Ошибки неизбежны. В отосланных мной банах было 3220 строк (накоплено за 2.5-3 месяца). Впоследствие я разблокировал nnm.ru и еще liveinternet.ru. По-моему это хороший результат.

- "сайты которыми они давно пользовались вдруг оказались "плохими""

Можно взглянуть на список этих сайтов?

Возможны 2 вида несогласия с чужим списком, -

- когда в списке явная ошибка - в порнуху попал www.auto.ru, например. Тут нет вопросов, сайт нужно разблокировать.
- когда в списке сайт, про который однозначно не скажешь порно он или не порно. Сейчас куча сайтов в которых есть много интересной информации (музыка, кино, софт, кряки) и также разделы +18, эротика, девушки, ХХХ и т.п., в этом случае, если взять 100 админов и предложить им проклассифицировать эти сайты как порно/не порно, то единого мнения не будет, в среднем % ответов будет 50/50, 20/80, 80/20 и пр. в зависимости от сайта. Кроме того, этот процент может зависеть от настроения, с каким админ просматривает сайт, от конкретной первой фотки (которая каждый день новая) в разделе эротика, от того жмут ли у админа ботинки, от ... .
Как тут быть?
Интересно было бы услышать мнение участников DBL.

Самый плохой случай, когда банится сайт, нужный для работы, пока (тьфу-тьфу-тьфу) такого не допускал, если такое случается нужно немедленно исправлять. Когда ошибочно банится сайт типа "привычной развлекаловки на работе" тогда какая в том беда? Единственный минус - моральный урон и нервный стресс у пользователя, лишенного утром в понедельник (и так день тяжелый) свежего анекдота, свежей девушки, свежего фотоальбома. Ничего страшного, у него появилось чуть больше времени для работы, если попросит, можно вернуть ему его привычное.

Я уверен, что по очень обширному классу сайтов, никакого единства по поводу порно-не порно в общем случае быть не может. И то, что раньше была тишина в отношении списков, говорит лишь о том, что DBL скорее мертв, чем жив. Если список меняется на 8 банов день, то ошибка или появления в нем неоднозначного сайта маловероятны. Да, при этом спокойнее живется. Еще спокойнее живется, когда список не меняется вообще. Никаких жалоб. Качественный, проверенный список.

Кстати по поводу качества уже имеющегося списка. При проверке той же порнухи мой % ответов "нет" примерно на уровне 10-20%.
Такое вот "качество".

В общем обсуждение списков, если это получится - это хороший симптом, это признак жизни. :)
Если обсуждения не получится, то можно исключить мои (или еще чьи-то) баны при скачивании, по-моему это можно сделать.

В будущем хотелось бы выработать некие общие правила по классификации сайтов (это относится не только к порно) с примерами, объяснениями, рекомендациями.

Rus
Сообщения: 112
Зарегистрирован: Пт ноя 18, 2005 13:44

Сообщение Rus »

asket писал(а):Можно взглянуть на список этих сайтов?
Вообще-то одного nnm.ru уже достаточно чтоб усомниться :)
а так были жалобы на
--- Видео ---
cd-video.ru
mpeg4-shop.ru
--- Хостинг ---
moydomen.com
--- Медиа ---
flesh.ru
freemedia.ru
mp3zona.ru

На следующее жалоб не было (я сам наткнулся...)
--- Онлайн игры ---
unikal.ru
--- Прокси ---
proxy7.com

Также много развлекательных сайтов отнесено к категории ПОРНО, на мой взгляд, это не правильно. Вот некоторые:
inet-online.ru
optimalno.ru
rapira.ru
ziza.ru
Наверно назрела необходимость завести еще один банлист ...
Я веду свой список развлекательных сайтов (иногда они нужны :) ), у меня их в списке около сотни.

Rus
Сообщения: 112
Зарегистрирован: Пт ноя 18, 2005 13:44

Сообщение Rus »

В аккаунте DBL появилась новое окошко "Платная подписка" ...
(пока нерабочее)
хотелось бы узнать какие еще новшества нас ждут :lol:

Slava
Site Admin
Сообщения: 2239
Зарегистрирован: Пт апр 02, 2004 12:34
Контактная информация:

Сообщение Slava »

Rus писал(а):В аккаунте DBL появилась новое окошко "Платная подписка" ...
(пока нерабочее)
хотелось бы узнать какие еще новшества нас ждут :lol:
В планах:
1. Запуск платной подписки (не то, что бы я планировал зарабатывать деньги на DBL, но в последнее время, часто приходят письма, с просьбой открыть платную подписку. Мотивируют отсутствием свободного времени и желанием обновлять листы). Платная подписка не отменяет доступа к DBL, для проверяющих листы. У кого есть время и желание, получают доступ к DBL проверяя листы. Кому проще заплатить, покупают доступ для скачивания обновлений.
2. Смена формата DBL на более компактный и простой, для xml парсеров.
3. Запуск робота-спайдера, который будет проверять сайты на принадлежность к той или иной категории и собирать новые ссылки.

Rus
Сообщения: 112
Зарегистрирован: Пт ноя 18, 2005 13:44

Сообщение Rus »

ОЧЕНЬ хочется, чтоб появился механизм позволяющий проверять новые правила в DBL, перед тем как rejik их начал использовать.

З.Ы. стоит кому-либо ошибиться с вводом правила (не в ту группу или неправильно ввести само правило) то автоматически (если настроено обновление DBL) могут заблокироваться "хорошие" сайты. А админу приходиться объяснять руководству, что он здесь нипричем. :cry:

Slava
Site Admin
Сообщения: 2239
Зарегистрирован: Пт апр 02, 2004 12:34
Контактная информация:

Сообщение Slava »

Честно говоря, сейчас со временем напряжёнка, но если "ОЧЕНЬ", то готов сделать.
Как вы это видите?

Добавил кто-то правило (а если проверил?).
И теперь Вы должны как-то узнать, об этом и что-то сделать, наверное проверить и проголосовать за это правило?
Или просто лог DBL в онлайн выкладывать?
Rus писал(а):ОЧЕНЬ хочется, чтоб появился механизм позволяющий проверять новые правила в DBL, перед тем как rejik их начал использовать.

З.Ы. стоит кому-либо ошибиться с вводом правила (не в ту группу или неправильно ввести само правило) то автоматически (если настроено обновление DBL) могут заблокироваться "хорошие" сайты. А админу приходиться объяснять руководству, что он здесь нипричем. :cry:

Rus
Сообщения: 112
Зарегистрирован: Пт ноя 18, 2005 13:44

Сообщение Rus »

1. В минимальном варианте хватит лога.
2. Но полностью руками проверять быстро надоест. Дальше уже нужен механизм голосования на предмет проверки добавленного (проверенного) правила.

Slava
Site Admin
Сообщения: 2239
Зарегистрирован: Пт апр 02, 2004 12:34
Контактная информация:

Сообщение Slava »

Правильно ли я понял, что вам нужна возможность:
"Получить лист правил, проверенных/добавленных один раз?" из такой-то зоны?

Или речь идёт о правилах, которые проверили/добавили не лично Вы, а кто-то другой?

Rus писал(а):1. В минимальном варианте хватит лога.
2. Но полностью руками проверять быстро надоест. Дальше уже нужен механизм голосования на предмет проверки добавленного (проверенного) правила.

Rus
Сообщения: 112
Зарегистрирован: Пт ноя 18, 2005 13:44

Сообщение Rus »

Нужно знать(проверять) новые правила, которые были либо первый раз кем-то проверены либо новые которые добавил кто-то другой.

т.е. то, что появляется в DBL без моего участия.

Slava
Site Admin
Сообщения: 2239
Зарегистрирован: Пт апр 02, 2004 12:34
Контактная информация:

Сообщение Slava »

Rus писал(а):Нужно знать(проверять) новые правила, которые были либо первый раз кем-то проверены либо новые которые добавил кто-то другой.

т.е. то, что появляется в DBL без моего участия.
А если правило кто-то добавил, потом кто-то проверил, но не Вы?

Rus
Сообщения: 112
Зарегистрирован: Пт ноя 18, 2005 13:44

Сообщение Rus »

Slava писал(а):А если правило кто-то добавил, потом кто-то проверил, но не Вы?
Это тоже хочется контролировать (проверять) :roll:

Slava
Site Admin
Сообщения: 2239
Зарегистрирован: Пт апр 02, 2004 12:34
Контактная информация:

Сообщение Slava »

Да, сложновато, слишком много неясностей.
Может проще будет Вам анализировать dbl лист на предмет записей, которые вы не проверяли?

В смысле обновили DBL, для получения нового списка, потом запустили скрипт и получили выборку по правилам

Александр22
Сообщения: 11
Зарегистрирован: Чт дек 21, 2006 22:36

Сообщение Александр22 »

Я только недавно начал пользоваться скачанными свежими банлистами, до этого пользовался старыми(скачанными с этого сайта) + дописывал свои, исходя из статистики сквида посещений пользователей. И столкнулся со следующей проблемой...Известно, что разные сайты могут быть на одном IP адресе(virtual hosting). Но иногда бывает, что для сайта выделен целый сервер(или же он хостится специфически), и можно использовать в URL IP адрес сервера, вместо DNS имени. Выходит так, что бан листы не эффективны? Например, есть чат www.bizarre.kiev.ua, он также доступен по ссылке http://212.40.34.149. Когда я создавал свои правила я это учитывал(и добавлял доступ и по DNS имени и по IP адресу). Когда же я закачал свежий банлист, то оказалось, что некоторые старые, ранее блокирующиеся моими 20-30 правилами, ссылки, сейчас пропускаются, хотя текущий банлист намного больше чем был раньше. Сразу возникает идея по усовершенствованию банлиста:
сделать скрипт, который закачает контент по правилу в банлисте(или же по проверочному URL), потом имя хоста отрезолвит в IP адрес, и закачает контент опять. Потом сравнит закачанное, если результаты одинаковы - значит нужно блокировать и IP адрес в ссылке(т.е. добавляет в DBL правило c IP адресом).
Конечно, я понимаю, что не ко всем правилам банлиста можно делать проверку, но все же мне кажется, что рациональное зерно в этой идее есть.
P.S. Контент надо проверять не строго, потому что контент может изменятся при каждой закачке.... Или же можно проверять параметры, которые используются поисковиками, они менятся не будут, ведь все хотят индексации своего сайтав поисковиках... Правда, это не всегда так...В общем есть над чем подумать :)

Ответить