REJIK

Проясните ситуацию. Как все-таки можно массово добавить правила в общий лист.

У меня несколько офисов сидит на одной проксе, на которой я за день (когда есть время и настроение) выуживаю 40-60 (примерно-в-среднем) незабаненых порно-сайтов (ничего кроме порнухи не режу) сейчас я их попросту добавляю в обработанный и причесанный список когда-то взятый с http://urlblacklist.com/.
А как с DBL? мне их что, 60 штук по одному сайту в конце дня в веб-форму вбивать? Как-то это нерационально, непроизводительно и невесело выглядит.
Может все-таки можно придумать способ массового ввода (несколько десятков) правил за раз?
Можно для этого способа ввода придумать какой-нибудь низкий коэффициент надежности-доверия, баны какие-нибудь деленные напополам давать или еще чего придумать, не в этом дело.
У меня вот за сегодня-вчера 112 новых правил набралось, посмотрел в общем порно DBL выборочно несколько штук - их там нет. Вбивать их в веб-форму по одному ... рука не поднимается.

Вот и спрашиваю.

В DBL предполагается следующий механизм:
(в скобках будет сравнение с традиционным методом)

Вы, в течении дня, находите незаблокированные сайты и добавляете их в DBL при помощи формочки пополнения.
(сейчас Вы добавляете их вручную в Ваш локальный бан лист, наверное, при помощи текстового редактора)

Для того, что бы изменения вступили в силу, запускаете скрипт FAST, который скачивает добавленное Вами в DBL за последний час, корректирует локальные листы и передергивает сквид.
(сейчас вы только передергиваете сквид, наверное командой squid -k reconfigure)

Если сравнить два способа, то при использовании DBL выполняются два дополнительных действия (скачивание и применения последних изменений, но эти действия прописаны в скрипте, выполняются быстро и не требуют от Вас лишних телодвижений, так как все равно надо давать команду передергивания сквида).
Зато при использовании DBL есть жирный плюс - общая база правил для всех участников DBL.

При скачивании изменений скриптом FAST, ни рейтинг ни баны не меняются.

Если Вы хотите использовать Ваш старый бан-лист совместно с режиковским, то просто добавьте его в Ваши локальные листы DBL (например cat old.list >>porno.urls). Скрипты DBL написаны таким образом, что не генерят бан-лист с нуля, а добавляют в него или вычитают из него новые правила.

Во-первых, Слава, спасибо за ту работу, которую Вы делали и делаете по поддержке проекта. Отличный проект. Он нужен!

Во-вторых, спасибо за разъяснение. Действительно так вроде бы можно работать, если в течение дня вылавливать каким-то способом по 1-2 правила. Но у меня другая технология (возможно, не у меня одного). 2-3 раза в день я запуская скриптик, который проверяет по ключевым словам лог сквида, без учета урлов с HIT, NONE, без учета доменов из urls, без учета урлов от разрешенных пользователей (список ip-адресов), далее он бьется на 2 части - домены с явными названиями (по списку слов) и домены подозрительные. Явные чаще всего сразу отправляются в файлик новых банов, подозрительные проверяю руками. К концу дня собирается несколько десятков новых банов. Ввод по одному бану в веб-форму дело будет тормозить, т.к. часть банов падает в файл сразу по нескольку штук, запись нескольких банов может происходить по одному нажатию клавиши. Сквид перезагружаю когда накопится некоторое кол-во банов - скриптик добавляет их из фала, в которм они копились к urls и перезагружает сквид.

Решил попробовать ввести накопленное за неделю (405 банов свежей порнухи кропотливо найденной моими пользователями) в веб форму. мало того, что при переносе из файла по одной строчке можно ошибиться (пару раз ошибся) все же штук 100 ввел, но потом форма взглюкнула, появилось сообщение, что нужно перезайти, перезашел но не заметил (к этому времени от монотонной работы внимание уже ослабло), что по умолчанию в форме предлагается ввод web-mail.urls а у меня уже рука таскала строки из файла в форму почти автоматически ... ну и еще сотню порно-банов тщательно в этот web-mail вбил. Потом заиетил, что не туда бью и что? по одному откатывать?!
...!!! Бросил это дело.

Не хочу навязывать свое мнение, но почему нельзя расширить поле для ввода банов (по вертикали)? так, чтобы можно было ввести сразу несколько, а после отправки они бы форматировались так, как если бы они вводились по отдельности?
Чему это противоречит?
Удаление можно оставить и построчным, все же удаляются файлы из списка гораздо реже.

И еще, нельзя ли как-нибудь разом грохнуть или перенести ошибочно введеные порно-баны? Я имею ввиду разово, админскими средствами.
Я же в следующий раз уже учту лист по умолчанию.

Понятно, почему Вам не подходит метод работы с FAST скриптом, подумаю как лучше сделать, что бы Вам было удобно.

На вопрос, чему противоречит массовый ввод, отвечаю - актуальности база. Поскольку, если будет массовый ввод, то найдутся и желающие завести туда сомнительные списки, которые они сами не проверяли. Кстати, в Вашем случае, список так же является результатом работы скрипта и на сколько я понял, Вы проверяете не все новые правила.

Как Вы отнесетесь к следующему механизму:?
Набираете некий список новых правил и постите в формочке в DBL. Эти правила пока никуда не добавляются, а Вам приходит бан-лист, (возможно не один, в зависимости от размера списка), с этими самыми правилами для проверки. После того, как Вы их проверяете, они добавляются в общую базу.

По поводу ошибочно введенных порно-банов: уточните время, когда Вы их водили. Или можно ли удалить всё добавленное Вами в группу web-mail за такой-то день? какой день?

Я плохо объяснил.
На самом деле список, порождаемый в конце дня, уже проверен.

Скрипт анализирует access.log, формирует и предлагает занести в баны список сайтов в названиях которых есть характерные слова, например super-porno-girls.com.ua или xxxfilms.ru, если список состоит только из таких названий (это бывает в 50% случаев), то жму Enter и список в банах. Если есть сомнения, то перехожу к построчной обработке, в этом режиме теже сайты предлагаются по одному, - предлагается сайт + несколько урлов к нему из лога с нехорошими словами, если нужно, то копирую урл с экрана в браузер и проверяю вживую, в итоге нужно нажать "yes" для занесения сайта в PORNO или "no" для занесения в IGNOR, чтобы больше не беспокоил своим появленим (например сайт clinicasex.ru может оказаться вполне приличным и нечего ему мелькать в проверяемых списках).
Затем скрипт предлагает обработать сайты в названиях которых нет ничего подозрительного, но в ссылках на которые что-то есть. Эти сайты предлагаются для принятия решения только по одному - в режиме, описанном выше. Здесь доля ручных проверок высока, но иногда и в этом режиме необязательно проверять сайт вживую, если сайт называется eblja.ru или я вижу ссылку
http://rodnay.hut2.ru/podrostkovoe_porn ... ncest.html
, то что тут проверять, жму "yes" и он в PORNO.

Это полурочной способ, который неидеален, но лучше я не придумал. Он дает очень мало ошибок (только из-за невнимательности, когда списки большие), но зато позволяет довольно быстро выловить большую часть порно-сайтов, найденных пользователями.

Кстати, я заметил, что продвинутые для порно-серфинга начинают использовать вторичные прокси - приходится с ними бороться. В этом случае режик не помогает, например ссылка

http://www.anonymisierungsdienst.de/pro ... exparty.tv
или
http://proxy.guardster.com/cgi-bin/nph- ... exparty.tv

позволяет просмотреть забаненый сайт sexparty.tv. Может что-то можно придумать для этого случая? Ведь сайт куда он ходил виден. Можно еще и с прокси бороться, но их видимо-невидимо.

Особо грамотные юзеры используют анонимные прокси через SSL, в этом случае вообще нельзя узнать куда он ходил, т.к. в логе только

CONNECT www.byelarus.com:443 - DIRECT/66.45.228.135

и вся порнуха интернета его.

Слава, все же способ проверки через присылаемую форму неудобен (массовый ввод -> список в почте) - я уже уверен в списке, я проверил его (вживую или интеллектуально) во время работы скрипта, и я все равно не глядя нажму в форме подтверждения. то есть это не имеет смысла.

Мне кажется массовый ввод неизбежен, потому что порнуха плодится как гидра. У меня только за сегодня 42 новых бана (до вечера + еще столько же будет). И какая-то автоматизация необходима. При этом ввод сайта по-одному в веб-форму является узким местом.

На самом деле, вероятность ошибки при вводе списком не выше, она зависит от способа, каким этот список был сформирован. Ошибка там, раньше, а не в способе ввода.
Можно придумать какие-то защитные меры, например:

- проверять список на совпадение с хорошими доменами, - составить проверочный список типа yandex.ru yahoo.com pochta.ru linux.org.ru и т.п. - если хотя бы один сайт совпал, - отвергать список с указанием ошибки и понижать рейтинг.
- разрешить вводить списком только пользователям с высоким рейтингом (каким - не знаю, еще не понял что он на самом деле означает)
- разрешить массовый ввод только для порно, для других листов это необязательно (во всяком случае пока)
- сделать списком по умолчанию при вводе в веб-форму порно-список - он самый вредный и самый актуальный.
- метить сайты введенные списком особой меткой, чтобы пользователи DBL могли сами выбирать - использовать эти баны или нет, - аналогично доверяемым пользователям и их рейтингам в скриптах, формирующих списки.
- ограничить кол-во вводимых за раз банов, - например, не более 10 - это будет соответствовать тому количеству, которое в среднем появляется у админа, у кого больше - введет несколько раз, это удобнее и быстрее (ровно на порядок)), чем копировать построчно.

Такие вот предложения. Если все это выглядит неактуальным, необязательным, небезопасным или еще почему-то, то не обижусь на отказ и приспособлюсь к суровой действительности.

Ошибочные баны я ввел вчера. Нужно все баны, введенные мной 25.01.2006 в список web-mail перенести в порнуху, если это сделать сложно, то можно их попросту удалить. Баны, которые я вчера вбил в porno.urls все правильные их не нужно трогать (их нужно использовать)).

Самый эффективный способ борьбы с любителями посмотреть порнуху это каждую неделю делать подробный отчет о таких "товарищах" руководству.

Все порно сайты все равно не заблокировать. Это конечно не означает, что надо отказываться от совершенствования DBL, это один из элементов системы:

В любой системе безопасности (читай безопасности доступа в Интернет) должно быть:
1. Барьер - Rejik
2. Мониторинг - Логи прокси
3. Неотвратимость наказания - В данном случае отчет руководству с соответствующими огрвыводами.

Если убрать любой из элементов - то система рушиться как карточный домик

Хорошо, задача ясна, постараюсь сделать в ближайшее время

Для Rus:

Всё верно. Пожалуй, административный "режик" самый эффективный. Но разные бывают ситуации. Наши клиенты, это в основном организаций, к которым я имею слабое отношение, иногда сами просят статистику кто куда ходил, но не по всем, а по отдельным людям. Выходить с предложениями о тотальной проверке и регулярной отчетности мне нельзя.

Для Славы:

Спасибо за понимание. Возможно, что в своих предложениях я не все предусмотрел, время покажет, и надеюсь, это окажется полезным не только для меня.

Наверное, я выложу здесь свой скриптик для ловли порнухи в логе, потому что не представляю как без подобных средств, хотя бы таких простых, можно отлавливать новые сайты.

asket писал(а):Наверное, я выложу здесь свой скриптик для ловли порнухи в логе

А это было бы интересно.

asket писал(а):Наверное, я выложу здесь свой скриптик для ловли порнухи в логе

Выложите- очень надо....