Проблемы с добавлением в DBL

Обсуждение распределенного бан-листа
Ответить
xelablin
Сообщения: 16
Зарегистрирован: Вт апр 06, 2010 12:10

Проблемы с добавлением в DBL

Сообщение xelablin »

Ситуация следующая. Через форму "Add to DBL" я пытался добавить проверку для существующего правила (на мой взгляд явно некорректного):
<record id="374819">
<rule>google.ru/search?complete=1&hl=ru&newwindow=1&q=%D0%B3%D0%BE%D0%BB%D1%8B%D0%B5+%D0%B4%D0%BE+18+%D0%BB%D0%B5%D1%82&btnG=%D0%9F%D0%BE%D0%B8%D1%81%D0%BA&lr=&aq=f</rule>
<group>dating.urls</group>

В результате было добавлено новое правило, а проверка для существующего не прошла и появилась следующая:

<record id="907905">
<rule>google.ru/search?complete=1&hl=ru&newwindow=1&q=%D0%B3%D0%BE%D0%BB%D1%8B%D0%B5+%D0%B4%D0%BE+18+%D0%BB%D0%B5%D1%82&btnG=%D0%9F%D0%BE%D0%B8%D1%81%D0%BA&lr=&aq=f</rule>
<group>dating.urls</group>
<add>
<timestamp>2011-07-08 11:35:11</timestamp>
<user>xelablin</user>
<answer>No</answer>
</add>
</record>

Наблюдал аналогичную ситуацию еще для нескольких существующих правил.

PS: может лучше вообще не добавлять новых правил в DBL с одним ответом No? Какой в этом смысл?

Slava
Site Admin
Сообщения: 2251
Зарегистрирован: Пт апр 02, 2004 12:34
Контактная информация:

Re: Проблемы с добавлением в DBL

Сообщение Slava »

Проблема в том, что в базе, некоторые символы могут храниться разными вариантами.
В данном случае, проблема с "&"

в первой строке:

Код: Выделить всё

google.ru/search?complete=1&hl=ru&newwindow=1&q=%D0%B3%D0%BE%D0%BB%D1%8B%D0%B5+%D0%B4%D0%BE+18+%D0%BB%D0%B5%D1%82&btnG=%D0%9F%D0%BE%D0%B8%D1%81%D0%BA&lr=&aq=f
во второй:

Код: Выделить всё

google.ru/search?complete=1&hl=ru&newwindow=1&q=%D0%B3%D0%BE%D0%BB%D1%8B%D0%B5+%D0%B4%D0%BE+18+%D0%BB%D0%B5%D1%82&btnG=%D0%9F%D0%BE%D0%B8%D1%81%D0%BA&lr=&aq=f
При преобразовании в xml они все приводятся к &amp, но id разный.
При парсинге xml правила складываются по урлу, id почти игнорируется, хотя возможны варианты.

Если коротко, то немножко неакуратно получилось с хранением в базу, но на конечный вариант это не должно повлиять.
Будет время - поправлю, но так как не критично, торопится не буду.


xelablin писал(а): PS: может лучше вообще не добавлять новых правил в DBL с одним ответом No? Какой в этом смысл?
Видимо кто-то добавил с ответом да,но потом передумал и добавил с ответом нет.

Кроме того, смысл может быть в том, что бы обезопасить, для себя, данный урл, от последующих ответов "да".

xelablin
Сообщения: 16
Зарегистрирован: Вт апр 06, 2010 12:10

Re: Проблемы с добавлением в DBL

Сообщение xelablin »

Хорошо, с этим понятно. Такой еще вопрос. Почему бы не почистить общий лист от заведомо нерабочих правил (например, добавляют правила в urls с использованием регулярных выражений) и всякого мусора?

<record id="373494">
<rule>got.mmtel.ru/chats.htm</rule>
<group>chats.urls</group>
<add>
<timestamp>2008-07-13 08:46:41</timestamp>
<user>Drake</user>
<answer>Yes</answer>
<reason>got.mmtel.ru/chats.htm</reason>
</add>
<check>
<timestamp>2008-07-15 13:11:01</timestamp>
<user>niias</user>
<answer>No</answer>
</check>
<check>
<timestamp>2009-01-22 19:07:02</timestamp>
<user>md</user>
<answer>No</answer>
</check>
<check>
.....
Далее пользователь md раз в минуту делает эту же проверку НУ ОЧЕНЬ БОЛЬШОЕ число раз.

Slava
Site Admin
Сообщения: 2251
Зарегистрирован: Пт апр 02, 2004 12:34
Контактная информация:

Re: Проблемы с добавлением в DBL

Сообщение Slava »

На выбор:
1. Могу сделать для Вас дополнительную форму "удалить правило"
2. Дайте мне список правил, которые нужно удалить - удалю сам.

xelablin
Сообщения: 16
Зарегистрирован: Вт апр 06, 2010 12:10

Re: Проблемы с добавлением в DBL

Сообщение xelablin »

Первый вариант. Хотя для приведенного мною примера он не подходит, т.к. там правила может и рабочие, но "захламлены" записями о проверке. Т.е не помешало бы проводить "чистку" проверок правил, оставлять допустим последние 3 (можно даже меньше) от одного пользователя.

xelablin
Сообщения: 16
Зарегистрирован: Вт апр 06, 2010 12:10

Re: Проблемы с добавлением в DBL

Сообщение xelablin »

Вот еще один пример явного "мусора":

<record id="384791">
<rule>ntyncdpmkut.org</rule>
<group>virus-detect.urls</group>
<add>
<timestamp>2009-01-19 14:10:36</timestamp>
<user>Den</user>
<answer>Yes</answer>
</add>
</record>

В домене случайный набор символов. Таких записей от пользователя Den НУ ОЧЕНЬ МНОГО.

Slava
Site Admin
Сообщения: 2251
Зарегистрирован: Пт апр 02, 2004 12:34
Контактная информация:

Re: Проблемы с добавлением в DBL

Сообщение Slava »

xelablin писал(а):Первый вариант.
У Вас, на форме пополнения, должна появится кнопка "Удалить".

Slava
Site Admin
Сообщения: 2251
Зарегистрирован: Пт апр 02, 2004 12:34
Контактная информация:

Re: Проблемы с добавлением в DBL

Сообщение Slava »

Поищите этот урл в гугле, скорее всего, такой урл указан в теле вируса.
Если в сетке есть этот вирус и он пойдет на этот урл, то админ засечет такую попытку и сделает соответствующий вывод.
И не имеет значения, зарегистрирован такой домен или нет.

xelablin писал(а):Вот еще один пример явного "мусора":

<record id="384791">
<rule>ntyncdpmkut.org</rule>
<group>virus-detect.urls</group>
<add>
<timestamp>2009-01-19 14:10:36</timestamp>
<user>Den</user>
<answer>Yes</answer>
</add>
</record>

В домене случайный набор символов. Таких записей от пользователя Den НУ ОЧЕНЬ МНОГО.

Slava
Site Admin
Сообщения: 2251
Зарегистрирован: Пт апр 02, 2004 12:34
Контактная информация:

Re: Проблемы с добавлением в DBL

Сообщение Slava »

xelablin писал(а):Хотя для приведенного мною примера он не подходит, т.к. там правила может и рабочие, но "захламлены" записями о проверке. Т.е не помешало бы проводить "чистку" проверок правил, оставлять допустим последние 3 (можно даже меньше) от одного пользователя.
Почистил глобально в базе и ввел запрет на появление дубликатов такого рода.

xelablin
Сообщения: 16
Зарегистрирован: Вт апр 06, 2010 12:10

Re: Проблемы с добавлением в DBL

Сообщение xelablin »

Хех. Как сразу "похудел" общий лист. :-)
По поводу удаления правил, сегодня проверю как работает. Также не плохо было бы дать возможность удалять правила по "record id", т.к. правила содержащие "&" я не смогу (?) удалить .

Slava
Site Admin
Сообщения: 2251
Зарегистрирован: Пт апр 02, 2004 12:34
Контактная информация:

Re: Проблемы с добавлением в DBL

Сообщение Slava »

xelablin писал(а):Также не плохо было бы дать возможность удалять правила по "record id"
Сделал

Ответить