Squid+Rejik3+Sarg

Обсуждение программы редиректора
Ответить
dj_doom
Сообщения: 4
Зарегистрирован: Пт июн 17, 2005 14:30

Squid+Rejik3+Sarg

Сообщение dj_doom »

Доброе время суток уважаемые!!

Вопрос следующего рода - поставил связку сквида и режика (вместо сквидгарда)... отчеты обрабатываю саржем (версия 2.0.8)..

Теперь вопрос - кому нить удалось человеческого подтягивания логов режика в сарж??

конфиги сделал так - саржевский (кусок из него)-

# TAG: squidguard_conf file
# path to squidGuard.conf file
# Generate reports from SquidGuard logs.
# Use 'none' to disable.
# squidguard_conf /usr/local/squidGuard/squidGuard.conf
#
squidguard_conf /etc/squid/squidG.conf

# TAG: squidguard_log_format
# Format string SquidGuard logs.
# REJIK #year#-#mon#-#day# #hour# #list#:#tmp# #ip# #user# #tmp#/#tmp#/#url#/#end#
# SQUIDGUARD #year#-#mon#-#day# #hour# #tmp#/#list#/#tmp#/#tmp#/#url#/#tmp# #ip#/#tmp# #user# #end#
squidguard_log_format #year#-#mon#-#day# #hour# #list#:#tmp# #ip# #user# #tmp#/#tmp#/#url#/#end#

и сквидгардовский (специально для саржа, чтоб логи режика тянул) -

logdir /usr/local/rejik3
log redirector.log

И вот теперь вопрос - логи сарж подтягивает режиковские, но вот как то странно...
Специально начал тестить на адресах сайтов заблоченных - так вот например сайте с полем PORNO саржем из лога подтягиваются, а сайты с полем BANNER -нет.. (((
Вот и может кто то подскажет куды копать??
И как понять кстати например, по саржевским отчетам - что сайт был именно заблочен??

Или может кто нить подскажет получшее генерилку отчетов???

Заранее благодарен!!!

Slava
Site Admin
Сообщения: 2251
Зарегистрирован: Пт апр 02, 2004 12:34
Контактная информация:

Сообщение Slava »

А какая именно статистика по режику Вам нужна?
Сможете нарисовать примерную страничку, как должен выглядеть отчет?

PS: Сколько трафика было сэкономлено режиком узнать нельзя, так как банеры (например) не загружаются и соответственно их размер не известен.

dj_doom
Сообщения: 4
Зарегистрирован: Пт июн 17, 2005 14:30

Сообщение dj_doom »

Ну вот по типу как стандартный саржевский отчет...
Ну стандартная страничка саржевского отчета.. только вот когда сарж тянул из сквидгарда логи - там в строчке с блоченым адресом - появлялась доп ячейка (как бы выходила за пределы таблицы) c надписью "ЗАПРЕТ"...

Насчет экономии траффика - эт я знаю, что не даст отчет... Мне надо это для того, чтобы точно знать, кто из юзверей моей конторы все равно продолжает пытаться влезть на запрещенные сайты... в общем чтоб знать - кому инет ужимать..)

Slava
Site Admin
Сообщения: 2251
Зарегистрирован: Пт апр 02, 2004 12:34
Контактная информация:

Сообщение Slava »

dj_doom писал(а):Ну вот по типу как стандартный саржевский отчет...
Ну стандартная страничка саржевского отчета.. только вот когда сарж тянул из сквидгарда логи - там в строчке с блоченым адресом - появлялась доп ячейка (как бы выходила за пределы таблицы) c надписью "ЗАПРЕТ"...

Насчет экономии траффика - эт я знаю, что не даст отчет... Мне надо это для того, чтобы точно знать, кто из юзверей моей конторы все равно продолжает пытаться влезть на запрещенные сайты... в общем чтоб знать - кому инет ужимать..)
А не проще сделать cat redirector.log | grep PORNO ?

dj_doom
Сообщения: 4
Зарегистрирован: Пт июн 17, 2005 14:30

Сообщение dj_doom »

Проще... но мне нужен полный отчет.. включая ВСЕ сайты...

Я конечно понимаю, что делать обломно... и не прошу специально что то менять в проге..
я спросил всего лишь совета - может кто то нешил данный вопрос путем настройки конфига...

dj_doom
Сообщения: 4
Зарегистрирован: Пт июн 17, 2005 14:30

Сообщение dj_doom »

Добился вывода отчета практически необходимого вида... )))
в конфиге саржа - паттерн для режиковских данных стоит теперь чуть иной:

squidguard_log_format #year#-#mon#-#day# #hour# #list#:#tmp# #ip# #tmp#/#tmp#/#url#/#end#

Вывод отчета получается такой:

Пользователь IP/Имя Дата/Время Адреса RULE

192.168.0.3 192.168.0.3 21/06/2005-17:23:28 counter.rambler.ru BANNER

21/06/2005-17:23:28 top.list.ru BANNER

21/06/2005-17:23:28 top.list.ru BANNER

Строка в отчета, где выводится айпишник - с этим все нормально - сарж подтянул хорошо строку лога..
но вот где нет имени того кто обращался к сайту - при анализе лога видим, что это строчки вида:

2005-06-21 20:12:40 BANNER: 192.168.0.1 - http://top.list.ru/counter?id=563235;js ... 0636341274 (urls rule: list.ru/counter)

т.е. строка, где два раза идет хттп://...
и получается что сарж данную строку втягивает как то не так..)))

мож кто подскажет как вылечить?

pure
Сообщения: 2
Зарегистрирован: Чт ноя 17, 2005 14:45

Сообщение pure »

sarg 2.0.9
rejik 3.2.0
и все-таки...
чтобы сардж учитывал redirector.log что нужно прописать в sarg.conf по этому поводу.
Спасибо!

pure
Сообщения: 2
Зарегистрирован: Чт ноя 17, 2005 14:45

Сообщение pure »

я так понял, что нужно сделать так:
в sarg.conf-
squidguard_conf /usr/local/rejik3/sg.conf (фиктивный файл для саржа)
squidguard_log_format #year#-#mon#-#day# #hour# #list#:#tmp# #ip# #user# #tmp#/#tmp#/#url#/#end# (формат режика)

в sg.conf-
logdir /usr/local/rekjik3
log redirector.log

или я не прав?

Rus
Сообщения: 112
Зарегистрирован: Пт ноя 18, 2005 13:44

Сообщение Rus »

Slava писал(а):А какая именно статистика по режику Вам нужна?
Сможете нарисовать примерную страничку, как должен выглядеть oтчет?
По анологии с SARG:

на первой странице (первый уровень) - перечень отчетных периодов

на втором уровне - список IP(пользователей) по каждому правилу блокировки. К каждому IP(пользователей) - инфо (количество блокировок).

на третьем уровне - (инфо по конкретному IP(пользователя) ) - перечень заблокированных URL с инфо (количество блокировок)

на четвертом уровне - (инфо по конкретному заблокированному URL) - временной график блокировки (по часам)

Rus
Сообщения: 112
Зарегистрирован: Пт ноя 18, 2005 13:44

Сообщение Rus »

В итоге я написал свой обработчик логов.
http://www.rejik.ru/forum/viewtopic.php?t=267
на первой странице (первый уровень) - перечень правил блокировки с указанием количества пользователей и общего количеств запретов

на втором уровне - список IP(пользователей) по конкретному правилу блокировки. К каждому IP(пользователей) - инфо (количество блокировок).

на третьем уровне - (инфо по конкретному IP(пользователя) ) - перечень заблокированных URL с инфо.

Slava
Site Admin
Сообщения: 2251
Зарегистрирован: Пт апр 02, 2004 12:34
Контактная информация:

Сообщение Slava »

Давайте выложим где нить в виде файла.
Могу предложить два варианта:
1. Вы выкладываете на своем сайте, например народе и я даю на него ссылку на режик.ру
2. Я выкладываю файл непосредственно на режик.ру

Второй способ имеет недостаток - выкладывать придется через меня, а я не всегда могу это сделать. Короче говоря, могу стать узким местом на пути развития парсера :)

Если Вы выберете второй способ, то пришлите файлик по почте. Если первый, то сообщите адрес сайта.

Rus писал(а):В итоге я написал свой обработчик логов.
http://www.rejik.ru/forum/viewtopic.php?t=267
на первой странице (первый уровень) - перечень правил блокировки с указанием количества пользователей и общего количеств запретов

на втором уровне - список IP(пользователей) по конкретному правилу блокировки. К каждому IP(пользователей) - инфо (количество блокировок).

на третьем уровне - (инфо по конкретному IP(пользователя) ) - перечень заблокированных URL с инфо.

Ответить