gator.com

Обсуждение программы редиректора
anTIDot
Сообщения: 24
Зарегистрирован: Чт ноя 04, 2004 16:04

gator.com

Сообщение anTIDot »

Всем привет!
Есть ситуация - на нескольких компах есть какой-то интернет оптимизатор который постоянно долбится на gator.com и его поддомены, скачивая оттуда разную хрень.
Я запретил домен gator.com через правила режика и часть запросов начинающаяся с GET действительно началась резаться.
Но часть запросов (примерно половина) начинающаяся с POST продолжает проходить мимо редиректора.
Отсюда вопрос: можна ли заставить режик редиректить запросы POST?
или я может чего не дочитал?
А может у кого есть решение проблемы - поделитесь советом.

Slava
Site Admin
Сообщения: 2251
Зарегистрирован: Пт апр 02, 2004 12:34
Контактная информация:

Re: gator.com

Сообщение Slava »

anTIDot писал(а):Всем привет!
Есть ситуация - на нескольких компах есть какой-то интернет оптимизатор который постоянно долбится на gator.com и его поддомены, скачивая оттуда разную хрень.
Я запретил домен gator.com через правила режика и часть запросов начинающаяся с GET действительно началась резаться.
Но часть запросов (примерно половина) начинающаяся с POST продолжает проходить мимо редиректора.
Отсюда вопрос: можна ли заставить режик редиректить запросы POST?
или я может чего не дочитал?
А может у кого есть решение проблемы - поделитесь советом.
Думаю возможны варианты:
1. У Вас сквид не передает запросы типа post редиректору.
2. Редиректор не блокирует запросы типа пост.
3. Не блокируется часть запросов, так как используются опции allow_*
4. Запросы пост идут на другой сайт, не прописанный в правиле и потому не блокируются.

Что бы придумать решение, сначала неплохо бы понять, в чем проблема.
Для определения в чем, смотрим конфиг режика, на предмет разрешения. Качаем http://www.rejik.ru/download/logger.c, компилим и подключаем заместо редиректора и ждем, пока те посты не будут посланы.

Образовавшийся файл - это то, что получает редиректор от сквида.

проверить как режик блокирует, можно так cat тот_файл | ./redirector >out

anTIDot
Сообщения: 24
Зарегистрирован: Чт ноя 04, 2004 16:04

Сообщение anTIDot »

"2. Редиректор не блокирует запросы типа пост. "


А режик должен блокировать запросы типа POST изначально?

Slava
Site Admin
Сообщения: 2251
Зарегистрирован: Пт апр 02, 2004 12:34
Контактная информация:

Сообщение Slava »

anTIDot писал(а):"2. Редиректор не блокирует запросы типа пост. "


А режик должен блокировать запросы типа POST изначально?
Режик получает метод, будь то GET, POST или еще какой и не обращает на него внимания.
Иначе говоря, он игнорирует этот параметр, потому вроде должен блокировать, если правило попадает в урл.

anTIDot
Сообщения: 24
Зарегистрирован: Чт ноя 04, 2004 16:04

Сообщение anTIDot »

Поменял redirector на a.out поключил, и жду пока нарботатся логи
а пока решил выложить кусок access.log


192.168.0.12 - - [14/Dec/2004:09:21:09 +0200] "GET http://bg2.gator.com/gbsf/BannerHash3.dat HTTP/1.1" 200 346 TCP_MEM_HIT:NONE
192.168.0.12 - - [14/Dec/2004:09:21:09 +0200] "POST http://gi.gator.com/customer.asp HTTP/1.1" 405 540 TCP_MISS:DIRECT

Slava
Site Admin
Сообщения: 2251
Зарегистрирован: Пт апр 02, 2004 12:34
Контактная информация:

Сообщение Slava »

anTIDot писал(а):Поменял redirector на a.out поключил, и жду пока нарботатся логи
а пока решил выложить кусок access.log


192.168.0.12 - - [14/Dec/2004:09:21:09 +0200] "GET http://bg2.gator.com/gbsf/BannerHash3.dat HTTP/1.1" 200 346 TCP_MEM_HIT:NONE
192.168.0.12 - - [14/Dec/2004:09:21:09 +0200] "POST http://gi.gator.com/customer.asp HTTP/1.1" 405 540 TCP_MISS:DIRECT
Попробовал у себя, по правилу gator.com блокируются как get так и post запросы, если подать их на стандартный вход редиректора. Надо рыть дальше.

anTIDot
Сообщения: 24
Зарегистрирован: Чт ноя 04, 2004 16:04

Сообщение anTIDot »

Разобрался (благодаря логам и logger.c)
Ситация такая - режик действительно отдавал вместо запрашиваемой страницы подставную но отдавал по методу POST и как следствие в логах сквиды было DIRECT.
Статистику я же обрабатываю SARG , а он DIRECT обрабатывает как входящий траф.


Вот кусок лога работы режика (файл elog)
это запрос
http://regserver.gator.com/cmd/client_user_info 192.168.0.12/- - POST
это результат
http://127.0.0.1/ban/default.html 192.168.0.12/- - POST

Slava
Site Admin
Сообщения: 2251
Зарегистрирован: Пт апр 02, 2004 12:34
Контактная информация:

Сообщение Slava »

anTIDot писал(а):Разобрался (благодаря логам и logger.c)
Ситация такая - режик действительно отдавал вместо запрашиваемой страницы подставную но отдавал по методу POST и как следствие в логах сквиды было DIRECT.
Статистику я же обрабатываю SARG , а он DIRECT обрабатывает как входящий траф.


Вот кусок лога работы режика (файл elog)
это запрос
http://regserver.gator.com/cmd/client_user_info 192.168.0.12/- - POST
это результат
http://127.0.0.1/ban/default.html 192.168.0.12/- - POST
Правильно ли я понял, что при редиректе метода POST, в урле замены метод должен меняться на GET?
хм, интересно, как на это клиентские программки среагируют..

anTIDot
Сообщения: 24
Зарегистрирован: Чт ноя 04, 2004 16:04

Сообщение anTIDot »

То что режик работает , в даной ситуации -ясно.
Однако мне интересно, должны ли в моем случае писаться в access.log записи DIRECT при отдаче подменной страницы с локального сервера?

anTIDot
Сообщения: 24
Зарегистрирован: Чт ноя 04, 2004 16:04

Сообщение anTIDot »

"Правильно ли я понял, что при редиректе метода POST, в урле замены метод должен меняться на GET?
хм, интересно, как на это клиентские программки среагируют.."

Насчет клиентских прог - понятно.
Но все же - получается тогда sarg не правильно статистику считает...

Slava
Site Admin
Сообщения: 2251
Зарегистрирован: Пт апр 02, 2004 12:34
Контактная информация:

Сообщение Slava »

anTIDot писал(а):То что режик работает , в даной ситуации -ясно.
Однако мне интересно, должны ли в моем случае писаться в access.log записи DIRECT при отдаче подменной страницы с локального сервера?
Я так думаю, что метод post не может кэшироватся и по этому всегда DIRECT

Slava
Site Admin
Сообщения: 2251
Зарегистрирован: Пт апр 02, 2004 12:34
Контактная информация:

Сообщение Slava »

Не могли бы Вы проверить у себя, что будет, если при редиректе заменять post на get?

в файле redirect.c
замените в 22 строке:
printf(" %d.%d.%d.%d/%s %s %s\n",input_ip[0],input_ip[1],input_ip[2],input_ip[3],input_host,input_ident,input_method);

на

printf(" %d.%d.%d.%d/%s %s GET\n",input_ip[0],input_ip[1],input_ip[2],input_ip[3],input_host,input_ident);

anTIDot
Сообщения: 24
Зарегистрирован: Чт ноя 04, 2004 16:04

Сообщение anTIDot »

Подменять POST на GET нет надобности.
Интересует только запись в access.log значения DIRECT при отдаче подменной страницы с локального сервера. Получается , что при обработке access.log строка со значением DIRECT, означает, что было выполнено скачивание запрашиваемой страницы (в даном случае с сайта gator.com) , следственно это входящий тарфик для всех анализаторов логов (для SARG - точно!), хотя клиенту запросившему страницу был отдан файл с локального сервера.

Slava
Site Admin
Сообщения: 2251
Зарегистрирован: Пт апр 02, 2004 12:34
Контактная информация:

Сообщение Slava »

anTIDot писал(а):Подменять POST на GET нет надобности.
Интересует только запись в access.log значения DIRECT при отдаче подменной страницы с локального сервера. Получается , что при обработке access.log строка со значением DIRECT, означает, что было выполнено скачивание запрашиваемой страницы (в даном случае с сайта gator.com) , следственно это входящий тарфик для всех анализаторов логов (для SARG - точно!), хотя клиенту запросившему страницу был отдан файл с локального сервера.
Понятно, тогда видимо необходимо подсовывать саргу лог режика, что бы сарг понимал, что это не было скачено. правда с этим проблема: есть патч для сарга, но только для одной версии, остальные лог режика понимать не будут.

anTIDot
Сообщения: 24
Зарегистрирован: Чт ноя 04, 2004 16:04

Сообщение anTIDot »

спасибо за то, что уделил время и понял меня как админа

Ответить