Редиректор 3.2.12 для squid версии 3.4 и старше для Win32

[Slava]

Чтобы скомпилировать нужен cygwin, как компилить, можно посмотреть в make файле режика.
Шеловский файлик, думаю, можно заменить батников, там все перенаправление вывода одной программына вход другой.

[ajs]

Попробую ... отпишусь ...

[ajs]

Нашел на сайте готовый, он подойдет? Или обязательно надо компилить?

PS: Нашел еще патч для совместимости squidGuard и squid 3.4 - https://anonscm.debian.org/cgit/collab- ... 0583cf9680

[Slava]

Режик есть в двух вариантах, для squid версии 3.4 и старше и для предыдущих версий.
Под windows собран для предыдущих версий.

Если соберете для squid версии 3.4, то должен работать.
Вам нужно поставить cygwin, средства для компиляции, make, pcre-devel и запустить make cygwin.

[ajs]

Да я это сделал (вы мне в начале этого треда писали), может исходники перепутал, проверю ...
Я про готовый (откомпилированный) логгер, который есть на сайте, можно его использовать? Или надо обязательно собрать заново?

[Slava]

Я про готовый (откомпилированный) логгер, который есть на сайте, можно его использовать? Или надо обязательно собрать заново?

Можно.
Причем можно сначала запустить вручную, попечатать ему на стандартный вход и посмотреть, что в лог пишется.

[ajs]

Скомпилировал, запустил в ручную ... висит, дублирует ввод консоли на консоль и в лог ...
Добавил его в Сквид вместо Режика:
url_rewrite_program d:\rejik\logger.exe D:\Rejik\redirector.conf
При настройках по умолчанию:
url_rewrite_children 20 startup=0 idle=1 concurrency=0
Выдает в лог Сквид:

Код: Выделить всё

2017/11/23 08:43:12 kid1| Starting new redirector helpers...
2017/11/23 08:43:12 kid1| helperOpenServers: Starting 1/20 'd:\rejik\logger.exe' processes
2017/11/23 08:43:12 kid1| WARNING: no_suid: setuid(0): (22) Invalid argument
2017/11/23 08:43:12 kid1| Starting new redirector helpers...
2017/11/23 08:43:12 kid1| helperOpenServers: Starting 1/20 'd:\rejik\logger.exe' processes
2017/11/23 08:43:12 kid1| WARNING: no_suid: setuid(0): (22) Invalid argument
2017/11/23 08:43:12 kid1| WARNING: redirector #Hlpr1 exited
2017/11/23 08:43:12 kid1| Too few redirector processes are running (need 1/20)
2017/11/23 08:43:12 kid1| Starting new helpers
2017/11/23 08:43:12 kid1| helperOpenServers: Starting 1/20 'd:\rejik\logger.exe' processes
2017/11/23 08:43:12 kid1| WARNING: no_suid: setuid(0): (22) Invalid argument
2017/11/23 08:43:12 kid1| ERROR: URL rewrite helper returned invalid result code. Wrong helper? {result=Unknown}
2017/11/23 08:43:12 kid1| WARNING: redirector #Hlpr2 exited
2017/11/23 08:43:12 kid1| Too few redirector processes are running (need 1/20)
2017/11/23 08:43:12 kid1| Starting new helpers

Изменил настройки на
url_rewrite_children 1 startup=1 idle=1 concurrency=0
Начал сыпаться Сквид:

Код: Выделить всё

2017/11/23 08:48:06 kid1|   Took 0.00 seconds (4775.00 entries/sec).
FATAL: The redirector helpers are crashing too rapidly, need help!

Squid Cache (Version 3.5.27): Terminated abnormally.
CPU Usage: 0.233 seconds = 0.171 user + 0.062 sys
Maximum Resident Size: 1274368 KB
Page faults with physical i/o: 5018
2017/11/23 08:48:12 kid1| Set Current Directory to /var/cache/squid
2017/11/23 08:48:12 kid1| Starting Squid Cache version 3.5.27 for x86_64-unknown-cygwin...

Сотворил батник типа:

Код: Выделить всё

D:\Rejik\logger.exe | D:\Rejik\redirector.exe %*

Проверил, то что ввожу в консоле, попадает и в режик и в логгер.

Прописал в сквид и ...

Код: Выделить всё

2017/11/23 08:56:56 kid1| Too few redirector processes are running (need 1/20)
2017/11/23 08:56:56 kid1| Starting new helpers
2017/11/23 08:56:56 kid1| helperOpenServers: Starting 1/20 'd:\rejik\r.cmd' processes
2017/11/23 08:56:56 kid1| WARNING: no_suid: setuid(0): (22) Invalid argument
Попытка записи в несуществующий канал.
Попытка записи в несуществующий канал.
Попытка записи в несуществующий канал.
Попытка записи в несуществующий канал.
Попытка записи в несуществующий канал.
Попытка записи в несуществующий канал.
Попытка записи в несуществующий канал.
Попытка записи в несуществующий канал.
2017/11/23 08:56:56 kid1| WARNING: redirector #Hlpr388 exited
2017/11/23 08:56:56 kid1| Too few redirector processes are running (need 1/20)

Или если хелперов 1 то:

Код: Выделить всё

FATAL: The redirector helpers are crashing too rapidly, need help!

Squid Cache (Version 3.5.27): Terminated abnormally.
CPU Usage: 0.234 seconds = 0.156 user + 0.078 sys
Maximum Resident Size: 1282304 KB
Page faults with physical i/o: 5049
2017/11/23 08:57:29 kid1| Set Current Directory to /var/cache/squid
2017/11/23 08:57:29 kid1| Starting Squid Cache version 3.5.27 for x86_64-unknown-cygwin...
...
2017/11/23 08:57:29 kid1| helperOpenServers: Starting 1/1 'd:\rejik\r.cmd' processes
2017/11/23 08:57:29 kid1| WARNING: no_suid: setuid(0): (22) Invalid argument
...
Попытка записи в несуществующий канал.
Попытка записи в несуществующий канал.
Попытка записи в несуществующий канал.
Попытка записи в несуществующий канал.
Попытка записи в несуществующий канал.
Попытка записи в несуществующий канал.
Попытка записи в несуществующий канал.
Попытка записи в несуществующий канал.
2017/11/23 08:57:29 kid1| WARNING: no_suid: setuid(0): (22) Invalid argument
...
2017/11/23 08:57:29 kid1| Beginning Validation Procedure
2017/11/23 08:57:29 kid1|   Completed Validation Procedure
2017/11/23 08:57:29 kid1|   Validated 4800 Entries
2017/11/23 08:57:29 kid1|   store_swap_size = 434844.00 KB
2017/11/23 08:57:30 kid1| WARNING: redirector #Hlpr1 exited
2017/11/23 08:57:30 kid1| Too few redirector processes are running (need 1/1)
2017/11/23 08:57:30 kid1| Closing HTTP port [::]:3128
2017/11/23 08:57:30 kid1| storeDirWriteCleanLogs: Starting...
2017/11/23 08:57:30 kid1|   Finished.  Wrote 4800 entries.
2017/11/23 08:57:30 kid1|   Took 0.00 seconds (4800.00 entries/sec).
FATAL: The redirector helpers are crashing too rapidly, need help!

И так по кругу ...

В логе режика проблем не видно:

Код: Выделить всё

2017-11-23 08:57:29 [1876] Run make-cache (3.2.12)
2017-11-23 08:57:30 [1876] Make-cache finished
2017-11-23 08:57:30 [1876] Load 31 rules from /cygdrive/d/rejik/banlists/adobe/allow_urls.cache
2017-11-23 08:57:30 [1876] Load 2 rules from /cygdrive/d/rejik/banlists/adobe/urls.cache
2017-11-23 08:57:30 [1876] Load 18 rules from /cygdrive/d/rejik/banlists/html/urls.cache
2017-11-23 08:57:30 [1876] Load 47 pattern from HTML pcre
2017-11-23 08:57:30 [1876] Load 253 rules from /cygdrive/d/rejik/banlists/anonymizer/urls.cache
2017-11-23 08:57:30 [1876] Load 184 rules from /cygdrive/d/rejik/banlists/love/urls.cache
2017-11-23 08:57:30 [1876] Load 36879 rules from /cygdrive/d/rejik/banlists/porno/urls.cache
2017-11-23 08:57:30 [1876] Load 23 rules from /cygdrive/d/rejik/banlists/js/urls.cache
2017-11-23 08:57:30 [1876] Load 89 pattern from JS pcre
2017-11-23 08:57:30 [1876] Load 21 rules from /cygdrive/d/rejik/banlists/swf/urls.cache
2017-11-23 08:57:30 [1876] Load 45 pattern from SWF pcre
2017-11-23 08:57:30 [1876] Load 815 rules from /cygdrive/d/rejik/banlists/banners/urls.cache
2017-11-23 08:57:30 [1876] Load 45 pattern from BANNER pcre
2017-11-23 08:57:30 [1876] Load 1011 pattern from MUNCH pcre
2017-11-23 08:57:30 [1876] Redirector start and working (3.2.12)

Второй лог пустой, лог логгера так же пустой ...

[Slava]

Только логгер подключать в сквид нельзя, он прозрачный и не возвращает правильные ответы для сквида.

Вы прописали скрипт: D:\Rejik\logger.exe | D:\Rejik\redirector.exe %*

%* - это зачем, тут должен быть путь до конфига режика.

Поправьте и запустите скрипт вручную, должен писать логи и выдавать ответы на стандартный выход: OK или ERR (http://www.squid-cache.org/Doc/config/u ... e_program/)

Для сравнения, можно запустить только режик, без логера и посмотреть логи и ответы.

[ajs]

Только логгер подключать в сквид нельзя, он прозрачный и не возвращает правильные ответы для сквида.
%* - это зачем, тут должен быть путь до конфига режика.

Это подстановка всех параметров, если запустить батник вот так:

Код: Выделить всё

r.cmd d:\rehik\redirector.cfg

То команда вызова будет вот такая:

Код: Выделить всё

D:\Rejik\logger.exe | D:\Rejik\redirector.exe d:\rehik\redirector.cfg

Если запустить вот так:

Код: Выделить всё

r.cmd d:\rehik\redirector.cfg бла-бла-бла

То:

Код: Выделить всё

D:\Rejik\logger.exe | D:\Rejik\redirector.exe d:\rehik\redirector.cfg бла-бла-бла

И т.д. ...

[ajs]

Только логгер подключать в сквид нельзя, он прозрачный и не возвращает правильные ответы для сквида.
Поправьте и запустите скрипт вручную, должен писать логи и выдавать ответы на стандартный выход: OK или ERR (http://www.squid-cache.org/Doc/config/u ... e_program/)
Для сравнения, можно запустить только режик, без логера и посмотреть логи и ответы.

Хммм, вроде проверял, посмотрю еще раз ...

[ajs]

Вернулся опять к данному вопросу, запускал как через бат-файл (с логгером) так и просто, режик сам по себе работает:
через бат-файл

D:\Rejik>r.cmd D:\Rejik\redirector.conf
http://test.ru 127.0.0.1/- - GET
ERR
http://www.google.com 127.0.0.1/- - GET
ERR
http://activate.adobe.com 127.0.0.1/- - GET
OK rewrite-url=http://www.blackhole.box/blackhole.box/ ... empty.html

просто режик

D:\Rejik>redirector.exe D:\Rejik\redirector.conf
http://test.ru 127.0.0.1/- - GET
ERR
http://www.google.com 127.0.0.1/- - GET
ERR
http://activate.adobe.com 127.0.0.1/- - GET
OK rewrite-url=http://www.blackhole.box/blackhole.box/ ... empty.html

Но как только подключаю его в squid 3.5.27 - http://squid.diladele.com/
Ошибка:

2018/04/26 11:38:05 kid1| Starting new helpers
2018/04/26 11:38:05 kid1| helperOpenServers: Starting 1/20 'redirector.exe' processes
2018/04/26 11:38:05 kid1| WARNING: no_suid: setuid(0): (22) Invalid argument
2018/04/26 11:38:05 kid1| helperHandleRead: unexpected read from redirector #Hlpr686, 222 bytes 'ERROR: Can't open config file /cygdrive/c/rejik3/redirector.conf: No such file or directory
Use: redirector /path/to/redirector.conf
Use: make-cache /path/to/redirector.conf
by default: /cygdrive/c/rejik3/redirector.conf

'
2018/04/26 11:38:05 kid1| WARNING: redirector #Hlpr686 exited

Мистика какая то, уже и права перепроверил и все что можно ... Куда еще можно копнуть?

Может есть возможность выводить командную строку вызова или под какой учеткой его вызывают? Или отладку так какую включить?

[Slava]

В Ваших примерах D:\Rejik\redirector.conf
Судя по ошибке, он не может найти файл C:\rejik3\redirector.conf, который является дефолтным путем к конфигу.
Видимо путь до конфига не указан или не передан.

[ajs]

Путь указан
url_rewrite_program d:\rejik\logger.exe D:\Rejik\redirector.conf

Когда подставлял батник, то выводил командную строку, путь передается к конфигурационному файлу... Но я не помню чтобы при старте передавались какие либо параметры. Т.е. при запуске батник выводит только: d:\rejik\logger.exe D:\Rejik\redirector.conf (хорошо это или плохо не знаю)

Могу конечно попробовать закинуть конфигурационный файл на С, если поможет то тогда или так и оставлю или буду смотреть в чем проблема ...

Или в исходниках сменить дефолтный путь для конфига попробую на мой ...

[ajs]

Скопировал полностью папку с конфиг D:\Rejik\ на C:\rejik3\ запустил squid и получил:

2018/08/09 12:16:29 kid1| storeLateRelease: released 0 objects
2018/08/09 12:16:29 kid1| WARNING: redirector #Hlpr1 exited
2018/08/09 12:16:29 kid1| Too few redirector processes are running (need 1/20)
2018/08/09 12:16:29 kid1| Starting new helpers
2018/08/09 12:16:29 kid1| helperOpenServers: Starting 1/20 'redirector.exe' processes
2018/08/09 12:16:29 kid1| WARNING: no_suid: setuid(0): (22) Invalid argument
2018/08/09 12:16:29 kid1| ERROR: URL rewrite helper returned invalid result code. Wrong helper? {result=Unknown}
2018/08/09 12:16:30 kid1| Starting new redirector helpers...
2018/08/09 12:16:30 kid1| helperOpenServers: Starting 1/20 'redirector.exe' processes
2018/08/09 12:16:30 kid1| WARNING: no_suid: setuid(0): (22) Invalid argument
2018/08/09 12:16:30 kid1| Starting new redirector helpers...
2018/08/09 12:16:30 kid1| helperOpenServers: Starting 1/20 'redirector.exe' processes
2018/08/09 12:16:30 kid1| WARNING: no_suid: setuid(0): (22) Invalid argument
2018/08/09 12:16:30 kid1| WARNING: redirector #Hlpr2 exited
2018/08/09 12:16:30 kid1| Too few redirector processes are running (need 1/20)
2018/08/09 12:16:30 kid1| Starting new helpers
2018/08/09 12:16:30 kid1| helperOpenServers: Starting 1/20 'redirector.exe' processes
2018/08/09 12:16:31 kid1| WARNING: no_suid: setuid(0): (22) Invalid argument
2018/08/09 12:16:31 kid1| ERROR: URL rewrite helper returned invalid result code. Wrong helper? {result=Unknown}
2018/08/09 12:16:31 kid1| Starting new redirector helpers...
2018/08/09 12:16:31 kid1| helperOpenServers: Starting 1/20 'redirector.exe' processes
2018/08/09 12:16:31 kid1| WARNING: no_suid: setuid(0): (22) Invalid argument
2018/08/09 12:16:31 kid1| Starting new redirector helpers...
2018/08/09 12:16:31 kid1| helperOpenServers: Starting 1/20 'redirector.exe' processes
2018/08/09 12:16:31 kid1| WARNING: no_suid: setuid(0): (22) Invalid argument
2018/08/09 12:16:31 kid1| Starting new redirector helpers...
2018/08/09 12:16:31 kid1| helperOpenServers: Starting 1/20 'redirector.exe' processes
2018/08/09 12:16:31 kid1| WARNING: no_suid: setuid(0): (22) Invalid argument
2018/08/09 12:16:31 kid1| WARNING: redirector #Hlpr3 exited
2018/08/09 12:16:31 kid1| Too few redirector processes are running (need 1/20)
2018/08/09 12:16:31 kid1| Starting new helpers

2018-08-09 12:16:28 [8996] Run make-cache (3.2.12)
2018-08-09 12:16:29 [8996] Make-cache finished
2018-08-09 12:16:29 [8996] Load 31 rules from /cygdrive/d/rejik/banlists/adobe/allow_urls.cache
2018-08-09 12:16:29 [8996] Load 2 rules from /cygdrive/d/rejik/banlists/adobe/urls.cache
2018-08-09 12:16:29 [8996] Load 18 rules from /cygdrive/d/rejik/banlists/html/urls.cache
2018-08-09 12:16:29 [8996] Load 47 pattern from HTML pcre
2018-08-09 12:16:29 [8996] Load 253 rules from /cygdrive/d/rejik/banlists/anonymizer/urls.cache
2018-08-09 12:16:29 [8996] Load 184 rules from /cygdrive/d/rejik/banlists/love/urls.cache
2018-08-09 12:16:29 [8996] Load 36879 rules from /cygdrive/d/rejik/banlists/porno/urls.cache
2018-08-09 12:16:29 [8996] Load 23 rules from /cygdrive/d/rejik/banlists/js/urls.cache
2018-08-09 12:16:29 [8996] Load 89 pattern from JS pcre
2018-08-09 12:16:29 [8996] Load 21 rules from /cygdrive/d/rejik/banlists/swf/urls.cache
2018-08-09 12:16:29 [8996] Load 45 pattern from SWF pcre
2018-08-09 12:16:29 [8996] Load 815 rules from /cygdrive/d/rejik/banlists/banners/urls.cache
2018-08-09 12:16:29 [8996] Load 45 pattern from BANNER pcre
2018-08-09 12:16:29 [8996] Load 1011 pattern from MUNCH pcre
2018-08-09 12:16:29 [8996] Redirector start and working (3.2.12)
2018-08-09 12:16:30 [14960] Run make-cache (3.2.12)
2018-08-09 12:16:30 [14960] Make-cache finished
2018-08-09 12:16:30 [14960] Load 31 rules from /cygdrive/d/rejik/banlists/adobe/allow_urls.cache
2018-08-09 12:16:30 [14960] Load 2 rules from /cygdrive/d/rejik/banlists/adobe/urls.cache
2018-08-09 12:16:30 [14960] Load 18 rules from /cygdrive/d/rejik/banlists/html/urls.cache
2018-08-09 12:16:30 [14960] Load 47 pattern from HTML pcre
2018-08-09 12:16:30 [14960] Load 253 rules from /cygdrive/d/rejik/banlists/anonymizer/urls.cache
2018-08-09 12:16:30 [14960] Load 184 rules from /cygdrive/d/rejik/banlists/love/urls.cache
2018-08-09 12:16:30 [4912] Run make-cache (3.2.12)
2018-08-09 12:16:30 [14960] Load 36879 rules from /cygdrive/d/rejik/banlists/porno/urls.cache
2018-08-09 12:16:30 [14960] Load 23 rules from /cygdrive/d/rejik/banlists/js/urls.cache
2018-08-09 12:16:30 [14960] Load 89 pattern from JS pcre
2018-08-09 12:16:30 [14960] Load 21 rules from /cygdrive/d/rejik/banlists/swf/urls.cache
2018-08-09 12:16:30 [14960] Load 45 pattern from SWF pcre
2018-08-09 12:16:30 [14960] Load 815 rules from /cygdrive/d/rejik/banlists/banners/urls.cache
2018-08-09 12:16:30 [14960] Load 45 pattern from BANNER pcre
2018-08-09 12:16:30 [14960] Load 1011 pattern from MUNCH pcre
2018-08-09 12:16:30 [14960] Redirector start and working (3.2.12)

Смущает то что squid ругается на - ERROR: URL rewrite helper returned invalid result code. Wrong helper? {result=Unknown}

[Slava]

Еще ругается на: WARNING: no_suid: setuid(0): (22) Invalid argument
Судя по логу сквида, редиректор вылетает сразу после запуска.
Судя по логу редиректора, проблем нет.

Чтобы понять, что происходит, подключите логгер перед редиректором и напишите его вывод.
И в батнике и в логгере поменяйте пути на C:\rejik3\