squid+sams+rejik - проблема с make-cache

[thorin]

Всем привет, установлен squid с ntlm аутентификацией с помощью sams
В качестве редиректора решил выбрать rejik

как только указываю в squid.conf
url_rewrite_program /usr/local/rejik3/redirector usr/local/rejik3/redirector.conf
и перезапускаю squid - прокся перестает отвечать
Лог режика пустой, в redirector.err
2010-02-02 11:14:55 [22601] Waiting for make-cache finished
и все, больше ничего не происходит

Код: Выделить всё

ls -la *
-rwxrwxrwx  1 proxy proxy   206 Фев  2 09:36 4b5eda41eda30.sams
-rwxrwxrwx  1 proxy proxy    30 Янв 29 09:40 4b602cdd2921d.sams
-rwxrwxrwx  1 proxy proxy     0 Янв 29 10:36 default.sams
-rwxrwxrwx  1 proxy proxy 37962 Янв 28 07:49 make-cache
-rwxrwxrwx  1 proxy proxy 43129 Янв 28 07:49 redirector
-rwxrwxrwx  1 proxy proxy  3072 Фев  2 09:36 redirector.bak
-rwxrwxrwx  1 proxy proxy  3072 Фев  2 09:36 redirector.conf
-rwxrwxrwx  1 proxy proxy  3082 Янв 28 07:49 redirector.conf.dist
-rw-r--r--  1 proxy proxy    60 Фев  2 11:14 redirector.err

banlists:
итого 64
drwxrwsrwx 16 proxy proxy 4096 Янв 29 09:59 .
drwxrwsrwx  6 proxy proxy 4096 Фев  2 11:14 ..
drwxrwsrwx  4 proxy proxy 4096 Янв 29 09:53 audio-video
drwxrwsrwx  4 proxy proxy 4096 Фев  2 11:19 banners
drwxrwsrwx  3 proxy proxy 4096 Янв 29 09:54 chats
drwxrwsrwx  3 proxy proxy 4096 Янв 29 09:59 dating
drwxrwsrwx  4 proxy proxy 4096 Янв 29 09:55 icq
drwxrwsrwx  3 proxy proxy 4096 Янв 29 09:55 online-games
drwxrwsrwx  3 proxy proxy 4096 Янв 29 09:56 phishing
drwxrwsrwx  3 proxy proxy 4096 Янв 29 09:55 photogallery
drwxrwsrwx  3 proxy proxy 4096 Янв 29 09:56 porno
drwxrwsrwx  3 proxy proxy 4096 Янв 29 09:56 spyware
drwxrwsrwx  4 proxy proxy 4096 Янв 29 09:56 virus-detect
drwxrwsrwx  3 proxy proxy 4096 Янв 29 09:56 warez
drwxrwsrwx  3 proxy proxy 4096 Янв 29 09:57 web-mail
drwxrwsrwx  3 proxy proxy 4096 Янв 29 09:57 web-proxy

dbl:
итого 6076
drwxrwxrwx 4 proxy proxy    4096 Фев  2 10:22 .
drwxrwsrwx 6 proxy proxy    4096 Фев  2 11:14 ..
-rwxrwxrwx 1 proxy proxy    5116 Янв 28 12:44 dbl_expand
-rwxrwxrwx 1 proxy proxy     987 Янв 27  2005 dbl_stat
-rwxrwxrwx 1 proxy proxy     134 Мар  4  2005 FAST
-rwxrwxrwx 1 proxy proxy     129 Мар  4  2005 FULL
-rwxrwxrwx 1 proxy proxy 6142628 Янв 28 12:41 list.dbl
drwxrwxrwx 2 proxy proxy    4096 Янв 28 12:47 lists
drwxr-xr-x 2 root  root     4096 Фев  2 10:21 NEW
-rw-r--r-- 1 root  root      499 Фев  2 10:22 new.html
-rwxrwxrwx 1 proxy proxy    4018 Янв 28 09:44 Update
-rwxrwxrwx 1 proxy proxy    1326 Фев  1  2005 Update.Fast
-rw-r--r-- 1 root  root      164 Фев  2 10:22 update.fast.log
-rwxrwxrwx 1 proxy proxy     745 Фев  2 10:21 update.log
-rwxrwxrwx 1 proxy proxy       5 Янв 28 12:41 VERSION
-rw-r--r-- 1 root  root      616 Фев  2 10:22 wget.log

_sams_banlists:
итого 12
drwxr-sr-x 3 proxy root  4096 Фев  2 09:36 .
drwxrwsrwx 6 proxy proxy 4096 Фев  2 11:14 ..
drwxr-sr-x 2 proxy root  4096 Фев  2 09:36 localhosts

tools:
итого 75140
drwxrwsrwx 2 proxy proxy     4096 Янв 29 13:00 .
drwxrwsrwx 6 proxy proxy     4096 Фев  2 11:14 ..
-rwxrwxrwx 1 proxy proxy      574 Янв 28 07:49 benchmark
-rwxrwxrwx 1 proxy proxy      131 Янв 29 13:00 check-redirector
-rwxrwxrwx 1 proxy proxy 69829000 Янв 28 13:04 IN
-rwxrwxrwx 1 proxy proxy    14684 Янв 28 07:49 IN.gz
-rwxrwxrwx 1 proxy proxy  6982900 Янв 28 13:04 IN.pre
-rwxrwxrwx 1 proxy proxy      134 Янв 28 07:49 kill-cache
-rwxrwxrwx 1 proxy proxy       49 Янв 28 07:49 set-permissions
s-gate:/usr/local/rejik3# ls -la *
-rwxrwxrwx  1 proxy proxy   206 Фев  2 09:36 4b5eda41eda30.sams
-rwxrwxrwx  1 proxy proxy    30 Янв 29 09:40 4b602cdd2921d.sams
-rwxrwxrwx  1 proxy proxy     0 Янв 29 10:36 default.sams
-rwxrwxrwx  1 proxy proxy 37962 Янв 28 07:49 make-cache
-rwxrwxrwx  1 proxy proxy 43129 Янв 28 07:49 redirector
-rwxrwxrwx  1 proxy proxy  3072 Фев  2 09:36 redirector.bak
-rwxrwxrwx  1 proxy proxy  3072 Фев  2 09:36 redirector.conf
-rwxrwxrwx  1 proxy proxy  3082 Янв 28 07:49 redirector.conf.dist
-rw-r--r--  1 proxy proxy    60 Фев  2 11:14 redirector.err

banlists:
итого 64
drwxrwsrwx 16 proxy proxy 4096 Янв 29 09:59 .
drwxrwsrwx  6 proxy proxy 4096 Фев  2 11:14 ..
drwxrwsrwx  4 proxy proxy 4096 Янв 29 09:53 audio-video
drwxrwsrwx  4 proxy proxy 4096 Фев  2 11:19 banners
drwxrwsrwx  3 proxy proxy 4096 Янв 29 09:54 chats
drwxrwsrwx  3 proxy proxy 4096 Янв 29 09:59 dating
drwxrwsrwx  4 proxy proxy 4096 Янв 29 09:55 icq
drwxrwsrwx  3 proxy proxy 4096 Янв 29 09:55 online-games
drwxrwsrwx  3 proxy proxy 4096 Янв 29 09:56 phishing
drwxrwsrwx  3 proxy proxy 4096 Янв 29 09:55 photogallery
drwxrwsrwx  3 proxy proxy 4096 Янв 29 09:56 porno
drwxrwsrwx  3 proxy proxy 4096 Янв 29 09:56 spyware
drwxrwsrwx  4 proxy proxy 4096 Янв 29 09:56 virus-detect
drwxrwsrwx  3 proxy proxy 4096 Янв 29 09:56 warez
drwxrwsrwx  3 proxy proxy 4096 Янв 29 09:57 web-mail
drwxrwsrwx  3 proxy proxy 4096 Янв 29 09:57 web-proxy

dbl:
итого 6076
drwxrwxrwx 4 proxy proxy    4096 Фев  2 10:22 .
drwxrwsrwx 6 proxy proxy    4096 Фев  2 11:14 ..
-rwxrwxrwx 1 proxy proxy    5116 Янв 28 12:44 dbl_expand
-rwxrwxrwx 1 proxy proxy     987 Янв 27  2005 dbl_stat
-rwxrwxrwx 1 proxy proxy     134 Мар  4  2005 FAST
-rwxrwxrwx 1 proxy proxy     129 Мар  4  2005 FULL
-rwxrwxrwx 1 proxy proxy 6142628 Янв 28 12:41 list.dbl
drwxrwxrwx 2 proxy proxy    4096 Янв 28 12:47 lists
drwxr-xr-x 2 root  root     4096 Фев  2 10:21 NEW
-rw-r--r-- 1 root  root      499 Фев  2 10:22 new.html
-rwxrwxrwx 1 proxy proxy    4018 Янв 28 09:44 Update
-rwxrwxrwx 1 proxy proxy    1326 Фев  1  2005 Update.Fast
-rw-r--r-- 1 root  root      164 Фев  2 10:22 update.fast.log
-rwxrwxrwx 1 proxy proxy     745 Фев  2 10:21 update.log
-rwxrwxrwx 1 proxy proxy       5 Янв 28 12:41 VERSION
-rw-r--r-- 1 root  root      616 Фев  2 10:22 wget.log

_sams_banlists:
итого 12
drwxr-sr-x 3 proxy root  4096 Фев  2 09:36 .
drwxrwsrwx 6 proxy proxy 4096 Фев  2 11:14 ..
drwxr-sr-x 2 proxy root  4096 Фев  2 09:36 localhosts

tools:
итого 75140
drwxrwsrwx 2 proxy proxy     4096 Янв 29 13:00 .
drwxrwsrwx 6 proxy proxy     4096 Фев  2 11:14 ..
-rwxrwxrwx 1 proxy proxy      574 Янв 28 07:49 benchmark
-rwxrwxrwx 1 proxy proxy      131 Янв 29 13:00 check-redirector
-rwxrwxrwx 1 proxy proxy 69829000 Янв 28 13:04 IN
-rwxrwxrwx 1 proxy proxy    14684 Янв 28 07:49 IN.gz
-rwxrwxrwx 1 proxy proxy  6982900 Янв 28 13:04 IN.pre
-rwxrwxrwx 1 proxy proxy      134 Янв 28 07:49 kill-cache
-rwxrwxrwx 1 proxy proxy       49 Янв 28 07:49 set-permissions

[Slava]

Похоже на наличие лока, попробуйте удалить лок файл из папки банлиста, которая прописана в конфиге режике первой.

Если не поможет, то тестируйте:
1. Удалите логи режика.
2. Запустите check-redirector из tools.
Для этого возможно надо будет дать шел пользователю прокси.
Покажите что напишет и вновь созданные логи режика.

[thorin]

прошу прощения за ламерство, но как дать шел пользователю прокси?

[Slava]

Запускаем check-redirector из папки tools, читаем логи редиректора.

Если check-redirector выдает "This account is currently not available.", то это означает, что в Вашей системе, в целях безопасности, у пользователя сквида отсутствует шел. Вы можете или пропустить шаг тестирования или прописать шел на время тестирования:

Шел обычно прописан в /etc/passwd, например:
slava1000:/home/slava:/bin/bash

/bin/bash - шел

у Вас наверное что-то вроде
squid1008::/bin/false

замените /bin/false на /bin/bash на время тестирования.

[thorin]

в /etc/passwd
пользователю proxy от которого squid работает доступ к шеллу был дан
proxy13:13:proxy:/bin:/bin/sh

lock-файл действительно существовал - удалил

запустил check-redirector из tools - процесс долго висит и не завершается..

в redirector.err:
010-02-02 13:51:16 [3392] Run make-cache
2010-02-02 13:51:16 [3393] MAKE-CACHE: MAKE /usr/local/rejik3/banlists/banners/urls.cache

при этом висит процесс make-cache от имени proxy, потребляющий 100% CPU

[Slava]

Заархивируйте и пришлите папку режика на slava@rejik.ru

[thorin]

отправил, правда уже потом заметил что оно довольно большое получилось..

[Slava]

Проблема в структуре директорий.

пример:
В папке banners должны быть файлы urls и pcre, а не директории с такими же именами.
Поместите туда файлы, а я поправлю режик, что бы он ругался в лог на такой случай.

Так должно быть во всех папках, которые указаны опцией ban_dir

[Slava]

Новая версия доступна здесь http://rejik.ru/download/redirector-3.2.5.tgz

[thorin]

большое спасибо, все заработало

[Rus]

Новая версия доступна здесь http://rejik.ru/download/redirector-3.2.5.tgz

В новых версиях есть поддержка в url переменной #REASON# ?

[Slava]

Новая версия доступна здесь http://rejik.ru/download/redirector-3.2.5.tgz

В новых версиях есть поддержка в url переменной #REASON# ?

Нет, если нужна, могу попробовать реализовать.

[Rus]

Лично мне очень помогает эта опция.

[russko]

Тоже проблема с make-cache.
При перезапуске сквида (через stop/start или -k reconfigure) в общих логах сервера появляется запись:
kernel: pid 54272 (make-cache), uid 100: exited on signal 11 (core dumped)
Но вроде дальше все работает...что почему не понятно ((
OS- FreeBSD 8
Ver-3.2.5

[Slava]

Тоже проблема с make-cache.
При перезапуске сквида (через stop/start или -k reconfigure) в общих логах сервера появляется запись:
kernel: pid 54272 (make-cache), uid 100: exited on signal 11 (core dumped)
Но вроде дальше все работает...что почему не понятно ((
OS- FreeBSD 8
Ver-3.2.5

При запуске check-redirector так же?
Файл core создается?