[Решено] Вылетает при первом запуске FULL

[StreamThreader]

Добрый день!
У меня возникла проблема на системе Slackware 14.1 (на 14.0 проблемы не было).
Первый раз запускаю на этой системе полное получение списков программой FULL и она мне выдаёт:

Код: Выделить всё

Perl API version v5.16.0 of Text::Iconv does not match v5.18.0 at /usr/lib64/perl5/DynaLoader.pm line 213.
Compilation failed in require at /var/lib/rejik/dbl/dbl_expand line 3.
BEGIN failed--compilation aborted at /var/lib/rejik/dbl/dbl_expand line 3.

На сколько я понял, аддон Text::Iconv создан для API пёрла версии 5.16, а у меня пёрл v5.18.1.
Без даунгрейда пёрла эту проблему решить можно?

[Slava]

Для проверки поставил себе Slackware 14.1.
В системе не оказалось либы Text::Iconv, такого пакета я так же не нашел, так что поставил либу вручную:
perl -MCPAN -e shell
>install Text::Iconv

После этого скрипты отработали корректно, листы качаются и парсятся.
При этом версия перла 5.18.1
Могу предположить, что Вы где-то взяли старую версию Text::Iconv и она не совместима с текущем перлом.
Где брали, как ставили?
Попробуйте удалить и поставить из cpan.

[StreamThreader]

Окзываеться нельзя удалить модули пёрла, точнее нет возможности.
Вообщем нашёл я слакбилд http://slackbuilds.org/repository/13.1/ ... ext-Iconv/ собрал, по полученному пакету удалил предыдущии файлы на сервере, начал устанавливать пакет, оказалось что он у меня уже был собран, есть подозрение что я его ставил для спам ассасина.
Всё заработало, только вот при добавлении любого правила в режик, появляется строка в сквиде:

Код: Выделить всё

UPGRADE WARNING: URL rewriter reponded with garbage ' ИП прокси сервера/- - GET'. Future Squid will treat this as part of the URL.

А сайты ругаються на то что я ищу у них по не существующему пути, а в пути "ИП прокси сервера/- - GET"
Вырубал все правила из режика, работает нормально, только добавлю сразу проблемы.
такое впечатление, что режик не правильно передаёт аргументы сквиду.

[Slava]

Что говорит check-redirector (http://rejik.ru/index_ru_3_0.html пункт 14) ?

И не совсем понятно, на какой стадии у Вас проявляется ошибка, опишите подробнее.

[StreamThreader]

Да, оказалсь что у пользователя под которым запускался сквид и режик не было шела. Поправил, запустил check-redirector
Вывод программы:

Код: Выделить всё

root@router:/var/lib/rejik/tools# ./check-redirector
http://sex.ru 127.0.0.1/- - GET

В логах сквида иногда появляется строка:

Код: Выделить всё

UPGRADE WARNING: URL rewriter reponded with garbage ' 192.168.0.68/- - GET'. Future Squid will treat this as part of the URL.

А на сайте к примеру гугла открывается страница:

Код: Выделить всё

404. That’s an error.

The requested URL /192.168.0.68/--GET was not found on this server. That’s all we know. 

Добавил блокировку прона, сделал чек, вывод:

Код: Выделить всё

http://192.168.0.254/squidbanners/porno.html 127.0.0.1/- - GET

[Slava]

Я правильно понял, что при заходе на гугл у Вас всегда появляется страница с ошибкой?
В логи режика что при этом пишет?

отредактируйте check-redirector:
1. Вместо http://sex.ru впишите урл страницы гугла.
2. Вместо 127.0.0.1 впишите ip клиента, на котором запускали бруазер.
и покажите вывод

[StreamThreader]

Отредактировал, запустил:

Код: Выделить всё

root@router:/var/lib/rejik/tools# ./check-redirector
http://google.com.ua 192.168.0.68/- - GET

Свежий запуск сквида, записи появились в файле cache.log:

Код: Выделить всё

2014/04/03 11:03:00 kid1| Set Current Directory to /var/log/squid                                                                                                                              
2014/04/03 11:03:00 kid1| Starting Squid Cache version 3.4.4 for x86_64-slackware-linux-gnu...                                                                                                 
2014/04/03 11:03:00 kid1| Process ID 14010                                                                                                                                                     
2014/04/03 11:03:00 kid1| Process Roles: worker                                                                                                                                                
2014/04/03 11:03:00 kid1| With 1024 file descriptors available                                                                                                                                 
2014/04/03 11:03:00 kid1| Initializing IP Cache...                                                                                                                                             
2014/04/03 11:03:00 kid1| DNS Socket created at 0.0.0.0, FD 8                                                                                                                                  
2014/04/03 11:03:00 kid1| Adding nameserver 127.0.0.1 from squid.conf                                                                                                                          
2014/04/03 11:03:00 kid1| helperOpenServers: Starting 0/20 'redirector' processes                                                                                                              
2014/04/03 11:03:00 kid1| helperOpenServers: No 'redirector' processes needed.                                                                                                                 
2014/04/03 11:03:00 kid1| Logfile: opening log daemon:/var/log/squid/access.log                                                                                                                
2014/04/03 11:03:00 kid1| Logfile Daemon: opening log /var/log/squid/access.log                                                                                                                
2014/04/03 11:03:00 kid1| Store logging disabled                                                                                                                                               
2014/04/03 11:03:00 kid1| Swap maxSize 104857600 + 3072000 KB, estimated 8302276 objects                                                                                                       
2014/04/03 11:03:00 kid1| Target number of buckets: 415113                                                                                                                                     
2014/04/03 11:03:00 kid1| Using 524288 Store buckets                                                                                                                                           
2014/04/03 11:03:00 kid1| Max Mem  size: 3072000 KB                                                                                                                                            
2014/04/03 11:03:00 kid1| Max Swap size: 104857600 KB                                                                                                                                          
2014/04/03 11:03:00 kid1| Rebuilding storage in /data/Squid (clean log)                                                                                                                        
2014/04/03 11:03:00 kid1| Using Least Load store dir selection                                                                                                                                 
2014/04/03 11:03:00 kid1| Set Current Directory to /var/log/squid                                                                                                                              
2014/04/03 11:03:00 kid1| Finished loading MIME types and icons.                                                                                                                               
2014/04/03 11:03:00 kid1| HTCP Disabled.                                                                                                                                                       
2014/04/03 11:03:00 kid1| Squid plugin modules loaded: 0                                                                                                                                       
2014/04/03 11:03:00 kid1| Accepting HTTP Socket connections at local=192.168.68.1:3128 remote=[::] FD 13 flags=9                                                                               
2014/04/03 11:03:00 kid1| Store rebuilding is 40.96% complete                                                                                                                                  
2014/04/03 11:03:00 kid1| Done reading /data/Squid swaplog (9765 entries)                                                                                                                      
2014/04/03 11:03:00 kid1| Finished rebuilding storage from disk.                                                                                                                               
2014/04/03 11:03:00 kid1|      9765 Entries scanned                                                                                                                                            
2014/04/03 11:03:00 kid1|         0 Invalid entries.                                                                                                                                           
2014/04/03 11:03:00 kid1|         0 With invalid flags.                                                                                                                                        
2014/04/03 11:03:00 kid1|      9765 Objects loaded.                                                                                                                                            
2014/04/03 11:03:00 kid1|         0 Objects expired.                                                                                                                                           
2014/04/03 11:03:00 kid1|         0 Objects cancelled.                                                                                                                                         
2014/04/03 11:03:00 kid1|         0 Duplicate URLs purged.                                                                                                                                     
2014/04/03 11:03:00 kid1|         0 Swapfile clashes avoided.                                                                                                                                  
2014/04/03 11:03:00 kid1|   Took 0.20 seconds (48250.34 objects/sec).                                                                                                                          
2014/04/03 11:03:00 kid1| Beginning Validation Procedure                                                                                                                                       
2014/04/03 11:03:00 kid1|   Completed Validation Procedure                                                                                                                                     
2014/04/03 11:03:00 kid1|   Validated 9765 Entries                                                                                                                                             
2014/04/03 11:03:00 kid1|   store_swap_size = 158316.00 KB                                                                                                                                     
2014/04/03 11:03:01 kid1| storeLateRelease: released 0 objects

В файле redirector.err

Код: Выделить всё

2014-04-03 11:03:12 [14027] Run make-cache (3.2.11)                                                                                                                                            
2014-04-03 11:03:12 [14027] Make-cache finished                                                                                                                                                
2014-04-03 11:03:12 [14027] Load 4087 rules from /var/lib/rejik/dbl/banlists/banner/urls.cache                                                                                                 
2014-04-03 11:03:12 [14027] Load 82 pattern from banners pcre                                                                                                                                  
2014-04-03 11:03:12 [14027] Load 350 rules from /var/lib/rejik/dbl/banlists/extremism_rf/urls.cache                                                                                            
2014-04-03 11:03:12 [14027] Load 99078 rules from /var/lib/rejik/dbl/banlists/phishing/urls.cache                                                                                              
2014-04-03 11:03:12 [14027] Load 21991 rules from /var/lib/rejik/dbl/banlists/spyware/urls.cache                                                                                               
2014-04-03 11:03:12 [14027] Load 5073 rules from /var/lib/rejik/dbl/banlists/virus-detect/urls.cache                                                                                           
2014-04-03 11:03:12 [14027] Load 1 pattern from virus-detect pcre                                                                                                                              
2014-04-03 11:03:12 [14027] Redirector start and working (3.2.11)                                                                                                                              
2014-04-03 11:04:55 [14067] Run make-cache (3.2.11)                                                                                                                                            
2014-04-03 11:04:55 [14067] Make-cache finished                                                                                                                                                
2014-04-03 11:04:55 [14067] Load 4087 rules from /var/lib/rejik/dbl/banlists/banner/urls.cache                                                                                                 
2014-04-03 11:04:55 [14067] Load 82 pattern from banners pcre                                                                                                                                  
2014-04-03 11:04:55 [14067] Load 350 rules from /var/lib/rejik/dbl/banlists/extremism_rf/urls.cache                                                                                            
2014-04-03 11:04:55 [14067] Load 99078 rules from /var/lib/rejik/dbl/banlists/phishing/urls.cache                                                                                              
2014-04-03 11:04:55 [14067] Load 21991 rules from /var/lib/rejik/dbl/banlists/spyware/urls.cache                                                                                               
2014-04-03 11:04:55 [14067] Load 5073 rules from /var/lib/rejik/dbl/banlists/virus-detect/urls.cache                                                                                           
2014-04-03 11:04:55 [14067] Load 1 pattern from virus-detect pcre                                                                                                                              
2014-04-03 11:04:55 [14067] Redirector start and working (3.2.11)

Теперь браузером захожу в гугл
В логе сквида, концовка файла:

Код: Выделить всё

2014/04/03 11:03:00 kid1| Accepting HTTP Socket connections at local=192.168.68.1:3128 remote=[::] FD 13 flags=9                                                                               
2014/04/03 11:03:00 kid1| Store rebuilding is 40.96% complete                                                                                                                                  
2014/04/03 11:03:00 kid1| Done reading /data/Squid swaplog (9765 entries)                                                                                                                      
2014/04/03 11:03:00 kid1| Finished rebuilding storage from disk.                                                                                                                               
2014/04/03 11:03:00 kid1|      9765 Entries scanned                                                                                                                                            
2014/04/03 11:03:00 kid1|         0 Invalid entries.                                                                                                                                           
2014/04/03 11:03:00 kid1|         0 With invalid flags.                                                                                                                                        
2014/04/03 11:03:00 kid1|      9765 Objects loaded.                                                                                                                                            
2014/04/03 11:03:00 kid1|         0 Objects expired.                                                                                                                                           
2014/04/03 11:03:00 kid1|         0 Objects cancelled.                                                                                                                                         
2014/04/03 11:03:00 kid1|         0 Duplicate URLs purged.                                                                                                                                     
2014/04/03 11:03:00 kid1|         0 Swapfile clashes avoided.                                                                                                                                  
2014/04/03 11:03:00 kid1|   Took 0.20 seconds (48250.34 objects/sec).                                                                                                                          
2014/04/03 11:03:00 kid1| Beginning Validation Procedure                                                                                                                                       
2014/04/03 11:03:00 kid1|   Completed Validation Procedure                                                                                                                                     
2014/04/03 11:03:00 kid1|   Validated 9765 Entries                                                                                                                                             
2014/04/03 11:03:00 kid1|   store_swap_size = 158316.00 KB                                                                                                                                     
2014/04/03 11:03:01 kid1| storeLateRelease: released 0 objects                                                                                                                                 
2014/04/03 11:04:55 kid1| Starting new redirector helpers...                                                                                                                                   
2014/04/03 11:04:55 kid1| helperOpenServers: Starting 1/20 'redirector' processes                                                                                                              
2014/04/03 11:04:55 kid1| UPGRADE WARNING: URL rewriter reponded with garbage ' 192.168.68.2/- - CONNECT'. Future Squid will treat this as part of the URL.

В access.log сквида:

Код: Выделить всё

1396512367.471    144 192.168.0.68 TCP_MISS/404 1799 GET http://www.google.com.ua/ - HIER_DIRECT/173.194.39.152 text/html                                                                      
1396512367.667    149 192.168.0.68 TCP_MISS/403 496 GET http://api.mywot.com/0.4/query? - HIER_DIRECT/83.145.197.2 text/html                                                                   
1396512367.794    143 192.168.0.68 TCP_MISS/404 382 GET http://www.google.com/images/errors/robot.png - HIER_DIRECT/173.194.39.145 image/gif                                                   
1396512367.817    140 192.168.0.68 TCP_MISS/404 382 GET http://www.google.com/images/errors/logo_sm_2.png - HIER_DIRECT/173.194.39.145 image/gif                                               
1396512372.638    238 192.168.0.68 TCP_MISS/200 5211 CONNECT easylist-downloads.adblockplus.org:443 - HIER_DIRECT/78.46.70.139 -

Чам же гугл выдаёт белую страницу с надписью:

Код: Выделить всё

404. That’s an error.

The requested URL /192.168.0.68/--GET was not found on this server. That’s all we know. 

На другом русскоязычном сайте, выдало страницу с ошибкой в которой пишеться:

Код: Выделить всё

Запрошенный ресурс "/192.168.0.68/--GET" отсутствует на сервере

В файле redirector.log появилось:

Код: Выделить всё

2014-04-03 11:10:39 banners: 192.168.0.68  - http://top.list.ru/counter?id=77689;t=75;l=1 (urls rule: list.ru/counter)                                                                         
2014-04-03 11:10:39 banners: 192.168.0.68  - http://counter.rambler.ru/top100.cnt?10566 (urls rule: counter.rambler.ru)                                                                        
2014-04-03 11:10:39 banners: 192.168.0.68  - http://top.list.ru/counter?id=77689;js=10;r=;rand=0.4361509337419621 (urls rule: list.ru/counter)                                                 
2014-04-03 11:10:39 banners: 192.168.0.68  - http://top.list.ru/counter?id=77689;t=75;l=1 (urls rule: list.ru/counter)                                                                         
2014-04-03 11:10:39 banners: 192.168.0.68  - http://counter.yadro.ru/hit?t45.6;r;s1360*768*24;uhttp%3A//www.opennet.ru/;0.6085098944590361 (urls rule: yadro.ru)                               
2014-04-03 11:10:39 banners: 192.168.0.68  - http://top.list.ru/counter?id=77689;t=75;l=1 (urls rule: list.ru/counter)                                                                         
2014-04-03 11:10:39 banners: 192.168.0.68  - http://counter.rambler.ru/top100.cnt?10566 (urls rule: counter.rambler.ru)                                                                        
2014-04-03 11:10:40 banners: 192.168.0.68  - http://top.list.ru/counter?id=77689;js=10;r=http%3A//www.opennet.ru/;rand=0.14666429061690545 (urls rule: list.ru/counter)                        
2014-04-03 11:10:40 banners: 192.168.0.68  - http://top.list.ru/counter?id=77689;t=75;l=1 (urls rule: list.ru/counter)                                                                         
2014-04-03 11:10:40 banners: 192.168.0.68  - http://counter.yadro.ru/hit?t45.6;rhttp%3A//www.opennet.ru/;s1360*768*24;uhttp%3A//www.opennet.ru/adv_lc.html;0.17152198463392276 (urls rule: yadr
o.ru)                                                                                                                                                                                          
2014-04-03 11:10:40 banners: 192.168.0.68  - http://counter.rambler.ru/top100.cnt?10566 (urls rule: counter.rambler.ru) 

Тоесть баннеры он попытался вырезать, но и исказил желаемую ссылку, как-то

В файле cache.log добпвились с троки:

Код: Выделить всё

2014/04/03 11:10:39 kid1| Starting new redirector helpers...                                                                                                                                   
2014/04/03 11:10:39 kid1| helperOpenServers: Starting 1/20 'redirector' processes                                                                                                              
2014/04/03 11:10:39 kid1| Starting new redirector helpers...                                                                                                                                   
2014/04/03 11:10:39 kid1| helperOpenServers: Starting 1/20 'redirector' processes

[Slava]

Покажите ещё конфиг режика.

[StreamThreader]

Строки начинающиеся с # не включены

Код: Выделить всё

make-cache /var/lib/rejik/make-cache
error_log /var/log/rejik/redirector.err
change_log /var/log/rejik/redirector.log

<banners>
ban_dir /var/lib/rejik/dbl/banlists/banner
url http://192.168.0.254/squidbanners/1x1.gif

<extremism_rf>
ban_dir /var/lib/rejik/dbl/banlists/extremism_rf
url http://192.168.0.254/squidbanners/extremism_rf.html

<phishing>
ban_dir /var/lib/rejik/dbl/banlists/phishing
url http://192.168.0.254/squidbanners/phishing.html

<spyware>
ban_dir /var/lib/rejik/dbl/banlists/spyware
url http://192.168.0.254/squidbanners/spyware.html

<virus-detect>
ban_dir /var/lib/rejik/dbl/banlists/virus-detect
url http://192.168.0.254/squidbanners/virus.html

<js>
ban_dir /var/lib/rejik/dbl/banlists/js
url http://192.168.0.254/squidbanners/js.js

Вот сквидовский:

Код: Выделить всё

cache_effective_user squid
cache_effective_group squid

cache_mgr admin@ifconfig.com.ua

http_port 192.168.68.1:3128

cache_mem 3000 MB
maximum_object_size_in_memory 1 MB

minimum_object_size 0 KB
maximum_object_size 50 MB

pid_filename /var/run/squid/squid.pid

dns_nameservers 127.0.0.1

visible_hostname router.virtualstudio.local

cache_swap_low 96
cache_swap_high 97

acl localnet src 192.168.0.0/16         # Local network
acl SSL_ports port 443                  # SSl Port
acl Safe_ports port 80                  # http
acl Safe_ports port 21                  # ftp
acl Safe_ports port 443                 # https
acl Safe_ports port 70                  # gopher
acl Safe_ports port 210                 # wais
acl Safe_ports port 1025-65535          # unregistered ports
acl Safe_ports port 280                 # http-mgmt
acl Safe_ports port 488                 # gss-http
acl Safe_ports port 591                 # filemaker
acl Safe_ports port 777                 # multiling http
acl CONNECT method CONNECT              # Connection method
acl youtube dstdomain .youtube.com
acl virtualstudio dstdomain .virtualstudio.local

always_direct allow virtualstudio
always_direct allow localnet
always_direct allow youtube

# Deny requests to certain unsafe ports
http_access deny !Safe_ports

# Deny CONNECT to other than secure SSL ports
http_access deny CONNECT !SSL_ports

# Only allow cachemgr access from localhost
http_access allow localhost manager
http_access deny manager

http_access allow localnet

# Access police by default
http_access deny all

cache_dir aufs /data/Squid 102400 32 512

coredump_dir /var/log/squid

refresh_pattern ^ftp:           1440    20%     10080
refresh_pattern ^gopher:        1440    0%      1440
refresh_pattern -i (/cgi-bin/|\?) 0     0%      0
refresh_pattern .               0       20%     4320

# Rejik
redirect_program /var/lib/rejik/redirector /var/lib/rejik/redirector.conf

[Slava]

не вижу проблем...
затарьте целиком /usr/local/rejik3 и отправьте мне по почте slava@rejik.ru

[StreamThreader]

Отослал.

[Slava]

Поставил себе Вашу папку режика, за исключением бинарников (собрал сам).
Все работает, ошибок в лог сквида не выдает, на гугле не спотыкается.
Единственная задержка, не отдает страницу замены - нет у меня такого адреса.

1. Попробуйте отключить режик в сквиде, что бы убедиться, что дело в нем.
2. Удалите логи и кеш файле режика, проверьте/установите права.

[StreamThreader]

Решил проблему, помогло скачивание новых исходников http://rejik.ru/download/redirector-3.2 ... id_3.4.tgz
Аналогичная проблема viewtopic.php?f=1&t=1313

Сейчас сделал SlackBuild скрипт, как подтвердят, скину ссылку на пакет.

[StreamThreader]

Слакбилд готов - http://slackbuilds.org/repository/14.1/ ... arch=rejik

[Slava]

Спасибо!