Страница 1 из 1
[Решено] Вылетает при первом запуске FULL
Добавлено: Ср апр 02, 2014 12:58
StreamThreader
Добрый день!
У меня возникла проблема на системе Slackware 14.1 (на 14.0 проблемы не было).
Первый раз запускаю на этой системе полное получение списков программой FULL и она мне выдаёт:
Код: Выделить всё
Perl API version v5.16.0 of Text::Iconv does not match v5.18.0 at /usr/lib64/perl5/DynaLoader.pm line 213.
Compilation failed in require at /var/lib/rejik/dbl/dbl_expand line 3.
BEGIN failed--compilation aborted at /var/lib/rejik/dbl/dbl_expand line 3.
На сколько я понял, аддон Text::Iconv создан для API пёрла версии 5.16, а у меня пёрл v5.18.1.
Без даунгрейда пёрла эту проблему решить можно?
Re: Вылетает при первом запуске FULL
Добавлено: Ср апр 02, 2014 13:54
Slava
Для проверки поставил себе Slackware 14.1.
В системе не оказалось либы Text::Iconv, такого пакета я так же не нашел, так что поставил либу вручную:
perl -MCPAN -e shell
>install Text::Iconv
После этого скрипты отработали корректно, листы качаются и парсятся.
При этом версия перла 5.18.1
Могу предположить, что Вы где-то взяли старую версию Text::Iconv и она не совместима с текущем перлом.
Где брали, как ставили?
Попробуйте удалить и поставить из cpan.
Re: Вылетает при первом запуске FULL
Добавлено: Ср апр 02, 2014 16:18
StreamThreader
Окзываеться нельзя удалить модули пёрла, точнее нет возможности.
Вообщем нашёл я слакбилд
http://slackbuilds.org/repository/13.1/ ... ext-Iconv/ собрал, по полученному пакету удалил предыдущии файлы на сервере, начал устанавливать пакет, оказалось что он у меня уже был собран, есть подозрение что я его ставил для спам ассасина.
Всё заработало, только вот при добавлении любого правила в режик, появляется строка в сквиде:
Код: Выделить всё
UPGRADE WARNING: URL rewriter reponded with garbage ' ИП прокси сервера/- - GET'. Future Squid will treat this as part of the URL.
А сайты ругаються на то что я ищу у них по не существующему пути, а в пути "ИП прокси сервера/- - GET"
Вырубал все правила из режика, работает нормально, только добавлю сразу проблемы.
такое впечатление, что режик не правильно передаёт аргументы сквиду.
Re: Вылетает при первом запуске FULL
Добавлено: Чт апр 03, 2014 7:50
Slava
Что говорит check-redirector (
http://rejik.ru/index_ru_3_0.html пункт 14) ?
И не совсем понятно, на какой стадии у Вас проявляется ошибка, опишите подробнее.
Re: Вылетает при первом запуске FULL
Добавлено: Чт апр 03, 2014 10:53
StreamThreader
Да, оказалсь что у пользователя под которым запускался сквид и режик не было шела. Поправил, запустил check-redirector
Вывод программы:
Код: Выделить всё
root@router:/var/lib/rejik/tools# ./check-redirector
http://sex.ru 127.0.0.1/- - GET
В логах сквида иногда появляется строка:
Код: Выделить всё
UPGRADE WARNING: URL rewriter reponded with garbage ' 192.168.0.68/- - GET'. Future Squid will treat this as part of the URL.
А на сайте к примеру гугла открывается страница:
Код: Выделить всё
404. That’s an error.
The requested URL /192.168.0.68/--GET was not found on this server. That’s all we know.
Добавил блокировку прона, сделал чек, вывод:
Код: Выделить всё
http://192.168.0.254/squidbanners/porno.html 127.0.0.1/- - GET
Re: Вылетает при первом запуске FULL
Добавлено: Чт апр 03, 2014 11:29
Slava
Я правильно понял, что при заходе на гугл у Вас всегда появляется страница с ошибкой?
В логи режика что при этом пишет?
отредактируйте check-redirector:
1. Вместо
http://sex.ru впишите урл страницы гугла.
2. Вместо 127.0.0.1 впишите ip клиента, на котором запускали бруазер.
и покажите вывод
Re: Вылетает при первом запуске FULL
Добавлено: Чт апр 03, 2014 12:08
StreamThreader
Отредактировал, запустил:
Код: Выделить всё
root@router:/var/lib/rejik/tools# ./check-redirector
http://google.com.ua 192.168.0.68/- - GET
Свежий запуск сквида, записи появились в файле cache.log:
Код: Выделить всё
2014/04/03 11:03:00 kid1| Set Current Directory to /var/log/squid
2014/04/03 11:03:00 kid1| Starting Squid Cache version 3.4.4 for x86_64-slackware-linux-gnu...
2014/04/03 11:03:00 kid1| Process ID 14010
2014/04/03 11:03:00 kid1| Process Roles: worker
2014/04/03 11:03:00 kid1| With 1024 file descriptors available
2014/04/03 11:03:00 kid1| Initializing IP Cache...
2014/04/03 11:03:00 kid1| DNS Socket created at 0.0.0.0, FD 8
2014/04/03 11:03:00 kid1| Adding nameserver 127.0.0.1 from squid.conf
2014/04/03 11:03:00 kid1| helperOpenServers: Starting 0/20 'redirector' processes
2014/04/03 11:03:00 kid1| helperOpenServers: No 'redirector' processes needed.
2014/04/03 11:03:00 kid1| Logfile: opening log daemon:/var/log/squid/access.log
2014/04/03 11:03:00 kid1| Logfile Daemon: opening log /var/log/squid/access.log
2014/04/03 11:03:00 kid1| Store logging disabled
2014/04/03 11:03:00 kid1| Swap maxSize 104857600 + 3072000 KB, estimated 8302276 objects
2014/04/03 11:03:00 kid1| Target number of buckets: 415113
2014/04/03 11:03:00 kid1| Using 524288 Store buckets
2014/04/03 11:03:00 kid1| Max Mem size: 3072000 KB
2014/04/03 11:03:00 kid1| Max Swap size: 104857600 KB
2014/04/03 11:03:00 kid1| Rebuilding storage in /data/Squid (clean log)
2014/04/03 11:03:00 kid1| Using Least Load store dir selection
2014/04/03 11:03:00 kid1| Set Current Directory to /var/log/squid
2014/04/03 11:03:00 kid1| Finished loading MIME types and icons.
2014/04/03 11:03:00 kid1| HTCP Disabled.
2014/04/03 11:03:00 kid1| Squid plugin modules loaded: 0
2014/04/03 11:03:00 kid1| Accepting HTTP Socket connections at local=192.168.68.1:3128 remote=[::] FD 13 flags=9
2014/04/03 11:03:00 kid1| Store rebuilding is 40.96% complete
2014/04/03 11:03:00 kid1| Done reading /data/Squid swaplog (9765 entries)
2014/04/03 11:03:00 kid1| Finished rebuilding storage from disk.
2014/04/03 11:03:00 kid1| 9765 Entries scanned
2014/04/03 11:03:00 kid1| 0 Invalid entries.
2014/04/03 11:03:00 kid1| 0 With invalid flags.
2014/04/03 11:03:00 kid1| 9765 Objects loaded.
2014/04/03 11:03:00 kid1| 0 Objects expired.
2014/04/03 11:03:00 kid1| 0 Objects cancelled.
2014/04/03 11:03:00 kid1| 0 Duplicate URLs purged.
2014/04/03 11:03:00 kid1| 0 Swapfile clashes avoided.
2014/04/03 11:03:00 kid1| Took 0.20 seconds (48250.34 objects/sec).
2014/04/03 11:03:00 kid1| Beginning Validation Procedure
2014/04/03 11:03:00 kid1| Completed Validation Procedure
2014/04/03 11:03:00 kid1| Validated 9765 Entries
2014/04/03 11:03:00 kid1| store_swap_size = 158316.00 KB
2014/04/03 11:03:01 kid1| storeLateRelease: released 0 objects
В файле redirector.err
Код: Выделить всё
2014-04-03 11:03:12 [14027] Run make-cache (3.2.11)
2014-04-03 11:03:12 [14027] Make-cache finished
2014-04-03 11:03:12 [14027] Load 4087 rules from /var/lib/rejik/dbl/banlists/banner/urls.cache
2014-04-03 11:03:12 [14027] Load 82 pattern from banners pcre
2014-04-03 11:03:12 [14027] Load 350 rules from /var/lib/rejik/dbl/banlists/extremism_rf/urls.cache
2014-04-03 11:03:12 [14027] Load 99078 rules from /var/lib/rejik/dbl/banlists/phishing/urls.cache
2014-04-03 11:03:12 [14027] Load 21991 rules from /var/lib/rejik/dbl/banlists/spyware/urls.cache
2014-04-03 11:03:12 [14027] Load 5073 rules from /var/lib/rejik/dbl/banlists/virus-detect/urls.cache
2014-04-03 11:03:12 [14027] Load 1 pattern from virus-detect pcre
2014-04-03 11:03:12 [14027] Redirector start and working (3.2.11)
2014-04-03 11:04:55 [14067] Run make-cache (3.2.11)
2014-04-03 11:04:55 [14067] Make-cache finished
2014-04-03 11:04:55 [14067] Load 4087 rules from /var/lib/rejik/dbl/banlists/banner/urls.cache
2014-04-03 11:04:55 [14067] Load 82 pattern from banners pcre
2014-04-03 11:04:55 [14067] Load 350 rules from /var/lib/rejik/dbl/banlists/extremism_rf/urls.cache
2014-04-03 11:04:55 [14067] Load 99078 rules from /var/lib/rejik/dbl/banlists/phishing/urls.cache
2014-04-03 11:04:55 [14067] Load 21991 rules from /var/lib/rejik/dbl/banlists/spyware/urls.cache
2014-04-03 11:04:55 [14067] Load 5073 rules from /var/lib/rejik/dbl/banlists/virus-detect/urls.cache
2014-04-03 11:04:55 [14067] Load 1 pattern from virus-detect pcre
2014-04-03 11:04:55 [14067] Redirector start and working (3.2.11)
Теперь браузером захожу в гугл
В логе сквида, концовка файла:
Код: Выделить всё
2014/04/03 11:03:00 kid1| Accepting HTTP Socket connections at local=192.168.68.1:3128 remote=[::] FD 13 flags=9
2014/04/03 11:03:00 kid1| Store rebuilding is 40.96% complete
2014/04/03 11:03:00 kid1| Done reading /data/Squid swaplog (9765 entries)
2014/04/03 11:03:00 kid1| Finished rebuilding storage from disk.
2014/04/03 11:03:00 kid1| 9765 Entries scanned
2014/04/03 11:03:00 kid1| 0 Invalid entries.
2014/04/03 11:03:00 kid1| 0 With invalid flags.
2014/04/03 11:03:00 kid1| 9765 Objects loaded.
2014/04/03 11:03:00 kid1| 0 Objects expired.
2014/04/03 11:03:00 kid1| 0 Objects cancelled.
2014/04/03 11:03:00 kid1| 0 Duplicate URLs purged.
2014/04/03 11:03:00 kid1| 0 Swapfile clashes avoided.
2014/04/03 11:03:00 kid1| Took 0.20 seconds (48250.34 objects/sec).
2014/04/03 11:03:00 kid1| Beginning Validation Procedure
2014/04/03 11:03:00 kid1| Completed Validation Procedure
2014/04/03 11:03:00 kid1| Validated 9765 Entries
2014/04/03 11:03:00 kid1| store_swap_size = 158316.00 KB
2014/04/03 11:03:01 kid1| storeLateRelease: released 0 objects
2014/04/03 11:04:55 kid1| Starting new redirector helpers...
2014/04/03 11:04:55 kid1| helperOpenServers: Starting 1/20 'redirector' processes
2014/04/03 11:04:55 kid1| UPGRADE WARNING: URL rewriter reponded with garbage ' 192.168.68.2/- - CONNECT'. Future Squid will treat this as part of the URL.
В access.log сквида:
Код: Выделить всё
1396512367.471 144 192.168.0.68 TCP_MISS/404 1799 GET http://www.google.com.ua/ - HIER_DIRECT/173.194.39.152 text/html
1396512367.667 149 192.168.0.68 TCP_MISS/403 496 GET http://api.mywot.com/0.4/query? - HIER_DIRECT/83.145.197.2 text/html
1396512367.794 143 192.168.0.68 TCP_MISS/404 382 GET http://www.google.com/images/errors/robot.png - HIER_DIRECT/173.194.39.145 image/gif
1396512367.817 140 192.168.0.68 TCP_MISS/404 382 GET http://www.google.com/images/errors/logo_sm_2.png - HIER_DIRECT/173.194.39.145 image/gif
1396512372.638 238 192.168.0.68 TCP_MISS/200 5211 CONNECT easylist-downloads.adblockplus.org:443 - HIER_DIRECT/78.46.70.139 -
Чам же гугл выдаёт белую страницу с надписью:
Код: Выделить всё
404. That’s an error.
The requested URL /192.168.0.68/--GET was not found on this server. That’s all we know.
На другом русскоязычном сайте, выдало страницу с ошибкой в которой пишеться:
Код: Выделить всё
Запрошенный ресурс "/192.168.0.68/--GET" отсутствует на сервере
В файле redirector.log появилось:
Код: Выделить всё
2014-04-03 11:10:39 banners: 192.168.0.68 - http://top.list.ru/counter?id=77689;t=75;l=1 (urls rule: list.ru/counter)
2014-04-03 11:10:39 banners: 192.168.0.68 - http://counter.rambler.ru/top100.cnt?10566 (urls rule: counter.rambler.ru)
2014-04-03 11:10:39 banners: 192.168.0.68 - http://top.list.ru/counter?id=77689;js=10;r=;rand=0.4361509337419621 (urls rule: list.ru/counter)
2014-04-03 11:10:39 banners: 192.168.0.68 - http://top.list.ru/counter?id=77689;t=75;l=1 (urls rule: list.ru/counter)
2014-04-03 11:10:39 banners: 192.168.0.68 - http://counter.yadro.ru/hit?t45.6;r;s1360*768*24;uhttp%3A//www.opennet.ru/;0.6085098944590361 (urls rule: yadro.ru)
2014-04-03 11:10:39 banners: 192.168.0.68 - http://top.list.ru/counter?id=77689;t=75;l=1 (urls rule: list.ru/counter)
2014-04-03 11:10:39 banners: 192.168.0.68 - http://counter.rambler.ru/top100.cnt?10566 (urls rule: counter.rambler.ru)
2014-04-03 11:10:40 banners: 192.168.0.68 - http://top.list.ru/counter?id=77689;js=10;r=http%3A//www.opennet.ru/;rand=0.14666429061690545 (urls rule: list.ru/counter)
2014-04-03 11:10:40 banners: 192.168.0.68 - http://top.list.ru/counter?id=77689;t=75;l=1 (urls rule: list.ru/counter)
2014-04-03 11:10:40 banners: 192.168.0.68 - http://counter.yadro.ru/hit?t45.6;rhttp%3A//www.opennet.ru/;s1360*768*24;uhttp%3A//www.opennet.ru/adv_lc.html;0.17152198463392276 (urls rule: yadr
o.ru)
2014-04-03 11:10:40 banners: 192.168.0.68 - http://counter.rambler.ru/top100.cnt?10566 (urls rule: counter.rambler.ru)
Тоесть баннеры он попытался вырезать, но и исказил желаемую ссылку, как-то
В файле cache.log добпвились с троки:
Код: Выделить всё
2014/04/03 11:10:39 kid1| Starting new redirector helpers...
2014/04/03 11:10:39 kid1| helperOpenServers: Starting 1/20 'redirector' processes
2014/04/03 11:10:39 kid1| Starting new redirector helpers...
2014/04/03 11:10:39 kid1| helperOpenServers: Starting 1/20 'redirector' processes
Re: Вылетает при первом запуске FULL
Добавлено: Чт апр 03, 2014 13:49
Slava
Покажите ещё конфиг режика.
Re: Вылетает при первом запуске FULL
Добавлено: Чт апр 03, 2014 14:06
StreamThreader
Строки начинающиеся с # не включены
Код: Выделить всё
make-cache /var/lib/rejik/make-cache
error_log /var/log/rejik/redirector.err
change_log /var/log/rejik/redirector.log
<banners>
ban_dir /var/lib/rejik/dbl/banlists/banner
url http://192.168.0.254/squidbanners/1x1.gif
<extremism_rf>
ban_dir /var/lib/rejik/dbl/banlists/extremism_rf
url http://192.168.0.254/squidbanners/extremism_rf.html
<phishing>
ban_dir /var/lib/rejik/dbl/banlists/phishing
url http://192.168.0.254/squidbanners/phishing.html
<spyware>
ban_dir /var/lib/rejik/dbl/banlists/spyware
url http://192.168.0.254/squidbanners/spyware.html
<virus-detect>
ban_dir /var/lib/rejik/dbl/banlists/virus-detect
url http://192.168.0.254/squidbanners/virus.html
<js>
ban_dir /var/lib/rejik/dbl/banlists/js
url http://192.168.0.254/squidbanners/js.js
Вот сквидовский:
Код: Выделить всё
cache_effective_user squid
cache_effective_group squid
cache_mgr admin@ifconfig.com.ua
http_port 192.168.68.1:3128
cache_mem 3000 MB
maximum_object_size_in_memory 1 MB
minimum_object_size 0 KB
maximum_object_size 50 MB
pid_filename /var/run/squid/squid.pid
dns_nameservers 127.0.0.1
visible_hostname router.virtualstudio.local
cache_swap_low 96
cache_swap_high 97
acl localnet src 192.168.0.0/16 # Local network
acl SSL_ports port 443 # SSl Port
acl Safe_ports port 80 # http
acl Safe_ports port 21 # ftp
acl Safe_ports port 443 # https
acl Safe_ports port 70 # gopher
acl Safe_ports port 210 # wais
acl Safe_ports port 1025-65535 # unregistered ports
acl Safe_ports port 280 # http-mgmt
acl Safe_ports port 488 # gss-http
acl Safe_ports port 591 # filemaker
acl Safe_ports port 777 # multiling http
acl CONNECT method CONNECT # Connection method
acl youtube dstdomain .youtube.com
acl virtualstudio dstdomain .virtualstudio.local
always_direct allow virtualstudio
always_direct allow localnet
always_direct allow youtube
# Deny requests to certain unsafe ports
http_access deny !Safe_ports
# Deny CONNECT to other than secure SSL ports
http_access deny CONNECT !SSL_ports
# Only allow cachemgr access from localhost
http_access allow localhost manager
http_access deny manager
http_access allow localnet
# Access police by default
http_access deny all
cache_dir aufs /data/Squid 102400 32 512
coredump_dir /var/log/squid
refresh_pattern ^ftp: 1440 20% 10080
refresh_pattern ^gopher: 1440 0% 1440
refresh_pattern -i (/cgi-bin/|\?) 0 0% 0
refresh_pattern . 0 20% 4320
# Rejik
redirect_program /var/lib/rejik/redirector /var/lib/rejik/redirector.conf
Re: Вылетает при первом запуске FULL
Добавлено: Чт апр 03, 2014 14:21
Slava
не вижу проблем...
затарьте целиком /usr/local/rejik3 и отправьте мне по почте
slava@rejik.ru
Re: Вылетает при первом запуске FULL
Добавлено: Чт апр 03, 2014 22:05
StreamThreader
Отослал.
Re: Вылетает при первом запуске FULL
Добавлено: Пн апр 07, 2014 13:47
Slava
Поставил себе Вашу папку режика, за исключением бинарников (собрал сам).
Все работает, ошибок в лог сквида не выдает, на гугле не спотыкается.
Единственная задержка, не отдает страницу замены - нет у меня такого адреса.
1. Попробуйте отключить режик в сквиде, что бы убедиться, что дело в нем.
2. Удалите логи и кеш файле режика, проверьте/установите права.
Re: Вылетает при первом запуске FULL
Добавлено: Вс апр 13, 2014 18:34
StreamThreader
Решил проблему, помогло скачивание новых исходников
http://rejik.ru/download/redirector-3.2 ... id_3.4.tgz
Аналогичная проблема
viewtopic.php?f=1&t=1313
Сейчас сделал SlackBuild скрипт, как подтвердят, скину ссылку на пакет.
Re: [Решено] Вылетает при первом запуске FULL
Добавлено: Ср апр 23, 2014 9:06
StreamThreader
Re: [Решено] Вылетает при первом запуске FULL
Добавлено: Ср апр 23, 2014 9:13
Slava
Спасибо!