rejik грузит проц

Обсуждение программы редиректора
Ответить
k909
Сообщения: 9
Зарегистрирован: Пт июл 28, 2006 15:37

rejik грузит проц

Сообщение k909 »

Решил связать sams+rejik+squid

Конечно не все правила для разрешения делает, но я нашел выход.
И стали пользователи жаловаться, что очень медленно инет грузится.
И тут я посмотрел нагрузку, редиректор грузит все 4 ядра на 100%https://www.dropbox.com/s/1mapw11ahm3ch ... u.jpg?dl=0
Надеюсь скрин видно?

Увеличение redirect children - не сняло нагрузки.

Для rejik использую dbl списки

Используется
OS Ubuntu 12.04 LTS
Apache/2.2.22
mysql 5.5.40
php 5.3.10
squid 3.1.19
samba нет
авторизация ip
CPU 4 core
vmware

Slava
Site Admin
Сообщения: 2251
Зарегистрирован: Пт апр 02, 2004 12:34
Контактная информация:

Re: rejik грузит проц

Сообщение Slava »

Покажите конфиг и логи режика.

k909
Сообщения: 9
Зарегистрирован: Пт июл 28, 2006 15:37

Re: rejik грузит проц

Сообщение k909 »

Логи
https://www.dropbox.com/s/7ksjqxaparf68 ... rr.gz?dl=0
https://www.dropbox.com/s/a36yuqo1j4ndr ... og.gz?dl=0

Нагрузка 09.02.2015
https://www.dropbox.com/s/x8ckj1yng26wp ... 2.jpg?dl=0
Конфиг

Код: Выделить всё

error_log /opt/rejik3/redirector.err
change_log /opt/rejik3/redirector.log
make-cache /opt/rejik3/make-cache
# /opt/rejik3/redirector.conf
#allow_urls /opt/rejik3/banlists/allow_urls

<BANNER>  
ban_dir /opt/rejik3/banlists/banners
url http://127.0.0.1/ban/1x1.gif
#log off

<PORNO>  
ban_dir  /opt/rejik3/banlists/porno
url http://127.0.0.1/ban/porno.html

<MP3>  
ban_dir /opt/rejik3/banlists/mp3
url http://127.0.0.1/ban/mp3.html

<JS>
ban_dir /opt/rejik3/banlists/js
url http://127.0.0.1/ban/js.js
#log off


<_sams_4e533cc415366_denied>
work_ip f:/opt/rejik3/4e533cc415366.sams
ban_dir /opt/rejik3/_sams_banlists/4e533cc415366_denied
url http://192.168.XXX.XXX/sams/messages/blocked.php?action=rejikdenied&url=#URL#  #_sams_
<_sams_4e533cc415366_regex>
work_ip f:/opt/rejik3/4e533cc415366.sams
ban_dir /opt/rejik3/_sams_banlists/4e533cc415366_regex
url http://192.168.XXX.XXX/sams/messages/blocked.php?action=rejikdenied&url=#URL#  #_sams_
<_sams_4f2fd18903441_denied>
work_ip f:/opt/rejik3/4f2fd18903441.sams
ban_dir /opt/rejik3/_sams_banlists/4f2fd18903441_denied
url http://192.168.XXX.XXX/sams/messages/blocked.php?action=rejikdenied&url=#URL#  #_sams_
<_sams_505726b9bdf8e_denied>
work_ip f:/opt/rejik3/505726b9bdf8e.sams
ban_dir /opt/rejik3/_sams_banlists/505726b9bdf8e_denied
url http://192.168.XXX.XXX/sams/messages/blocked.php?action=rejikdenied&url=#URL#  #_sams_
<_sams_5057fe1d04de5_allow>
work_ip f:/opt/rejik3/5057fe1d04de5.sams
ban_dir /opt/rejik3/_sams_banlists/5057fe1d04de5_allow
url http://192.168.XXX.XXX/sams/messages/blocked.php?action=rejikdenied&url=#URL#  #_sams_
reverse  #_sams_
<_sams_505accd858712_allow>
work_ip f:/opt/rejik3/505accd858712.sams
ban_dir /opt/rejik3/_sams_banlists/505accd858712_allow
url http://192.168.XXX.XXX/sams/messages/blocked.php?action=rejikdenied&url=#URL#  #_sams_
reverse  #_sams_
<_sams_5062d1d010470_denied>
work_ip f:/opt/rejik3/5062d1d010470.sams
ban_dir /opt/rejik3/_sams_banlists/5062d1d010470_denied
url http://192.168.XXX.XXX/sams/messages/blocked.php?action=rejikdenied&url=#URL#  #_sams_
<_sams_506947963efbb_denied>
work_ip f:/opt/rejik3/506947963efbb.sams
ban_dir /opt/rejik3/_sams_banlists/506947963efbb_denied
url http://192.168.XXX.XXX/sams/messages/blocked.php?action=rejikdenied&url=#URL#  #_sams_
<_sams_506ed04673f96_denied>
work_ip f:/opt/rejik3/506ed04673f96.sams
ban_dir /opt/rejik3/_sams_banlists/506ed04673f96_denied
url http://192.168.XXX.XXX/sams/messages/blocked.php?action=rejikdenied&url=#URL#  #_sams_
<_sams_5119c84a4103c_denied>
work_ip f:/opt/rejik3/5119c84a4103c.sams
ban_dir /opt/rejik3/_sams_banlists/5119c84a4103c_denied
url http://192.168.XXX.XXX/sams/messages/blocked.php?action=rejikdenied&url=#URL#  #_sams_
<_sams_5125a41eada17_denied>
work_ip f:/opt/rejik3/5125a41eada17.sams
ban_dir /opt/rejik3/_sams_banlists/5125a41eada17_denied
url http://192.168.XXX.XXX/sams/messages/blocked.php?action=rejikdenied&url=#URL#  #_sams_
<_sams_5125a41eada17_regex>
work_ip f:/opt/rejik3/5125a41eada17.sams
ban_dir /opt/rejik3/_sams_banlists/5125a41eada17_regex
url http://192.168.XXX.XXX/sams/messages/blocked.php?action=rejikdenied&url=#URL#  #_sams_
<_sams_51b6abb0b0e76_allow>
work_ip f:/opt/rejik3/51b6abb0b0e76.sams
ban_dir /opt/rejik3/_sams_banlists/51b6abb0b0e76_allow
url http://192.168.XXX.XXX/sams/messages/blocked.php?action=rejikdenied&url=#URL#  #_sams_
reverse  #_sams_
<_sams_51dfbd0f3ed27_denied>
work_ip f:/opt/rejik3/51dfbd0f3ed27.sams
ban_dir /opt/rejik3/_sams_banlists/51dfbd0f3ed27_denied
url http://192.168.XXX.XXX/sams/messages/blocked.php?action=rejikdenied&url=#URL#  #_sams_
<_sams_523ad3343ad1a_denied>
work_ip f:/opt/rejik3/523ad3343ad1a.sams
ban_dir /opt/rejik3/_sams_banlists/523ad3343ad1a_denied
url http://192.168.XXX.XXX/sams/messages/blocked.php?action=rejikdenied&url=#URL#  #_sams_
<_sams_523ad3343ad1a_regex>
work_ip f:/opt/rejik3/523ad3343ad1a.sams
ban_dir /opt/rejik3/_sams_banlists/523ad3343ad1a_regex
url http://192.168.XXX.XXX/sams/messages/blocked.php?action=rejikdenied&url=#URL#  #_sams_
<_sams_52dfb749902e9_allow>
work_ip f:/opt/rejik3/52dfb749902e9.sams
ban_dir /opt/rejik3/_sams_banlists/52dfb749902e9_allow
url http://192.168.XXX.XXX/sams/messages/blocked.php?action=rejikdenied&url=#URL#  #_sams_
reverse  #_sams_
<_sams_52ef41ea12e17_allow>
work_ip f:/opt/rejik3/52ef41ea12e17.sams
ban_dir /opt/rejik3/_sams_banlists/52ef41ea12e17_allow
url http://192.168.XXX.XXX/sams/messages/blocked.php?action=rejikdenied&url=#URL#  #_sams_
reverse  #_sams_
<_sams_5303122e80659_denied>
work_ip f:/opt/rejik3/5303122e80659.sams
ban_dir /opt/rejik3/_sams_banlists/5303122e80659_denied
url http://192.168.XXX.XXX/sams/messages/blocked.php?action=rejikdenied&url=#URL#  #_sams_
<_sams_538487e185b07_allow>
work_ip f:/opt/rejik3/538487e185b07.sams
ban_dir /opt/rejik3/_sams_banlists/538487e185b07_allow
url http://192.168.XXX.XXX/sams/messages/blocked.php?action=rejikdenied&url=#URL#  #_sams_
reverse  #_sams_
<_sams_54cf456f00ade_denied>
work_ip f:/opt/rejik3/54cf456f00ade.sams
ban_dir /opt/rejik3/_sams_banlists/54cf456f00ade_denied
url http://192.168.XXX.XXX/sams/messages/blocked.php?action=rejikdenied&url=#URL#  #_sams_
<_sams_disabled_ip>
work_ip f:/opt/rejik3/disabled_ip.sams
ban_dir /opt/rejik3/_sams_banlists/localhosts
url http://192.168.XXX.XXX/sams/messages/blocked.php?action=rejikdisable&url=#URL#&user=#IDENT#&ip=#IP#  #_sams_
reverse  #_sams_
<_sams_disabled_id>
work_id f:/opt/rejik3/disabled_id.sams
ban_dir /opt/rejik3/_sams_banlists/localhosts
url http://192.168.XXX.XXX/sams/messages/blocked.php?action=rejikdisable&url=#URL#&user=#IDENT#&ip=#IP#  #_sams_
reverse  #_sams_

Slava
Site Admin
Сообщения: 2251
Зарегистрирован: Пт апр 02, 2004 12:34
Контактная информация:

Re: rejik грузит проц

Сообщение Slava »

Посмотрим на загрузку правил одним процессом:

2015-02-09 06:47:42 [32557] Load 31 rules from /opt/rejik3/banlists/banners/allow_urls.cache
2015-02-09 06:47:42 [32557] Load 342638 rules from /opt/rejik3/banlists/porno/urls.cache
2015-02-09 06:47:42 [32557] Load 544118 rules from /opt/rejik3/_sams_banlists/4e533cc415366_denied/urls.cache
2015-02-09 06:47:42 [32557] Load 28 pattern from _sams_4e533cc415366_regex pcre
2015-02-09 06:47:42 [32557] Load 539192 rules from /opt/rejik3/_sams_banlists/4f2fd18903441_denied/urls.cache
2015-02-09 06:47:42 [32557] Load 514544 rules from /opt/rejik3/_sams_banlists/505726b9bdf8e_denied/urls.cache
2015-02-09 06:47:42 [32557] Load 227 rules from /opt/rejik3/_sams_banlists/5057fe1d04de5_allow/urls.cache
2015-02-09 06:47:42 [32557] Load 279 rules from /opt/rejik3/_sams_banlists/505accd858712_allow/urls.cache
2015-02-09 06:47:42 [32557] Load 541925 rules from /opt/rejik3/_sams_banlists/5062d1d010470_denied/urls.cache
2015-02-09 06:47:42 [32557] Load 542243 rules from /opt/rejik3/_sams_banlists/506947963efbb_denied/urls.cache
2015-02-09 06:47:42 [32557] Load 544118 rules from /opt/rejik3/_sams_banlists/506ed04673f96_denied/urls.cache
2015-02-09 06:47:43 [32557] Load 191144 rules from /opt/rejik3/_sams_banlists/5119c84a4103c_denied/urls.cache
2015-02-09 06:47:43 [32557] Load 543414 rules from /opt/rejik3/_sams_banlists/5125a41eada17_denied/urls.cache
2015-02-09 06:47:43 [32557] Load 113 pattern from _sams_5125a41eada17_regex pcre
2015-02-09 06:47:43 [32557] Load 372 rules from /opt/rejik3/_sams_banlists/51b6abb0b0e76_allow/urls.cache
2015-02-09 06:47:43 [32557] Load 105493 rules from /opt/rejik3/_sams_banlists/51dfbd0f3ed27_denied/urls.cache
2015-02-09 06:47:43 [32557] Load 544118 rules from /opt/rejik3/_sams_banlists/523ad3343ad1a_denied/urls.cache
2015-02-09 06:47:43 [32557] Load 113 pattern from _sams_523ad3343ad1a_regex pcre
2015-02-09 06:47:43 [32557] Load 228 rules from /opt/rejik3/_sams_banlists/52dfb749902e9_allow/urls.cache
2015-02-09 06:47:43 [32557] Load 373 rules from /opt/rejik3/_sams_banlists/52ef41ea12e17_allow/urls.cache
2015-02-09 06:47:43 [32557] Load 105493 rules from /opt/rejik3/_sams_banlists/5303122e80659_denied/urls.cache
2015-02-09 06:47:43 [32557] Load 110 rules from /opt/rejik3/_sams_banlists/538487e185b07_allow/urls.cache
2015-02-09 06:47:43 [32557] Load 539162 rules from /opt/rejik3/_sams_banlists/54cf456f00ade_denied/urls.cache
2015-02-09 06:47:43 [32557] Load 3 rules from /opt/rejik3/_sams_banlists/localhosts/urls.cache
2015-02-09 06:47:43 [32557] Load 3 rules from /opt/rejik3/_sams_banlists/localhosts/urls.cache

Итого, каждый запрос проверяется на 5.6 миллионов правил.
Это достаточно большое количество, чтобы создать нагрузку на процессор.
Для сравнения, самый большой список порно в DBL содержит 340 тысяч правил.
При этом самый большой лист, размером в 544118 грузится аж три раза в разных секциях.
Попробуйте реорганизовать секции, чтобы уменьшить их количество.
Если не секрет, что за листы Вы используете, с таким объёмом правил?

k909
Сообщения: 9
Зарегистрирован: Пт июл 28, 2006 15:37

Re: rejik грузит проц

Сообщение k909 »

секции генерит sams

544118 - это список, где запреты действуют на 95% пользователей, но разные разрешающие правила .
например, всем запрещены web почта, кроме двух групп (2 и 3 пользователя соответственно), при том, что одиним разрешен mail.ru, а другим mail.ru и yandex.ru

воткнуть свои - нереально, он (sams) перелопачивает и удаляет все чужие правила.
и тогда встает вопрос, или управлять вручную (списки + пользователи) = и тогда возможно оптимизировать списки
или управлять через sams, как результат - неоптимизированные списки+ нагрузка на проц...

porno список убрал, посмотрю нагрузку.

все таки необходимо уменьшение количества списков, и тогда остается первый вариант, трудоемкий :shock:

на сколько нужно уменьшить базу правил?

Slava
Site Admin
Сообщения: 2251
Зарегистрирован: Пт апр 02, 2004 12:34
Контактная информация:

Re: rejik грузит проц

Сообщение Slava »

В идеале, каждое правило должно встречаться только один раз.
Какое количество правил начнет загружать проц - зависит от производительности сервера и количества запросов.

У Вас везде набор правил и work_ip, для кого они работают.
Можно, по крайней мере, объединить work_ip для одинаковых листов, а не дублировать листы.
Так же можно использовать allow_id, секция будет работать для всех, кроме указанных.

k909
Сообщения: 9
Зарегистрирован: Пт июл 28, 2006 15:37

Re: rejik грузит проц

Сообщение k909 »

спасибо за рекомендации

перейду на ручной режим. у меня получается получается 6-8 групп пользователей (около 200 пользователей)
конечно потребуется время.
готов сообщить результаты, думаю за месяц управиться.

Ответить