squid 4.5 , ssl bump, не скачиваются сертификаты

[sles]

Добрый день!

Обнаружилась проблема, rejik мешает squid скачивать сертификаты, а именно вот так выглядит:

root@inetgw1:/var/log/squid# grep cacerts.thawte.com access.log
1548045130.376 307 - TCP_MISS/200 1 GET http://cacerts.thawte.com/ThawteRSACA20 ... =-myport=0 - FIRSTUP_PARENT/127.0.0.1 application/ocsp-response
1548045130.499 0 - TCP_MEM_HIT/200 1 GET http://cacerts.thawte.com/ThawteRSACA20 ... =-myport=0 - HIER_NONE/- application/ocsp-response

Если выключить rejik, то скачивается нормально:

1548045348.555 109 - TCP_MISS/200 1165 GET http://cacerts.thawte.com/ThawteRSACA2018.crt - HIER_DIRECT/93.184.220.29 application/x-x509-ca-cert

Разработчики squid утверждают, что проблема в редиректоре, цитирую:
These mangled URLs are the expected result of a URL-rewrite/redirector
helper written to use the long ago deprecated Squid-1.x version of
helper protocol. Being used in a Squid configured to allow whitespace in
URLs.

When those two features are combined there is no way for Squid to
identify garbage after the end of URL in helper 1.0 syntax response,
from a v2.x syntax response with whitespace in the URL.

Squid-3.5 and later are only backward compatible to the Squid-2.0 helper
protocol. The older syntax is no longer supported at all.


Details of the Squid helper protocol can be found at
<https://wiki.squid-cache.org/Features/A ... nipulation>.


Ссылка на обсуждение
http://lists.squid-cache.org/pipermail/ ... 19978.html

у меня еще воспроизводится замечательно с личным кабинетом мтс, а именно, в моём случае на
https://ihelper.nnov.mts.ru/selfcare/welcome.aspx

Нельзя ли доработать rejik для поддержки текущего протокола?

Спасибо!

[Slava]

Добрый день.

Работает по новому протоколу, если вы поставили: redirector-*_squid_3.4.tgz Редиректор * для squid версии 3.4 и старше
Включите логирование в режике, если отключено.
В логах должна быть запись, что или заблокировал или не понял урл.

[sles]

Доброе утро!

Установлен redirector-3.2.12_squid_3.4

В логе ошибок:

2019-01-21 08:50:03 [13841] Error convert input string to input structure str=http://cacerts.thawte.com/ThawteRSACA2018.crt -/ffff:ffff:ffff:ffff:ffff:ffff:ffff:ffff - GET myip=- myport=0

Суть в том, что squid сам скачивает intermediate сертификаты, как броузер.

Спасибо!

[Slava]

Проблема в том, что режик не поддерживает ipv6.
Поставил заглушку, пропускать все от -/ffff:ffff:ffff:ffff:ffff:ffff:ffff:ffff
Попробуйте https://rejik.ru/download/redirector-3. ... id_3.4.tgz

[sles]

не то собрал, через пару минут сообщу результат

спасибо! 3.2.13 работает!

ура!

[sles]

Доброе утро!

я тут поинтересовался в мейл листе сквида с какой целью они шлют ffff... и получил кучу вопросов обратно

"
What Squid logformat %code or url_rewrite_extras %code does that address
come from? Should the corresponding request have that address? For
example, internally-generated requests do not have HTTP client addresses.

Will the redirector work if that address is sent as a "-" instead of
"ff...fff"?
"
http://lists.squid-cache.org/pipermail/ ... 19994.html

logformat %code or url_rewrite_extras %code в моём случае по умолчанию, потому явно в сквиде забит ffff...

можете сказать, как было бы правильно для rejik? я передам ну или прямо туда напишите, как удобнее.

мне кажется было бы правильно с их стороны слать не ffff , потому как и правда совсем не все редиректоры понимают ipv6.

Спасибо!

[Slava]

Главное, чтобы редиректор говорил на одном языке со сквидом.
Лучше отправлять со 127.0.0.1, это наверное любой поймет.
Но тут уж редиректоры приспосабливаются к сквиду, а не наоборот.

[sles]

спасибо, передал.

[sles]

Доброе утро!

Вот тут

http://lists.squid-cache.org/pipermail/ ... 20002.html

пишут что fff - баг. что на самом деле в качестве ip адреса должен передаваться "-".

"For intermediate certificate downloading transactions, Squid does not
have a client address because those transactions are not initiated by a
client connection to Squid. They are generated internally by Squid. In
such cases, Squid should be sending a dash (-), not 127.0.0.1, not
fff...fff, not localhost, and not anything else that might be
misinterpreted as a client IP address or domain name.

I have not investigated why Squid does not send a dash, or what it would
take to fix Squid, but it is likely that this will be eventually fixed
because lying about client address is a bug. To plan the deployment of
that future fix, it may be useful to know whether the redirector you use
handles a dash value for %>A correctly. You may be able to test that by
configuring url_rewrite_extras explicitly and replacing %>A with a dash."

так что, получается, режик должен быть готов к тому, что squid пришлёт "-" вместо ip адреса, что будет означать, что скачивает нечто сам squid.

хотелось бы , чтобы режик был готов к такому развитию событий

Спасибо!

[sles]

И дополнение там же

Um, to be more prescriptive ...

The (%>a) part *before* the '/' is the actual "client IP address".

If that is '-' (like your logs show it already is) then the reverse-DNS
FQDN part *after* the '/' cannot be relied upon at all so should
generally be ignored.


Так что пишут что если %>a "-", то адрес должен игнорироваться.

В общем, пока не поправят, наверное, ничего делать не надо, они еще сами не договорились

[Slava]

Можно поспорить, но в любом случае, то только высказывание на кого-то в переписке.
Пока они не воплотят это в коде, точно не известно, в каком формате будет приходить.
Поправить не долго, напишите, если изменится.