ошибка при выборке

Обсуждение распределенного бан-листа
gorillaz
Сообщения: 13
Зарегистрирован: Чт июн 05, 2008 16:28

ошибка при выборке

Сообщение gorillaz »

gorillaz@kserv:~$ /usr/local/rejik3/dbl/dbl_expand list.dbl
cat: list.dbl: No such file or directory

gzip: stdin: unexpected end of file
Ran out of memory for input buffer at /usr/lib/perl5/XML/Parser/Expat.pm line 469.

вот к чему бы это?

вчерась, всё было нормуль, сегодняже вот это вышло, пробовал удалить все созданные файлы не помогло..., заново скачал dbl с download, не помогло...

пакет перла libperl5.8.8
система kubuntu 8.04

Slava
Site Admin
Сообщения: 2251
Зарегистрирован: Пт апр 02, 2004 12:34
Контактная информация:

Сообщение Slava »

ls -la /usr/local/rejik3/dbl

gorillaz
Сообщения: 13
Зарегистрирован: Чт июн 05, 2008 16:28

Сообщение gorillaz »

gorillaz@kserv:~$ ls -la /usr/local/rejik3/dbl
итого 3140
drwxr-xr-x 4 proxy proxy 4096 2008-06-05 16:57 .
drwxrwxrwx 6 proxy proxy 4096 2008-06-06 07:41 ..
-rwxr-xr-x 1 proxy proxy 5118 2008-06-05 16:57 dbl_expand
-rwxr-xr-x 1 proxy proxy 987 2008-06-05 13:31 dbl_stat
-rwxr-xr-x 1 proxy proxy 134 2008-06-05 13:31 FAST
-rwxr-xr-x 1 proxy proxy 129 2008-06-05 13:31 FULL
-rw-r--r-- 1 proxy proxy 3155047 2008-06-05 16:25 list.dbl
drwxr-xr-x 2 proxy proxy 4096 2008-06-05 13:31 lists
drwxr-xr-x 2 proxy proxy 4096 2008-06-05 16:25 NEW
-rwxr-xr-x 1 proxy proxy 4022 2008-06-05 13:33 Update
-rwxr-xr-x 1 proxy proxy 1343 2008-06-05 13:34 Update.Fast
-rw-r--r-- 1 proxy proxy 251 2008-06-05 16:25 update.log
-rw-r--r-- 1 proxy proxy 5 2008-06-05 16:25 VERSION

Slava
Site Admin
Сообщения: 2251
Зарегистрирован: Пт апр 02, 2004 12:34
Контактная информация:

Сообщение Slava »

Отсутствует файл list.dbl

Скрипт Update запускали?
Что он написал в логи?

Попробуйте FULL.

gorillaz
Сообщения: 13
Зарегистрирован: Чт июн 05, 2008 16:28

Сообщение gorillaz »

ну как же отсутсвует??? есть же list.dbl ...

-rw-r--r-- 1 proxy proxy 3155047 2008-06-05 16:25 list.dbl

вчерашний update.log

2008-06-05 16:25:19 ======= Start update ========
2008-06-05 16:25:19 Download new files (curent local version is 1)
2008-06-05 16:25:23 Untar new files to /usr/local/rejik3/dbl/NEW
2008-06-05 16:25:23 Copy new file to /usr/local/rejik3/dbl/list.dbl


сегодня при запуске FULL выдало:

gorillaz@kserv:~$ sudo /usr/local/rejik3/dbl/FULL
Can't exec "patch": No such file or directory at /usr/local/rejik3/dbl/Update line 127, <FD> line 1.

в логах после запуска FULL

2008-06-06 11:21:54 ======= Start update ========
2008-06-06 11:21:54 Download new files (curent local version is 10980)
2008-06-06 11:21:58 Untar new files to /usr/local/rejik3/dbl/NEW
2008-06-06 11:21:59 Unpack list.dbl to list.tmp
2008-06-06 11:22:00 ungzip /usr/local/rejik3/dbl/NEW/10980_10981.gz to /usr/local/rejik3/dbl/NEW/10980_10981
2008-06-06 11:22:00 patch /usr/local/rejik3/dbl/list.tmp by 10980_10981
2008-06-06 11:22:00 Can't patch. Command "patch -s /usr/local/rejik3/dbl/list.tmp -i /usr/local/rejik3/dbl/NEW/10980_10981" return error.

Slava
Site Admin
Сообщения: 2251
Зарегистрирован: Пт апр 02, 2004 12:34
Контактная информация:

Сообщение Slava »

Есть, не заметил.
Попробуйте зайти под рутом и выполнить без всяких судо, если пройдет хорошо, то проблема или с правами или с переменными окружения.

Можно прописать полный путь к команде path,
в 127 строке Update:
$ret=system("patch -s $dir/list.tmp -i $dir/NEW/${version}_$1");
на
$ret=system("/path/to/patch -s $dir/list.tmp -i $dir/NEW/${version}_$1");

gorillaz
Сообщения: 13
Зарегистрирован: Чт июн 05, 2008 16:28

Сообщение gorillaz »

а вообще погуглил на эту тему ,
Ran out of memory for input buffer at /usr/lib/perl5/XML/Parser/Expat.pm line 469.
у дебианщиков довольно распространённая проблема, и если я не ошибаюсь, возникает при обраьотке больших файлов xml.

gorillaz
Сообщения: 13
Зарегистрирован: Чт июн 05, 2008 16:28

Сообщение gorillaz »

что то я у себя это patch в системе не нашёл... :oops:

Slava
Site Admin
Сообщения: 2251
Зарегистрирован: Пт апр 02, 2004 12:34
Контактная информация:

Сообщение Slava »

whereis patch

Если нету, то поставьте.

gorillaz
Сообщения: 13
Зарегистрирован: Чт июн 05, 2008 16:28

Сообщение gorillaz »

patch поставил, FULL прошёл, но выборка так и осталась...

лог апдейта:

2008-06-06 12:38:45 ======= Start update ========
2008-06-06 12:38:45 Download new files (curent local version is 10988)
2008-06-06 12:38:46 Untar new files to /usr/local/rejik3/dbl/NEW
2008-06-06 12:38:46 Unpack list.dbl to list.tmp
2008-06-06 12:38:47 ungzip /usr/local/rejik3/dbl/NEW/10988_10989.gz to /usr/local/rejik3/dbl/NEW/10988_10989
2008-06-06 12:38:47 patch /usr/local/rejik3/dbl/list.tmp by 10988_10989
2008-06-06 12:38:50 Pack list.tmp to list.dbl

сменил доступ на всё для всех (чтоб уж наверняка)

gorillaz@kserv:~$ sudo chmod -R 777 /usr/local/rejik3/dbl/
gorillaz@kserv:~$ /usr/local/rejik3/dbl/dbl_expand list.dbl
cat: list.dbl: No such file or directory

gzip: stdin: unexpected end of file
Ran out of memory for input buffer at /usr/lib/perl5/XML/Parser/Expat.pm line 469.

но вот что интересно листы в /usr/local/rejik3/dbl/list сформировались, вот только полностью и все ли?

gorillaz@kserv:~$ ls -l /usr/local/rejik3/dbl/lists/
итого 1744
-rwxrwxrwx 1 root root 328 2008-06-06 12:40 audio-video.pcre
-rwxrwxrwx 1 root root 10083 2008-06-06 12:40 audio-video.urls
-rwxrwxrwx 1 root root 2005 2008-06-06 12:40 banner.pcre
-rwxrwxrwx 1 root root 85261 2008-06-06 12:40 banner.urls
-rwxrwxrwx 1 root root 4371 2008-06-06 12:40 chats.urls
-rwxrwxrwx 1 root root 22155 2008-06-06 12:40 dating.urls
-rwxrwxrwx 1 root root 84 2008-06-06 12:40 icq.pcre
-rwxrwxrwx 1 root root 1383 2008-06-06 12:40 icq.urls
-rwxrwxrwx 1 root root 29392 2008-06-06 12:40 online-games.urls
-rwxrwxrwx 1 root root 541 2008-06-06 12:40 phishing.urls
-rwxrwxrwx 1 root root 7622 2008-06-06 12:40 photogallery.urls
-rwxrwxrwx 1 root root 1517329 2008-06-06 12:40 porno.urls
-rwxrwxrwx 1 root root 7773 2008-06-06 12:40 spyware.urls
-rwxrwxrwx 1 root root 8242 2008-06-06 12:40 virus-detect.urls
-rwxrwxrwx 1 root root 8856 2008-06-06 12:40 warez.urls
-rwxrwxrwx 1 root root 16155 2008-06-06 12:40 web-mail.urls
-rwxrwxrwx 1 root root 13633 2008-06-06 12:40 web-proxy.urls

Slava
Site Admin
Сообщения: 2251
Зарегистрирован: Пт апр 02, 2004 12:34
Контактная информация:

Сообщение Slava »

А cat есть в системе?

Обратите внимание, раньше работало, я так понимаю, что и patch в системе был. Потом что-то изменилось - заботать перестало.
Куда делся patch и что пропало вместе с ним?

gorillaz
Сообщения: 13
Зарегистрирован: Чт июн 05, 2008 16:28

Сообщение gorillaz »

cat есть

обновлялось ядро в системе с ****.17 на *****.18 загрузился с 17 не помогло

а как бы мне получить list.dbl 3-4 дневней давности?

Slava
Site Admin
Сообщения: 2251
Зарегистрирован: Пт апр 02, 2004 12:34
Контактная информация:

Сообщение Slava »

Я удалил у себя list.dbl и запустил ./dbl_expand list.dbl

cat: list.dbl: Нет такого файла или каталога

gzip: stdin: unexpected end of file

no element found at line 1, column 0, byte 0 at /usr/lib/perl5/site_perl/5.8.8/i486-linux-thread-multi/XML/Parser.pm line 187

Исправьте первую строчку в dbl_expand на
#!/usr/bin/perl -wd

Запустите ./dbl_expand list.dbl и жмите n,enter, пока не выдаст ошибку. Потом q, для выхода.

Покажите что получилось(только пароли сотрите).

gorillaz
Сообщения: 13
Зарегистрирован: Чт июн 05, 2008 16:28

Сообщение gorillaz »

gorillaz@kserv:~$ /usr/local/rejik3/dbl/dbl_expand list.dbl

Loading DB routines from perl5db.pl version 1.28
Editor support available.

Enter h or `h h' for help, or `man perldebug' for more help.

main::(/usr/local/rejik3/dbl/dbl_expand:5):
5: $my_nick="*******";
DB<1> n
main::(/usr/local/rejik3/dbl/dbl_expand:6):
6: $min_trust=400;
DB<1> n
main::(/usr/local/rejik3/dbl/dbl_expand:7):
7: @good_guys=("slava");
DB<1> n
main::(/usr/local/rejik3/dbl/dbl_expand:8):
8: @bad_guys=("test");
DB<1> n
main::(/usr/local/rejik3/dbl/dbl_expand:9):
9: $dir="/usr/local/rejik3/dbl";
DB<1> n
main::(/usr/local/rejik3/dbl/dbl_expand:12):
12: %files=();
DB<1> n
main::(/usr/local/rejik3/dbl/dbl_expand:13):
13: $converter = Text::Iconv->new("UTF-8","KOI8-R"); #or windows-1251
DB<1> n
main::(/usr/local/rejik3/dbl/dbl_expand:14):
14: %members=();
DB<1> n
main::(/usr/local/rejik3/dbl/dbl_expand:15):
15: %member_block=();
DB<1> n
main::(/usr/local/rejik3/dbl/dbl_expand:16):
16: $member_block_flag=0;
DB<1> n
main::(/usr/local/rejik3/dbl/dbl_expand:17):
17: %rule=();
DB<1> n
main::(/usr/local/rejik3/dbl/dbl_expand:18):
18: $trust=0;
DB<1> n
main::(/usr/local/rejik3/dbl/dbl_expand:21):
21: my $parser= XML::Parser->new(Handlers=>{
22: Start=> \&elem_start,
23: End => \&elem_end,
24: Char => \&char_data});
DB<1> n
main::(/usr/local/rejik3/dbl/dbl_expand:27):
27: $filename=shift @ARGV or die "Use $0 file.dbl\n";
DB<1> n
main::(/usr/local/rejik3/dbl/dbl_expand:28):
28: chomp ($filename);
DB<1> n
main::(/usr/local/rejik3/dbl/dbl_expand:29):
29: open(IN, "cat $filename | gzip -d |");
DB<1> n
cat: list.dbl: No such file or directory
main::(/usr/local/rejik3/dbl/dbl_expand:30):
30: $parser->parse(*IN);

gzip: DB<1> stdin: unexpected end of file
n
Ran out of memory for input buffer at /usr/lib/perl5/XML/Parser/Expat.pm line 469.
at /usr/lib/perl5/XML/Parser.pm line 192
XML::Parser::parse('XML::Parser=HASH(0x8235210)', '*main::IN') called at /usr/local/rejik3/dbl/dbl_expand line 30
Debugged program terminated. Use q to quit or R to restart,
use o inhibit_exit to avoid stopping after program termination,
h q, h R or h o to get additional info.
DB<1>

Slava
Site Admin
Сообщения: 2251
Зарегистрирован: Пт апр 02, 2004 12:34
Контактная информация:

Сообщение Slava »

добавьте строчку
print "cat $filename | gzip -d |\n";

перед
open(IN, "cat $filename | gzip -d |");

И запустите как обычно (d в первой строке уберите).
Вам будет напечатана команда, на которой он затыкается.

У меня выдало: cat list.dbl | gzip -d |

Далее, запустите эту команду вручную, убрав прямую черту в конце:
cat list.dbl | gzip -d

У меня при этом выдает xml данные. А у Вас?

Ответить