iconv associé à bzip2 : rien ne sort

Recherche :

Mot : Pseudo : Filtrer
Bas de page
Auteur	Sujet : iconv associé à bzip2 : rien ne sort

henri2

Bonjour,

Je souhaiterais lire grâce à un programme perso la base de données wikipedia, qui est en bz2, le tout sans passer par un fichier temporaire décompressé (trop gros).
Mon programme utilise donc bzip2 -dc frwiki-pages-meta-history.xml.bz2 afin de lire la sortie standard.
La aucun problème ca fonctionne.

Oui mais voila, il y a tout de meme un probleme : je voudrais de l'ISO-8859-1 et non de l'UTF-8.
Alors je fais :

bzip2 -dc frwiki-pages-meta-history.xml.bz2 | iconv -c --from-code=UTF-8 --to-code=ISO-8859-1 (ou sans le -c)

et la rien ne sort !

Pourtant, si je fais un test en procédant comme ceci, j'ai ce qu'il faut en sortie :

bzip2 -dc frwiki-pages-meta-history.xml.bz2 > test (puis je kill avec CTRL+C au bout de quelques secondes)
cat test | iconv -c --from-code=UTF-8 --to-code=ISO-8859-1

Alors comment se fait-il que iconv associé à cat fonctionne alors que rien ne se passe quand les données proviennent de bzip2 ?

Je vous remercie beaucoup par avance pour vos idées !

Publicité

henri2

PS: le problème semble spécifique à wiki ou peut-être aux gros fichiers, car lorsque je prends un fichier tout simple :

cat test | bzip2 -9 > test.bz2
bzip2 -dc test.bz2 | iconv -c --from-code=UTF-8 --to-code=ISO-8859-1

aucun problème :-\

Message édité par henri2 le 11-12-2008 à 19:59:30

Mjules

Modérateur
Parle dans le vide

une idée au hasard, tu es sur que bz2 envoie le flux au fur et à mesure ? et tu es sur que iconv est capable de le traiter au fur et à mesure ?

parce que si l'un ou l'autre ne le fait pas, ça explique le comportement, il faut attendre que tout soit décompressé.

---------------
Celui qui pose une question est idiot 5 minutes. Celui qui n'en pose pas le reste toute sa vie. | Membre du grand complot pharmaceutico-médico-scientifico-judéo-maçonnique.

henri2

bzip2 oui puisque mon programme arrive à traiter les données avec bzip2 seul
mais hmm... peut etre que iconv non !
aie aie aie, comment faire ? :-\

e_esprit

bzcat plutot que bzip2 -dc ?

---------------
Ce n'est point ma façon de penser qui a fait mon malheur, c'est celle des autres.

henri2

# ls -l /usr/bin/bzcat
lrwxrwxrwx 1 root root 15 Nov 6 19:52 /usr/bin/bzcat -> ../../bin/bzip2*

e_esprit

Ah oui tiens [:tinostar]

J'aurais au moins appris un truc aujourd'hui

---------------
Ce n'est point ma façon de penser qui a fait mon malheur, c'est celle des autres.

FORUM HardWare.fr

Linux et OS Alternatifs

Codes et scripts

iconv associé à bzip2 : rien ne sort

Sujets relatifs
Equivalent de "du -sk $(/bin/ls -A) \| sort -rn \| head -10" en csh	[SHELL] - Tri d'adresse IP avec sort (RESOLU)
Mon script shell ne fait rien.	winecfg rien ne se passe sans message d'erreur
[resolu] icône internet OK mais rien ne passe mdv 2008.1	Grub erreur 25 et rien ne se lance?
Arrive pas à installer Mandriva One : plante (HAL Daemon)	[Fedora 7]Rien après installation
Les forums? qui sort du lot?	Probleme avec Totem et Mplayer qui ne veulent plus rien lire.
Plus de sujets relatifs à : iconv associé à bzip2 : rien ne sort

Page générée en 0.048 secondes