Plop tous    
 
Je crée ce topic sur [Perl] car je pense que je vais finir par arriver ici.
 
En fait je rencontre un problème, et je n'arrive pas à conceptualiser la résolution en sed ou awk, et en cherchant sur le net pas mal de résultats renvoie sur l'utilisation de Perl
 
Donc je vous présente mon souci, pour avis & conseil :
 
J'ai un fichier contenant un dump de ce qui passe à travers un RP :
 

Y a des lignes pour décrire le contexte (appelant, nb bytes transmis, etc.), et un hexdump de ce qui passe.
 
J'aimerais isoler les lignes avec l'hexa, les envoyer dans un appel à par exemple `xxd -r -p` pour récupérer le résultat et substituer tout le contenu par le résultat de l'appel
 
Pour obtenir :

Avec la regex 0x[a-f0-9]{4}\s{3}(.{39})\s{8}.*
j'arrive à isoler - pour une ligne - l'hexa
 
avec sed je pensais utiliser le hold buffer pour stocker le groupe \1 des lignes matchées, et dans l'event "fin" (ligne vide suivant les lignes hexa) pousser ça dans le xxd et replace mon buffer avec le résultat de l'appel
(et les lignes non matchées sont printées par défaut, pour avoir les lignes non hexa dans le fichier résultat)
 
mais apparemment mon cerveau est trop petit pour faire ça (ou trop nul en sed)
 
ça pourrait se simplifier avec Perl ?
 
genre lire le fichier ligne par ligne, appliquer la regexp, si found alors je crée un buffer et pousse le groupe matché, et si je sors de mon match je termine mon buffer, j'appelle xxd -r sur le contenu et printe la valeur du résultat de l'appel.
si pas de match je printe la ligne
 
(le fichier à parser fait dans les 10Mo)
 
Je prends tous les bons conseils en regex, sed, awk, etc.

Pourquoi passer par xxd si tu as le texte directement à côté du hexa déjà? Si je vois bien ce que tu veux c'est exactement ce texte, avec les caractères non-imprimables remplacés par des points. edit: En fait non , attends, je vais adapter mon code, je reviens...

Sinon bien sûr ça peut se faire en Perl, attends...

c’était mon premier essai, matcher le texte à coté (avec \n à la fin pour avoir directement le matching group sans le retour à la ligne), et remplacer directement dans notepad++ par \1
 
mais c'est pas terrible, et notepad++ perd les pédales assez rapidement.
 
Là j'ai commencé le truc en Perl, mais je coince sur la construction du buffer pour stocker les lignes hexa : est-ce qu'il faut prendre un buffer en mémoire ou un fichier temporaire ...

Deuxième tentative de ma part, en espérant que j'ai bien compris cette fois.

use strict;
use warnings FATAL=>'all';
use autodie;
 
open my $input, '<', 'input';
 
my $buffer="";
 
while(<$input> )
{
    if(/^0x[[:xdigit:]]{4}\s+((?:[[:xdigit:]]{2,4}\s+)+)/)
    {
        my $hex=$1;
        $hex=~s/\s+//g;
        $buffer.=join('', map( { chr(hex($_)) } unpack('(A2)*', $hex)));
        $buffer=~s/\r\n/\n/g; #corriger les retours à la ligne
    }
    else
    {
        print $buffer if($buffer);
        print $_;
        $buffer="";
    }
}
print $buffer if($buffer);
 
close $input;

Ca donne:

edit: À toi de modifier pour écrire le résultat dans un fichier...
edit2: Inutile de faire un s/// si on ne réutilises pas $_, j'ai changé en m//.

Merci beaucoup pour ton aide
 
j'ai rajouté de quoi écrire dans un fichier, ça marche nickel
 
Pour le $buffer.=join('', map( { chr(hex($_)) } unpack('(A2)*', $hex)));
J'imagine bien ce que ça fait, mais j'aurais pas trouvé ça
 
Je vais modifier tout ça pour dégager les truc "genre content-type: image/png" qui printent du caractère "bizarre", ça nettoiera un peu plus le fichier
 
encore merci !

De rien.  

Oui c'est du code un peu compacté ça.  
unpack va découper la chaîne de codes hexa (sans espaces, virés une ligne avant) en bouts de deux caractères (soit un octet), map va appliquer chr(hex()) à chaque octet pour transformer le code hexa en caractère et join('', ...) va transformer la suite de caractères (tableau) en chaîne de caractères.  

C'est à dire bizarre? Je vois rien de bizarre dans le code héxa à première vue, peut-être un problème d'encodage? Ca doit pouvoir se régler.

 
Pardon quand je dis bizarre c'est qu'à la fin j'ouvre le résultat sous notepad++, les images décodées sont en raw dans le fichier ouvert par défaut en UTF-8, donc ça affiche des carrés pour les caractères de contrôle etc.
 
La conversion semble correcte (je vérifierai demain en ouvrant un des png qui passe par le RP pour voir si c'est vrai)
(et même si y a truc un peu foiré dans cette partie, ce n'est pas grave je m’intéresse surtout aux pages html)
 
no soucÿ  

Ah d'accord, tu parles de fichiers binaires. Oui il faut probablement modifier quelque chose / bricoler avec pack(), j'ai fait le code en pensant uniquement aux fichiers texte. Si tu donnes un exemple de log avec un png ou autre qui passe (et un fichier texte aussi, il faut les deux cas pour tester) je veux bien y jeter un coup d'oeil.

Mes deux cents:

use strict;
use warnings;
use autodie;
 
sub process_data($$) {
    open(my $if, '<', shift);
    open(my $of, '>', shift);
    while (<$if> ) {
        if (/^0x[[:xdigit:]]{4}\s+((?:[[:xdigit:]]{2,4}\s)+)\s/) {
            ($_ = $1) =~ s/\s+//g;
            $_ = pack('H*', $_);
        }
        print $of $_;
    }
}
 
process_data("routoutou.txt", "resultat.txt" );

Et s'il y a du binaire, ouvrir en mode binaire.
binmode($of) après ouverture, et mettre explicitement des "\n" en sortie, tant qu'on a pas détecté qu'on est dans des données binaires.
Mais il faut reconstituer textes globalement avant sinon les lignes splittées entre un \r et un \n causeront problème, cf:
0x0000   4854 5450 2f31 2e31 2032 3030 204f 4b0d        HTTP/1.1.200.OK.
0x0010   0a63 6f6e 7465 6e74 2d6c 656e 6774 683a        .content-length:  
 
 
A+,

Merci pour l'aide Gilou
 
Sinon, pour les trucs en binaire (et autres) que je ne veux pas voir (pas important dans mon contexte) j'ai rajouté ça dans le code de Rat de combat
 

 
Par contre si le contenu est dans plusieurs paquets, y a quelques trucs qui passent quand même (pas grave)

Bien vu gilou le coup du pack().  
 

On doit pouvoir éviter les machins binaire complètement en testant chaque bloc/paquet pour voir si il y a des caractères non-imprimables. Dans mon exemple je teste uniquement une partie (<0x1f sauf \t et \n) mais on pourrait rajouter tout ce qui est supérieur à 0x7e.
J'ai des gros doutes quant à l'élégance de mon code mais ça semble fonctionner...  

use strict;
use warnings FATAL=>'all';
use autodie;
 
open my $input, '<', 'input';
 
my $buffer="";
my $last_hex=0;
 
while(<$input> )
{
    if(/^0x[[:xdigit:]]{4}\s+((?:[[:xdigit:]]{2,4}\s+)+)/)
    {
        my $hex=$1;
        $hex=~s/\s+//g;
        $buffer.=pack('H*', $hex); #piqué chez gilou
        $buffer=~s/\r\n/\n/g; #corriger les retours à la ligne
        $last_hex=1;
    }
    else
    {
        if($last_hex) #du code hexa dans la ligne précédente mais plus maintenant -> tout le bloc est passé -> l'imprimer si pas binaire
        {
            $buffer=~s/\n+$//; #virer tout les \n et en rajouter qu'un seul (dans le print)
            print $buffer,"\n" if($buffer && $buffer!~/[\x00-\x08\x0b-\x1f]/); #pas imprimer si caractère ASCII <0x1F sauf \t et \n
            $buffer="";
        }
        $buffer.=$_;
        $last_hex=0;
    }
}
print $buffer if($buffer && $buffer!~/[\x00-\x08\x0b-\x1f]/); #dernier bloc
 
close $input;

bon je prends, mais on va arrêter là : Si un débutant tombe sur un thread comme ça il se suicide  

Pourquoi ça?
Il n'est pas si horrible que ça mon code quand même.