Perl

[Perl] parcourir un fichier à partir d'une certaine ligne

Recherche :

Mot : Pseudo : Filtrer
Bas de page
Auteur	Sujet : [Perl] parcourir un fichier à partir d'une certaine ligne

duch

Salut,

j'utilise awstats, un magnifique outil d'analyse de logs tout écrit en perl et qui accepte des plugins.

Il existe un plugin (rawlog) qui permet d'afficher et de filtrer les logs, mais celui-ci ne fonctionne pas d'une façon très pratique je trouve, il permet de travailler sur les n premières lignes du fichier de log, et moi je travaille en général plutôt sur les n dernières lignes (ça me parait logique, m'enfin bref)

je cherche donc à le customiser légèrement pour qu'il ne renvoi pas les n premières lignes mais les n dernières.

voici le code original :

Code :

# Precompiled regex Filter to speed up scan
if ($Filter) { $Filter=qr/$Filter/i; }
print "<hr />\n";
# Show raws
open(LOG,"$LogFile" ) || error("Couldn't open server log file \"$LogFile\" : $!" );
binmode LOG; # Avoid premature EOF due to log files corrupted with \cZ or bin chars
my $i=0;
while (<LOG> ) {
chomp $_; $_ =~ s/\r//;
if ($Filter && $_ !~ /$Filter/o) { next; }
print "$_ \n";
if (++$i > $MAXLINE) { last; }
}
print " \n$i lines. ";
return 1;

et voici mon code modifié :

Code :

# Precompiled regex Filter to speed up scan
if ($Filter) { $Filter=qr/$Filter/i; }
print "<hr />\n";
# Show raws
open(LOG,"$LogFile" ) || error("Couldn't open server log file \"$LogFile\" : $!" );
binmode LOG; # Avoid premature EOF due to log files corrupted with \cZ or bin chars
my $i=0;
seek(LOG,-$MAXLINE,2);
while (<LOG> ) {
chomp $_; $_ =~ s/\r//;
if ($Filter && $_ !~ /$Filter/o) { next; }
print "$_ \n";
if (++$i > $MAXLINE) { last; }
}
print " \n$i lines. ";
return 1;

dans les deux cas, $MAXLINE vaut 5000, mais avec ma modif (j'ai juste ajouté un seek), ça ne renvoi que 30 lignes

pourquoi?

Message édité par duch le 17-03-2004 à 10:48:03

Publicité

duch

je viens de constater que la première ligne de ma sortie était tronquée. Voici mes 2 premières lignes :

/xxx.html HTTP/1.0" 200 8 "http://www.xxx.com/" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0)"
218.113.208.97 - - [17/Mar/2004:10:28:03 +0100] "GET /_media/img_1189_300x300_95.jpg HTTP/1.1" 200 76304 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0)"

comme vous pouvez le constater la première ligne ne commence pas par l'IP mais par l'URL. Pire, ce n'est pas systématique, elle est parfois tronquée à un autre endroit...

et puis ça n'affiche pas toujours 30 lignes, c'est selon, en ce moment il affiche 27 lignes...

Message édité par duch le 17-03-2004 à 11:02:13

frenchkiss

maxline = octects

duch

merci de ta réponse, je venais de constater que ma sortie faisait exactement 5000 caractères

comment faire donc pour sélectionner les 5000 dernières lignes (au lieu des 5000 derniers octets)?

Message édité par duch le 17-03-2004 à 11:07:16

pospos

seek va reculer dans ton fichier du nombre de caractere que tu va lui indiquer, mais la ce qui t'interesse ce sont des lignes. Et comme les lignes ne font pas toute la meme taille tu ne peux pas proceder comme ca.

Voila ce qu'il te faut:
http://search.cpan.org/~uri/File-R [...] ckwards.pm

duch

merci pospos, mais ça va lire le fichier à l'envers ce truc, non?

pospos

tu veux lire un certain nombre de ligne depuis al fin du fichier non?
apres si tu les veux dans l'ordre de la plus ancienne à la plus recente, tu n'aura qu'a retourner la liste que ce module te renverra:
@lignes = reverse @lignes;

duch

bon sinon, j'ai une solution (pas clean, mais light )

mes lignes faisant toujours environ 200 octets, il me suffit de faire un seek(LOG,-$MAXLINE*200,2);

la soluce du plugin me semble bonne, mais dans mon cas, celle-ci sera ss doute plus light je pense.

Message édité par duch le 17-03-2004 à 11:16:42

pospos

ouai c'est tres porc en effet
essai au moins d'avancer jusqu'au "\n" suivant pour par commencer par une demie ligne, en faisant un <LOG> dans le vide

duch

oui c'est ce que je me disais.

J'vais qd même essayer le coup du ReadBackwards, si c'est pas lourd ça va le faire

Publicité

pospos

il me semble tout de meme que si tu remplacait simplement ton

Code :

open(LOG, '<', $LogFile) || error("Couldn't open server log file \"$LogFile\" : $!" );

du premier script par un

Code :

tie(*LOG, 'File::ReadBackwards', $LogFile) || error("Couldn't open server log file \"$LogFile\" : $!" );

ce serait vachement plus propre! Dan ce cas effectivement ca te lirait les lignes à l'envers mais c'est encore mieux je trouve, plus logique

duch

attends laisse moi le temps d'installer le truc et de l'essayer

frenchkiss

http://www.bribes.org/perl/docfr/p [...] #LF6C337EA

duch

je suppose que tu veux parler de : comment écrire un tail en perl?

à vrai dire après avoir essayer le ReadBackwards, je dois dire que je trouve ça plutôt rapide (donc ok pour moi) et effectivement logique d'avoir les lignes dans cet ordre.

Message édité par duch le 17-03-2004 à 11:37:43

FORUM HardWare.fr

Programmation

Perl

[Perl] parcourir un fichier à partir d'une certaine ligne

Sujets relatifs
Lancer un script perl avec du php	Comment entrer dans un formulaire un fichier depuis son dur
[VB] Connaître la dernière colonne / ligne remplie d'une feuille Excel	[Perl] utilisé une librairie Win32 dans un script pouvant rouler unix
C++ : Comment copier une valeur d'un fichier .txt et le coller...	Lancer plusieurs applications via un seul fichier
[Perl] Fonction find, en plus d'utilisation de simili-objet	modifier un fichier XML
Créer un fichier texte	[perl-cgi] Passage de parametres
Plus de sujets relatifs à : [Perl] parcourir un fichier à partir d'une certaine ligne

Page générée en 0.100 secondes