Bonjour,
voila le topo, je dois sortir des stat mensuels de proxy (13) ces proxy remontent les infos ver sun serveur central (toute est en Debian) --> environ 20 fichiers par jour
 
il ya jusqu a 8500000 requetes par jour... On utilisait Content reporter(proxy webwasher) pour ces stats le probleme c que ca utilise du sql et c extremement LENT. (genre traitement d'une journée = 5 heures!!!! et en plus faut utiliser un serveur Win2003)... et on a 2 mois de retard...
 
Donc je cherche une solution OPENSOURCE qui n utiliserait po de SQL, un truc SIMPLE...
Le souci c'est que rien de ce que j'ai pu testé ne fonctionne notemment à cause du format des logs dont voici un exemple:
 
[11/Dec/2007:16:44:11 +0100] 1197387851.478 0.020 172.25.11.191 TCP_MISS_PRIVATE_STATUS_CODE/304 155 GET http://www.leparisien.fr/imgs/bloc_an
nonce_emploi_recherche.jpg - DIRECT/160.92.127.131 "-" -
[11/Dec/2007:16:44:11 +0100] 1197387851.508 17.015 172.25.11.191 TCP_MISS_PRIVATE_METHOD/200 18302 CONNECT www.offre2.fr:443 -
 DIRECT/193.178.154.49 "-" -
 
VOus voyez pourtant rien d'hallucinant je me disais qu'on pourrait peut etre les transfformer au format SQUID pour mieux les traiters... mais j y arrive po
 
Donc j'ai essayé de les travailer un peu avec awk mais je trouve pas de LOG SQUID comme exemple... Donc voila ce que j'ai deja fait mais doit rester du taf si on choisit de les retraiter
 
cat http_log.stiprpx01.2007.12.11.17.12.51.232 |awk -F" " '{print $5 " - - " $1 " " $2 " \"" $8 " " $9 " HTTP/1.1\" "     }'
 
Merci de votre aide ce serait sympat d'autant que je suis nouveau... et que ca doit remplacer cette solution commerciale inefficace.