Hello!
 
J'ai un petit serveur dédié qui me coute une douzaine d'euros par mois surlequel j'héberge divers services à usage perso.
De temps en temps, ca merdoie, (souvent parceque je n'ai pas pu m'empécher de bidouiller alors que ca marchait bien avant ) et j'ai besoin d'analyser les logs des jours précédents en recoupant les logs des différents services, etc...  
 
Pendant longtemps, j'ai fait ca à coup de cat log | grep machin mais vu la taille de certains fichiers ce n'est plus gérable.
 
J'ai regardé les différents softs d'analyse de logs, et en particulier loggly que j'utilise en version gratuite depuis un mois. C'est pas mal (même si j'imagine qu'on peut faire mieux: coloration selon origine du log ou criticité...) mais la version gratuite est trop limitée dès que j'active les logs de débug sur certaines apps (qui me génére alors pas loin de 1,5Go de log/jour); et la version payante est beaucoup trop chère pour mon usage. (4 fois le prix mensuel du serveur    ).
 
Je teste actuellement graylog sur ma propre machine. C'est bien, mais c'est très lourd. Dès que j'accède l'interface web de recherche, ca sature le CPU à 100%. Du coup, c'est difficilement utilisable.
 
Y-a-til d'autres alternatives ?  
 

Salut
 
Pour une infra de la taille de la tienne, des logs de plusieurs gb par jour me paraît être assez important. En général, tu ne commence pas à agrandir ton infra par l'ajout d'un serveur pour le logging.
 
De quels type de logs parles-tu ?
Penses-tu que tous ces logs sont nécessaires et/ou que leur verbosité ne pourrait pas être réduite ?
 
Pourquoi n'est-ce pas gérable avec un grep ( soit dit en passant le cat n'est pas nécessaire ici, "grep <chaine> fichier" suffit).
 
Quand tu dis "n'est pas gérable, tu parle du temps de la requête sur un fichier de quelques gigas ?

 
En temps normal, mes logs font +/- 20Mo jour . RAS donc.
De temps en temps, je dois passer les logs de rclone en verbose +++ et là ca va très vite... on a effectivement plusieurs Go par jour...
Et oui, grep est extrèmement lent sur des logs de cette taille là.