Bonjour.
 
Je suis étudiant en informatique et j'ai eu a ma charge et a celle de mes comparse la réalisation d'un projet.
Projet qui possède un serveur de log et un serveur Web Nginx.
 
Objectif :  
 Je souaite enregistrer les log Nginx (/var/log/nginx/error.log & /var/log/nginx/access.log) sur mon serveur de log ( syslog-ng ).
Mon serveur nginx a le gestionnaire de log par default rsyslog.
 
J'ai donc deux machines, mon serveur de log reçois donc les log qu'il enregistre dans une base de donnée.
J'ai déjà réussis a envoyer des log rsyslog (auth.log) vers mon serveur de log et à les incorporer dans la base de donnée mais cela me pose problème pour nginx. Etant donnée que Nginx gère de lui même les fichier log error.log et access.log je ne peux pas demander a rsyslog d'envoyer directement a mon serveur de log.
 
Je requiert l'aide d'âme charitable pour faire ceci.
 
Si j'ai bien compris la documentation que j'ai pu trouver sur le web il faut créer un fichier qui va formater les log de Nginx de la même manière que syslog.
Un peut comme ceci : https://gist.github.com/amoslanka/6720707
 
J'aimerais être sur de bien comprendre se que je vais fair et avoir un retour de votre expérience par rapport a ça.
 
Merci d'avoir pris le temps de me lire.    
 

Je dirais qu'en 2016 on se tourne plus vers des pile ELK (Elastic search, Logstash, Kibana) et Graylog + nxlog, pour gérer ses logs.
 
donc je te conseillerais de voir comment ses 2 projet font pour faire cette tache.
 
et de faire attention à logstash et nxlog qui gere justement la remise en forme des different logs.
 
Nota: les  projet tourne sous nginx

Salut, je viens tout juste de regarder Elastic Search et la seconde solution Greylog et nxlog.
 
Avant de te faire un feedback la dessus je vais éclaircir un point qui va peut être faire pencher la balance vers la solution la plus adapté.
 
En gros récupérer a agréer les log c'est qu'une infime partie du projet que j'ai décidé de rajouter sur la fin du projet. Je vous cache pas que je suis tout seul sur la technique de cette partie du projet. Bref vous l'aurez compris je cherche la solution la plus simple et confortable. De toute façons le projet ne sera jamais mis en place.
 
J'ai déjà pas mal avancé sur ma solution avec Syslog-ng et Mysql, il n'y a que les log nginx que je ne sais pas envoyé dans la base parce qu'il ne sont pas géré par rsyslog et qu'ils sont préformaté d'une autre façon. Hors quand je dis a syslog-ng d'envoyé un log dans la base il s'attends a ce que le message soit partitioné d'une certaine manière.  
 
Si non Exmachina quand tu parle de nxlog si je suis le schéma présenté sur le site de Graylog c'est un client Windows chargé d'envoyé les informations de log a graylog qui va lui faire un joli schéma.
Il faudrais donc que je me dirige vers Logtash ou Fluentd pour servir de client a Greylog.
 
Je vais commencer a me documenter plus sérieusement sur la chose.  
 
En tout cas merci
 
 
 
 

nxlog est multiplateforme,
il est tres utilisé sous windows car il est un des rare a pour voir traduire du journaux d'evenement en syslog compatible, mais rien n'empeche de traduire du log nginx linux et l'envoyer en  syslog, tout comme logstash il sait faire.

Merci.
 
Je crois que c'est LA solution a mon problème. J'ai trouvé un article intéressant qui explique toute la configuration nécessaire de nxlog pour envoyer des logs a un serveur distant. (Enfin si j'ai bien compris, mon anglais n'es pas top ._. )
http://jasonwilder.com/blog/2013/0 [...] g-metrics/
 
J'ai pas encore testé tout ça, mais je m'y met dès demain.
A côté de ça j'ai essayé d'installer Graylog2 sur une machine deb Jessie mais ça a été un peut fructueux, les logs me disait que Graylog2 ne trouvais pas ElasticSearch alors que celui-ci étais bien lancé.    
Bref du coup je me suis résigné a télécharger l'OVA comme un gros flemmard.    
Je testerais un peut l'outils même si je pense que ma solution la plus adapté est nxlog.
 
Si non si jamais j'ai trouvé (trop tard malheureusement) un Quick Setup sur le site de Graylog qui à l'air quand même bien plus simple que de tout installer a la mano
http://www.graylog.fr/2014/10/test [...] ick-setup/
 
Bon demain je teste nxlog je te fais un feedback, encore merci

une piste ici :
 
https://github.com/Graylog2/graylog-contentpack-nginx

Merci, je fais une réponse un peut tard.
Je cherche toujours une solution.  
 
J'ai ajouté les lignees suivantes dans la fichier de configuration nginx (/etc/nginx/nginx.conf)
 
        ##
        # Logging Settings
        ##
 
        log_format specialLog '$remote_addr forwarded for $http_x_real_ip - $remote_user [$time_local]  '
                      '"$request" $status $body_bytes_sent '
                      '"$http_referer" "$http_user_agent"';
 
        #access_log /var/log/nginx/access.log;
        #error_log /var/log/nginx/error.log;
        access_log syslog:server=192.168.1.130:514;
        error_log syslog:server=192.168.1.130:514;
 
Seulement en faisant un tcpdump sur le port 514 je ne vois rien passer sur le réseau. Malgré tout le service nginx redémarre correctement, je pense donc que ma syntaxe est bonne. J'ai rien de spécial dans mes iptables non plus qui bloquerais les flux.
 
Par contre j'ai déjà syslog qui envois sur le port 514 ces log.
 
PS : J'ai quand même du coup changé le port de destination dans le fichier de configuration par 49000 et je ne vois rien sortir avec le port 49000.
 
J'ai utilisé la commande : tcpdump port 49000

essai avec :
tcpdump dst port 514
 

Hmm toujours rien.
Je pense savoir pourquoi ça ne fonctionne pas correctement.
J'ai vu justement sur le liens que tu m'a donné plus haut et sur d'autre sites que j'ai pu consulter que la gestion de l'envois des log de Nginx étais une feature dispo sur la v1.7.1 hors lors d'un nginx -v
nginx version: nginx/1.6.2
Voilà voilà voilà T-T
 
Il faut donc que j'arrive a réinstaller nginx a une version supérieur. Donc je pense que je suis bon a télécharger le paquet .gz pour l'installer a la mano en éspérant que ça fonctionne correctement avec le reste.