Reprise du message précédent :

 
Tu veux dire que je parles à un mec qui peut DECIDER et IMPOSER tout ce qui est fait dans sa propre boite ?    
Et qui en plus est EDITEUR de sa propre solution donc sans problématique d'URBANISATION DES APPLIS.
 
A ta différence, je suis chez un client final industriel qui fait qqs milliards de CA.
chez nous, on est est BUYER des solutions, on est pas MAKER.
 
Donc X providers différents, X méthodes différentes de travail, une ENORME difficulté pour imposer des mécanismes de fonctionnement corrects.
Et le métier industriel qui s'en FOUT de la doc technique d'exploitation pas à jour.
 
Les produits sont pas sélectionnés sur la meilleur doc technique :
On en est à sélectionner parfois des produits avec des SLA sans pénalité ...
 
Tu penses réellement que j'ai la capacité de contraindre IBM, SAP, SIEMENS, SALESFORCES alors même que ma direction me suit pas ?
 
On a choisi un ESB/ELT comme bus d'entreprise (Talend).
On n'arrive plus à maitriser les interfaces entre nos applis, les devs ne savent plus : trop dans l'urgence, trop de changements, pas assez de compétence et de maitrise.
 
ils ont pourtant des pull requests, des revues de code et de la doc systématiques avant les passages en prod, ...
 
Mais on parle d'une équipe de 50+ devs, d'interfaces sur toutes les applis de la production, ... avec une dette historique de maitrise des applis existantes.
 
Bref. t'es gentil mais t'es pas le seul à avoir de l'exp et du vécu      
 
j'ai beau avoir de la doc, je préfère limiter au maximum les changements (et putain c'est pas simple).

Tiens ça me fait penser à l'environnement de dév chez nous.
 
"Attention vu que tu bosses direct sur le NAS, tu casse pas tout."
 
Cte boite
 
Maquettage et Tests ? C'est surfait

 
oh putain, un truc magique avec la transformation digitale aussi ...
 
eux : "bon, là, on voudrait les données pour nos cas d'usage, touça, blabla, gain de CA, blabla, visibilité client, ..."
nous : "ba ok, vous voulez quelles données ?"
eux : "ba celles de l'ERP là"
nous : "c'est à dire ? parce que ça en fait un paquet, ça porte toute notre boite quand même"
eux : "ba toutes, c'est le but d'un data lake, touça"
nous : "toutes ? o_O non pas possible, on parle de plusieurs To et puis on a des données sensibles"
eux : "ouais ba faudrait nous lister les cas d'exception des données qu'on aurait pas en fait"
nous : "euh non, vous nous listerez les données que vous voulez déjà. ça c'est pour le test. et pour la prod on fait comment ?"
eux : "ba rien, c'est bon, on aura tout"
nous : "gné?"
eux : "oui en fait le data lake sera utilisé au besoin selon les sprints agiles entre les MVP et les datamarts industrialisés"
nous : "non mais la production, l'exploitation ... vous savez quoi"
eux : "ah ba oui quand le datamart est prêt, c'est de la prod, c'est pour vous"
 
. . . . . . . . . .    
 
Ils veulent TOUTES les données de l'entreprise sur les produits, les CA, les ventes, foutre tout ça au même endroit en vrac, pardon "sous forme brute" pour leurs "uses cases".
Les clients auront accès aux mvp, mais c'est du test interne sans service, ...
 
Vous le sentez la production à faire sur les envs de tests parque le client aura besoin du truc ?

Tin'

c'est GDPR compliant tout ça ?

Welcome au 20eme siècle...
C'est sur que avec ce mindset tu vas faire avancer les choses. Tu as le SI que tu mérites

 
ben si, c'est un bête fichier texte, donc facile à versionner.

+1, true-wiwi démission !

 
C'est plus vrai avec XCP-ng Et sinon oui, je peux décider. Mais genre c'est pas tombé du ciel hein, au lieu de kaliméroter tu peux changer de taff ou monter ta boite Tu verras un peu que le monde en dehors d'une grosse COGIP, ça serait probablement rafraîchissant pour toi et tu aurais moins d'aigritude C'est encore moins bisounours que les grosses COGIP (concurrence sans pitié, avec de très grosses boîte contre toi par exemple), mais par contre ta pas de gland au dessus de toi.
 

 
Et donc s'il y a des mauvaises pratiques ya rien à faire pour changer les choses   On sent bien l'esprit COGIP, enfin chacun sa façon de voir les choses. Moi je supporte pas de subir.
 

 
Mauvais management, être dans l'urgence tout le temps c'est courir à la cata, mais je pense que tu le constates bien par toi même Tu veux faire quoi pour changer ça ? T'as les moyens ? Si non, ça sert à quoi de se plaindre ?
 

 
Encore une fois, tu veux pas comprendre Il faut tendre vers ça, je dis pas que c'est facile, mais pleurer et subir ne fait pas avancer les choses. Propose du changement. Et si ça bouge pas et que ça te fait rager, casse toi On a la chance dans l'IT d'avoir plus que du plein emploi. Ici en terme de dette j'ai récupéré un truc avec du code qui date de 2007, probablement des millions de LoC et personne d'historique pour nous expliquer. Donc c'est pas rose non plus, mais on essaie de tendre vers un truc mieux, au moins pas à pas.
 

 
J'ai jamais dit que c'était simple, j'ai dit que la solution venait de workflow pour obliger à avoir de la doc à chaque modif. Sinon tu peux pas t'en sortir et ça t'oblige à te priver d'innovation (et à mourir au final)

 
+1 en MP.

 
Ça va, vous avez pigé ce que je voulais dire
 
On peut pas démissionner d'une alternance d'ailleurs

Ah ?

Tu peux faire une rupture d'un commun accord ou la quitter si t'es en CDD et que tu trouves un CDI.

Mais c'est HS.

Après si vous avez une solution pour automatiser la rédaction des solutions mises en oeuvre dans une infra, je veux bien.

Ici c'est à la mano, sous Libre Office parce qu'on est des PD2POV.

Tu peux au moins le faire sous Gitlab la documentation ! Tu aura un suivi des versions ça sera plus propre que du libre office, en markdown et tu es certain d'avoir la dernière version si tu bosses à plusieurs.

+1

+1

 
C'est que c'est pas con ça !
 
Et je fais de la veille techno en même temps.
 
Je peux mettre "hfr" comme tuteur pour mon mémoire
 
Merci

T'as de l'xp git/svn ? Bosse ça si c'est pas le cas, c'est pas la mort mais bon le versionning §§§

Du tout, je connais la techno de nom parce que le dév s'en sert ici.

C'est important

C'est dommage, j'aime bien tes posts.
Tu m'a déjà vu poster dans le topic, non ?
Je parle de quoi ? principalement infra-as-a-code, devops, cloud.
J'ai l'air de pas vouloir changer les choses ?

Je dois mal m'exprimer pour que tu ne me comprennes pas :
Mon problème est pas de changer l'interne,
c'est que ce qu'on met en place reste incompatible avec nos éditeurs qui sont largement à la masse et encore dans les années 80/90 et filent un package + un pdf d'install.

J'ai demandé un script ansible pour le déploiement des middleware applicatifs car on faisait bcp de Java (donc win server + tomcat + app + sql server/oracle).
TOUTES les réponses sont "ba euh on sait pas faire".
Donc ils sont tous saqués ... mais y'en a pas un meilleur que l'autre.

Parce que évidemment, maintenant c'est Saas/Saas/Saas qu'ils poussent (et à des prix €€€€€€€).

Rome ne s'est pas fait en 1 jour, donc avant de résorber l'énorme dette technique et documentaire, et alors même que ça n'empêche pas de demander en // des docs à jour, versionnés et suivis, je mets mes efforts d'abord sur l'automatisation/scripting & l'auto-discovery.

true-wiwi, +1 pour gitlab. si tu veux tester un versioning assez propre et léger de tes docs techniques,  
* pour les schémas, draw.io avec export en png + inclure schéma
* un wiki léger genre http://zim-wiki.org/ ou https://wiki.js.org/, ou alors directement dans gitlab si ça te convient
+ un git (gitlab ou autre).

Et enfin sérieusement, "c'est plus vrai avec XCP-ng".

MP pour venir me convaincre en vrai ? Je suis prêt à mettre des €€€

Oui, c'était ce qui ressortait de ton post (et que visiblement Je@nb trouve aussi, mais on peut se tromper !) : ta l'air de dire que ça peut pas changer dans le fond parce que tu es 100% victime d'en haut (c'est peut être vrai) et que du coup tu freines le changement parce que c'est chiant pour toi. Ça faisait pas très positif. Après c'est peut être que j'ai (on ?) eu une mauvaise interprétation, désolé
 
Concernant XCP-ng, c'est un fork d'un hyperviseur avec une API complète (XenServer), ça fait chier à mort 6trix et t'imagine bien qu'avoir un gros comme qui t'as dans le viseur c'est pas bisounours land
 
Sans compter la taille de la dette technique de « forker » un projet de cette taille, qui fait des modifs bien de partout et dont certains repo sont même pas publics (donc tu manges des .patch à chaque release… et du dois strace des morceaux pour que ça marche sans utiliser de paquet proprio)

j'ai un peu le même problème dans ma cogip, on a de l'outillage et des process relativement à la page, mais ce qui continue de nous plomber c'est l'intégration de middleware et solutions boite-noires old-school, monolitiques, chiantes à distribuer, configurer, tuner, bencher, débuguer, documenter,  et qu'il faut toujours faire entrer au forceps dans nos process de build et d'exploitation, en créant toujours du cas particulier, du manque d'autonomie et de confiance dans les mises en prod etc.
Après quand tes infras ne portent que du développement interne sur lequel tu peux influer en tant que système / devops, du middleware ouvert et maitrisable, ça change la donne, c'est sûr. On peut toujours rêver arriver à un idéal comme décrit dans des ouvrages de ref type "practice of cloud system administration"

 
Merci pour https://wiki.js.org/, je ne connaissais pas

 
Si tu cherches un stage je te prends    

Y a que moi qui trouve la solution has been ? C'est pas très moderne ton truc là

Petit retour pratique sur la solution de métriques live + métrologie + monitoring avec la stack Netdata/Prometheus/Grafana.

> Aujourd'hui, on utilise plus les modèles de push que de pull : un container ou une VM fraîchement crée va automatiquement pousser ses données sur un serveur, sans avoir à mettre à jour la configuration dudit serveur de monitoring. Il suffit pour ça d'avoir dans son template la conf générique qui pointe sur votre serveur central.

## Sur chaque système : Netdata

C'est là le rôle de Netdata : un "agent" de collecte sur chaque VM/container va tout envoyer sur le Netdata central. Il faut savoir que la collecte Netdata est assez ouf tout en prenant très peu de ressources. Ici le site officiel : https://my-netdata.io et une démo https://london.my-netdata.io/defaul [...] heme=slate

Netdata, par défaut, va collecter des métriques toutes les secondes pour la dernière heure, ce qui est très pratique pour regarder dans le détail un pic à un instant T. Il existe aussi des set d'alertes intégrées dans l'UI, mais ce n'est pas forcément le plus puissant (on verra par la suite).

## Serveur central

Ajouter un serveur central c'est une ligne dans la conf sur vos hôtes à surveiller, c'est très simple (même template pour tous). Vous pouvez désactiver l'UI de base sur vos hôtes pour n'avoir que les métriques poussées vers le serveur central.

Le serveur dit "central" va automatiquement ajouter une entrée dès qu'un nouvel hôte se manifeste (hôte/VM/container). Tout est observable d'ici.

### La base de données

L'autre atout c'est qu'il va être facile de collecter toutes ces métriques pour la base de donnée Prometheus : https://prometheus.io/ C'est la DB faite pour stocker des métriques. C'est un démon, qui une fois la config effectuée, va "scraper" les données du Netdata central (pas tous les points toutes les secondes mais peut être toutes les 5 secondes ou 60 secondes, ça dépendra de la granularité que vous souhaitez).

### Exploitation des données

Ca, c'est le rôle de Grafana. Je sais même pas s'il faut encore présenter Grafana https://grafana.com/
On peut se connecter au backend Prometheus et à partir de là, métrologie et alertes s'offrent à vous, avec des options vraiment poussées (seuils d'alertes complexes et réglables facilement, connexion à un PagerDuty pour gérer votre équipe de support etc.)

Ici une démo simple utilisant un backend Prometheus : https://play.grafana.org/d/00000002 [...] 5m&orgId=1

Ici avec des exemples d'alertes : https://play.grafana.org/d/000000074/alerting?orgId=1

Je ous laisse exploser, mais c'est assez ouf. Bien entendu, vous pouvez utiliser des expressions mathématique (moyennes mobiles etc.) et des expressions régulières pour automatiquement gérer vos alertes (genre avoir un match de dashboard avec des noms de containers/VM qui ont "db*" en hostname).

Bref, c'est ultra puissant.

Bien entendu, tout ça est Open Source, et rien ne vous empêche de caler vos propres métriques applicatives directement dans Prometheus, ou de faire des plugin netdata si vous le souhaitez.

Est-ce que ça scale ? Clairement oui, puisque j'ai vu ça à l’œuvre sur des infras de milliers de VMs/containers.

Récap :

edit : pour les grosses infras ou pour des cas spéciaux, vous pouvez utilisez des "proxy" netdata, cf https://cloud.githubusercontent.com [...] ed4c53.png

 
Sympa merci pour la partage ! ça ressemble pas mal à Telegraf influxdb et grafana  
Tu as les fichiers de config quelque part afin de tester rapidement ?    

On est sur centreon ac serveur central et collecteurs.
J'avais déjà entendu parler de netdata, mais pas couplé ac le reste et d'un coup, centreon paraît vieux.

 
 
C'est justement ça qui est beau, ya rien à faire ou presque.
 
## Clients Netdata
 
Sur les « clients » Netdata, il faut juste dire de streamer sur le master, donc via `/etc/netdata/stream.conf` dans la rubrique [stream] :
 

 
## Serveur Netdata
 
2 lignes, même fichier :
 

 
## Prometheus
 
Là il faut lui dire de manger les data de… Netdata. Donc dans la section « scrape_configs » (en bas du fichier de conf), avec ici Prometheus sur le même serveur que le Netdata master :
 

 
Et… c'est tout. Grafana se configure en « click click » (Ajout provider/prometheus/URL/done).
 
Le must étant de caler tout ça derrière un reverse Nginx en HTTPS et hop.
 

 
Eh bien on dirait que directement non, mais sur un W10 avec la couche Linux ça marcherai : https://www.youtube.com/watch?v=ornB89bCTb8
 
Ceci dit, vu qu'il est assez facile de faire des plugins, ça me parait pas impossible du tout. Mais c'est clairement pas out of the box. N'ayant aucun Windows dans mon infra je m'étais même pas posé la question

 
(j'ai 95% de windows, 4% d'azure PaaS et 1% de linux dont on s'en fout)

Merci pour la présentation en tout cas, c'est chouette.

Ça tombe bien c'est pas un topic Windows ici

Tu t'es planté de topic alors

 
Je vous passe l'historique que l'on se paye.
Juste un mot ... bitnami ... (wordpress, redmine, ..., le moindre machin en LAMP installé en bitnami sur un win server).
 
     
 
j'avais espéré qu'on pourrait quand même être   ... bon          
 
 
 

Bordel netdata !
 
Faut que je mette ça sur mon petit serveur perso  

 
Le gros avantage c'est que ça fonctionne sur une grosse infra
Sur un petit serveur perso, telegraf fait bien le job et tourne sous Docker  

Netdata en standalone sans serveur central c'est mieux que telegraf Par défaut dispo sur http://tonhost:19999 après install d'un one liner...

Je viens de la stack TICK donc je peux te dire que c'est mieux ^^

Jpensais plutôt aux Windows serveur quand même.
 

 
Les mecs, ça a beau être un topic orienté, si on pouvait éviter de se rebaisser a snober Windows, ça serait pas mal, on est plus en 2000. Et d'autant plus quand on parle de systèmes dont la fonction peut servir qque soit l'OS.
J'aurais pu ajouter Mac Os a coté de Windows mais bon, le parc côté serveur doit être très anecdotique et malgré tout facile a connecter vu les origines de l'OS.
 
Peut être le support de Windows est dans la roadmap de netdata après tout, je suis pas allé voir.

  J'ai pas pris le temps de me documenter mais je me pose deux questions avant de tester les data elles sont stockés dans quoi? Niveau data peux-tu récupérer des métriques de baies EMC par ex. ou d'équipements réseaux un peu sympa comme un NetScaler?
 
 

J'ai fouillé quelques issues sur le sujet, et visiblement c'est pas la collecte en elle-même le soucis, mais le fait que Windows soit pas POSIX (sans déconner   ) : https://github.com/netdata/netdata/issues/92
 

 
Donc ça arrivera le jour où yaura une boîte qui mettra quelqu'un dessus pour quelques mois
 
Après, il doit bien exister des alternatives qui monitorent des Windows et qui vont pousser dans un Prometheus
 
Quand à moi, je snob pas Windows, j'en ai juste rien à faire puisque je m'en sers jamais de près ou de loin (enfin sauf que les tickets clients concernent des VMs Windows qui représentent 99% des problèmes de backup au niveau hyperviseur, à cause de VSS et autres merdes en tout genres qui se comportent pas pareil en fonction de la langue )
 
J'ai pas une image très positive de Windows dans le monde serveur à cause de ça, mais je peux pas dire que mon échantillon soit représentatif (j'ai pas encore 1000+ entreprises différentes qui font des tickets de support), donc je m'abstiens de commentaires parce que j'y connais pas grand chose