Reprise du message précédent :
Bonjour,
Quel VPS me conseillez vous pour héberger un petit labo Docker ?
J'hésite entre un portable chez moi accessible à distance ou un serveur virtuel.
Que me conseillez vous?

 
C'est mieux de commencer avec un serveur physique, parce que du virtuel dans du virtuel tu risques d'avoir des soucis (en fonction des fonctions que tu souhaites utiliser) !

 
plaît-it ?    
https://blog.docker.com/2016/03/containers-are-not-vms/

 
Oui c'est des containers, on ne virtualise pas le matériel, donc les performances sont quasi les même que du non virtuel, mais c'est basé sur LXC.
Essayes de mettre docker dans une VM LXC, tu va avoir des soucis (mais tu peux en bidouillant) ! Parce que dans Docker tu peux limiter un container en RAM, thread, etc...
 
Bref j'ai vulgarisé vu la demande    

Tu racontes n'imp, LXC c'est pas de la VM, c'est du conteneur.
Et faire du Docker dans une VM (une VRAIE VM, que ce soit du KVM, du Xen, de l'HyperV, du VMWare ou que sais-je) ça ne pose aucun souci.

Page wikipedia    
 

 
Sinon oui ça fonctionne sur tout ce que tu cites, mais pas sous LXC.

oh putain même si wikipedia s'y met ...
encore un exemple comme quoi il ne faut jamais rien lire en français, que des approximations, traductions foireuses pas claires, abus de langage, etc...  
"operating-system-level virtualization" a été traduit par "virtualisation" tout court, que le commun des mortels va associer à virtualisation machine/matérielle à la vbox, vmware etc...
 
source : https://en.wikipedia.org/wiki/LXC
source : https://fr.wikipedia.org/wiki/LXC
 
La suite du paragraphe corrige le tir :
 
"Le conteneur apporte une virtualisation de l'environnement d'exécution (processeur, mémoire vive, réseau, système de fichier…) et non pas de la machine. Pour cette raison, on parle de « conteneur » et non de machine virtuelle."

Encore heureux que Docker marche bien dans une machine virtuelle, sinon tu pourrais dire adieu à KiteMatic, Boot2Docker ainsi qu'à toute machine Amazon EC2 pour faire tourner tes containers.

question bete : j'essaie de tester la scalabilité de docker : comment, avec swarm, faire que les container soient redistribués sur de novueaux nodes ajoutés dans uncluster swarrm ?

 
Faut faire un service... et augmenter le nombre de containers
 

drapeau

plop, l'un d'entre vous s'est déjà amusé à faire tourner une cluster Mysql/Mariadb/percona dans des containers dockers ?
 
Avec un système d'intégration automatique de container ?

Drapal

ansible ou rancher doivent permettre ça sans trop se faire iech.
 
avec  des conteneurs docker un docker FS pour les datas et un bridge réseau ....  
 
j'ai jamais testé ce type de config mais je ne vois pas en quoi ce serai bloquant.

Plop,
 
Je sais pas si y'a des users de Mesos sur Debian/Ubuntu dans le coin mais j'ai sauté le pas et j'ai packagé correctement l'app.
Je met en italique car c'est un gros paquet foure-tout mais compilé vraiment, avec les libs systèmes et toutes les features activées, par comme l'horrible merde de chez Mesosphere qui n'est qu'une archive .deb avec des bins foireux compilés sur CentOS dedans.
 
C'est par ici (avec le deb source bien entendu):
http://packages.le-vert.net/mesos/debian/pool-jessie/
 
Je vais add stretch/amd64 bientot mais si vous avez besoin de qqch specifique (genre ubuntu machin chose en armhf), je peux vous le builder, faites moi un ptit MP.
 
Bien entendu c'est un debot donc vous pouvez mettre ca dans votre sources.list. C'est signé avec ma clef de hwraid.le-vert.net donc ptetre bien que vous l'avez déjà
 
Je peux aussi fournir un pinning apt pour ne pas se faire écraser par les paquets de chez mesosphere, voir même carrément un snippet de ma conf puppet pour déployer le truc
 
A+

Il y a quoi de dispo comme solution pour faire de web management de mon noeud docker ? J'en ai essayé quelques-uns mais c'est en générale des usines à gaz (gestion de cluster, infrastructure, load balancing, etc). C'est parfait pour un datacenter mais pour gérer un seul docker c'est overkill.  
 
Il y a éventuellement portainer mais ne propose pas de dupliquer ou de reprendre la config d'un autre container. Pas très pratique quand on s'est trompé dans la config, de devoir repartir depuis zéro.
 
Vous utilisez quoi ?

La solution ultime de mon côté c'est d'utiliser Gitlab CI pour faire de la gestion de config.
 
Avec ça mes deux noeuds docker sont autogérés.
 
Toute modification/paramétrage de dockerfile, du docker-compose.yml, des paramètres des commandes "docker run" entraine automatiquement une destruction + reconstruction des containers sur la prod.
 
On peut aussi scheduler les déploiements, ce qui permet d'automatiser le rebuild des images docker et donc automatiser les MAJ applicatives / correctifs de sécurité.
 
Du coup il n'y a plus le besoin d'aller maniper la création de conteneurs à la main, je n'utilise portainer que pour faire du debug.

Ah sympa ça ! T'aurais de la doc sur cette solution ?

 
C'est toi qui avait parlé de cette config sur le topic homelab?
Du coup j'avais jeté un oeil vite fait, mais quand on ne connait pas du tout gitlab, ça fait un peu usine à gaz et c'est pas évident à approcher (après j'ai pas du tout creusé le sujet, j'avoue. Juste lancé un container avec l'image préconfigurée)
 
Sur le papier en tout cas ça donne envie

Présentation du module CI de Gitlab :
https://docs.gitlab.com/ce/ci/READM [...] ng-started

Gitlab CI appliqué à docker :
https://docs.gitlab.com/ce/ci/docke [...] build.html

Dans la pratique je fais un container docker = un projet gitlab = un fichier .gitlab-ci.yml

Gitlab est un superbe outil, mis à jour régulièrement et permet d'appliquer chez soit les bonnes pratiques de dev.
Je ne pense pas que ça soit overkill comme ce que tu as pu citer (j'imagine que tu parles de Mesos/Kubernetes) mais la courbe d'apprentissage est plus grande que pour portainer (il faut qqs heures pour lire les docs et implémenter un déploiement).

EDIT : je comprends l'effet "usine à gaz" que tu décris x1fr car gitlab est aussi fait pour gérer des projets complexes avec des dizaines de contributeurs. Mais appliqué à de la gestion de conf docker c'est plutôt simple et la mise en place est rapide.
Suffit juste de comprendre le principe des runners et du .gitlab-ci.yml

Dès que je peux je vais poster le contenu d'un de mes .gitlab-ci.yml qui ne doit pas faire plus de 60 lignes et qui permet de gérer tout ce que j'ai écrit plus haut.

 
C'est Delivereath qui t'as lancé sur le sujet, moi j'ai juste réagis par rapport à ta réponse qui m'a rappelé que tu avais déjà mis un poste sur le sujet (je me suis trompé par contre c'est sur le topic serveur@home )
 
J'ai pas pris le temps d'approfondir assez gitlab j'imagine, mais y a pleins de possibilités sympa, dont ce que tu as déjà cité, mais aussi les registres docker par exemple. Faut que je prenne le temps de le faire  

Ah oui, en effet
Si tu trouves le temps tu ne le regrettera pas !    
 
comme promis un peu de code sur un .gitlab-ci.yml
 

 
4 steps dans la pipeline, dans l'ordre ça build une image de test, je déploie en environnement de test à la main si besoin. Ensuite ça publie l'image :latest et en dernier on déploie en prod.
 
Y'a moyen de simplifier avec une seule étape si on se base sur des images docker publiques par exemple, et ne mettre que des commandes types docker pull & docker run.
 
Sur l'IHM on a ça, et à chaque commit sur la branche master ça refait un déploiement :

Merci Messij
Tu m'as donné pleins d'idées !

J'ai mis une première version en place. Je l'utilise pour l'instant uniquement pour mettre en prod des images provenant du hub docker.

J'ai un machine debian sur laquelle tourne docker. J'ai ensuite mis en place un container gitlab-ce et un container gitlab-runner. Lors d'un push, le runner va créer un container à la volée basé sur Alpine. Un dossier provenant du host docker est également monté dans ce container pour copier les fichier docker-compose. Un autre volume est monté pour la clé SSH. Je commence par installer ssh, je copie le fichier docker-compose sur le volume du host docker, je me connecte en ssh sur le host, je détruis la version du container précédente et je crée un nouveau container.

Exemple pour portainer.

Fichier .gitlab.vi.yml :

Fichier portainer.yml :

Fichier de config du runner (config.toml) :

Le téléchargement du paquet openssh à chaque fois me dérange un peu. Je vais voir pour utiliser une image qui contient déjà le paquet. Et je me dis qu'il doit être possible de déployer en utilisant l'api docker à travers docker.sock plutôt que de faire du ssh sur le host.

C'est clair!
J'essaye de creuser un peu le sujet pendant mes congés.

Vous avez essayé de lancer gitlab avec un autre utilisateur que celui par défaut?

Je vois dans le fichier de config qu'il y a ça :

Vous pensez qu'en mettant à jour ces paramètres et tous les chemins de config ça a des chances de fonctionner avec l'image de base?

edit : ca a l'air possible, mais à nos risques et périls
https://docs.gitlab.com/omnibus/set [...] user-group

Dites c'est quoi cet enfer avec les backend de storage ?
 
AUFS n'est pas dans le kernel de Stretch, overlay2 nécessite un / en XFS avec des options de format qui n'était pas dispo à l'époque de Jessie.
Même après réinstalle de aufs-dkms, je dois quand meme bricoler un truc car AUFS ne veut pas écrire dans un /tmp qui est en XFS, donc j'active tmp.mount dans systemd pour passer en TMPFS.
 
C'est pas sérieux
 

 
Si quelqu'un veut: backport maison de la stack go + docker de Sid vers Stretch:
http://packages.le-vert.net/docker/

AUFS c'est mort, et c'est tant mieux.

Overlay ça poutre, et pas besoin d'un / en xfs, un /var/lib/docker sera bien plus pratique

Franchement jette AUFS, t'auras moins d'effets de bord/bugs

Pis pour les paquets docker, faut pas les prendre dans la distrib

Oe fin bon, je vais pas réinstaller mes r730 ras  laggle pour ça quoi
Bref back to aufs mais c'est vraiment de la merde docker. Ya un espoir qu'on puisse un jour changer ce flag offline avec xfs_admin ?

Tu peux aussi utiliser BTRFS

Au pire t'as le driver devicemapper en mode loop (je déconne hein, faut pas l'utiliser en prod )
 
Sinon je vois pas le souci à réinstaller un serveur en fonction de son usage.
Si t'as déjà 15.000 autres services qui tournent dessus je pense qu'il faut que tu te tournes vers de la virtu et que tu isoles/cloisonnes un peu tout ça

Je vois pas en quoi ça répond à son problème

Juste des noeuds elasticsearch et un mesos blindé
Jsuis court en resources, sinon je ferais Host par Host mais l'indisponibilité d'un host impacterai trop la prod. Ca attendra, ca tourne bien en aufs mais je trouve ça dingue de devoir bricoler autant pour ça...

Bonjour, bonjour !

Voilà rapidement le topo, j'avais, jusqu'à début juillet, un mutu perso sur OVH, avec dessus un petit Wordpress pour un site perso ( cv en ligne on va dire ) donc pas beaucoup de trafic etc. Mutu que je n'est pas renouvelé car pas envie...

Depuis j'ai une nouvelle envie, crée un autre site qui va avoir pas mal de trafic je l'espère ( wordpress aussi ).
Pour cela j'ai choisi de prendre un VPS chez OVH !
Mon choix c'est porté sur un Ubuntu 16.04 avec pour sécuriser un script Iptables, fail2ban.
Pour le serveur je pense être dans le bon !
( Je précise que pour le moment je n'est rien commandé   J'ai procédé à tous mes tests d'installation etc sur une Machine Virtuelle )

Puis pour la partie hébergement web, Docker
Voici le copier / coller du docker-compose.yml fonctionnel sur ma vm

Tout est parfaitement fonctionnel sur ma VM

Voilà maintenant plusieurs soucis qui viennent à moi !
Cela serait dommage de reprendre un autre VPS d'après moi pour installer un autre wordpress ( site perso ), je pensais le mettre sur le même serveur ! Mais comment faire ??

Je pensais faire comme cela

Autre soucis, je pense, en regardant de plus près, réussir à les faire co-habiter, le soucis, je souhaite un accès en HTTPS pour les deux avec Certbot(Letsencrypt). Mais idem comment faire ???

Autre contrainte maintenant >< Oui je sais, mon site personnel, ça durée de vie n'est que de maximum 1 ans   généralement je supprime tout et recommence pour m'obliger à suivre les derniers CMS etc...

Normalement, aucun soucis avec le système de docker n'est ce pas??

Maintenant la dernière question ( vraiment la dernière ), Je souhaite quelques choses de rapide pour optimiser mon référencement, donc un VPS SSD parait le plus cohérent à ma demande non? Sachant que, le jour ou le nouveau site atteigne beaucoup de visiteur, je migrerai le tout sur un dédié à part entière ! ( Trop chers pour le moment )

Merci de vos futurs conseils  

Pour letsencrypt, pourquoi ne pas utiliser un container qui intègre letsencrypt + nginx : https://hub.docker.com/r/linuxserver/letsencrypt/ ?
 
Pour deux sites, c'est deux sous-domaines du même domaine ou totalement différents ?

Deux domaines totalement différents

Je suis en train de tester Rancher, je trouve ça plutôt bien. Es-ce qu'ils y a d'autres softs qui font la même chose et où ça vaut le coup de prendre du temps à tester ?
 
Sinon vous connaissez un soft qui me permettrait de faire une file d'attente, j'ai par exemple des centaines de contenairs à faire tourner, mais plusieurs  à la fois sans saturer le cluster c'est possible ?

c'est précisément le rôle du cluster de partager la charge  

Oui je sais    
 
J'ai déjà un cluster swarm de 10 machines, je cherche un utilitaire que fait de la submission de jobs... je pense tester "Marathon" c'est celui qui je pense correspond le plus à mon besoin.
Je veux bien un retour si quelqu'un à déjà testé ?

Oui, pour du job, Mesos/Marathon c'est le plus adapté.
Tu peux regarder du côté de Nomad de Hashicorp aussi.
 
Rancher c'est top, tu peux creuser, mais ça ne correspondra pas à ton type d'utilisation si c'est la seule que tu recherches : ça ne gère pas (à ma connaissance) le mode batch, c'est plutôt très orienté micro-services.