Reprise du message précédent :

Change de métier

Bonjour à tous,
 
Je me suis lancé il y a pas longtemps dans Docker et j'apprends encore.
Je rencontre un petit soucis et je ne trouve pas la solution.
 
J'utilise Docker sur un NAS Synology et ce dernier étant en BTRFS créer avec Docker des dossiers dans un subvolumes/btrfs
 
J'aimerai faire le nettoyage dans ce dossier mais je n'y arrive pas.
Savez-vous comment faire svp ?
 
Ces dossiers se nomment tous par des suites de chiffres et de lettres qui n'ont ni queue ni tête et il m'est difficile de savoir lequel est encore utilisé, lequel est pour quel container etc...
 
Merci par avance pour votre aide.

Tu peux nettoyer tout ce qui n'est plus utilisé :

Dégage tous les conteneur non lancés :

Dégage toutes les images qui ne dépendent pas d'un conteneur existant :

Dégage tous les volumes qui ne dépendent pas d'un conteneur existant :

Je t'invite à te documenter sur ces commandes avant de les exécuter

Ou docker system prune -f  

Merci pour vos conseils mais ces commandes ne fonctionnent pas
 
Elles ne fonctionnent pas sur ce fameux dossier en tout cas !
 

Tu as fais un sudo ?
 
Je suppose que synology à adapter un peu la conf Docker en plus, je bosse sur un vraie os moi  

Non, je suis déjà logué en root (pas le choix sur DSM 6.2).

Tu as tapé quoi exactement ?  
Tu peux sortir le résultat d'un "df -kh" aussi ?

J'ai tenté pas mal de choses :
 
- rmdir nomdudossier
- rm -r nomdudossier
- rm -f nomdudossier
 
Même avec le "sudo" alors que je suis connecté en root ne passe pas.
 
etc...
 
Aucune ne passe alors j'ai ensuite regardé via WinSCP et j'ai remarqué que les droits étaients comme ça :

 
J'ai donc tenté de modifier les droits mais impossible. Bizarre puisque je suis root. Est-ce que le système subvolumes sur Docker a des droits qu'on a pas et on ne peut pas aller au dessus ?!
 
Par la suite et afin d'avancer dans ma réinstallation au propre de Docker et de ma restauration de mes containers, j'ai décidé de renommer le dossier subvolumes et ça, ça a fonctionné.
J'ai donc maintenant un dossier nommé "dossier_qui_ne_veut_pas_se_supprimer" mais pareil, impossible de le supprimer et qui contient environ 150 dossiers...
 

 
La commande "df -kh" donne :
 

Bon finalement, après pas mal de recherches, j'ai trouvé la solution.
 
Voici la commande au cas ou ça arrive à quelqu'un
 

ça ne venait pas de docker    
mais je persiste à dire que ce n'est pas une installation standard sous syno d'après les chemins !
Merci pour ton retour en tous cas !

Si si, je peux t'assurer que c'est une installation standard. J'ai rien demandé de spécial pendant la config du containerl.
 
Et cette commande, j'ai fini par la trouver sur Github ou pas mal de personnes ont rencontrés mon soucis et ils n'étaient pas sur un NAS Synology
 
Mais de toute  façon, il y a des choses pas normales dans Docker que je n'arrive pas à expliquer.
 
Par exemple, je viens de réinstallé Searx. Et bien dans btrfs/subvolumes, il me créer trois dossiers avec les même données...
 
Dans le doute, j'ai testé sur mon petit serveur de demo sous Openmeiavault et bien c'est pareil, trois dossiers identiques rien que pour Searx.

Cela peut être un comportement normale.
Si par exemple tu utilises des docker volume pour Searx... ou alors oui il y a un soucis    

Je ne crois pas utiliser des dockers volumes, après je débute Docker donc je vais pas trop m'aventurer à dires des aneries.
 
A la base, c'est juste un méta moteur de recherche donc un site web en gros. Je comprends pas pourquoi il s'installe sur trois subvolumes avec les même données.

Si je me plante pas ça vient du driver de stockage par défaut (aufs/btrfs) qui est pas du tout optimal côté performances et occupation de l'espace disque.

A préférer Overlayfs2 qui est nettement plus efficace mais je vois pas comment modifier le docker du synology pour passer en overlay2. Et de toute façon il demande un kernel récent en 4.1X donc ça doit être incompatible.

Je suis entre autres passé sur du serveur DIY pour docker pour ça (et aussi docker sur un volume HDD c'est d'une lenteur question I/O ).

Tu veux dire que ton docker tourne sur SSD ou SAS ?

Mon Docker est sur une vm dans l'hyperviseur de mon nuc avec SSD. Je peix bidouiller l'install comme je veux.

Question performances pures docker (operations de build, deploiements etc) mais également coté réactivité des applications deployées dans les conteneurs c'est le jour et la nuit comparé à Docker sur le HDD du syno (DS 415+).

Si t'as une baie pas utilisée sur le syno je conseille de brancher un SSD et migrer le volume docker sur le SSD pour comprendre la différence.

Non, j'ai déjà mes quatre baies de prise. Mais je vais y penser sur mon prochaine serveur. Je suis en train de réfléchir sur un fait maison justement.

 
Je rebondis sur ce que tu as dit.
 
Je viens en effet de tester Searx sur un Macbook PRO et je vois bien dans le "docker searx inspect" qu'il utilise overlay2 alors que j'ai regardé côté Synology et côté Openmediavault et c'est pas le cas.
 
Est-ce qu'il est éventuellement possible de forcer une installation de Searx dans un volume choisi et qu'il aille pas se mettre dans un subvolume ?
 
Merci par avance
 

Je ne connais pas le driver btrfs, mais de ce que je viens de regarder, les dossiers subvolumes c'est pour stocker les layers images et le layer du conteneur.
Ce qui est différent du concept de volume dans Docker.
Donc attention a ne pas te mélanger dans les concepts.

Et donc pour répondre à ta question, non tu ne peux pas lui dire d'aller se mettre ailleurs, c'est ton driver de stockage qui veut ça, ne cherche pas à mettre les mains dedans dans le dos de Docker.

Le seul truc pour lequel tu peux décider d'où ça va, c'est les volumes qui sont destinés à stocker les données.

Les docs officielles Docker sont vraiment très bien faites, je t'invite à les consulter pour mieux comprendre les concepts d'images, de conteneurs, de graph drivers (les fameux drivers de stockage), et les volumes.

Quand t'as bien pigé ces concepts, tout est très clair (reste la gestion du réseau, mais c'est une autre histoire).

Sinon moi j'utilise overlay2/xfs partout (sauf sur le Synology du boulot mais j'ai qu'un pauvre Telegraf de Dockerisé dessus). Et aucun souci de perfs sur du HDD

Au niveau des performances, j'ai pas trop à me plaindre sur mon DS916+ avec les 8 Go.
 
Ma critique principale serait plutôt sur le bordel dans les noms des volumes par exemple. Faire des suites de lettres et de chiffres n'a aucun sens à mon humble avis.  
 
Si plusieurs containers installés depuis la même image, ça pouvait très bien donner Plex1, Plex2 pour nommer les volumes !
 
Pour ce qui est des images, volumes et containers, j'ai compris dans l'ensemble même si il me reste encore beaucoup à comprendre/apprendre. C'était cette histoire de subvolumes surtout car je n'y avais jamais été confronté auparavant sauf que là, je veux modifier quelques petites choses dans Searx et donc j'ai constaté cette histoire de btrfs.
 
Quant aux docs de Docker, elles sont certes très bien faites mais pour des anglophones ce qui n'est pas mon cas. Je le lis assez bien mais quand c'est trop technique, là ça devient du mandarin lol.
 
Merci en tout cas pour ta réponse

Bien sûr que ça a un sens ces noms "compliqués"...
Déjà ça devrait te faire comprendre que tu n'as pas à mettre les mains dedans.
C'est Docker qui gère ça, et qui te propose une API pour les manipuler de façon plus humaine (sous commandes images, ps, rm, rmi,...).

Sincèrement, documente toi sur comment se construit une image (pas que le Dockerfile, mais ce qui se passe vraiment derrière), tu verras, c'est très logique.

Après, je parle en petit connaisseur  
Je suis pas professionnel et j'en suis loin. Je fais tout avec mon petit niveau d'amateur. Pour certains, c'est facile, pour d'autres, beaucoup moins. Au moins, j'essaie d'apprendre.
 
Merci en tout cas

Si tu veux modifier des choses dans une image, ne le fais pas dans les fichiers que tu vois dans ton dossier docker. Jamais. Et c'est pas négociable

Soit tu passes par un Dockerfile pour faire ta propre image (si tes à l'aise), soit plus simplement tu crées un conteneur, tu fais tes modifs dedans, et tu en fais une image (docker commit ...).

C'est pas si compliqué que ça en a l'air, et tu y verras plus clair ensuite.

Oui mais on ne peut pas le faire concernant le subvolumes. On est obligé d'aller trifouiller dedans surtout quand il s'agit de simplement modifier un settings.yml par exemple. Je me trompe ?!
 
J'ai bien essayé d'exporter mon image et mon container mais comme les fichiers ne sont pas dedans et bien je ne peux pas le modifier.

Oui tu te trompes.
Essayes de comprendre la seconde procédure que j'ai indiqué.

Bon, j'ai bien essayé de comprendre docker commit mais je ne vois pas comment je peux modifier le contenu de ce que je veux faire
 
En faite, je voudrais simplement changer ça :
https://github.com/asciimoo/searx/pull/1419/files
 
J'ai aussi essayé de télécharger l'image et de la modifier moi même à la main mais à la finale, mon docker n'arrive pas à lancer l'image correctement.
 
Je rencontre des soucis dans la décompression ou compression de l'image avec Winrar et 7zip même quand je les lance en admin.
 
Je pense que ça dépasse nettement et plus encore mes connaissances et compétences.

Pour modifier un fichier tu peux faire:
 
- un "docker exec -ti container-name bash" tu sera en bash à l'intérieur du container, tu peux faire ta modification, mais en cas de redémarrage ça sera perdu
- tu peux copier le fichier sur ton host avec la commande "docker copy" puis tu fais un bind du fichier en ajoutant "-v hostpath:containerpath" au moment de lancer ton container
 
Il faut voir le container comme quelque chose de temporaire, tout ce qui n'est pas dans un volume ou monté via un bind est remis à l'état initiale au moment de relancer ton container.

Merci d'essayer de m'aider et m'apporter tes connaissances
J'ai tenté la première commande mais elle ne passe pas.
 
"docker exec -ti searx bash"
résultat : rpc error: code = 2 desc = oci runtime error: exec failed: container_linux.go:247: starting container process caused "exec: \"bash\": executable file not found in $PATH"
 
Pour la deuxième partie de ton message, j'avoue ne pas avoir compris.

1/ Cela veut dire que bash n'est pas installé dans le container.
    exec te permet d'exécuter une commande, -i en interactif -t détacher le terminal
 
2/ Avec la commande docker copy tu copie le fichier que tu veux modifier dans le container sur ton host.  
    Tu fais la modification
    Puis au moment du lancement du container tu écrases le fichier du container avec celui du host, tu réalises ça avec la commande volume.
    Poste ton fichier de configuration pour lancer ton container, je t'aiderais

1/ Ok merci. Et je suppose qu'on ne peut installer nous même bash dans un container ?!
 
2/ Il est très simpliste car il n'y a de base rien à configurer.
https://hub.docker.com/r/hoellen/searx/
 
docker run -d -name searx  -p 8888:8888 hoellen/searx:latest
 
Encore merci

1/ Tu peux essayer un docker exec apt-get install bash mais j'ai jamais fait ça, la solution 2 est préférable.
 

 
J'ai mis un exemple avec un fichier, mais ça fonctionne aussi avec un dossier.

Bonjour,
 
Merci encore pour ton aide. On voit la passion de Docker avec le temps que tu prends pour moi
 
Je tente ça dès que j'ai un moment et je reviens vers toi pour te dire ce qu'il en est.

amoouuuuuuuur gloire et beautéééééééééé
 
désolé ...

Petite question par contre, j'ai quatre subvolumes qui concernent ce container et l'un des fichiers que je dois modifier se trouve dans les quatre.
 
Je fais comment pour savoir lequel je dois exporter svp ? Je dois le faire pour les quatre ?
 

 
Quand à l'autre fichier, il est encore plus répandu
 

Il ne faut vraiment pas s'occuper de ce que tu trouves dans ces dossiers. C'est la gestion interne de Docker.
Tu devrais trouver les chemins dans la documentation de ton soft normalement.  
Sinon je dirais dans /usr/local/searx/searx/settings.yml
Le plus simple c'est de faire un find ou ls avec docker exec, essayes d'utiliser les commandes Docker  

 
Bah ça ne parle pas des subvolumes. Je suppose que ce n'est pas un comportement normal pour Searx si ils en parlent pas.
 

Oui mais ça concerne toujours trois ou quatre dossiers.
 
---------------
 
J'ai bien essayé d'utiliser uniquement les commandes docker mais quand on parle de docker exec, on parle de bash dans la commande et celle ci ne passe jamais puisque pas installé.

Je dois vraiment mal expliquer    

Merci beaucoup dd_pak
Sincèrement !
 
Là, en effet, je comprend mieux. Et effectivement, la commande ci-dessous fonctionne et m'a bien exporté les fichiers voulus
Tu as fais un docker cp searxusr/local/searx/searx/settings.yml  /outuveuxrangertaversionmodifié/settings.yml
Tu as fais un docker cp searxusr/local/searx/searx/search.py  /outuveuxrangertaversionmodifié/search.py
 
Je l'ai ai modifié à la main et il faut maintenant je suppose refaire les commandes à l'envers pour modifier les fichiers déjà présents. C'est bien ça stp ?

 
Bon, je reprends depuis le début histoire de ne plus me perdre...
 
Voilà ce que j'ai fait :
 
En SSH :
 

et

 
Ensuite, j'ai modifié ces fichiers sur mon PC directement avec Notepad++ et enregistré (bien entendu).
 
Je supprime mon container actuel sinon il y a conflit.
 
Enfin, j'essaie de suivre ta recommandation mais ça ne passe pas.
 
En SSH :
 

 
Résultat :
docker: Error response from daemon: Bind mount failed: '/usr/local/searx/searx' does not exists.

Bon apparemment, j'ai réussi.
 
Voici les commandes que j'ai tapé :
 

 
Puis j'ai redémarré mon container pour être sûr.
 
J'ai rien fait de mal au moins ?