Forum |  HardWare.fr | News | Articles | PC | S'identifier | S'inscrire | Shop Recherche
2964 connectés 

 


 Mot :   Pseudo :  
 
 Page :   1  2
Page Suivante
Auteur Sujet :

[résolu] DRBD + iSCSI + LVM + multipath

n°1202728
e_esprit
Posté le 04-03-2010 à 15:51:56  profilanswer
 

Reprise du message précédent :
Je plussoie, c'est que j'utilisais pour faire du maquettage avant qu'on achète notre SAN :jap:
 
Et un collègue l'utilise toujours, à priori ça a bien avancé.


---------------
Ce n'est point ma façon de penser qui a fait mon malheur, c'est celle des autres.
mood
Publicité
Posté le 04-03-2010 à 15:51:56  profilanswer
 

n°1202735
Plam
Bear Metal
Posté le 04-03-2010 à 16:43:29  profilanswer
 

Bon je crois que je vais demander au gars de chez DRBD cette histoire de bloc pas repliqué avec LVM. Ça me démange trop.

 

Si j'ai la réponse, j'ai la solution à mon problème :D

 

edit : quand même, ça aurait de la gueule un multipath round-robin avec du Xen sur du DRBD dual primary :love:


Message édité par Plam le 04-03-2010 à 17:53:24

---------------
Spécialiste du bear metal
n°1202933
gug42
Posté le 05-03-2010 à 16:24:38  profilanswer
 

Salut,
 
J'ai pas tout suivi.
 
Par ici je monte à la chaine des clusters DRBD/HeartBeat/[Openvz|KVM] avec du LVM par dessus le DRBD
 
T'en es ou ?

n°1203301
Plam
Bear Metal
Posté le 08-03-2010 à 10:50:15  profilanswer
 

J'en suis que je passe pour un glandu sur la ML de DRBD, car les gusses là bas ne lisent qu'en travers mon - soit, long - mail, et pense que c'est juste du Nested LVM "classique" sur le serveur DRBD, alors que je parle d'un problème LVM sur des clients iSCSI, qui EUX ont LVM.  
 
Je vais essayer d'exporter un volume physique avec DRBD (sans LVM), pour simplifier l'explication : ce sont les LVM des clients qui chient.  
 
Je vais en salle serveur pour tester tout ça, d'ici midi j'aurai une réponse !


---------------
Spécialiste du bear metal
n°1203328
e_esprit
Posté le 08-03-2010 à 11:09:44  profilanswer
 

Plam a écrit :

J'en suis que je passe pour un glandu sur la ML de DRBD, car les gusses là bas ne lisent qu'en travers mon - soit, long - mail, et pense que c'est juste du Nested LVM "classique" sur le serveur DRBD, alors que je parle d'un problème LVM sur des clients iSCSI, qui EUX ont LVM.  
 
Je vais essayer d'exporter un volume physique avec DRBD (sans LVM), pour simplifier l'explication : ce sont les LVM des clients qui chient.  
 
Je vais en salle serveur pour tester tout ça, d'ici midi j'aurai une réponse !


On peut pas leur en vouloir vu le mal qu'on a eu à comprendre :D


---------------
Ce n'est point ma façon de penser qui a fait mon malheur, c'est celle des autres.
n°1203349
Plam
Bear Metal
Posté le 08-03-2010 à 11:28:31  profilanswer
 

e_esprit a écrit :


On peut pas leur en vouloir vu le mal qu'on a eu à comprendre :D


 
Oui, je sais pas, je me sens seul dans l'univers à jouer avec LVM sur un client iSCSI [:spamafote]


---------------
Spécialiste du bear metal
n°1203366
e_esprit
Posté le 08-03-2010 à 11:40:22  profilanswer
 

Non :o
 
Par contre avec un client LVM sur du iSCSI, sur du DRBD en multi-actif, possible :D


---------------
Ce n'est point ma façon de penser qui a fait mon malheur, c'est celle des autres.
n°1203378
Plam
Bear Metal
Posté le 08-03-2010 à 11:47:52  profilanswer
 

e_esprit a écrit :

Non :o
 
Par contre avec un client LVM sur du iSCSI, sur du DRBD en multi-actif, possible :D


 
Voilà  :jap:  
Pourtant je trouve que ça poutre tout cette conf, c'est la plus élégante : pas de heartbeat, rien, juste DRBD et du fencing en cas de pb sur le lien de réplication, et point barre !


---------------
Spécialiste du bear metal
n°1203384
e_esprit
Posté le 08-03-2010 à 11:50:35  profilanswer
 

Bah non pas point barre, pont de suspension [:aloy]


---------------
Ce n'est point ma façon de penser qui a fait mon malheur, c'est celle des autres.
n°1203385
Plam
Bear Metal
Posté le 08-03-2010 à 11:51:41  profilanswer
 

e_esprit a écrit :

Bah non pas point barre, pont de suspension [:aloy]


 
[:rofl]  
Remarque, ta pas tort  [:implosion du tipsa:1]


---------------
Spécialiste du bear metal
mood
Publicité
Posté le 08-03-2010 à 11:51:41  profilanswer
 

n°1203630
Plam
Bear Metal
Posté le 09-03-2010 à 11:05:50  profilanswer
 

Bon, ça avance.
J'ai décidé, pour simplifier la chose de  répliquer un disque ENTIER avec DRBD. Plus de LVM sur les hosts DRBD.
J'exporte donc en iSCSI le /dev/drbd0, qui est tout simplement /dev/sdb.

 

Maintenant, voyons sur mes clients :
CLIENT1 est connecté sur DRBD1. Un fdisk -l donne donc, sur lui :
Disk /dev/sdb: 2998.9 GB, 2998960914432 bytes

 

CLIENT2 est connecté sur DRBD2. Fdisk :
Disk /dev/sdb: 2998.9 GB, 2998960914432 bytes

 

Tout va bien pour l'instant. Maintenant, mettons que sur CLIENT1 je crée un VG qui contient un LV. Lvscan, je le vois, très bien.

 

Mais, sur CLIENT2, rien nada : pas de vg, ni de lv (pvscan, vgscan, lvscan = RIEN). Par contre, accrochez vous, si sur DRBD2 je fais :
drbdadm disconnect resource && drbdadm connect resource

 

Cette fois, CLIENT2 voit bien le vg et les lv (inactif - normal - mais bien présents !)

 

Mais pourquoi ?????? :cry:


Message édité par Plam le 09-03-2010 à 11:06:34

---------------
Spécialiste du bear metal
n°1203636
e_esprit
Posté le 09-03-2010 à 11:27:32  profilanswer
 

Ben c'est pareil qu'avant non :??:


---------------
Ce n'est point ma façon de penser qui a fait mon malheur, c'est celle des autres.
n°1203640
Plam
Bear Metal
Posté le 09-03-2010 à 11:41:26  profilanswer
 

e_esprit a écrit :

Ben c'est pareil qu'avant non :??:


 
Oui, mais ça me plait pas.  
 
Comme dirais Lars :

Citation :

Does the keyword "cache coherence" help?


 
Mais ça m'intrigue un peu :o


---------------
Spécialiste du bear metal
n°1203678
Plam
Bear Metal
Posté le 09-03-2010 à 15:40:27  profilanswer
 

Bon, ben voilà, j'ai essayé cLVM. Et ben suspense...  
 

Spoiler :


Comme je le pensais, ça ne marche toujours pas !


 
En effet, mon cluster sous OpenAIS fonctionne, les hôtes se voient, cLVMd mon montre bien une activité des deux côtés quand je fais une opération avec LVM, sauf que...  
 
CLIENT1 connecté sur DRBD1 fait un pvcreate, puis vgcreate.  
 
CLIENT1:~# vgcreate /dev/vg_xen /dev/dm-0
  Clustered volume group "vg_xen" successfully created
 
Ça cause :  
CLVMD[40a33950]: Mar  9 15:13:16 LVM thread waiting for work
CLVMD[e28d5770]: Mar  9 15:13:16 181631075 got message from nodeid 181631075 for 181631076. len 1
 
CLIENT2:~# vgscan  
  Reading all physical volumes.  This may take a while...
 
Oups, rien du tout.. Bon allez, je vais créer un LV sur CLIENT1, on va bien voir !
 
CLIENT1:~# lvcreate -L82M -n xena3vol vg_xen
  Rounding up size to full physical extent 84,00 MB
  Error locking on node ad37864: Volume group for uuid not found: 1xgSmqky8beMkIQSGqYQ0fSC6IdOBOJEg46qEeWY9eV9njYJ2B9zxJwyXIaSHs3h
  Aborting. Failed to activate new LV to wipe the start of it.
 
PATATRA !  
Et bien sûr, pas de problème si CLIENT1 et CLIENT2 sont sur le même DRBD... :/
 
 


---------------
Spécialiste du bear metal
n°1204745
Plam
Bear Metal
Posté le 15-03-2010 à 11:17:44  profilanswer
 

Ça y est ! Résolu ! Enfin §§§§§§§§§§§§!! :fou:

 

Bon, de suite là comme ça, ça n'avait RIEN A VOIR avec cLVM, ni même LVM, ni non plus DRBD, ni le cache de mes baies de disques.

 

En fait, la solution est très simple ! Sur mes hosts DRBD, sur lesquels j'exporte en iSCSI mes disques, voici mon ancienne conf :

Citation :

Target iqn.2010-10.fr.vial.sl01a:storage.lun1
        IncomingUser
        OutgoingUser
        Lun 0 Path=/dev/drbd0,Type=fileio,ScsiId=xenuuid
        Alias LUN1

 

Eh oui, de base, iSCSI a un système de cache, sur les fichiers. Autrement dit, quand je crée un volume LVM, cela n'engendre pas de création de blocks au niveau disque, d'où "l'invisibilité" pour DRBD, qui ne réplique pas sur le deuxième nœud.

 

La solution est de mettre :

 
Citation :

Target iqn.2010-10.fr.vial.sl01a:storage.lun1
        IncomingUser
        OutgoingUser
        Lun 0 Path=/dev/drbd0,Type=blockio,ScsiId=xenuuid
        Alias LUN1

 

Et oh ! Magie :love:

 

Tout marche !

 

edit : merci à Dan pour la réponse sur la ML DRBD ;)

 
Citation :


I haven't figured out the structure here from these messages, but I did see
the keyword iSCSI. I had similar problems with iscsi-target LUNs on drbd
when I had them defined as fileio. iscsi-target was caching. Changing the
definitions to blockio fixed all. Don't know if this is applicable to your
situation, but the following worked for me. I was using a VMFS filesystem on
the iSCSI targets.

 

Dan Barker

 

cat /etc/ietd.conf
 Target iqn.2010-03.com.visioncomm.Storage00:Storage00
 Lun 0 Path=/dev/drbd1,Type=blockio,ScsiSN=SPIDSK-090311-00
 Lun 1 Path=/dev/drbd2,Type=blockio,ScsiSN=SPIDSK-090312-00
 Alias iDISK0


Message cité 1 fois
Message édité par Plam le 15-03-2010 à 11:18:46

---------------
Spécialiste du bear metal
n°1204747
el_barbone
too old for this shit ...
Posté le 15-03-2010 à 11:20:28  profilanswer
 

Plam a écrit :

Ça y est ! Résolu ! Enfin §§§§§§§§§§§§!! :fou:
 
 
Eh oui, de base, iSCSI a un système de cache, sur les fichiers. Autrement dit, quand je crée un volume LVM, cela n'engendre pas de création de blocks au niveau disque, d'où "l'invisibilité" pour DRBD, qui ne réplique pas sur le deuxième nœud.  


 
 
le iSCSI ça a toujours été du mode bloc au niveau des i/os, contrairement à de l'IP (NFS) qui est du fichier ...


---------------
En théorie, la théorie et la pratique sont identiques, en pratique, non.
n°1204750
Plam
Bear Metal
Posté le 15-03-2010 à 11:25:11  profilanswer
 

Sauf dans la conf en fileio ;)


---------------
Spécialiste du bear metal
n°1205320
gug42
Posté le 18-03-2010 à 13:03:55  profilanswer
 

e_esprit a écrit :

Non :o

 

Par contre avec un client LVM sur du iSCSI, sur du DRBD en multi-actif, possible :D

 


Ah dit comme ça c'est plus simple ! (enfin à comprendre).

 


Cool que ca marche

 


ps : désolé chuis en retard xD


Message édité par gug42 le 18-03-2010 à 13:04:40
n°1205344
Plam
Bear Metal
Posté le 18-03-2010 à 14:59:06  profilanswer
 

Pour être exact, du LVM multiple (cLVM fonctionne) sur du iSCSI sur du LVM sur du DRBD en multi-primary [:aloy]


---------------
Spécialiste du bear metal
n°1211925
hfrfc
Bob c'est plus simple à dire..
Posté le 19-04-2010 à 14:05:11  profilanswer
 

Et essayer GlusterFS ca serait pas plus simple ici ? :o
Ca a l'air de bieng poutrer et c'est plus souple que drdb.


---------------
D3/Hots/Hs Doc#2847
n°1211961
Plam
Bear Metal
Posté le 19-04-2010 à 15:08:44  profilanswer
 

Peut être plus souple, mais je doute niveau perfs qu'on puisse faire mieux ou jeu égal vs du block...


---------------
Spécialiste du bear metal
n°1211972
hfrfc
Bob c'est plus simple à dire..
Posté le 19-04-2010 à 15:39:09  profilanswer
 

Normalement gluster supportera le block à la prochaine release.


---------------
D3/Hots/Hs Doc#2847
n°1211975
Plam
Bear Metal
Posté le 19-04-2010 à 15:40:53  profilanswer
 

Sauf que je suis en pré-prod là :o
 
Ça risque d'être un peu chaud les marrons :o


---------------
Spécialiste du bear metal
n°1211978
hfrfc
Bob c'est plus simple à dire..
Posté le 19-04-2010 à 15:44:24  profilanswer
 

ouais :o c sur :o
Je vais attendre un peu de mon coté, car je cherche une solution la plus simple possible sans usine à gaz (KISS :o)


---------------
D3/Hots/Hs Doc#2847
n°1211979
Plam
Bear Metal
Posté le 19-04-2010 à 15:45:55  profilanswer
 

Et c'est pas évident : mélanger haute dispo et sécurité des données + performances + KISS, c'est même très chaud...


---------------
Spécialiste du bear metal
n°1211981
hfrfc
Bob c'est plus simple à dire..
Posté le 19-04-2010 à 15:50:23  profilanswer
 

Si gluster tient la route je pense que ca sera gagné pour moi. Mes vm (xen!SERVER!) n'utilisent pas des i/o de manière très intensive (pas de serveur de mail par exemple). En attendant je pense faire qqu essais avec gluster en NFS, mais niveau perfs  :sweat:  
 
Sinon openfiler supporte le block je crois. Ensuite pour la HA, je ne sais pas si c'est integré dedans.


---------------
D3/Hots/Hs Doc#2847
mood
Publicité
Posté le   profilanswer
 

 Page :   1  2
Page Suivante

Aller à :
Ajouter une réponse
 

Sujets relatifs
Récupérer données NAS partition linux Thecus N2200 [RESOLU][RESOLU] Samba : smbd ne se lance pas au démarrage du serveur
[Résolu] Gérer les noms de domainelogiciel sous Debian pour créer un site ( résolu )
PB carte reseau /etc/udev/rules.d (Résolu)[Résolu] - Problème Thunderbird_Passage de windows à Ubuntu
[Résolu] Fedora Core 12 : impossible de passer en KDE en frJe m'installe un autre LAMP mais soucis avec phpmyadmin [Résolu]
[Résolu]Snort: le demon ne demarre pas.[Resolu] VNC : serveur Centos 5.3 - client xubuntu 9.10
Plus de sujets relatifs à : [résolu] DRBD + iSCSI + LVM + multipath


Copyright © 1997-2022 Hardware.fr SARL (Signaler un contenu illicite / Données personnelles) / Groupe LDLC / Shop HFR