Reprise du message précédent :
 

cccccombo-breaker

Il y a des pros des NEXUS 5000 et du VPC ici ?
J'ai la topologie suivante:
     A-------B
      |   \  / |
      C      D
A et B sont 2 nexus 5000 relié entre eux par un inter-link de 2*10G.
C et D sont des serveurs sous linux, avec un bonding de 4*10G relié par 2 liens sur chaque NEXUS avec le vpc qui va bien.
Le problème étant que je n'arrive pas à tirer plus de 20G entre les 2 serveurs. Iperf avec 4 process reste à 20G.

Pas de soucis si je débranche un cable, le 3ème voir 4ème lien prends le relai (si je débranche 2 cables). Les 4 liens sont donc actifs mais pas en même temps apparemment.
Les commandes vpc m'indiquent que tous les liens sont up (je m'attendais à en voir 2 en stand by mais non).
Question: cette topologie est elle seulement supportée/prévue ?

EDIT BL : oops

Je pense que le problème vient du linux et notamment de l'algo de répartition de charge qui est associé en sortie sur tes interfaces.
 
Y a juste une règle sur un VPC : on préfère toujours le switching local, le peer link n'est utilisé que lorsqu'il n'y a pas le choix (équipement mono raccordé ou cas de panne)

Le bond est en LACP 802.3ad standard. (mode 4 de mémoire).
Pour le VPC on a pas moyen de le forcer à utiliser le peer link ?
BL: tu édites mes post ?

Non, le peer link n'est jamais utilisé en mode nominal.
 
je viens de regarder la doc du bonding, le problème c'est qu'en mode 4 (donc lacp) ils n'expliquent quel est l'algo de répartition en sortie.

preum's

 
je voulais rendre le schéma plus lisible, mais fail

un "show port-channel ethernet load-balance" donne quoi ? (ou une commande du même genre)

Hey les gros parisiens, ça vous dit de picoler un de ces soirs ?

Bonjour,

Bondour aussi  

Elby n'est pas grow là

J'ai pas dit ce soir non plus

t'as proposé d'en parler en son absence, t'étonne pas qu'il soit pas dispo le jour choisi

c'est plus facile à dire que "iledefrancien"

J'connaissais le parisieng, mais pas le parisient
 

Il avait beaucoup maigri ?  

Je ne suis pas sur que le bonding linux ait quelque chose à voir: je sais d'expérience qu'il utilise tous les liens si tu lui donne assez de connections TCP.

Je vais regarder.
Dans mon cas si je veux 40G faut que j'ai 4 liens vers chaque switch du coup ? et que j'augmente le peer-link en conséquence (en cas de perte de liens) ?
Merci les gars

C'est donc lié à l'algo de LB sur le port-channel qui utilise les numéros de ports. Il est possible que le nexus n'utilise que les mac et les IPs, donc si tu fais ton test entre 2 machines (toujours avec les mêmes mac et IPs donc) ben la répartition de charge n'est pas optimale, il faut utiliser un algo qui prennent en compte les paramètres L4 des flux.
 
ça se configure avec les commandes "port-channel ethernet load-balance xxx" et dans les options de la commande tu as tous les algos dispos pour l'asic du switch. Il est probable que l'algo par défaut ne prenne pas en compte les paramètres > L3

J'ai peur de mal comprendre:
Si le peer-link n'est utilisé qu'en cas de panne, même en changeant l'algo de LB je ne pourrais utiliser que 2 liens en même temps sur les 4 ? (remember 2 links vers chacun des switchs)
Du coup je n'ai pas d'autre choix que de mettre 4 liens vers chaque switch ?

Si en tout tu as 4 liens (2 vers chaque nexus) et qu'en émission tu utilises les 4 (donc 40gb en sortie) chaque nexus reçoit 20 gb. Comme en VPC on choisit toujours le switching local, si tu as l'algo de LB qui va bien pour les po, alors chaque nexus va utiliser ses deux liens descendants (2*10gb) et comme il y a 2 nexus 2*2*10=40gb

Oui mais dans ma topologie, si je veux 40G de C vers D (ou inversement) je suis obligé d'utiliser le peer-link.
Rappel:

     A----²---B
     1|²\² 2/² |²
      C        D
Exemple: pour avoir 40G vers D, C devra utiliser les bond 1 et 2 et donc passer par le peer-link (ce qui est impossible d'après ce que tu disais avant).

Tain si je croise Olivier L*****T de Xen Orch****a        
 

Explique le soucis

bonjour, j'ai une question de "sureté"
 
imaginons que je lance cette commande qui prend beaucoup de temps:
 

 
et que pendant que le rsync tourne un autre soft fasse:
 

 
il y a-t-il un risque de merde ? je viens de tester "à la main" et le rsync à l'air de bien continuer à marcher même après le mv du dossier. Donc j'aurais tendance à dire que rsync se base sur l'inode du dossier au moment du lancement et donc qu'il n'y a pas de problème même s'il y a un "mv". Ai-je raison ?

Tu changes le nom d'affichage, mais l'inode reste le même, à mon avis à partir du moment où rsync à ouvert le rép pour lire son contenu ça ne pose pas de souci.

ok c'est bien ce que je pensais

Je dirais que c'est la glibc qui s'en cogne plus que rsync  

Change l'algo de load balancing sur les port channel le fait de ne pas utiliser le peer link c'est justement pour ne pas avoir de goulot d'étranglement

Changer l'algo me fera utiliser le peer-link ?

Non mais ça permettra de mieux répartir la charge sur tes 2 downlinks localement sur chaque switch. Je ne vois pas pourquoi tu tiens absolument à utiliser le peer link ou alors je ne comprends pas ta topologie

Ben sans le peer-link, je peux pas dépasser 20G.
Donc c'est bien ce que je pensais, si je veux 40G il faut que mon serveur ait 4 interfaces vers CHAQUE switch (pour la redondance, je n'aurais pas 80G) et pas 2 sur un et 2 sur l'autre.

non, si tu veux 40G tu peux faire 20 sur chaque switch tant que l'algo de lb sur les po tient la route

Sauf que dans ma topo je veux aller du serveur C au serveur D donc si je veux 40G sans passer par le peer-link c'est pas possible.

mais si j'ai bien compris chaque serveur C et D est bien attaché à 40G (20G sur chaque Nexus)

MP ?  

Faut que je dorme un peu.
Topologiquement parlant j'ai pas besoin de passer par le peer-link.
Changé l'algo par source-dest-port et hop 40G.

Je te dois une bière dreamer18

Remarque sur un malentendu tu pourrais être en rtt ou malade

Par contre ils doivent plus avoir de budget : se balader dans Rennes alors que Saint-Malo, Dinard ou Cancale sont plus sympas à faire