Forum |  HardWare.fr | News | Articles | PC | S'identifier | S'inscrire | Shop Recherche
2883 connectés 

  FORUM HardWare.fr
  Systèmes & Réseaux Pro
  Infrastructures serveurs

  Renderfarm perso, conseil d'optimisation de flux

 


 Mot :   Pseudo :  
 
Bas de page
Auteur Sujet :

Renderfarm perso, conseil d'optimisation de flux

n°142014
raistlin5
Posté le 03-09-2016 à 12:00:21  profilanswer
 

Bonjour!
 
Illustrateur 3D 98% de mon temps j'ai petit à petit réuni de quoi faire une ferme de calcul pour répondre à une demande toujours importante de détails en images.
 
Je me rapproche des spécialistes de HFR pour optimiser tout ça!!!
J'ai reçu récemment les deux lames de serveur Dell PowerEdge C6220 qui viennent compléter mon tout petit parc constitué jusqu'alors d'une lame C6100 et d'une station Tyan bi pro Xeon X5660.
 
Au total donc pas un parc énorme de centaines de machines, mais je suis un petit indépendant, et les moyens sont évidemment liés à la taille de ma structure...
Mes données de ressources, textures, proxys et meshes sont stockées sur un Nas Synology, un Ds 1511+ qui me fait également office de backup occasionnel.
 
Je souhaitais s'avoir s'il y avait moyen d'optimiser les temps d'accès aux ressources, et s'il m'était possible de travailler sur le réseau sans perte de vitesse surtout...
En effet, je travaille sur une station un peu ancienne (2009 tout de même) elle aussi sur une station Bi Pro Xeon E5200, et le fait que les sauvegardes des calculs, et que les fichiers maîtres se trouvent sur cette station, créé parfois un noeud encombré et m'oblige à laisser la station 100% du temps allumée, sans être à l'abris d'un reboot ou d'une mise à jour qui mettrait à mal les calculs lancés sur toute la ferme...
 
Je me suis permis de créer un petit schéma explicatif sur l'utilisation que j'en ai, et pour expliquer les flux de données simplement.
 
Voici l'idée qui m'est passé par la tête :  
Transformer la RenderFarm1 (le manager de calcul) en serveur de ressources... Textures et autres...
De la sorte, cette machine dotée de 72 go de ram (oui je ne suis pas le champion de la légèreté des calculs) et de deux processeurs, serait largement plus costaud que le Nas syno et ses 3 go de ram pour partager avec les autres des données... non?
Le Nas, lui, pourrait stoquer la sauvegarde de ces données comme backup, puis pourrait éventuellement me servir de stockage.
Je suis très satisfait de mon syno, mais je me demande si ce n'est actuellement pas le point faible de mon architecture réseau niveau vitesse...
 
Ensuite j'aimerai parler refroidissement, mais je pense qu'il vaudrait mieux un autre sujet...
 
Voila le petit graphique de mon réseau pour tout expliquer visuellement...
http://www.vincent-grieu.com/autres/envois/Perso/Schema-renderfarm.jpg
 
Merci d'avance!!


---------------
Infographiste 3D : www.vincent-grieu.com
mood
Publicité
Posté le 03-09-2016 à 12:00:21  profilanswer
 

n°142018
Arcan_-
Posté le 04-09-2016 à 10:42:03  profilanswer
 

Bonjour,
 
Je n'y connais rien en renderfarm, mais voici quelques pistes :

  • Utilisation d'un système de fichiers distribué (genre HDFS)
  • JumboFrames si tous tes équipements le supportent.
  • Calcul sur GPU (qui sont fait pour du calcul 3D, contrairement aux CPU)


Arcan_-

n°142019
raistlin5
Posté le 04-09-2016 à 13:44:58  profilanswer
 

Merci beaucoup Arcan!
Je suis en train de regarder ce qu'est le HDFS, je dois bien avouer être un peu profane sur le sujet...
Pour le JumboFrames, ça a l'air très intéressant, j'ai en effet quasi systématiquement des fichiers plus lourd que ces paquets, je dirais que les plus petits au partage sont de 2 mo, (je dirais même plutôt du 150mo que du 150 ko c'est clair...)
 
Pour le rendu GPU, ça c'est ma partie!
C'est encore autre chose, en fait c'est une technologie en cours de développement... Et l'utilisation que je fais de la 3D n'est pour le moment pas totalement compatible...
(les cartes graphiques étant limitées à 12 go de ram... Et des calculs montant à plus de 43 en ce moment...)
Mais oui, c'est en effet une option que je carresse amoureusement, car les GPU sont bien plus agressifs que les CPU, et les calculs sont largement plus rapide!!
 
Seul hic encore, le tarif...
Les Blades de C6220 m'int à peine couté 2 500€ pièce avec 4 bi Xeon E52670 ... pour en avoir en GPU... Ce sera 10X ce prix...
 
Là en gros je me demandais si les performances pour le transfert, de fichiers volumineux sur plusieurs machines, serait plus performant sur un Serveur Windaube que sur mon Syno, du fait du hardware?
 
Mais bien entendu, je note tout ce que tu m'as dit et vais y jeter mon dévolu...
 
Merci! Si d'autres ont des idées, qu'ils n'hésitent pas!


---------------
Infographiste 3D : www.vincent-grieu.com
n°142020
Je@nb
Modérateur
Kindly give dime
Posté le 04-09-2016 à 13:53:49  profilanswer
 

faut surtout regarder où est le facteur limitant aujourd'hui dans ton infra. Et pas par supposition mais en mesurant les différentes métriques (%cpu des différents composants, utilisation réseau, utilisation disque, longueurs des différentes files d'attentes, % utilisation ram et swap etc.)

n°142021
raistlin5
Posté le 04-09-2016 à 15:03:51  profilanswer
 

Et tout cela je peux le mesurer comment?  
Tu t'y prendrai comment? C'est fort intéressant!
Pour le moment j'ai clairement des configurations machines de générations différentes...
xéon X5660 et E52670, plus une lame de E5520 vraiment à la ramasse pour le coup...
Soit pour le calcul :  
4 bi pro Xéon E5520 (48 go de ram)
1 bi pro Xéon X5660 (72 go de ram)
8 bi pro Xéon E52670 (64 go de ram)
 
Tout le réseau est en gigabit sous deux switch : 1 pour les machines de calcul, l'autre pour le stockage et le dispatchement de la maison (j'ai alimenté la maison en RJ45 ... tant qu'à y être...)
 
Le Syno est sur le réseau des machines de calcul et de ma station et dispose de deux ports Ethernet, mais évidemment ils ont une adresse ip différente, et les ressources au calcul ne peuvent hélas qu'être attribuées par UN chemin... Je me dis que pouvoir doubler le passage serait une idée fort intéressante... Mais je ne sais pas vraiment comment le faire...


---------------
Infographiste 3D : www.vincent-grieu.com
n°142025
Je@nb
Modérateur
Kindly give dime
Posté le 04-09-2016 à 16:37:21  profilanswer
 

en regardant les compteurs de performance dédits équipements (machines, nas, switch si administrable)


Aller à :
Ajouter une réponse
  FORUM HardWare.fr
  Systèmes & Réseaux Pro
  Infrastructures serveurs

  Renderfarm perso, conseil d'optimisation de flux

 

Sujets relatifs
Demande de conseils petite infra reseau pour PMEConseil Choix routeurs PME
Interdire connexion perso sur PC portable PROIGMP snooping - leave group qui quitte tous les flux
conseil nouvelle infra (coté système)Conseil SNMPv3 sur switch HP
conseil choix firewall pour separation extranet et intranetFlux réseau envoyé a Microsoft
Besoin de conseil sur une architecture 
Plus de sujets relatifs à : Renderfarm perso, conseil d'optimisation de flux


Copyright © 1997-2022 Hardware.fr SARL (Signaler un contenu illicite / Données personnelles) / Groupe LDLC / Shop HFR