Forum |  HardWare.fr | News | Articles | PC | S'identifier | S'inscrire | Shop Recherche
3087 connectés 

 


 Mot :   Pseudo :  
 
 Page :   1  2  3  4  5  6
Auteur Sujet :

Mise en cluster chez OVH

n°2104909
nero27
Posté le 25-07-2005 à 09:51:34  profilanswer
 

Reprise du message précédent :
Le ratio de prizee.com est de 250 par serveur, c'est une chose sûre (nous connaissons les créateurs).
Nous avons pris en compte environ le même ratio. Nous n'avons pas 10 serveurs web, mais 5 serveurs MySQL pour 6 serveurs Web (soit une capacité de 1500 visiteurs).
Au début du topic, le traffic était de 300 connectés simultanés à cause d'une saturation du seul serveur Web. Suite aux améliorations, la fréquentation est passée directement à plus de 1000 connectés simultanés en pointe. Seulement, nous prévoyons un peu plus, car le site était de nouveau saturé, ce coup-ci, par le serveur MySQL commun, que nous venons de passer en Xeon+SCSI Raid1.
 
Autre chose : la programmation d'un forum est complètement différente d'un tel site. Un forum n'a aucun script en cron par exemple, alors que nous en avons 6/7 (ventes aux enchères, mise à jour de comptes, etc...).
 
Sinon, nous avons fait la demande de cluster chez ovh il y a deux semaines et nous devrions l'avoir cette semaine.


Message édité par nero27 le 25-07-2005 à 09:53:07
mood
Publicité
Posté le 25-07-2005 à 09:51:34  profilanswer
 

n°2104914
c2c
Posté le 25-07-2005 à 09:53:24  profilanswer
 

en toute honneteté je pense que tant que vous n'aurez personne de competant en infogérance dans votre staff ou en sous traitant vous perdrez de l'argent betement.

n°2104915
nero27
Posté le 25-07-2005 à 09:54:28  profilanswer
 

Là dessus, c'est sûr qu'un vrai admin ne serait peut-être pas inutile. Vous pensez qu'on peut en trouver qui travaillent en Freelance ?

n°2104924
ratibus
Posté le 25-07-2005 à 10:06:10  profilanswer
 

nero27 a écrit :

Le ratio de prizee.com est de 250 par serveur, c'est une chose sûre (nous connaissons les créateurs).
Nous avons pris en compte environ le même ratio. Nous n'avons pas 10 serveurs web, mais 5 serveurs MySQL pour 6 serveurs Web (soit une capacité de 1500 visiteurs).
Au début du topic, le traffic était de 300 connectés simultanés à cause d'une saturation du seul serveur Web. Suite aux améliorations, la fréquentation est passée directement à plus de 1000 connectés simultanés en pointe. Seulement, nous prévoyons un peu plus, car le site était de nouveau saturé, ce coup-ci, par le serveur MySQL commun, que nous venons de passer en Xeon+SCSI Raid1.
 
Autre chose : la programmation d'un forum est complètement différente d'un tel site. Un forum n'a aucun script en cron par exemple, alors que nous en avons 6/7 (ventes aux enchères, mise à jour de comptes, etc...).
 
Sinon, nous avons fait la demande de cluster chez ovh il y a deux semaines et nous devrions l'avoir cette semaine.

Je fais partie de l'équipe de dev de Mountyhall et on est loin d'avoir votre architecture pour 12000 joueurs actifs (65000 inscrits mais ça compte pas :p).
 
On a 1 serveur Web et 1 serveur MySQL et je pense qu'on a les mêmes problématiques que vous ;)

n°2104926
c2c
Posté le 25-07-2005 à 10:07:30  profilanswer
 

ce qu'il te faudrait c'est un hebergeur competant en infogérance autant pour avoir une vision globale de ton infra que pour gerer les machines.
maintenant tu as plusieurs société qui peuvent proposer cela, selon ton budget, tes besoin etc etc.

n°2104927
nero27
Posté le 25-07-2005 à 10:08:44  profilanswer
 

Ce n'est pas moi qui gère le site (je ne suis que le programmeur), mais je vais en parler ;)

n°2104929
nero27
Posté le 25-07-2005 à 10:10:52  profilanswer
 

ratibus a écrit :

Je fais partie de l'équipe de dev de Mountyhall et on est loin d'avoir votre architecture pour 12000 joueurs actifs (65000 inscrits mais ça compte pas :p).
 
On a 1 serveur Web et 1 serveur MySQL et je pense qu'on a les mêmes problématiques que vous ;)


12 000 joueurs actifs ou simultanés ?
Car le site a tourné 1 an et demi et jusqu'à plus de 70 000 joueurs actifs sur un serveur web + un bdd.
Si tu demandes à tous les créateurs de site de jeu en ligne, ils ont tous rencontré le même problème : l'affluence soudaine et brutale qui sature tout :/

n°2104939
Sly Angel
Architecte / Développeur principal
Posté le 25-07-2005 à 10:24:45  profilanswer
 

ratibus a écrit :

Je fais partie de l'équipe de dev de Mountyhall et on est loin d'avoir votre architecture pour 12000 joueurs actifs (65000 inscrits mais ça compte pas :p).
 
On a 1 serveur Web et 1 serveur MySQL et je pense qu'on a les mêmes problématiques que vous ;)


 
Tiens ça me dit quelque chose, joce m'en a déjà parlé de Mountyhall :)

n°2104944
Sly Angel
Architecte / Développeur principal
Posté le 25-07-2005 à 10:30:19  profilanswer
 

c2c a écrit :

ce qu'il te faudrait c'est un hebergeur competant en infogérance autant pour avoir une vision globale de ton infra que pour gerer les machines.
maintenant tu as plusieurs société qui peuvent proposer cela, selon ton budget, tes besoin etc etc.


 
Oui, c'est clair, par contre ce serait peut être intéressant dans un premier temps de faire un audit de la plateforme avant de se lancer dans des dépenses récurrentes je pense.

n°2104946
ratibus
Posté le 25-07-2005 à 10:32:08  profilanswer
 

nero27 a écrit :

12 000 joueurs actifs ou simultanés ?
Car le site a tourné 1 an et demi et jusqu'à plus de 70 000 joueurs actifs sur un serveur web + un bdd.
Si tu demandes à tous les créateurs de site de jeu en ligne, ils ont tous rencontré le même problème : l'affluence soudaine et brutale qui sature tout :/

Qu'entends-tu par simultané (l'éternelle question sur les applis web) ? Car HTTP est un protocole déconnecté. Sur ce forum (à moins que ça ait changé) par exemple on compte les utilisateurs sur 5 minutes.
 

Sly Angel a écrit :

Tiens ça me dit quelque chose, joce m'en a déjà parlé de Mountyhall :)

Oui on est dans la même guilde ;) Il participe à l'optimisation MySQL quand c'est nécessaire.
 

mood
Publicité
Posté le 25-07-2005 à 10:32:08  profilanswer
 

n°2104951
nero27
Posté le 25-07-2005 à 10:35:56  profilanswer
 

ratibus a écrit :

Qu'entends-tu par simultané (l'éternelle question sur les applis web) ? Car HTTP est un protocole déconnecté. Sur ce forum (à moins que ça ait changé) par exemple on compte les utilisateurs sur 5 minutes.


Tu sais bien ce que je veux dire :o

n°2105042
ratibus
Posté le 25-07-2005 à 11:40:26  profilanswer
 

nero27 a écrit :

Tu sais bien ce que je veux dire :o

Non justement c'est pour ça que je te pose la question  :??:  

n°2105270
nero27
Posté le 25-07-2005 à 14:14:27  profilanswer
 

Ah ok (je croyais à un troll :pt1cable:) : c'est mis à jour toutes les minutes ;)

n°2105290
ratibus
Posté le 25-07-2005 à 14:28:28  profilanswer
 

Donc ton nombre de connectés c'est le nombre de personne qui font une action pendant une période de 1 minute, ok va falloir que je vois pour Mountyhall, pour comparer.

n°2105531
morpheus1e​r
Posté le 25-07-2005 à 17:38:42  profilanswer
 

nero27 a écrit :

Le ratio de prizee.com est de 250 par serveur, c'est une chose sûre (nous connaissons les créateurs).
Nous avons pris en compte environ le même ratio. Nous n'avons pas 10 serveurs web, mais 5 serveurs MySQL pour 6 serveurs Web (soit une capacité de 1500 visiteurs).
Au début du topic, le traffic était de 300 connectés simultanés à cause d'une saturation du seul serveur Web. Suite aux améliorations, la fréquentation est passée directement à plus de 1000 connectés simultanés en pointe. Seulement, nous prévoyons un peu plus, car le site était de nouveau saturé, ce coup-ci, par le serveur MySQL commun, que nous venons de passer en Xeon+SCSI Raid1.
 
Autre chose : la programmation d'un forum est complètement différente d'un tel site. Un forum n'a aucun script en cron par exemple, alors que nous en avons 6/7 (ventes aux enchères, mise à jour de comptes, etc...).
 
Sinon, nous avons fait la demande de cluster chez ovh il y a deux semaines et nous devrions l'avoir cette semaine.


 
Ben voilà, c'est ec que je disais... Tu as trop de tâche cron qui tourne... Si tu éxécutes des scripts constemment, c'est normal que ça sature... Déjà ce genre de script doivent être compilé pr éviter les surcharges et accéléré leurs éxécutions.
 
Ensuite, essaie de trouver un moyen pour éxécuter moins souvent tes tâches crons.
 
Par exemple pour tes enchères, tu les clos la journée de 8h à 17h et tu ne le fait que la nuit et tu dit que ce service  
d'enchère est maintenant un marché noir (je ne connais pas ton jeu non plus, c juste une idée)
 
Pour les classement des joueurs, tu ne fais la mise à jour que 1 fois par heure voir moins.


---------------
http://www.francemu.com/
n°2105561
nero27
Posté le 25-07-2005 à 17:57:11  profilanswer
 

Les enchères sont exécutées 1 fois par minute.
Les classements (très gourmands en ressources) ne sont exécutés, quant à eux, qu'une fois par nuit.
Les autres tâches crons mettent à jour des profils, etc...
 
Mais la compilation du script m'intéresse beaucoup : tu peux m'en dire plus ?

n°2105619
Sly Angel
Architecte / Développeur principal
Posté le 25-07-2005 à 18:27:32  profilanswer
 

Si ce sont des requêtes SQL dans les scripts, le gain sera inexistant, c'est au niveau MySQL que ça se jouera.
 
Par contre le MySQL est peut être optimisable lui.

n°2105627
nero27
Posté le 25-07-2005 à 18:31:56  profilanswer
 

C'est quasiment que des requêtes SQL en effet.
Donc, le fait de compiler le script pour toi, n'aura aucun impact ?
Ca aurait peut-être le mérite de décharger les ressources Web, non ?
Sinon, je vais essayer d'optimiser les requêtes MySQL.

n°2105632
Sly Angel
Architecte / Développeur principal
Posté le 25-07-2005 à 18:35:43  profilanswer
 

Non ça ne changera rien du tout, tout le traitement se faisant au niveau MySQL, les ressources utilisées par la partie PHP sont faibles. Par contre ton cron fonctionne de quelle manière ? Un appel à une page viua lynx ou wget ou un appel PHP direct ? Si c'est par appel de page, c'est plus propre de faire un "php /..../script.php" qu'un "wget http://..../script.php", même si ça change pas grand chose niveau ressources.
 
L'optimisation se fait sur les requêtes oui, également sur le serveur MySQL lui même potentiellement.

n°2105708
3Phach4
...
Posté le 25-07-2005 à 19:16:54  profilanswer
 

c'est un sujet trsé interessant qu'il pourrait etre utile de developper au niveau des moyen d'optimiser MySQl par exemple. Enfin, ca pourrait me servir grandement, je suis entrain de developper un site en PHP/MySQL. J'ai choisi de developper massivement en objet donc les requetes ne se font que qu'un seule fois le reste.  
 
C'etait pour moi une bonne solution pour éviter les lourdes requetes, ceci dit, cela doit aussi bouffer de la ressource mémoire.  
Je n'arrive d'ailleurs pas a imaginer les ressources que l'utilisation d'objet peuvent prendre par rapport au même résultat en requete SQL.  
Par exemple, chaque client est un objet PHP, qui est stocké en variable de session tout au long de sa visite. 1 requetes au debut et l'objet client est connu du debut a la fin sans autre intervention de la BDD.


---------------
J'écoute FIP sur le net !
n°2105727
Sly Angel
Architecte / Développeur principal
Posté le 25-07-2005 à 19:28:34  profilanswer
 

Oui c'est assez intéressant, mais c'est tellement variable selon les configs et l'utilisation... Faut voir aussi qu'un index peut diviser par 4 la charge s'il était mal placé par exemple.

n°2105768
morpheus1e​r
Posté le 25-07-2005 à 20:02:21  profilanswer
 

En faîtes quand je parlais de compiler je parlais plutot en faîtes d'essayer de passer au perl ou au cgi. L'avantage sera que apache passera peut-être un peu moins de temps sur le cron.
 
Au passage je viens de voir ce MRTG
http://ns20251.ovh.net/mrtg/
 
On voit que ton espace disque est entièrement occupé !! Ton serveur est complet...
 
C'est normal qui ramme  :pfff: .


---------------
http://www.francemu.com/
n°2105774
nero27
Posté le 25-07-2005 à 20:10:46  profilanswer
 

morpheus1er a écrit :

En faîtes quand je parlais de compiler je parlais plutot en faîtes d'essayer de passer au perl ou au cgi. L'avantage sera que apache passera peut-être un peu moins de temps sur le cron.
 
Au passage je viens de voir ce MRTG
http://ns20251.ovh.net/mrtg/
 
On voit que ton espace disque est entièrement occupé !! Ton serveur est complet...
 
C'est normal qui ramme  :pfff: .


Il est remplacé par celui-ci : http://ns695.ovh.net/mrtg ;)

n°2105802
morpheus1e​r
Posté le 25-07-2005 à 20:39:57  profilanswer
 

Sur celui là aussi, ton serveur est plein.


---------------
http://www.francemu.com/
n°2105812
Sly Angel
Architecte / Développeur principal
Posté le 25-07-2005 à 20:46:12  profilanswer
 

morpheus1er a écrit :

Sur celui là aussi, ton serveur est plein.


 
Moi je vois 50% :o
 
Sinon pour le CGI et perl, le problème reste le même, les ressources utilisées sont minimes par rapport au reste ;)


Message édité par Sly Angel le 25-07-2005 à 20:46:57

---------------
Fan et séquestrateur de Deprem De Prel Photographie, célèbre photographe de tuning automobile :o
n°2106065
morpheus1e​r
Posté le 25-07-2005 à 23:27:11  profilanswer
 

Oui effectivement, j'ai regardé un peu vite...
 
Mais il devrai passer par un/des filer dans ces conditions non ?


Message édité par morpheus1er le 25-07-2005 à 23:27:38

---------------
http://www.francemu.com/
n°2106077
Sly Angel
Architecte / Développeur principal
Posté le 25-07-2005 à 23:38:21  profilanswer
 

Y'a un intermédiaire entre un unique disque SATA et un filer quand même, c'est peut être pas nécessaire là.


---------------
Fan et séquestrateur de Deprem De Prel Photographie, célèbre photographe de tuning automobile :o
n°2106110
morpheus1e​r
Posté le 26-07-2005 à 00:50:09  profilanswer
 

Sly Angel a écrit :

Y'a un intermédiaire entre un unique disque SATA et un filer quand même, c'est peut être pas nécessaire là.


J'avoue ne pas comprendre là :??:


---------------
http://www.francemu.com/
n°2106114
Sly Angel
Architecte / Développeur principal
Posté le 26-07-2005 à 00:56:27  profilanswer
 

morpheus1er a écrit :

J'avoue ne pas comprendre là :??:


 
Qu'est ce que tu appelles un "filer" ?


---------------
Fan et séquestrateur de Deprem De Prel Photographie, célèbre photographe de tuning automobile :o
n°2106119
Limit
Posté le 26-07-2005 à 01:11:23  profilanswer
 

C'est bizarre que ton site rame avec autant de serveurs.
 
Tu fais combien de req/s avec apache et mysql? Avec mysql active le log des slow_query pour regarder si ya pas qqchose à améliorer à ce niveau.
 
Sinon je te conseille également de passer par une boite d'infogérance pour optimiser tes serveurs si tu n'as pas le temps/compétances pour le faire, tu seras gagnant et ca t'évitera de multiplier le nombre de serveurs.

n°2106196
ratibus
Posté le 26-07-2005 à 08:21:46  profilanswer
 

Quelle version de MySQL aussi ?
 
@Limit : très bonne idée le slow-query, on optimise comme ça sur Mountyhall
 
Sur Mountyhall on est à 7000 requetes MySQL/minute avec des pics quotidiens à 10000.

n°2106360
netswitch
minet ?
Posté le 26-07-2005 à 11:31:48  profilanswer
 

tant qu'on en est dans les optimisations, quelqu'un a des liens vers des bonnes ressources pour l'optimisation web / mysql ?
 
(je galère sur un serveur d'images un peu roses qui rame comme pas possible, un P4 2.8 avec 1 go de ram et apache ne sort que 15 requètes par secondes  / 350 ko /s )
 
[sorry pour le HS]

n°2106471
ratibus
Posté le 26-07-2005 à 12:53:08  profilanswer
 

Pour un serveur d'images qui booste je te conseille ça : http://www.acme.com/software/thttpd/

n°2106929
morpheus1e​r
Posté le 26-07-2005 à 17:55:14  profilanswer
 

Sly Angel a écrit :

Qu'est ce que tu appelles un "filer" ?


 
Je te sort la définition de OVH  :)  
 

Citation :

Filer
 
Le filer est une unité de stockage d'information. Dôté de plusieurs disques durs en RAID-1, il s'occupe uniquement du stockage de vos données. Si le disque dur du filer casse, il est automatiquement changé et grâce à RAID-1, les données sont synchronisées à partir des autres disques dur et sans provoquer de panne. Le filer est plus performant que un disque dur IDE ou SCSI interne à un serveur puisqu'il ne s'occupe que de stockage. A ce titre il possède des cartes de stockage extrèmement performantes et toute la puissance des processeurs est uniquement utilisée pour la gestion du stockage.


 
Ce sont des serveurs entièrement et uniquement dédié au stockage. Ils sont optimisés pour le stockage.  
Dans le sujet initial, cela pourrait être avantageux car ça diminuerai surement le nombre de serveur. On pourrait imaginer 1 filer de 80 go(par exemple, je ne connais pas la taille de la BDD) pour la BDD et 1 autre filer pour le reste(images, script etc...) et seulement 1 serveur "normal"(mais costaud quand même) avec apache et Mysql installé dessus, qui effectuerai les requêtes sur les filers.
 
Ca diminuerai (je pense) les coûts, on gagnerai aussi en rapidité. Ca n'encombrera pas le serveur principale(qui ne rammera donc pas), ça sécurisera les données...
 
Je pense que cette solution serai la meilleure et la plus simple à mettre en place.


---------------
http://www.francemu.com/
n°2106930
Mustang
Posté le 26-07-2005 à 17:55:38  profilanswer
 


Warning: session_start(): open(/tmp/sess_89a0048cd7fdc682027ee0a712b292fa, O_RDWR) failed: No space left on device (28) in /home/monchval/www/header.php on line 3
 
Warning: session_start(): Cannot send session cookie - headers already sent by (output started at /home/monchval/www/header.php:3) in /home/monchval/www/header.php on line 3
 
Warning: session_start(): Cannot send session cache limiter - headers already sent (output started at /home/monchval/www/header.php:3) in /home/monchval/www/header.php on line 3
 
Warning: Cannot modify header information - headers already sent by (output started at /home/monchval/www/header.php:3) in /home/monchval/www/header.php on line 4
 
Warning: Unknown(): open(/tmp/sess_89a0048cd7fdc682027ee0a712b292fa, O_RDWR) failed: No space left on device (28) in Unknown on line 0
 
Warning: Unknown(): Failed to write session data (files). Please verify that the current setting of session.save_path is correct (/tmp) in Unknown on line 0


 
[:chipp]

n°2106954
nero27
Posté le 26-07-2005 à 18:13:41  profilanswer
 

Le site est coupé suite à un serveur de bdd qui a lâché. On est en train de transférer la sauvegarde, mais ça prend du temps :/

n°2106968
Mustang
Posté le 26-07-2005 à 18:26:08  profilanswer
 

ah merde :/
 
j'ai un compte chez vous en plus [:markdavis]

n°2107399
Sly Angel
Architecte / Développeur principal
Posté le 27-07-2005 à 02:04:57  profilanswer
 

morpheus1er a écrit :

Je te sort la définition de OVH  :)  
 

Citation :

Filer
 
Le filer est une unité de stockage d'information. Dôté de plusieurs disques durs en RAID-1, il s'occupe uniquement du stockage de vos données. Si le disque dur du filer casse, il est automatiquement changé et grâce à RAID-1, les données sont synchronisées à partir des autres disques dur et sans provoquer de panne. Le filer est plus performant que un disque dur IDE ou SCSI interne à un serveur puisqu'il ne s'occupe que de stockage. A ce titre il possède des cartes de stockage extrèmement performantes et toute la puissance des processeurs est uniquement utilisée pour la gestion du stockage.


 
Ce sont des serveurs entièrement et uniquement dédié au stockage. Ils sont optimisés pour le stockage.  
Dans le sujet initial, cela pourrait être avantageux car ça diminuerai surement le nombre de serveur. On pourrait imaginer 1 filer de 80 go(par exemple, je ne connais pas la taille de la BDD) pour la BDD et 1 autre filer pour le reste(images, script etc...) et seulement 1 serveur "normal"(mais costaud quand même) avec apache et Mysql installé dessus, qui effectuerai les requêtes sur les filers.
 
Ca diminuerai (je pense) les coûts, on gagnerai aussi en rapidité. Ca n'encombrera pas le serveur principale(qui ne rammera donc pas), ça sécurisera les données...
 
Je pense que cette solution serai la meilleure et la plus simple à mettre en place.


 
Ok on est d'accord, donc je le répète, il y a un intermédiaire entre un disque SATA seul et un filer...


---------------
Fan et séquestrateur de Deprem De Prel Photographie, célèbre photographe de tuning automobile :o
n°2107400
Sly Angel
Architecte / Développeur principal
Posté le 27-07-2005 à 02:06:17  profilanswer
 

nero27 a écrit :

Le site est coupé suite à un serveur de bdd qui a lâché. On est en train de transférer la sauvegarde, mais ça prend du temps :/


 
aie :/


---------------
Fan et séquestrateur de Deprem De Prel Photographie, célèbre photographe de tuning automobile :o
n°2107433
morpheus1e​r
Posté le 27-07-2005 à 05:50:44  profilanswer
 

Sly Angel a écrit :

Ok on est d'accord, donc je le répète, il y a un intermédiaire entre un disque SATA seul et un filer...


 
Donc je le répète, je ne comprensd pas  :pt1cable:


---------------
http://www.francemu.com/
n°2107470
Sly Angel
Architecte / Développeur principal
Posté le 27-07-2005 à 09:16:12  profilanswer
 

morpheus1er a écrit :

Donc je le répète, je ne comprensd pas  :pt1cable:


 
Tu ne comprends pas quoi ? Je dis qu'un RAID SCSI sur le SQL pourrait déjà être une évolution très profitable et qu'il n'est peut être pas nécessaire de monopoliser une machine complète uniquement pour en faire un filer dont les CPU ne seront pas beaucoup utilisés au final.


---------------
Fan et séquestrateur de Deprem De Prel Photographie, célèbre photographe de tuning automobile :o
mood
Publicité
Posté le   profilanswer
 

 Page :   1  2  3  4  5  6

Aller à :
Ajouter une réponse
 

Sujets relatifs
Quel gros site chez OVH ?Mise a jour du chipset pour corriger probleme adsl
OVH free et son ftpMise en veille ??
OVHGohst et abonnement mise à jour
mise à jour AVG 7Mise a jour impossible
mise à jour photoshop CSMise à jour base Kaspersy très lente !?!?
Plus de sujets relatifs à : Mise en cluster chez OVH


Copyright © 1997-2022 Hardware.fr SARL (Signaler un contenu illicite / Données personnelles) / Groupe LDLC / Shop HFR