Reprise du message précédent :
bon en attendant ça fout en l'air l'historique des topics jeux/image tout ça
 
/pix.nofrag II

Et tout le topic image / topic gif

non, eux c'est du rehost, y'aura de la perte (et de l'image transformée) mais pas de reset complets, les topics jeux c'est de l'upload c'est tout perdu

 
Merci à vous 2.
Tu n'avais pas mal lu, mais j'avais mal écrit, je voulais effectivement dire "les fichiers uploadés"    
 
Bref, faut que je les ré-uploade donc.
Maintenant, je peux, ou faut attendre un peu (je suis pas ultra-pressé non plus,hein !) ?

 
Faire passer en SAV des portables volés par exemple.

bah il est toujours mort tfaçon
 
@Sly réponds pour le ssl !!!!

 
ok, merci

Désolé pour le H.S. mais où pourrais-je trouver (s'il existe / DTC-proof) un topic parlant de l'architecture / hébergement du forum HFR ? J'aimerai si possible avoir des infos là dessus au niveau de la taille de la BDD, comment c'est optimisé / etc (Je ne sais pas si c'est divulgable ce genre d'info )
 
Merci d'avance

Oui je l'ai ajouté à php là A voir l'impact que ça peut avoir par contre sur la charge.
 

Effectivement rien à voir avec hfr-rehost, mais tu l'as normalement sur le site dans "à propos" en bas de la homepage :  
 
http://www.hardware.fr/html/a_propos/
 
HardWare.fr est hébergé sur trois machines :
 
- Site : Xeon L3426, 8 Go de DDR3, RAID 10 4*73 Go 10K rpm
- Forum (HTTP) : 2 Xeon E5520, 16 Go de DDR3, RAID 1 2*146 Go 15K rpm
- Forum (SQL) : 2 Xeon 5148, 8 Go de DDR2, RAID 10 8*73 Go 10K rpm
 

 
bah c'est juste pour le 0,01% d'image en https, ça devrait pas avoir d'impact

 
Merci
 
En fait je me posais des questions sur l'architecture du serveur BDD au niveau de la vitesse d'accès aux données / type d'hardware. Le RAID10 doit pas mal aider pour cela
Vu le nombre de post sur le forum, les SELECT doivent être assez gourmand en ressources
 
Désolé pour le hors sujet et merci pour la réponse

gourage de topic, étrange

Bon la partie caching est remise, je m'occupe de la partie upload maintenant (sachant qu'on repart de 0 pour cette partie là).

Je vais travailler ensuite à mieux segmenter les images pour pas avoir un unique dossier de 3 millions d'images et à gérer des stats légères en place mais utiles pour le suivi.

L'avantage du RAID 10 c'est clairement les perfs, au sacrifice de la place. Le RAID 5 est un bon compromis mais trop dangereux en cas de crash de disque, car souvent les perfs s'effondrent et la reconstruction sur le nouveau disque est très lourde pour les autres disques et entraîne potentiellement la panne d'un autre disque si les disques ont à peu près la même durée de vie. Ca peut vite tourner au drame, d'ailleurs c'est un peu ce qui s'est passé là avec hfr-rehost, 2 disques du RAID 5 ont claqué quasi en même temps et on a tout perdu. J'avais pas trop le choix je manquais de place constamment sur le serveur Sinon le RAID 6 aide un peu avec 2 disques de parité, on en voit de plus en plus plutôt que du RAID 5.

Les SELECT sont très gourmands, tout ce qui est lecture de topics ça va, mais les fonctionnalités de recherche et de modération peuvent être lourdes. Le plus chiant c'est les delete de messages, par modo ou utilisateur, ça bouffe pas mal de ressources.

Si tu aimes les stats, on est à ~4000 requêtes SQL par seconde sur le serveur sur une BDD de 108 Go. On est en train de préparer la nouvelle archi pour remplacer l'actuelle, le serveur SQL étant à 100% d'utilisation de ses I/O disques maintenant (les 8 disques SAS 2"5 10Ktpm en RAID10 ne suffisent plus).

On va également régler au passage la contrainte de l'impact des backups la nuit, ça sera transparent avec la nouvelle plateforme
 

20 minutes
10 000 images
1,5 Go d'images
 
It's back

HFR-rehost.net marche    
Mais y a des warnings un peu partout...
 
Mais le lien modifié n'affiche rien dans mon topic    
D'ailleurs, ça s'affiche pas non plus sur la page de hfr-rehost...

Le lien modifié ? explique ?
 
Sinon oui l'upload fonctionne pas là, je suis en train de debugger et j'ai retiré les warnings, j'avais la flemme de me faire un env de test tout à l'heure mais comme ça me prend plus de temps que prévu...

Le https qui marchait pas, c'était pour les rehost de https ?

Si c'est ça ça marche maintenant :

http://hfr-rehost.net/https://fbcd [...] 5163_n.jpg

ah, ba si tu n'as pas fini, je ne teste pas alors
Par lien modifié je voulais dire que j'arrive à uploader, et que la nouvelle page me donne les 6 liens, mais ceux-ci ne fonctionnent pas.
.

 
Un grand merci pour ces explications
 

Yep c'est le seul problème qu'il reste mais je cherche toujours. Toute la partie rehost c'est bon, le site fonctionne mais l'upload ne passe pas.
 
Je suis dessus...

ok merci.
J'ai bien le temps, excuse-moi si je te stresse

non pas de stress, mais je voudrais que ce soit réparé pour me pencher sur les améliorations derrière

Impressionnant quand même, 22500 fichiers pour 3,5 Go au bout d'une heure. Tu m'étonnes qu'il a chargé un peu le temps de repeupler sa base de rehost

Je lisait 3.5To je me posait quelques questions  
 
Bon en tout cas le joué est presque réparé merci sly  

C'est quasiement pareil, les images uploadées sur des sites d’hébergements effacent en général assez rapidement tout... Je te l'accorde c'est moins critique que dans les topics jeux apparemment.

C'est possible de connaitre la nouvelle bécane juste par curiosité ?

Un péquatre willamette

 
yep, nickel

Question : Il y a des gens qui utilisent la preview et le thumbnail en mode rehost d'url ? Parce qu'il génère les fichiers mais j'ai comme un doute sur l'utilité du truc

Pour le moment le serveur principal reste le même mais avec du matos remplacé et en RAID plus performant :
- Xeon 3.2GHz + 3 Go de RAM + 6x73G 15K SCSI en RAID 10 (220Go) au lieu de RAID 5 (365 Go) précédemment

Un second serveur a été mis en place pour permettre d'épauler le premier en terme de place :
- Xeon X3220 2.4 Ghz + 2 Go de RAM + 2 x 500 Go SATA en RAID 1 hardware

Là vu la situation tout tourne sur le principal, mais avec les évolutions que je suis en train de faire, le 2nd aura l'ensemble des images et gérera les conversions preview/thumbnail qui seront volatiles alors que le 1er n'aura que les images les plus demandées (180 Go de caching disque quand même). Ca permettra également de facilement pouvoir faire évoluer la place à coût moindre avec le second serveur si on dépasse les 434 Go alloués pour l'archivage.

Egalement j'ai mis des DRAC sur les 2 serveurs, ça me permettra de les gérer à distance plus facilement en cas de problème.

Si vraiment ça doit encore passer une étape supplémentaire, il me reste un serveur perso vraiment musclé mais pour le moment j'aimerais éviter de coller hfr-rehost dessus en plus de mes stuffs et il n'y a vraiment pas nécessité de le faire pour l'instant Par contre je pense faire une synchro des données pour backuper la partie upload.

Pour les gens qui ont souvent demandé pourquoi ne pas se contenter de disques SATA, les perfs hdparm (fait en vitesse) entre les 2 serveurs mis en place juste après install :
- Serveur 1 : 220 Mo/s
- Serveur 2 :  54 Mo/s

Et ça c'est un process qui fait le bench, quand on multiplie les accès en parallèle sur les disques, le SATA sur 2 disques ça s'effondre violemment par rapport à un RAID10 de disques SCSI/SAS

Niveau code, je vais séparer les preview, miniatures et fullsize dans des dossiers différents et faire des sous dossiers dans chacun également pour éviter les répertoires à centaines de milliers de fichiers et je vais séparer cache rehost et images uploadées, pour backuper les images uploadées et mieux maitriser ce qui se passe et les proportions entre chacun.

Par contre j'envisage de mettre en place une petite contrainte, celle de devoir avoir un compte pour uploader les images. Ca me permettra de suivre ce qui se passe, savoir qui contacter en cas de problème avec une image (c'est déjà arrivé) et pouvoir voir si quelqu'un abuse du service et met des Go pour son site perso de photos de vacances ou pire pour les images de son site pour s'éviter du trafic (déjà vu aussi).

Par contre le rehosting restera simple et sans compte utilisateur, si problème, je renverrai auprès de la source et je permettrai de supprimer le cache.

Voilà un peu le topo des évolutions prévues

Dans l'idée, rendre le truc plus fiable, plus scalable et plus gérable.

Perso je me sers des preview

+1
Et bravo Sly pour le boulot

Le RAID10 est évolutif?  Si tu pars sur 6 disques, corrigez moi si je me trompe mais ça fait 2 grappes de 3 disques en RAID0 ? Et comment faire évoluer cela vers un RAID10 de 8 disques?  
 
sinon pour ma part, je n'utilise pas les preview
 
Merci encore sly pour ton travail.

Le serveur 1 sert de cache au serveur 2.
Le serveur 1 n'évoluera pas.

J'ai une bonne nouvelle, a priori certaines images uploadées vont être récupérées dès que j'ai réglé le problème qui reste, donc tout n'est pas perdu

C'est bon c'est réglé \o/
 
Et je confirme que 1,6 Go d'images uploadées sont sauvées.

Je me suis déjà servi des preview, jamais des thumbs, mais c'est rarissime que j'héberge des grandes images sur le rehost, donc en général c'est lien direct.
 
Et merci pour tout ton boulot

Oui pour les preview, non pour les thumbs

Sont-ce les images ou les Go qui se sauvent?

Merci pour tout ce taf (combien d'heures? )    

Ah oui y'a une faute
 
Pour les heures, on va dire une 10aine d'heures sur place à essayer de récupérer les données sur les disques H.S. et après y'a environ 6-8 heures de réinstall et de debug pour rétablir tout bien. Mais j'ai bien parcouru le code et réfléchi aussi aux évolutions en même temps, donc difficile à dire en fait.
 
Merci pour le soutien en tout cas, là le but c'est de monter un truc robuste, parce que j'aime pas ça même si c'est un service totalement bénévole avec ce que j'ai en perso
 
J'ai une bonne liste d'optimisations là, de quoi améliorer bien le service

Merci encore ........ et passe une bonne nuit