Reprise du message précédent :
Qu'est-ce que vous entendez par "faire de l'IA", qui requiert d'avoir soi-même une carte puissante et non pas simplement les serveurs des entreprises IA ?  

 
Dans le cadre pro tu peux avoir des clauses de confidentialité qui t'empêche de partager certaines données de tes clients avec ces "entreprises IA". Ou plus simplement tu veux entrainer une IA maison à faire des tâches très spécifiques.

Clairement, sans l'usage de l'IA je serai resté avec 4080.

Exécuter localement des ia, pour coder, pour chatter ou encore générer des sous titres, le tout sans envoyer mes données a des tiers et sans payer une fortune en tokens.

Faut pas croire que tous les usages ont besoin d'une IA comme chatgpt ou deepseek et donc de quantités monumentales de puissance de calcul

Ok, merci, je pensais justement que pour bien fonctionner, il fallait à l'IA ce type de structure surpuissante et pas une simple carte graphique indépendante.

 
Tu utilises quel outil pour faire tourner des IA en local, LM Studio?

Oui, ca me suffit pour mes besoins. D'autres outils peuvent y accéder pour interroger le llm, ca fait l'affaire

Grosbill ont rentré en stock la hideuse RTX 5090 AORUS INFINITY 32G à 6k€. Le prix est à la hauteur de la blague, comme avec ASUS, même si ces derniers ont toujours la couronne de la clownerie sur l'aspect tarif avec la Edition 20.

Bon après j'arrête, promis.

Une 5090 a une vitesse d inference probablement plus rapide que les serveurs IA chatgpt et autres des que le LLM rentre dans sa VRAM

Pas assez chère mon fils...  

Version aircooling plus cher que la version watercooling , intéressant...

 
Je vois que la pénurie touche aussi les ventilateurs, surement à cause de la vague de chaleur... j'imagine pas le prix de la version blower...  

Quand c'est en rupture les prix ne change plus jusqu'au restock mais bordel une ventus a ce prix .... c'était 2390 un truc comme ça quand j'avais réservé ma tuf au prix msrp , une putain de blague quand même , la ram qui se fait enfler les prix volontairement avec leur masquarade a la con , les constructeurs qui nous prennent pour de gros pigeons , la carte vaut le double pour garder 32go de ram aussi ? ils ont du se faire un chiffre d'affaire de fou a nous sodomiser comme ça , puis quand je vois leur custom a 6k en air cooling , bah ça fait mal

 
ma boite va acheter un serveur double rtx 5090 pour faire tourner des model opensource en local
on veut pas être dépendant du cloud , les models qui peuvent changer, des blocages institutionnels éventuels peuvent survenir et les tarifs sont mouvants.

autant partir sur une rtx6000 dans ce cas la vu le prix des 5090 ca tiendra mieux la charge en + et consommera bcp moins.

d'ailleur on sait ce que mette dans leur serveur les chatgpt / claude et autre ?
C'est des carte custom nvidia ou "juste" des RTX 6000 pro ?

 
Nvidia a une gamme dédiée pour ça avec de la mémoire HBM. Précédemment Hooper (H100/H200) actuellement Blackwell B100/200 avec de la HBM3E (192 Go).

On prend ce qui est dispo facilement

yep c est juste que 192go c est pas suffisant, donc je pensais il avait des truc custom a plus de 500go de vram.

Le truc c'est qu'en général c'est un cluster de 8, et ça fait un total adressable de 1.5TO .

Et cela va doubler (ou faire x1.5) avec la nouvelle HBM4 / HBM4e et Vera Rubin.
 
A noter que ce n'est pas des GPU de jeu, car ils n'ont presque pas de ROP et n'ont aucun core RT.

ma compréhension était que le parallélisme de GPU-VRAM ne fonctionnait pas / tres mal pour les LLM, qu'il fallait forcement charger 100% du modèle en VRAM pour garder des perf correcte.

 
Tous les modèles ne sont pas identiques et n'ont pas les mêmes pré requis, certains travaillent très bien avec une mémoire partagée entre plusieurs GPU, d'autres pas du tout, certains pourront te dire mieux ce qu'il en est à ce niveau.
 
Faut aussi avoir en tête que la liaison dans un cluster via NVLINK offre bien plus de débits et bien moins de latences qu'un "SLI" par exemple.  
 
Mais en tout cas actuellement niveau mémoire, le mieux qu'on a c'est 512 bits en GDDR7 et des puces 3 GO en clamshell, et de la HBM3E.

La RTX 6000 est dispo partout, mais (car?) c’est 15k  

le cable 600w continue a faire des victimes sur son passage, je penserais la canicule allait calmer la situation  
 

ASRock TempGuard failed to shut down system after RTX 5090 power connector melted
 
Native 12V-2×6 cable melts on RTX 5090 system with ASRock TempGuard

We received some interesting information from one of the users affected by the melting RTX 5090 power cable. The owner, who identifies as Riptide, says the cable was fully seated at both ends and had no sharp bends. The PC operated normally for several weeks before it began showing software...
 
Source: VideoCardz.com
https://videocardz.com/newz/asrock- [...] tor-melted

nan mais la mdr le mec a inversé le sens des prises entre l'alim et le gpu ? on voit bien que la prise rentre très mal dans l'alim

Pas fully seated du tout lol.

c'est l'impression que j'ai aussi en regardant la photo  

sans déconner ce connecteur n'aurais jamais du être maintenu. penser que tous les fabricants d'alimentations doivent se fourguer le support officiel d'une telle daube, cela dépasse l'entendement. je serais fabricant d'alim, je vendrais des alims sans la prise dédiée a ce connecteur, en faisant particulièrement de la communication marketing pour vanter les mérites des connecteur 8 pin, 2*8 pins et 3 * 8 pins ainsi que les GPUS qui l'utilisent.

Quitte à même à nous coller du 4x8 Pins sur les plus grosses CG, moi en vrai osef. Je veux juste des CG qui crament pas et une connectique fiable.

Mais on va venir nous dire "Ouais mais c'est pas beau avec 4 câbles, tu comprends gniagniagnia"... Azy...  

En vrai, le gars a pas bien enfoncé le câble.

NVIDIA GeForce RTX 5090 SE : une nouvelle carte graphique Blackwell pour combler l’écart entre les RTX 5080 et RTX 5090 https://share.google/Z3TiS40to3hNbqHB5

vous voyez bien que les RTX 50XX ca chauffent pas contrairement aux autres cartes
 
RTX 50 hotspot : NVIDIA MODS révèle 107 °C cachés sur une GeForce RTX 5070 Ti
 
RTX 50 hotspot : une donnée toujours mesurée, mais masquée sous Windows
 
https://pausehardware.com/rtx-50-hotspot-mods-nvidia/

NVIDIA a bien supprimé l’accès public à la température hotspot sur les GeForce RTX 50, mais le capteur n’a pas disparu du hardware. Des réparateurs brésiliens, Paulo Gomes et Sidnelson, ont montré que l’outil interne MODS lit encore cette valeur, ainsi que d’autres mesures absentes de GPU-Z, HWiNFO et MSI Afterburner.

 

Température des GPU NVIDIA débloquée par modding, révèle des problèmes thermiques étendus sur les RTX 50 qui réduisent les performances en jeu

Les moddeurs ont trouvé un moyen de réactiver le capteur de point chaud sur les cartes RTX 50 de NVIDIA. Cette fonction cachée permet de diagnostiquer des problèmes de performance liés à un refroidissement défaillant.
 
https://www.omgpu.com/temperature-d [...] es-en-jeu/

Bonjour, j'ai eu un souci sur la 5080 elle se met à tourner à fond et passe à 99% sur WOW, et une 1ere fois elle a carrément planté écran noir et led blanche obligé de la déconnecter et reco je sais pas ce qui c'est passé

vérifie dans l'observateur d'événements, le journal Windows si tu as des erreurs nvlddmkm
et vérifie ton câble 12v-2x6

Ouais j'ai quelques erreurs nvlddmkm, mais pas bcp.

j'ai eu ça avec une 4090 c'etait la ram de la CG qui etait HS mais j'ai pas trop lu que ça arrivait souvent sur la série 50*0
(tu peux vérifier ça avec OCCT  test VRAM]
 
sinon ton alim c'est quelle marque quel modèle ?

 
Tu as un boîtier bien ventilé ? Avec la chaleur actuel le gros matos doit souffrir...

Ouais sur Fumark 4k en burn je dépasse pas les 70°.

je vais faire un OCCT

Edit : test de stabilité fait pdt 20 min et Vram 20 min aussi aucun souci, je l'ai débranché et rebranché j'étais en PCIe 8x du coup je suis revenu en 16

Ça ne dit pas ce qu'il se passe du coté de l'hotspot du coup    https://hardwareand.co/actualites/b [...] -la-preuve