Reprise du message précédent :
C'est juste qu'il marche bien pendant plusieurs heures, généralement 9/10h c'était pas facile a voir avec un test local. Mais oui, c'est pas pour rien que cet APU à pas fini dans une PS5 .
 
J'ai deux BC250, une déconne a 40CU, l'autre aucun problème.
 
Avec 27B ça chauffe plus fort que Qwen Next:
https://i.imgur.com/El1LhEP.png  
 
La première partie c'est du PP, pic a 74, ça chauffe plus fort que le TG, ça doit être le MTP.

il faudrait clairement pouvoir tester les CU sur une longue périodes pour être certain.

Oui il faudra que je teste un jour
https://github.com/duggasco/bc250-4 [...] th-testing

J'ai essayé mais c'est horriblement long

T'as tenu combien de temps avant de couper le truc?
Après si ça charge bien, il pourrait trouver assez vite le CU qui déconne chez moi.

Les prix du AI Max 495+ commencent à sortir  

Ça fait mal  

GMKtec EVO-X5 PRO AI Max 495 Mini PC avec 192GB Ram et 2TB SSD:
6,250 euros

https://de.gmktec.com/fr/products/g [...] ai-max-495

Minisforum MS-S1 MAX-P495 avec 192GB Ram et 2TB SSD:
7,800 euros

https://minisforumpc.eu/products/mi [...] 1-max-p495

 
5 reboot, mais j'étais sur autre chose et je n'avais pas compris que ça allait reboot.
 
Je pense que le mois prochain, je vais repad, en profiter pour changer les fan (j'ai pris des p12-pro normaux et reverse pour faire un truc propre) et du coup faire le test full sur les deux cartes.

70 degrés c’est très propre. Peut être monte un poil le voltage pour voir si ça fiabilise tout ça ?
 
Que dis un memetest de la carte quand elle plante ?

 
Le meilleur prix que tu trouveras une fois que bosgame aura dégainé    

j'ai vu une vidéo hier qui annonçait pas de baisse significative avant Q2/Q3 l'an prochain sur le matériel et que la fin d'année, ça allait être horrible avec un pic vers novembre/décembre.

on gagne un peu avec le RPC quand il y a des différences de perf entre les machines ?
je veux dire, il y a un intérêt de coupler le bc-250+RX6700 et mon PC par exemple ? en plus réseau basique en 1Gbit/s ?

J'ai aussi une carte avec des CU défectueux, j'ai laissé tourner une nuit avec codex en monitoring et le travail a été bien fait, ça tourne au poil même en inférence longue

 
 
De mon cote je vais avoir entre 36 et 38 CU, a 40 elle freeze....

 
En ayant les CU defect actives ?

Bah non justement  

 
Pour le coup encore heureux qu'avec les bons CU ca passe    
 
Des /// c'est souvent une couille du model, pas du hardware.  
 
Il se peut aussi que l'activation marche, mais qu'en charge t'es des erreurs.

J'ai forcer du gros benchmark justement et a l'usage pas de problème ( ça fait plus d'un mois déjà ) donc vraiment ça va bien.
Par contre y a eu plus d'un crash avant de trouver les bon CU fiable

 
Si c'est pour moi, j'avais déjà un plantage avant d'UV.
Quand elle plante on peut plus faire grand-chose, si j'ai un ssh encore dessus je peux faire des ls/ps mais souvent ça revient pas, je peux même pas reboot, le kernel est en vrac.
 

 
Généralement c'est plus lent en RPC, mais c'est acceptable si ça permet de charger un plus gros modèle.
Je pense qu'on peu tuner ou bougeant certains layers ou la vision sur une carte spécifique.  
 

 
Tu as utilisé https://github.com/duggasco/bc250-4 [...] th-testing pour trouver quel CUs étaient HS?
 

tu peux partir du principe sur si ton mapping de base n'est pas tout à gauche, c'est que tu as des CU qui n'ont pas passés les tests.

Bon, faut pas utiliser "bc250-40cu-unlock#automated-health-testing" avec une Debian 14 et/ou un kernel 7.1.2. La machine freeze en 2s après le boot, j'ai du virer le service en recovery!

Non j'avais fait a la mano (enfin claude) avec https://github.com/WinnieLV/bc250-cu-live-manager + du stress test derrière pour valider a chaque fois. Long mais efficace.

 
oui c'est ce que j'utilise pour activer/désactiver, j'aurais juste voulu pouvoir viser une CU a la fois dans un test, mais je vais remettre par défaut pour le moment.

Pareil j'ai testé le "nouveau" script, je suis revenu à l'ancien qui me convient parfaitement.

deepseek s'est occupé de tout pour la config (unlock 40 CUs, GPU à la place du nvme, config llama.cpp) et les tests (faisabilité, stabilité, max contexte etc.)
par contre, même si ça a pris du temps, ça n'a pas duré des heures et des heures.
à voir si je lui dis de valider avec ce truc, ça marche plutôt pas mal pour le moment

Tiens j'avais jamais fait attention à ce topic avant la création de la section.

Drapal... et puis je vous raconte un peu mes folies locales et leurs évolutions

Premiers amours avec un Zephyrus G14 6900HS et RX6800s l'année passée. Evidemment ca allait pas chercher loin, surtout avec la maturité relative de Rocm à ce moment là, et le support très basique de RDNA2.

A Black Friday j'achète alors un HP Zbook G1a ultra. Super laptop, très content... en usage workstation. Côté LLM et autres usages IA, Ok pour expérimenter un peu, mais franchement niveau perfs LLM c'est très limite (et en flux ComfyUI j'en parle même pas, c'est nulle part). A l'époque j'hésitais avec un DGX, je regrette tout de même de pas avoir choisi le DGX.

Bref, vers avril/mai, mes usages commencent à devenir sérieux (multi agents, multi workflows, y compris certains usages de production pour des clients PME).

J'achète mon premier Lenovo P620, Threadripper Pro 5975WX sur Ebay. Et deux 3090 sur Leboncoin

A l'arrivée, la machine est incroyablement propre (il y avait encore la protection sur le pad thermique NVMe), et pourtant, le port PCIe le plus proche du CPU refuse de négocier en PCIe 4.0, alors que les cartes sont OK dans les autres ports. Renvoi au vendeur, remboursement nickel et simple.

Je rachète alors un autre P620, mais cette fois ci en TR PRO 3975WX (différence pas énorme voir insignifiante pour ces usages), 128 Go de RAM ECC 3200.
Nickel, super content, tout fonctionne.
Avec les 3090 tout est connu, il y'a un super repo "club-3090" très réputé, c'est du quasi plug and play. Les perfs sont bonnes... mais 2 x 3090 ca reste assez vite limitant en VRAM, ca ne laisse pas vraiment de choix à part en faire une machine dédiée Qwen 27B. Même si il est certain qu'on peut déjà faire beaucoup de choses avec Qwen 27B. Les 3090 restent trop chères pour envisager de passer à 3 ou 4 cartes, et de plus c'est compliqué avec un châssis de P620.

Je vois alors une vidéo qui parle des dernières cartes à "pas trop cher", des Radeon V620 (en gros des 6800XT version Cloud avec 32 Go de VRAM). J'en prends 3... et je commande un deuxième P620 (même configuration).
Je monte tout courant juillet. Premiers tests très encourageants (Deepseek Flash V4). Petite communauté, mais très active. Chaque jour qui passe les fonctionnalités se débloquent et les performances augmentent.
Arrivent les vacances, et j'y touche plus trop avant la mi août.
A mon retour, grandes avancées par la communauté, je teste leurs recettes (Qwen Flash Next à cette date, bien évidemment). Hyper prometteur... mais un peu juste pour 3 cartes (recettes optimisées en TP4, j'arrive à max la taille de contexte, mais trop peu de kV cache derrière pour être réellement optimisé).
Bref je passe quelques grosses journées à sacrifier mon quota Fable pour optimiser dans ma configuration en PP3. Fork plus ou moins maison (basé sur ceux de la communauté).

Au final j'arrive à quelque chose de très satisfaisant, 60+ t/s en TG sous Qwen Flash Next AWQ-W4A16, 150 t/s en c=4... 250 t/s en c=8 ! Impressionnant, et même impressionné pour des petites cartes pas trop chères.
Validé en flux multi agents de code à 4 agents avec Oh my Pi. Ca tourne bien, Qwen Flash Next est une avancée très notable par rapport à 27B, content.

Entre temps je me dis que deux machines, ca ne me sert plus vraiment dans l'état, et que je regrouperais bien le tout dans une seule machine encore plus costaud.

Je tombe sur 512 Go de RAM ECC 3200 à prix honnête (même si dépareillée Micron et Hynix). J'achète une ASRock ROMED8-2T et 4 CMP 170HX pour viser un joli combo 512 Go de RAM et 256 Go de VRAM.

Config en cours de montage, mais déjà avec seulement 2 CMP 170 HX dans l'un de mes P620, ca tourne fort... mais étonnamment plus difficile à faire tourner que mes Radeon !

Et cette fois ci je vais essayer de m'arrêter là  

t'as réussi à trouver des V620 en Europe ?

edit: j'ai raté le passage sur les 4x170HX ²²²

 
Nope import Ebay US. C'était pas si cata avec le cours du dollar honnêtement.

Malgré les taxes ?
Belle affaire dis donc

Bienvenue ami aventurier. Combien as-tu déjà cramé dans cette affaire pas si cata ?
 
On attend la photo des bêtes, un p’tit overview de ce que font tes agents avec ce backend local et sache que le topic a un goût prononcé pour les découpes approximatives, le scotch et les rasoirs 50 lames à base de radiateurs profilés racks

 
Ouaip même avec l'import.
 
Franchement très content de ces cartes... surtout pour des cartes un peu "ghetto". Ca tourne à 150w sans perte notable, ca idle entre 6 et 7w chacune modèle chargé, et les perfs sont assez incroyables pour une archi vraiment pas optimisée IA.  

Wow belles configs
 
Tes 170HX tu les as eu avant ou après que l'unlock devienne publique?

 
Après évidemment, sinon j'en aurais 8 ou plus
Mais elles étaient encore "que" à 1400$, pour des versions unlock testé et mod PCIe 16x (condensateurs soudés).
 
Sinon au total je dois être vers les 15k€ jusqu'ici, mais je vais en récupérer un peu en revendant les Lenovo P620 (celui avec les V620 et celui avec les 3090).

Ha oui un beau budget

Tu vendras le truc complet je suppose ?

bon je crois que je suis pas au bon endroit a vous lire avec mon combo mac mini/rtx 5070  

 
Ben si, ya des petites config aussi ici, j'ai une 4060Ti et une paire de BC250  

Ça depend, j'ai un rig de minage AMD avec un adaptateur nvme occulink et une rx6700.
Le tout sur une alim atx malade (prise pcie sur bc-250 et rx6700 sur prise cpu charcutée)

 
Celle avec les v620 est déjà sur leboncoin
 

 
 
Celle avec les 2 x 3090, j’attends d’avoir l’Epyc fonctionnel mais ça va être l’affaire de quelques jours et elle sera sur leboncoin aussi  
 

Je viens de voir ça, pas testé, pour afficher la température des chips de la BC250:
https://github.com/bc250-collective [...] emperature

Trouvé.
Et plutôt abordable ça devrait vite partir

 
ca fait un paquet de tokens pour un truc en ligne depuis quelques heures non ?