Reprise du message précédent :

 
ca fait un paquet de tokens pour un truc en ligne depuis quelques heures non ?

+1

Les V620 sont introuvables en Europe...

Les cmp170 c'est la roulette russe... T'as réussi à les trouver ou ? Tu les as complètement débloquées ?

 
Ouaip pas de soucis  
 
Alibaba
 

 
Pas mal, j'ai hesite ^^
 
Tu as combien en prefill / generation sur q38fn ?

 
Sur les cmp pas encore testé parceque pour le moment j’en ai monté que 2 (j’attends l’alimentation et le radia pour la CM Epyc)
 
J’ai juste monté les CMP 2 par 2 dans le Lenovo pour valider l’unlock et la stabilité  
 

De mon cote j'en suis la:
 


 
J'ai toujours pas recu les M.2 -> PCIE5 4x.  
 
Sinon en terme de generation / prefill, ca boost...
 
Sinon mon setup a base de strix / halogen je le considere production grade, il tourne sans soucis.

vous faites des jaloux les mecs là

Attends, jai pas assez de pc pour les mettre...

Ca manque de scotch papier, Tronklou not approved

 
Switch PLX bientôt ?

 
Bonne question...  
 
Je me tatte en en mettre 2 dans une boite avec un CM en micro ATX...  
 
Les 4 feraient du q38fn et celle avec les 2 du 27b...

t'inquiètes, je peux au moins en caser 2 ou 3 ici.

 
Pouce légèrement le voltage plus haut : ça augmente la consommation mais ça peut éventuellement aider à stabiliser le bousin. Tu as fait tourner un memtest / occt pour voir si ça relevait une erreur après 30 minutes / une heure ? Ton symptôme ressemble aussi à celui d’un oom ^^

Merci
 
Quels sont tes plans en matière de besoin d’IA ?

Je dépanne aussi si besoin

par contre cette nuit ( ), j'ai continué à tester le setup bc-250 et je pense qu'il faut que je lève le pied sur la quantization du kv cache du ornith 35B unsloth (que je préfère au qwen 3.6 35B) : q8/q4 j'ai des bizarreries lors de la génération (pas fréquentes mais suffisamment pour que je m'en aperçoive).
du genre caractère chinois au milieu d'un mot, mot "inventé" mais très proche de ce qu'il cherche à dire (habilité => habilisé)

bon déjà le quant en iq4_xs est bien sans plus mais là... a priori ça continue de passer max contexte (256K) avec du q8/q5_1 et voir à l'utilisation ce qu'il en ressort.

j'ai aussi trouvé du atomic chat en iq4_xs un poil plus gros et avec de meilleurs métriques mais le kv cache passe tout juste en taille max (faut pas que ça swape sinon ça devient leennnt) et leur mix iq4_xs_q4_k me fait perdre pas mal (140K max de contexte a priori) ²

 
Si tu peux, je recommande quand meme du Q6/Q8, quitte a sacrifier de la vitesse. Pour un contexte de 262k.  
 
Si tu as <128k de contexte, oui tu peux viser le Q4.  
 
Pour de la prod biensur.

j'ai le k en q8, le v en q5_1. je sais pas si llama.cpp prend le q6 en quant sur le kv cache
je vais regarder tiens

 
J'avais déjà le soucis avec les voltages par défaut, et je l'ai plus en repassant a 24CU. Pas con le memtest/occt, il faut que je scripte l'activation/desactivation des CU, en plus avec bc250-cu-live-manager.sh, pas besoin de reboot!
 

 
Perso je reste toujours en q8/q8, toucher les valeur ne fait rien gagner avec Qwen.
Avec les Ornith/AtomicChat ça fini toujours par ce genre de bizarreries, ces quants sont bon pour faire une vidéo Youtube, mais si tu les laisses bosser longtemps ça foire. A coté de ça j'ai laisser les Unloth bosser presque une semaine sans un seul tool call foiré ou mots de travers.
 
D'ailleurs si tu prompt en français tu auras plus de soucis qu'en anglais, les Ornith/AtomicChat sont majoritairement fait et utilisés par des anglophones.

c'est le genre de modèle à tout faire en ce qui me concerne (edit : en théorie peu rebooté, recherche améliorée, connexion HA et petits problèmes genre macro excel), pour les trucs "complexes" je me replie sur un qwen 3.8 27B sur ma config.

mais je garderai ton post à l'esprit quand je ferai les tests ce soir ou demain

Dites,
 
Faudrait se faire une liste "meilleur rapport VRAM/prix" du matos dispo.
 
Genre "pour 800€, j'ai de la RTX3090 sur leboncoin"

Salut à tous,
Fans le cadre d'un projet "POC" d'un Rag + vive coding, je cherche à monter un serveur / PC.
Budget de 8k€ (...)
Le machin sera multi user (10 personnes).
je débute dans la compréhension du concept.
Y'a des tips a prendre en compte pour pas faire n'imp ?
J'ai demandé aux IA qui pousse une conf maison à base de 4090 d'occaz(x2) ou une 5090.
Merci

 
 
DGX Spark et basta

Le pc d'alanou sur lbc

Link ?

J'ai oublié de préciser un truc évolutif ^^

cherche v620 et alanoo sur lbc

 
Un deuxième DGX Spark quand tu aura besoin d'évoluer

 
Tu fais un prix pour l'élite HFR ?

Faut demander à alanou (cf. page précédente)

 
Ça serait bien, mais difficile et déprimant a maintenir

2 DGX Spark
3 DGX Spark
4 DGX Spark

Tu devrais avoir assez je pense  

Y a pas mieux pour ça.

Une conf maison pour 10 users avec 8k de budget

Je suis assez d’accord. En fait y’a plein de points d’entrée différents et globalement les tarifs bougent trop (à la hausse) pour faire une bonne liste.
 
Je peux faire un poste avec 5 ou 6 modèles de l’entrée de gamme interessant (BC250 / RTX5060 16gb)avec Qwen 3.6 MoU ou 3.8 27b au petit power user (strix halo, 5090 / 3090 x2 / GB10 / MAC avec une puce Max en 64 / 128GB pour Qwen 3.8 flash next au power user fortuné (rtx6000 pro, Mac m5 Ultra pour GLM 5.3 ou deepseek flash 4.1) aux modèles pro fortunés (H100, h200, GB… pour deepseek flash 4.1 voir Kimi k3 si y’a vraiment beaucoup de cartes )
 
Les prix bougent tout le temps, tu as du bidouillage à plein de niveaux possibles (remplacer les puces mémoire, empiler les cartes et les machines, destager une partie en RAM voir Nvme) mais c’est la foire à la saucisse avec des résultats très variables

 
Go!
 
Moi ce que j'ai en tête à la grosse louche :
 
Strix Halo 128GB 2800 euros: Entrée de gamme
Strix Halo 192GB 7000 euros: touchage de nouille useless
GB10 128GB 4900 euros: AI Inference server + CUDA + évolutivité & forte concurrence de calcul
Mac Studio 128GB 6200 euros: Sweet Spot AI server all-in one + workstation

Et ouais.. Dans les fait c'est 10k€ max.  
C'est pour ça que je le considère plus comme une POC qu'autre chose..

 
pour 10k HTVA:  
 
https://www.apple.com/fr/shop/buy-m [...] o-stockage
 
Ou  
 
2x https://www.alternate.fr/ASUS/Ascen [...] /100166008

pour les accros d'halogen :  
https://github.com/gufo-org/gufo  
 
ne migrez pas tout de suite : c'est open source et les perfs sont encore meilleures mais le kv cache semble pas tout à fait au point encore :
https://github.com/gufo-org/gufo/issues
 

 

AMD propose de desserrer le frein à main sur ses  igpu avec le kernel linux 7.4 :
https://www.phoronix.com/review/amd-perfopt
 

 
en version 8.X on pourra peut peut être aussi détacher l'enclume et le fer à repasser  

 
Tous les gains sont bons a prendre
Facilement 2 TG/s sur Strix et 4/5 sur un laptop en carton