Reprise du message précédent :

C'est une carte qui trouve sa place à côté du PC    même l'alimentation ne sait pas quoi en faire avec ses connecteurs sans prise carte mère standard pour pour démarrer physiquement en même temps
je ne suis pas seul à avoir du mal à la catégoriser !    

du coup j'ai corrigé le sondage faut remettre vos votes

Ya pas assez de choix possible
 
 

drapal

 
J'ai juste une alim 12v dessus, c'est un PC complet, certains en font des Steambox.

Super idee, parce que le jeu video c'est bien, mais il n'y a pas que ca dans la vie.
Perso j'ai boycotte des le debut tous les service d'I.A. dans le cloud, sauf a mon boulot ou j'utilise CodeRabbit
L'I.A. locale c'est le top, un PC avec 96 ou 128 Go de DDR5, deja on peut faire plein de trucs.
Pour le GPU, une AMD Radeon AI Pro R9700 avec 32 Go de VRAM pour 1600 euros devrait suffire a se faire plaisir aussi.
Pour l'instant j'utilise regulierement KoboldCpp, que j'apprecie pour sa simplicite d'utilisation (Pas d'installeur), malgre le fait qu'il soit limite en compatibilite GGUF

C'est un pc en apu, je vois pas ce qu'il faut dire de plus  

J'ai fait pas mal de tests sur mon macbook pro M5 pro 48GB avec Qwen 3.6 35B et Gemma 4 31B : J'ai pu monter à 61k tokens au total avec Qwen 3.6 plus 35B A3B Q8. Les performances ce sont dégradées progressivement (les premiers messages tournaient à 49 tokens / seconde mais les derniers plafonnent à 36,14 tokens par seconde avec un Time to first token régulièrement supérieur à 30 secondes.
 
Globalement Gemma tourne beaucoup plus lentement et j'ai pas vu de cas d'usage où il était franchement supérieur à Qwen (après quelques jours seulement mais ça rejoint les benchmarks à priori).
 
Attention en Q8 il y a une ligne de commande à faire après chaque redémarrage pour permettre au GPU de taper dans 40GO. Pour Q6/Q4 le modèle respire franchement

 
Tu utilise quelles fonctions de KoboldCpp? Si c'est juste pour le code, tu devrais utiliser llama.cpp.

Il manque quoi ?

j'ai vu avec des boitiers en impression 3D ça rend pas mal par contre ça bouffe en IDLE (genre pas loin de la moitié de son prix). Vaut mieux une prise connectée pas trop loin
 
Pour la blague mon M5 pro bouffe 9w en inférence avec un Qwen 36b Q8  

 
Perso, j'aurais répondu : non mais j'espère l'arrivée de modèles utilisables avec le matos dont je dispose  

Claude pousse au crime    
 

drap

 
Je voulais cocher tous les oui, mais on a que 2 choix.
 

 
29W en idle, 120W en inférence, même a 100% h24 sur un an ça doit faire dans les 60 euros d'elec. La différence avec un m5 pro c'est que si la bc250 clamse je m'en balec.

Je l'utilise juste pour discuter avec le modele, soit pour expliquer la signification de mots ou expressions en anglais ou en allemand, soit comme encyclopedie pour avoir des renseignements sur des sujets divers.
Pour l'instant ca reste une intelligence assez rudimentaire, mais ca devrait bien evoluer dans les annees a venir.
Avec un modele 120B les reponses sont longues a arriver, je retrouve les sensations de l'informatique des annees 80, ou les ordinateurs etaient tres lents

 
C'est quoi ta config? Pas la Radeon AI Pro R9700 et 128Go de RAM?

je trouve 200€ de mon côté pour une année à 100% / H24 au tarif EDF bleu (ce qui a peu de chance d'arriver certes et ce qui n'invalide absolument pas le rapport qualité/prix de la bête   )

Pour l'instant 96Go de DDR5 en deux barrettes et une RX 9070 (16Go donc)
Mais j'exclue pas de changer la CG pour un modele de 32Go, car on gagne beaucoup en rapidite en offloadant moins sur le CPU

Solide
 
Tu as peut être en option de prendre une petite soeur à la 9070 existante pour faire tourner deux GPU pour 32GO au total (sans doute beaucoup moins cher que prendre une 5090 même si évidemment les perfs ne seront pas les mêmes)
https://github.com/eliranwong/MultiAMDGPU_AIDev_Ubuntu

Ça donne quoi le multi GPU AMD ?
J'ai une RX 7900 XTX 24GB pour le moment
J'aurais probablement dû garder la RX6800 16GB pour tester, là au mieux j'ai une Vega 56 8GB en plus

rajouté le topic images/vidéos/..

• [Discussions] Génération d'images, vidéos et musiques par IA

Avec des outils comme Midjourney, Dall-e, StableDiffusion, GPT-2, Banana ..

Tu tournes pas à 100% en permanence, uniquement quand l'inférence se fait.
En bourinant pas mal je suis a 2h jours de load environs et c'est déjà beaucoup  

Drap    
 
Merci pour le topic!

Faut regarder mais si tu trouves des ressources comme celle-ci (je n'ai pas regardé la vidéo) c'est plutôt bien parti :
https://www.youtube.com/watch?v=hI5VXB5jWEc
 

thx. C'est ajouté en FP
 

2h par jour ça me semble vraiment pas énorme. C'est des operations sur les fichiers / CI CD ou autre qui entraine ces pauses ?  
 

Pour les curieux j'ai fait générer par Qwen 3.6 35b (en local bien sûr       ) la dernière partie de la FP (troisième post)
 

Je suis entrain de négocier pour recevoir 4 RTX 6000 blackwell au boulot  

Tu peux en dire plus sur ce que tu en feras ?  

Pour l'instant l'idée principale c'est de faire tourner un Qwen / GLM / Deepseek 24/24 pour une petite équipe de dev sur opencode.
Moi je vais voir si je peux m'en servir pour prévoir des tâches de fond la nuit, pour auditeur du code, faire des mises à jour massives.

On aurait aussi un besoin pour de l'analyse de documents, par exemple pour générer une review synthétique entre deux versions d'un document de plusieurs centaines de pages. Mais sur ce point c'est pas encore hyper clair niveau tooling.
Je ne sais pas si je peux trouver une simple interface façon chatbot qui accepterait des word et autre format de merde (autocad ça serait bien :s)...

Je commence doucement à me documenter sur les RAG, on a des centaines de Go de doc de fournisseurs, en différentes langues pas forcément parlées par tout le monde, concernant des projets s'etalant sur des décennies donc un peu d'aide ne serait pas de trop. Mais pareil, c'est un gros bordel, avec des formats de merde et un lifecycle absolument chaotique donc c'est vraiment le tooling qui est la question.

Plus loin on peut avoir régulièrement des questions genre qu'est-ce qui s'est passé il y a 4 ans, le 20 mai à 18h... Si ça pouvait aider à chercher dans des tickets redmine et des bases de données interne de nos événements métiers, ça pourrait aider, mais pareil ça reste flou.

Bref, c'est pas les idées qui manquent
Et le budget non plus, si je convaincs on m'en payera 8 de plus des blackwell.

Bedrock/Vertex pas possible ?

Non.

"APU AMD BC-250 / Entrée    ~150€    16 Go unifié    Qwen-0.5B, Gemma-2B, Phi-3-mini    Q4_K_M / Q5_K_M"
 

pour vos histoires de documents je pense qu'un knowledge graph sera très très utile
 
En tous cas sympa pour vos workstations Vos bureaux sont très bien climatisés / vous avez un petit enclosure pour séparer vos machines des humains ? Les cartes sont très bien pour réchauffer l’atmosphère été comme hiver et mettre un fond sonore  

mets ce que tu fais tourner confortablement et je mets à jour
 
Déjà il a pas mis que c'était juste bon à faire une régression linéaire pour un TP d'école d'inge. C'est un début

Pas de soucis ça sera rackable et mis avec les autres dans une salle climatisée

 

 
C'est Qwen 3.6, glm veut pas accepter son existence

très bonne idée. Faites gaffe au boitier qui sera utilisé : contrairement aux cartes prévues pour des serveurs rackables la RX6000 founder edition a besoin d'espace sur le côté (enfin au dessus quand c'est racké) pour gérer sa ventilation
 

(les deux fentes sur la gauche à côté du connecteur d'alimentation)
 
profites en bien !

c'est mis à jour

 
J'arriverais a estimer une conso elec
 

 
Ajoute une autre CG et passes a llama.cpp Même une petite 4060Ti 16GB fait le taf

(type BC-250 ou équivalent)
 
Y a pas d'équivalents enfaîte, ce machin est un ovni, littéralement.
C'est un APU de PS5 castré pour du cryptominage, vendue en rack.  
Récupérée comme déchets électronique et rendue exploitable par la communautés qui a rendue disponible bios et outils pour la transformer en pc utilisable sous linux.
 
Le fait que la mémoire soit partagée c'est cool, mais surtout c'est de la gddr6 avec des debits d'enfoiré : 448 GB/s
 
En comparaison un M4 c'est 120,un M5 153.
Un équivalent c'est au minimum un M5 Max a 460 ou un M4 Pro/Max 410/546
 
 
 
 
 

On peut quand même en trouver des APU mais sous d'autres formes Comme la steam Deck / ASUS  ROG ALLY / Lenovo Go
 
Je dis pas que le prix est le même ni la bande passante mémoire (loin s'en faut  ) mais si on a ça qui traine dans un coin on peut démarrer !