Reprise du message précédent :

 
A 200 balles ça vaut le coup, a 1000 faut vraiment aimer gaspiller son argent ...

pour ceux qui ont un strix halo et souhaitent se lancer sur Colibri avec GLM 5.2 INT4 : https://sleepingrobots.com/dreams/c [...] trix-halo/
 
Attention c'est pas très très rapide (0.4Tokens / seconde) donc ne l'utilisez pas pour discuter avec lui en live
 
Par contre si vous voulez des agents qui tournent à vitesse humaine en local féloches vous avez ce qu'il vous faut
 
le dashboard des experts est sympa quand même    :

Wow joli; c'est dynamique on les voit bosser?

Aller, dernier post
 

 
Ahh, enfin un nouveau "petit" modèle qui peut tenir dans du matériel grand public (HDG certes)

ayant une 3080 10Go + 32Go de ram, le meilleur compagnon pas cher cest ? la 3060 12Go ? avec 22 on fait tourner des trucs corrects ou faut vraiment viser 24 minimum ?  
Et comment mettre le gpu en plus ? y'a moyen de mettre une sorte de ryzer exerne avec un port usb relié au pc, ou il faut un max de bande passante et la mettre en pcie a linterieur ?  
Faudra que je change mon alim aussi... compliqué --'

Hey !  
 
Alors c'est un peu compliqué de répondre sans un budget (sinon y'a la 6000 pro qui est très bien https://www.ldlc.com/fiche/PB00723366.html ou Joce te cedera peut-être son Mac Studio 512GO avec les bons arguments   )
 
Donc blague à part tu as pas mal de modèles qui vivent plutôt mieux dans 32GO au total (Qwen 3.6 35b pour le code, Gemma 4 pour le texte / recherches sur le web) ce qui représente un budget certain chez Nvidia (mais c'est eux qui fournissent le plus de perf et la meilleure compatibilité). AMD a des alternatives très solides (BC250 à 200 balles avec 16GO mais c'est un ordinateur à pat entière, si tu aimes les casinos tu as la CMP 170HX 8GB qui pourrait débloquer 64GO de HBM ... Ou pas si en fait les puces débloquées ne fonctionnent pas et pour un peu plus de 2000 balles tu as 128GO de LPDDR5 avec AMD AI Strix Halo)
 
Bref, ton budget, ton usage principal de l'IA et on peut mieux te conseiller
 
Pour la carte graphique l'idéal est évidemment le PCI express natif mais tu peux aussi très bien passer par des boitiers intermédiaires occulink / Thunderbold / USB 4 et avoir des perfs très raisonnables

ouais nan, dans un budget réduit, un truc pas cher qui me permette de consolider ma 3080 sans casser la tirrelire. donc les mac studio et 6000 pro on oublie, le strix halo je voudrais bien mais non...mais si je peux cumuler facilement un BC250 a mon pc pourquoi pas ? jai pas besoin dun pc complet mais dun complement de VRAM surtout. enfin, j'imagine !
Et tout ca pour tester ce que je peux faire en local, sachant que niveau code, avec claude 100$ je suis deja tres bien, et niveau comfyUI avec la 3080 cest correct, je ne sais pa si avec olus de VRAM ce sera mieux (ni s'il saura gerer un deuxieme GPU, un BC250 externe ou autre...)

Avec ton setup 3080 + 32GB de RAM, tu peux jouer avec qwen3.6 35B A3B, ça passera sans souci avec de l'offload CPU. C'est rigolo, ça marche, mais ça sera difficilement exploitable pour bosser vraiment avec. Essaie et dis-nous
Rajouter une CG te fera perdre en perf vs une seule CG avec double de VRAM. Si tu veux plus de VRAM, vends ta 3080 et achète un modèle avec maxi VRAM selon ton budget.

Je me posais aussi la question des V100.  
Il y a des 32Go, mémoire HBM donc ça dépote bien.  
Ça se trouve vers 700€
 
Le problème pour moi c’est que c’est volta, plus compatible avec les derniers cuda/pytorch plus de support pour xformer des trucs comme ça. Donc c’est compliqué.
 
Mais ça peut peut-être encore bien faire tourner des llm
 
Il y a des benchmark ici: https://github.com/KumphanartDansiri/v100-vllm-2026

Vous avez des machines dediées ou vous faites tourner ça sur votre daily ?

Les deux, petit server fanless pour l'agent ( Hermes) , 2 bc250 pour les llm allrounder et mon gros fixe pour image et batch spécifique

Pareil ici : un macbook pro 48GO pour le tout venant et un AMD AI Strix Halo 128GO pour les grosses tâches

Les V100 sont de très bons compromis

ya quoi comme choix en strix allo 128Go a part le bosgames ?

3080 et bc250 avec llama.cpp en mode rpc c'est possible, c'est ce que j'utilise en Vulkan même sur la rtx. Par contre charger un modèle prends des plombes et le pp est limité par le réseau. Si tu as déjà une bc250 ça se tente!

Sinon la 3060 12go ou 4060ti/5060ti 16go c'est bien si tu en trouve a tarif resonable. L'idéal c'est deux ports pcie, un truc en USB c'est chaud et chère pour toutes les limitations.

y'a le Asus rog flow Z13 si tu préfères un laptop, celui de chez gmktec, framework ... ils sont souvent plus chers mais parfois avec des features interessantes : sortie occulink (si tu veux en chainer avec du réseau très basse latence / 40 gb/s), ethernet 10Gb/s de base. BosgamePC a pour lui le prix et le RGB qui doit facilement ajouter 1 token / seconde et t'aide à retrouver la machine par temps de brouillard  

Au fait c'est ta machine ? 6 GPU de 32Go ?  

Non screenshot du projet GitHub
 
J’ai pas répondu à the fennec parce que je refais mon homelab mais je compte bien spinner le bousin comme l’interface le suggère

OK

nan jai pas de BC250 mais yen a sur HFR a 150/190. Je vais voir pour une 3060 12Go, je crois que ma CM a un PCI en plus, faut que janalyse, par contre l'alim pas sur que ca suive. ca exploite le GPU au max ? ou tranquille ? jai 750W, un 5900X et une 3080 FE.  
 
Sinon Neo les Rog Flow et framework cest pas du 32 only ? je pensais...
Ce serait une folie un laptop 128Go meme au quotidien !

Nope 128G (selon les stocks disponibles) de tête c’est le laptop daily de Linus (LTT sur YouTube)
 
Et ta carte sera très très utilisée pendant l’inference et va probablement pas consommer au max de ses specs mais ne t’attends pas à faire tourner tes GPUs sur un petit filet d’électrons

Prends pas une bc250 a 200 balles c'est trop. Tu peux utiliser que 14gb sur les 16gb même avec un linux bien dégraissé. Je pense qu'une 3060 est mieux, tu perds que 2gb. Niveau consommation, windows va bien te bouffer 1gb sur le gpu principal, tu auras donc 3gb de modèle en plus sur la 3060, c'est elle qui va te limiter et fera que ta 3080 va se tourner les pouces. Je pense que ça passe avec une alim de 750w de bonne qualité.

Après si tu arrives a tout a 100% y compris le CPU ça va être limite, ça dépend de la qualité de ton alim.

Tu peux au pire jouer avec les power limit de la 3080?

Je déconseille de mégoter sur l’alim. C’est le truc qui peut t’embarquer des composants en cramant, créer des erreurs aléatoires ou même cramer tout court. On peut toujours regarder la puissance disponible sur les connecteurs pour alimenter les connecteurs alim PCI (de tête c’est les rails 12V) mais même la dessus on est pas certain de comment c’est reparti entre les câbles sur l’alimentation donc c’est pas terrible. Les seuls composants sur lesquels on peut mégoter c’est le boîtier et le RGB

Normalement une alim de qualité saura se mettre protection en cas de surcharge. Après ce que tu dis est prudent    Ajouter une alim de 1kw ça tue l'upgrade

La 3080 est vraiment réputée pour sa consommation ( https://www.reddit.com/r/nvidia/com [...] _700w_psu/ et un site de test qui commence par parler des 320W max de conso ), tu comptes 160 / 200w pour le CPU, 100w pour tout le reste et il en reste vraiment peu (toujours sur les rails 12v comme toute la puissance est pas répartissable indifféremment en le 3, 5 et 12v)
 
C'est un peu relou mais je pense que ça vaut le coup d'attendre 1 mois de plus pour faire ces achats (pourquoi pas en testant vite fait des models en ligne pour trouver le bon ratio de mémoire entre temps) et prendre une alim a vile prix sur HFR (je suis pas son VRP mais ... https://forum.hardware.fr/hfr/Achat [...] 7955_1.htm )

Ok mais si tu charges le CPU a 100% c'est que tu a un offload des experts d'un MoE, donc tes GPU peuvent pas être a 100%. C'est d'autant plus vrai quand t'as une 3080 vs 3060 qui va brider le tout.

Après si tu mets un furmark et occt en plus la oui.

Je suis pas forcément en phase sur ce coup là toujours pour cette histoire de répartition de la puissances entre rails
 
Les deux GPU vont tourner à 100% en même temps et à 750w je ne pense pas que le fabricant avait en tête un SLI de 3090 au moment de designer l'alim' (mais c'est de la simple spéculation )

Non je pense pas qu'ils seront 100% la 3080 passera son temps a attendre la 3060.

je vais me calmer et rester sur la 3080. si jai une occasion de prendre un strix halo a 128Go je verrais bien...
et en alim jai une corsair gold RM 750w

Ok

Tu peux regarder ici en attendant : https://www.fitmyllm.com/blog/best- [...] -24gb-vram
 
Tu as de quoi jouer déjà avec ta 3080
 
edit : avec la bonne page pour ta carte
https://www.fitmyllm.com/?tab=find- [...] +3080+10GB

Petite question aux utilisateurs d'Open WebUI, j'essaie d(utiliser un tool ou skill pour interroger une base de données mais ce que j'ai testé ne fonctionne pas des masses... J'ai bouffé pas mal d'articles, posts, vidéos sans y arriver.
 
Un 'tit coup de pouce, siouplé

C’est quoi comme base de données et à quel niveau ça galère (connexion ? Requêtes SAL fantaisisistes ? Autre ?) tu as mis comment en place la connexion avec la BDD ?

La base c'est du MariaDB, j'ai installé pymsql, j'ai mis les variables de connexions dans les variables d’environnement du service Open WebUI, j'ai modifié un peu le skill et le tool pour les variables de connexion, je les ai activé au niveau du chat.
 
Quand je pose des questions, il me donne plein de réponses assez intéressantes sur des requêtes possibles, bien plus complexes que celles que j'utilise mais rien avec la connexion avec la base en elle même.

Tu as suivi cette doc ?
https://docs.openwebui.com/features [...] -analysis/

 
J'ai envie de te dire que la solution mi-2026 c'est de remplacer OWUI par Hermes-agent avec l'app desktop ou le portail webUI. La gestion des skills va devenir beaucoup plus fluide.

Oui, pour le skill, c'est celui que j'ai essayé d'adapter mais la page est assez succincte...
 
Pour l'outil, je ne retrouvais pas l'endroit où je l'avais récupéré, c'était Gemini, en lui demandant comment accéder à la base de données MariaDB depuis Open WebUI, avec la manière de se connecter à la base et comment est installé Open WebUI.

J'ai mis un peu de temps à mettre les différents éléments en place, pas trop envie de repartir sur autre chose dans l'immédiat. Après, à voir si c'est un peu plus user friendly...

Qwen 3.6 14B A3B FableVibes benchmarked and tested vs Base Qwen 35B - 16GB Local LLM setup
https://www.youtube.com/watch?v=DBEd5dpxaNQ
https://huggingface.co/tvall43/Qwen [...] Vibes-GGUF
 
Intéressant, un Qwen 35B tronqué de 21B de paramètres qui tient dans 16GB pour Q8 et 9GB pour Q4_K_M, et comme c'est un MoE ça doit même tenir dans 8GB!
 
TL;DR: bon pour de l'agentique, bof pour le code.