Reprise du message précédent :
J'ai aussi sur la CM du serveur 192 GO de ram me semble, et il peut monter a 1To de ram avec la bonne ram, mais j'ai peur d'avoir une perf dégelasse sur un Full CPU.
 
Par contre je me demandais si avec une conf avec 72 Go de VRAM ou 88Go de VRAM + 500Go a 1To de ram ça aurait pu charger une gros modèle et donc pouvoir (même si ça prend du temps) faire pas mal de chose en tache de fond et c'est dans cet optique la que je l'ai pris au moment ou je l'ai fait, mais je n'ai malheureusement pas encore eu le temps de faire ce que je voulais avec.

Seulement avec un modèle MoE, pas un modèle dense ou tous les layers sont actifs tout le temps. Je pense pas que ça soit utile d'avoir autant de RAM pour de l'inférence.
J'ai essayé de faire marcher ik_llama qui est censé avoir de meilleures perfs CPU, mais il plante avec Vulkan, je suis pas allé plus loin.
 
J'aurais pas mis des sous en plus a ta place. Par contre ça se teste de charger un modèle a 200Go pour quoi ce que ça fait .

Tout le monde dit que les model a 32B c'est super, mais pour de l'argentic code c'est moisi, ça ne va pas plus loin que de la complétion et encore ...
 
Un bon modèle on tape dans les 1T de paramètre a mon avis pour commencer a toucher un modèle assez polyvalent sur tout, mais sur du vision j'ai utilisé des modèle 27B qui était vraiment pas mal, donc ça dépend vraiment du besoin et de ce que tu veux faire.
 
J'ai pas re tester de modèle récent 70B- sur du code mais je doute que ça fasse aussi bien que des modèles cloud quand même.

Je trouve Qwen 3.6 35B et 27B très bon pour coder. Le problème c'est plutôt les agents qui sont pas tunés pour ces modèles et les contextes de pauvres...
 
Si tu peux les faire tourner en natif ou Q8 avec 256K de contexte fp16, ça doit commencer a bien tourner.
 
Tu vises quel models?

un model 200B + je dirais mais pour coder 256k est trop peu sur mon projet actuel, sur mes plus petit projet ça suffirait.

 
200B ça veut rien dire, je suis sur que Gemma4 ou Qwen 3.6 mets une volée a Llama-3.1-405B ou même Deepseek v3 684B.

Nouveau modèle Google 12B:
https://huggingface.co/google/gemma-4-12B
https://huggingface.co/unsloth/gemma-4-12b-it-GGUF
 
https://blog.google/innovation-and- [...] mma-4-12b/
 
15 tg/s sur ma 4060Ti seule
Avec un flappy bird fonctionnel!
https://gahmen-bukittimah-gpa4.pagedrop.io

Juste une revue Reddit du NAS UGREEN IA
 
https://www.reddit.com/r/UgreenNASync/s/iXmIm2HwtH

flappy ball

 
Je l'ai mis sur mon projet linux/amiga, il foire les executions de commandes au bout de quelques minutes, pas de miracles ...

j'aurai tendance à le déconseiller : les gros modèles sont une tannée pour la bande passante mémoire (chargement et inférence) ça laisse peu de place pour le reste (cache pour le stockage et stabilité des services du NAS)
 
Si le besoin c'est plutôt du NVR/frigate avancé (modèle léger d'analyse d'objets en temps réel) j'ai acheté ça pour 1/5 ème du prix du ugreen (sans RAM mais on trouve assez facilement 64GB pour environ 400 balles en occaz. Ca le mets toujours 2.5X moins cher que l'alternative UGREEN (plus puissante certes mais si on est gourmand on coupe l'herbe sous le pied des fonctions NAS) :  
https://nozzler.io/aoostar-wtr-max-11-bays-nas-mini-pc/
 
Et si on veut vraiment faire tourner des LLM sur son NAS (   ) le port oculink permet de connecter ça pour le budget du Ugreen :  
https://forum.hardware.fr/hfr/Achat [...] 7365_1.htm et il reste 1500 balles pour trouver une 9700 pro avec 32GB pour jouer avec Qwen sans tuer le NAS

tu as testé tenscent db agent memory pour voir si ça aidait un pdu avec les petits modèles ?

tu as raison les modèles pas trop cher à héberger en local sont derrière les modèles cloud les plus performants. Par contre il te change pas les modalités d'accès aux APIS ou le prix de son abonnement du jour au lendemain sans te demander ton avis et c'est toi qui choisi qu'est ce qu'il peut garder dans sa mémoire long terme et qui contrôle toutes les instructions qui lui sont données.
 
y'a pas une approche parfaire mais des compromis selon le besoin

Flappy bird c'est tellement devenu un hello world je pense que tous les modèles doivent être hyper entrainés dessus

 
Oui, je sais que ça vaut pas grandchose, mais ça me permet de valider la config rapidement.  
Après sur certains modèles ça foire complètement et je vais pas plus loin. Genre Nemotron ou Devstral/Ministral.

 
A fuir donc, mais rien ne surprenant vu que le projet sentait déjà le sapin dès l'annonce
 
PS: on appréciera également le fait que la marque déporte certains des traitements IA locaux sur leurs serveurs (chinois), ça doit être très RGPD compliant toussa

 
qat-UD-Q4_K_XL 14.2GB vs UD-Q4_K_XL 17GB
 
Donc c'est cool pour ceux qui ont 16GB de VRAM, mais je trouve Gemma assez nul pour coder, je reste sur Qwen.

Tu fait vraiment du code avec qwen ? quel modèle quantification ? quel langage ?
 
J'aimerais bien connaitre la config que tu as pour ça (outil et matériel) et ton ressenti sur ça.

 
Je suis encore en phase de "recherche" je voudrais arriver a un agent 100% autonome qui code des trucs pour moi. Le je viens de passer sur Hermes pour voir.
 
Ma config c'est une 4060Ti 16GB sous Windows en cluster RPC avec une BC-250 16GB sous Linux. J'utilise llama.cpp coté inférence et un peu de tout coté agent.
Pour les modèle j'alterne entre ces deux la avec 65k de contexte en Q8:
* Qwen3.6-35B-A3B-UD-Q6_K
* Qwen3.6-27B-Q8_0
 
Je teste ça en ce moment: Qwen3.6-35B-A3B-uncensored-heretic-APEX-I-Balanced
 
Je fais du Java, C/C++, assembleur, Python, shell, JS. Mais principalement du vibe coding PoC a la maison, donc je suis pas très critique sur le résultat pour le moment. J'ai pas mis d'IDE pour faire de la revue de code. Pour autant, je trouve qu'avec les bon prompts c'est pas mal, le principal problème est le contexte. Même en Q8 je trouve qu'il se dégrade vite, c'est pour ça que je suis repassé a 65k au lieu de 128k. J'ai l'impression qu'au delà de 40k c'est pas top.

Ok merci du retour

https://www.dealabs.com/bons-plans/ [...] ux-3347472
 
Je partage simplement, je ne sais pas si c'est intéressant

 
Allez, je suis faible, j'en prends une deuxième  
 
Merci  

ça vaut vraiment le cout pour du multi ça ou c'est beaucoup trop lent pour les utiliser cumulé ?

 
Je trouve que ça marche pas mal avec ma 4060Ti, je vais voir avec 2x BC250 en plus. La je fais du 200+ en prompt processing, dans les 40+ en génération avec 35B A3B. Avec 27B c'est beaucoup plus lent.

Vous utilisez quoi comme tool branché à vos ollama/llama.cpp/vLLM ? Openclaw ? Hermes ? Qwen code ? Claude code ? Opencode ? autre ?

  merci pour le partage !
 

 
VS Code en devcontainer LM Studio et Lemonade pour l'instant. J'ai l'intention de brancher du hermes en premier une fois l'infra prête et tester aussi openclaw en parallèle. Claude code semble rendre plus difficile (un peu seulement) le test de LLM locaux dans de bonnes conditions mais y'a moyen de contourner : https://unsloth.ai/docs/fr/notions-de-base/claude-code
 
J'ai un peu pété un câble sur le côté local de mon projet :  
=> Git local via Gitea
=> Stockage Objet via Truenas
=> communication avec les agents via Mattermost self hosted
=> Documentation via obsidian / fast-note-sync / Jekyll  
 
et évidemment tout le reste aussi en local (server web, BDD, backups et snapshots) avec du MCP là où il faut pour donner un cadre aux agents. Ca prend un temps que je n'ai pas toujours surtout quand avec des gamins en bas âge    

tu vas finir avec la même capacité que mon strix halo pour la moitié de son prix en mode éclaté sur 10 machines  
 
Faudra nous faire une visite du homelab à l'occaz en mode   : https://www.youtube.com/watch?v=-b3t37SIyBs

Non après j'arrête la je devrais être bon pour un gros contexte avec 44GB de VRAM. Le problème c'est que le tensor split est en mode layers, ça veut dire que plus je rajoute de noeud RPC plus c'est lent.  
 

  c'est plus du homelab la ... 10kW de conso, ça doit être une activité a temps plein de maintenir un bordel pareil!

 
La j'essaye un peu de tout en mode agent, pas d'IDE pour le moment.

C'est ce qu'on se dit tous avant d'en reprendre un p'tit dernier pour la route  
 

10k c'est la baraque entière. Dans une autre vidéo il explique que ça consomme environ 4KW en usage normal (crunch pi, son peta et demi de stockage, l'automatisation de la baraque, ses noeuds de virtualisation avec 1.5TB de RAM) et 7kw seulement en pic de charge.  
 
Y'a aussi un peu de LLM en local. Je serai surpris si il a pas fait une razzia de RTX6k depuis son dernier update

C'est ce qui arrive quand on a trop de pognon, le pauvre .

Il fait quoi avec son homelab ?

Des videos youtube ?

KV Cache Quantization Benchmarks for Long Context
https://anbeeld.com/articles/kv-cac [...] ng-context
https://github.com/Anbeeld/beellama.cpp
 

 
J'ai pas testé BeeLlama, mais je retiens que KV en q8_0-q5_1 permet de gagner 8% sans perdre en qualité.
Le premier TQ est q8_0-turbo3_tcq, mais il est moins bon que q5_0 en compression et surtout en qualité. Au final le TQ de Google c'est un peu de la daube . Ça serait pas grave pour une petite boite ou un indé, mais ça met beaucoup en doute leur crédibilité sur l'IA je trouve.

Cross-topic :
 
Je viens d'essayer VScode + Cline + wen2.5-coder:14b
 
Ma demande :
 
Fais un site internet qui affiche un clavier virtuel en AZERTY. Et une zone de texte au dessus
 
 
Il n'a jamais réussi
 
 
J'ai fais quoi de mal ?

C'est quoi ta config?
Qwen2.5 c'est vieux.
 
Prends Qwen 3.6, 27B ou 35B selon ton hard.

Tu as du te faire avoir : quelqu'un ta refilé une copie européenne de ta version chinoise Qwen 2.5  
 
Sinon Un peu leger pour savoir , faudrait déja connaitre ton hardwware

J'ai une 3090 (donc 24go de Vram)
 
Modèle installé via Ollama.
Puis récupéré dans VS code.

Drap

Une vidéo très critique envers le nVidia RTX spark : https://www.youtube.com/watch?v=9t0g7awe4lc

Le mec doit avoir une dent contre nvidia parce qu'il les vanne tout au long de la vidéo mais il fait des critiques intéressantes je trouve à la fois sur l'architecture technique (cpu off the shelf MediaTek au lieu d'une solution dédiée, limitations de la LPDDR5 par rapport à la GDDR7 d'un dGPU, gpu blackwell, etc) et logicielle (absolument rien de nouveau dans ce qui est proposé et pas du tout axé consommateur / grand public, malgré le slogan moisi de révolutionner le pc, etc) pour un prix excessif.
En gros pour ce prix c'est un loupé qui fait moins bien que des trucs plus vieux et moins cher, tout en n'apportant rien sur le côté software / mise à la portée du grand public.