Reprise du message précédent :
Subtilité que j'ai oublié de préciser : j'ai mis le contexte natif max de 262k avec compactage à 93% de cette valeur et surtout je n'utilise pas le llama.cpp natif mais une version compilée en suivant les recommandations d'atomic chat pour le strix halo.
 
Aucune idée si ça aide ou si ça empire les perfs donc attention avant de suivre mon exemple

Déjà tu as le MTP qui n'est toujours pas mergé il me semble
 
seulement 8k de reasoning?

Bonsoir  

Dit donc y'a de la place non utilisée pour de la RAM le jour où les prix baisseront mais surtout un gros paquet de cartes supplémentaires

ouais c'est un peu mis au pif. Dans les faits je le vois très rarement sur une session qui a déjà plus de 8M de tokens

pour ceux qui font du pi.dev et qui ont horreur du temps de sommeil / aiment bien savoir ce qu'il se passe :
https://codeberg.org/neoworld/audit [...] /README.md
 
https://forum.hardware.fr/forum2.ph [...] s=0#t48125

On l'a justement ouvert entre autre pour rajouter 256Gb. Le prix des 4 barrettes d'occasion que j'avais dans les mains   c'est tellement ridicule

Ça se fait bien et le résultat est propre  

belle grille de rasoirs pour un rasage de près en un passage ... faut pas se louper    
 

J'ai acheté 64GO il y a deux semaines. Madame était en mode  

J'ai bien dit de mettre des gants  

Je vois

Tu as quoi comme perfs a peut près ?

Tu gagnes vraiment en température a faire ça vs un fan duct bien fait ?

C'est quoi le châssis /mb deja ?

 
Belle bête

environ 250 tokens / seconde en PP et environ 18 tokens / seconde en generation.  
 
Très variable selon les requêtes ça peut rapidement tomber à 10 (j'imagine quand le MTP génère plus de déchets). Le plus gros handicape c'est le hardware est à ses limites : processer deux requêtes en parallèle fait tomber le TG/s à 7 par tête de pipe. le Atomic chat sortait 35 tokens / seconde dans les mêmes conditions. je pourrais augmenter le --spec-draft-n-max 4 (avec le bénéfice d'une meilleurs vitesse de token generation en pointe mais le risque de voir reculer d'avantage le tg / seconde en cas d'echec de predition par mtp)
 
Mais pour mon usage c'est correct. J'avais toujours envisagé une approche hybride de toute façon.

10 degrés

c'est grâce à la conductivité thermique légendaire du scotch de masquage jaune
 

déjà un homme avec une grosse teub c'est rare
mais alors 4 GROS CHIBRES §§

Je vois pas bien c'est quoi, c'est du ampere mais ça peut etre entre du A30 et A100 quoi
 
Edit: d'ailleurs je viens de découvrir l'existence de la A16, c'est pas mal ça  
Edit2: Ah, en fait la A16 c'est 4GPU sur une carte. Il y a pas de miracle, c'est pour ça que c'est pas cher  

moi qui attendais pour investir : https://www.amd.com/en/products/wor [...] ation.html
avec ça, j'suis bon pour une hypothèque

Et l'année prochaine ça vaudra 10 balles, si tu investi faut un ROI rapide assuré

10 balles ? sauf éclatement de bulle
mais ils disent tous ce que c'est pas une bulle

J'exagère bien sur, mais du matos comme ça faut pas mettre trop de sous ou avoir une stratégie de ROI de prévu.

c'était ironique, jamais je mets autant d'argent là dedans

le monstre...
bon apres cest un pc fixe modulaire classique quoi. sauf avec des composants spécialisés ia.  
ca doit pouvoir se mettre chez soi non ?  
ou alors cest une config unique avec des composants a part et des standards concus spécifiquement ?

Bon, upgrade de mon Ryzen 5 3600 en 5650GE pour passer le GPU AMD sur la VM Windows et mettre la RTX4060Ti sous Debian.
Upgrade de BIOS au passage. Bordel ce stress les boots qui mettent 3 minutes avec un écran noir
 
Bon l'ESXi est repartis, ça marche. Mais quand je mets le passthrough du GPU AMD j'ai un gros freeze de l'ESXi entier. Je sens pas ça va pas être facile. Déjà que le passthrough NVidia c'était chaud Donc pour le moment le llama.cpp est en pause, ça me fera des économies d'elec
 
A terme je voudrais passer sur Proxmox, mais je testerais ça quand j'aurais trouvé une petite CM AM4 ou LGA1200 apacher pour me faire la main.

Si tu veux que je test une bricole sur proxmox en Gpu ou autre dis moi. Par contre ce sera du 780m. Pas super AI ready

les GPU installés dedans sont normalement dispos que pour des installations en rackable (ça doit pouvoir se retrouver en seconde main mais c'est un peu tôt encore comme c'est de génération "actuelle"
 
Ce sera probablement positionné comme la strix halo : cher mais moins que l'alternative equivalente en mieux de chez nvidia. Vous attendez à vous équiper avec si vous trouviez le strix halo trop cher pour ce que c'est

 
C'est gentil mais c'est pour migrer mes VMs, trop la flemme de les refaire... j'ai même encore un Windows Server 2003
Je connais assez bien ESXi mais vu que c'est des crevards faut bien que je me bouge un jour ...

 
Quand ça marche on touche pas
 
La VM prends 240MB de RAM, ya un Tomcat, un Apache, un MSSQLServer, un petit projet que j'ai fait pour le recherche que ma femme fait et qui marche bien depuis longtemps. Le truc est pas accessible publiquement, il est derrière une auth cloudflared.
 
J'avais vibe-codé un remplacement, mais je l'ai pas "mis en prod".

non mais pas de problème. J'ai commencé ma carrière par dégager tout ce que je trouvais en 2003 pour le migrer en 2012. Faut bien des irréductibles Gaulois pour que le truc vive maintenant
 
Par contre je suis intrigué de son usage métier maintenant, recherche scientifique ?

 
Du coup j'ai : --parallel 1 --gpu-layers 999 --flash-attn on --cache-type-k q8_0 --cache-type-v q8_0 --batch-size 1024 --ubatch-size 1024 --threads 8 --load-mode mmap --no-host --no-repack --fit off --no-context-shift --cache-prompt --cache-ram 8192 --chat-template-file /var/cache/lemonade/chat-templates/qwen-fixed-v22.4.jinja --reasoning on --reasoning-format deepseek --reasoning-effort medium --reasoning-budget 8192 --spec-type draft-mtp,ngram-mod --spec-draft-ngl 999 --spec-draft-n-max 4 --spec-draft-p-min 0.75 --temp 1.0 --top-p 0.95 --top-k 20 --min-p 0.0 --repeat-penalty 1.1 --reasoning-budget-message "Let me provide my answer now."
 
 
   
 
EDIT: ca me marche pas top en tout cas
 

 
C'est une sorte de BDD pour de la recherche en linguistique.

 
tu as quoi comme problème ? essaye ma config au pire ^^

Ca me fait penser que j'ai encore un windows server qui prend la poussière, il va finir a la benne un de ces jours

j'espère que c'est sur les langues mortes vu l'âge de l'OS
 
Non blague à part c'est chouette qu'une dont le design date un peu rende toujours de fiers services

 
Qwen3.8-Flash-Next-MTP-GGUF-UD-Q4_K_XL
 
-ngl 999 -fa on -ub 2048 --cache-type-k q8_0 --cache-type-v q8_0 --load-mode mmap --repeat-penalty 1.1 -n 16384 --reasoning-budget 8192 --reasoning-budget-message "Let me provide my answer now." --spec-type draft-mtp,ngram-mod --spec-draft-n-max 4 --spec-draft-p-min 0.75
 
hi how are you
 
Error: No content received from stream
 
what is 2+2 ?
 
 
Thinking
The user sent a system prompt setup with a long context including XML tags for thinking, but no actual query. The “xhigh” reasoning effort and the instruction to always invoke a function call means I need to respond with a tool call. Since there’s no real task, I should acknowledge readiness. But the rule says every response must include exactly one function call. There’s no meaningful content to act on—just system configuration. I’ll produce a minimal acknowledgment wrapped in a tool invocation. The safest single action is to confirm setup completion via a generic note. I’ll craft a short confirmation that I’m ready for the next input, formatted as the only permitted output: one function call.
 
Acknowledged; ready for your first request.
 
what is 2+2 ?
 
Error: No content received from stream

D'ailleurs c'est marrant qu'on parle de ca mais, depuis que l'ia est relativement performante et pas chere, je me surprend a réutiliser pleins de matériel obsolète/mal supporté.
 
Typiquement une surface pro 3 inutilisable avec windows, linux mal intégré... Une journée en remote ssh sur claude code, pouf kernel patché, drivers modifié, governor aux petits oignons... et j'ai une super tablette très confortable à utiliser.
 
Idem j'adore mon open pandora, mais plus de maj ni suivis depuis presque dix ans, angström n'existe plus... Codex a patché les principaux problème ( sécurités wifi notamment ).
 
Ou encore j'arrivais aux limite de mon nas, un gros audit avec Fable + différents tweaks + création de quelques outils custom pour virer des grosses grappes docker gourmande... et je suis de nouveau très confortable en terme de ressources disponibles.  

ma stack complète : fedora 44 avec les tweaks performance strix halo du site toolbox, lemonade 11.9.0 rocm b10711. j'ai telechargé le modèle avec lemonade (unsloth). attention a retelecharger le fichier mtp si ça merde.
 
 j'ai build llamacpp en suivant : https://sleepingrobots.com/dreams/e [...] trix-halo/
 
en deux heures ça peut tourner chez toi. fais toi aider d'une IA et lis logs!  

clairement chouette de faire revivre du vieux matos