Reprise du message précédent :
Flint 40B A2.5B tested - 16GB Local LLM setup
Luke's Dev Lab
https://www.youtube.com/watch?v=xtSmX12HaR8
 
TL;DR se débrouille bien avec Blender, pas top pour le reste!

Si besoin d’héberger un agent loin de votre desktop et de vos identifiants (pas d’inférence même avec du scotch de masquage. Je vous vois venir ) :
https://www.dealabs.com/bons-plans/ [...] er-3439122
 
C’est les perfs d’un raspberry pi 4 en gros. Donc pas dingue mais c’est du x86 et à 8GB de RAM hors ARM ce sera difficile de faire moins cher (attention la consommation en veille sera bien meilleure sur le raspi mais la compatibilité est moindre sur ce dernier)

Double Your AI Speed: The Secret NVIDIA Won't Tell You
Codacus
https://www.youtube.com/watch?v=-2oOpjtKPN4
 
Présente bien le GPU unlock NVidia!
TL;DR: aucun gain sur llama.cpp, bon gain vLLM/PyTorch en BF16 et un peu (17%) en prefill sur Strata!

17% en prefill c’est canon
 
Il est décidément bien né ce strata. Il y a des cas où llama est plus intéressant ?

Il dit 4% sur les prompts long car l'attention layer est en BF16. Ou plus sur un modèle non quantizé, mais on prends que des int8 je pense.
 
Sinon ComfyUI +35%

 
Next-inpact et le comptoir en ont fait des articles :  
https://next.ink/263829/gpu-unlock- [...] ca-marche/
https://www.comptoir-hardware.com/a [...] et-40.html

deepseek 4.1 dans 128GB ... en IQ1 M :
https://huggingface.co/ISTA-DASLab/ [...] Q-RCO-GGUF
 
ce serait plutôt utilisable sur strix halo :

 
en terme de qualité ils ont bien choisi leur bench mais ils précisent que le IQ2 XS se rapproche tout de même bien plus des perfs du modeles en Q8 que la version IQ1 qui tient dans 128GB et qui ne semble pas dégueu :
 
 

 
on va peut être avoir des alternatives assez intéressantes à Qwen 3.8 Flash Next à partir de plutôt gros modèles rétrécis

Ca donne quoi sur une 3090 par ex ?
De toutes façons c’est pour Linux c’est ça ?

 
Comme dit plus haut ça dépends de ce que tu fais.
Ya une app Windows en cours de dev mais c'est plus compliqué:
https://github.com/impacifist/Windows-GPU-UNLOCK

 
Test et dis nous

ça en fait du token cramé
faudra que tu nous expliques et codacus feras une vidéo de ton poc

j'ai vu, comme il dit, dès que le test "mémoire" est bof, le modèle devient tout de suite moins intéressant.
par contre, avantage, c'est un moe et ça bombarde bien plus que du dense.

 
J'en suis qu'a la première étape, monter un GPU, maintenant en monter deux!
Ensuite, les monter en plus d'un GPU existant.
Mais le vrai test sera de passer en mode tensor et voir si c'est plus rapide qu'en RPC.
 
Après l'agent a proposé de fusionner deux GPUs pour en exposer un seul, c'est pas con.
Je voudrais aussi pouvoir substituer un deviceId, mais ça devrait pas être compliqué.

j'ai un problème de riche : je suis content de mon setup à date en attendant de monter le reste de mon infra (N8n et guardrails en priorité)
 
Du coup sondage !

J'ai répondu satisfait mais en vrai j'attends toujours mon studio  

 
Je confirme.
Workflow multi agents de test habituel (4 à 6 agents), + vision et test E2E.
Ca charge à la fois les GPU et le CPU.  
Avec 200w de PL les GPU tournent en pratique vers les 150/160w. Conso machine totale à la prise en usage agentique réel entre 770w et 900w en phase de TG, et ca peut descendre jusqu'à 300w en phases de prefill ou tests fonctionnels.
 
Plutot satisfait à première vue.
 
Mais aussi pour le moment pas conquis par Deepseek V4.1 flash 1017, je n'ai pas de gap significatif par rapport à QFN, c'est même plutôt en dessous et ca n'est pas la première fois que je lis ça ces derniers jours.

Enable Resizable BAR On Unsupported Motherboards (Intel ARC)
https://hackaday.com/2026/10/26/ena [...] herboards/
https://github.com/RodBurlamaqui/Intel-ARC-Rebar

Vous pensez qu'on aura bientôt un support eGPU qui tient la route sur Apple Metal ?
Vu la vitesse de dev dans tous les sens dans le domaine ça devrait arriver un jour.

Franchement ça serait sympa pour un petit boost AI si besoin

Ca fait un p'tit moment :
https://www.compute-market.com/blog [...] setup-2026
 
Pas aussi perf qu'en natif linux et surtout tu perds l'avantage d'une machine sobre et silencieuse qui tourne sur un léger flux d'electron pour en faire une bete vorace qui casse les oreilles en plus de ressembler à la dernière création de the_fennec Frankenstein
 
Mais sur le papier pourquoi pas une RTX6000 dans un banc PCi express vers thunderbolt. Surtout avec le dernier thunderbolt 5 franchement satisfaisant en terme de vitesse  

 
Mon mauvais    
 
On a des bench fiables sur le sujet ?    
 
Franchement pour rajouter un petit boost de temps en temps pour de la génération de vidéo / image si les prix redescendent un peu c'est cool.
 
Si je garde mon studio ~3 / 5 ans, c'est cool de se dire qu'on a une petite marge d'upgrade possible si besoin.
Ça pourrait faire la diff entre le garder 3 ans et 5 ans d'ailleurs  

Félicitations pour ton achat de V100 en 2030

Tous les fabricants de puces sont en train de construire de nouvelles usines
Ça va bien baisser à un moment
On parle de 2028

quand la demande sera enfin satisfaite ... tu as vu le nouveau kimi K3.1 ? Il a l'air pas mal, ça prend combien de GPUs d'avoir cette IA proche de claude Opus 5.5 en terme de qualité / capacités à la maison ?
 
 

 
Oui, des usines de GPU pour datacenter et de la HBM, pas des trucs accessible au commun des mortels...

la rentabilité sur les puces de RAM pour clients finaux est meilleure que pour la HBM en ce moment. Ca va forcément créer des vocations

 
C'était un article du FT qui parlait de la RAM.
Et rappelait justement qu'en 2023, la fabricants tournaient à perte car trop d'offre vs la demande.
Donc ils se sont calmé, on ralenti les investissements, sans voir arriver la vague AI.
Mais ça devrait se normaliser un jour.
 

 
https://www.ft.com/content/a467f40b [...] 7a411ca5af

Un modèle local Qwent a essayé d'envoyer des informations à des serveurs en Chine :
The Register -  Alibaba's Qwen AI caught trying to contact server in China

 
En VF : https://www.clubic.com/actualite-63 [...] mande.html

y'a un topic secu IA  
 
Et l'article s'auto debunk : après 100k tentatives l'utilisateur a observé que l'IA à concaténé une fois la config local des serveurs DNS dans un fichier dans /tmp puis tenté de l'envoyer vers internet. Un manière comme une autre de tester ce que l'utilisateur lui demandait de faire à chaque fois : une règle de detection d'exfiltration / execution de fichiers dans /tmp avec curl
 
Y'a rien

en tensor, tu vas pas être limité par la bp ou/et la latence ?

quel quant ?
 
pour utiliser régulièrement deepseek en cloud, je suis quand même bien satisfait des résultats depuis cet été.

vu que les datacenters, ça ne vit pas d'amour et d'eau fraiche, il y a pas mal de projets stoppés apparemment.
quid du hw qui était bloqué pour ces projets ?

A priori c'est déjà livré :
 
Nvidia aurait changé sa politique de vente ces dernières années. Tu peux pas commander 6 palettes de gb300 pour fin 2028 sinon ta commande passe à la trappe mais tu dois absolument commander et en recevoir la livraison ASAP si tu veux du matos. Y'aurait comme ça des stocks entiers (plusieurs milliards de dollars) de GPU qui trainent dans des entrepôts chez peu tous les gros acheteurs :
https://www.gate.com/fr/news/detail [...] s-25088066
 
Je sais pas comment ça va finir mais si vous avez du tri phasé redondé à la maison contactez AWS, il auraient peut être une baie en rab à vous livrer

 
L’exl3 2.9 bpw de LibertAI, mais j’ai désactivé Dspark (pas utile en workflows multi agents) et migré les couches 2 bits en 3 bits

et du coup cette beauté génère combien de tokens / seconde et combien en prefill ?  

mais que foutent les "lycéens" bordel

et même avec ça pas de gap avec qwen 3.8 FN ?
t'as pas essayé GLM 5.3 flash ?

 
T'inquiète y en a qui sont sur le coup :
 
https://arstechnica.com/tech-policy [...] und-cargo/
 
Jusqu'à 100 millions de matos de datacentre volé
 
Sans parler des palettes de 5090 qui avaient disparu    
 

https://www.reddit.com/r/LocalLLaMA [...] thernet_2/
 
Vous aviez vu ça ? Le mec qui tourner distribue Qwen 3.8 FN en distribuant des experts entre 1 macbook, 2 iphones, une RTX 2060 et une RX 9060

tu vas donner des idées à the_fennec  
 
Ce bordel priceless quand même   . Je suis à deux doigts de lui envoyer un vieux coral AI pour aider

Je testerai pour le fun  
 
Si on peut mettre 2 MBA 24Go, 2 ipads pro et une paire d'iphone ça peut-être rigolo

 
Le problème c'est qu'ils s'intéresseront aux "pauvre" que quand ils auront assez saturé le marché pro pour que le marché particulier soit intéressant de nouveau.
La conséquence est justement qu'il ne vont pas reproduire le problème de 2023, donc pas d'intérêt de faire plus de prod.
 
Comme le note neo world, NVidia a prévu le coup, si tu veux acheter qqchose te le reçoit dès qu'il est dispo, avec une date max négociée, donc ils peuvent refiler leurs (propres) invendus très facilement.
 
 

 
Peut-être, mais les perfs en layer sont meilleurs que je ne le pensais, alors je me dis pourquoi pas . De toute manière OSEF, c'est Strata/QFN/Claude qui bossent tout seul.
 

 
Oui, c'est ce que je veux faire avec mon montage Vulkan/TCP, mais sans avoir a modifier l'appli d'inférence.