Reprise du message précédent :
ça donnerait quelle taille avec GLM ou K3 ?

 
12GB aussi ça serait bien.

En q-1 donc

Lapin à voté:
 
2.Mon portefeuille sait mieux que moi ce dont j'ai besoin. Ca va rester comme ça
4.Les annonces d'AMD vont probablement me pousser côté Vulkan de la force
7J'économise encore un peu et je prends du matériel déjà existant
 
J'attends les Futures Prochaines AMD RADEON RX-10990XTX avec peut-être entre 24 GO et 36 GO de VRAM de la GDDR6 ou de la GDDR7, je vois mal AMD sortir une carte graphique avec HBM3, donc ce sera de la GDDR7.

tu as fait un test sur bc250 ? Tu arrives à avoir un peu de contexte sur une seule carte (malgré l'empreinte de l'OS ^^) ?

 
Je viens de tester sur la 4060Ti 16GB...  
 
Le Flappy:
https://dochost.co/d/pqhstox5?v=c
 

 
Je suis a 65k de contexte avec MTP et il me reste bien 1GB de VRAM, je dois pouvoir monter a 100k je pense. Avec un petit --no-mmproj-offload on peut mettre la vision sur le CPU.
Par contre la vitesse ... 400 en PP, tg/s a 25 en thinking et 33 en code  . Un truc marrant aussi, sans passer les kwargs, le thinking faisait 10 lignes max!
 
Je trouve que c'est pas mal du tout, je comparer avec Unsloth qui fait la même taille pour voir.

Sur des trucs non pas de cloud (et honnêtement, les US ne sont absolument pas des gens fréquentables)

on (moi, je ) veut le test avec le bc250
 
Y'a moyen que j'en prenne un si c'est utilisable confortablement avec 27b . Je pense que cette taille va rester vu le bordel pour trouver une barette ou un gpu depuis un an

apparement. ils ambitionnent vraiment amazon. moi jai pas testé perso

Fork pour kv cache partiel offload + streaming en memoire

https://github.com/RaymondHuang2101 [...] -streaming

GLM-5.3 en mode brut
 

On veut la consommation en même temps et le nombre de decibels
#jaloux quand même

 
OK, je test après!
 
 
Qwen3.8-27B-UD-IQ3_S
 
https://dochost.co/d/d6haig6o?v=c
 
En fait c'est pareil même vitesse.  
J'ai l'impression que le modèle Unsloth utilise un peu plus de VRAM, la je suis a 16214MB alors que l'autre était un peu au dessus de 15GB.
 
Par contre seulement 10k de produit pour l'autre et Unsloth est a 15k.

J'ai toujours pas vu la machine, j'y passe lundi pour réinstaller sur une grappe de SSD et rajouter de la ram, voir mettre deux RTX6k en plus si c'est arrivé mais je crois pas

merci
 
It's not bad. Ca tourne confortablement (pas le jeu le modèle en ram unifiée ) combien de contexte ?

 
Non, mais la c'était le modèle Unsloth avec la 4060Ti
 
Qwen3.8-27B-GSQ-RCO-IQ3_S-mtp sur la BC250 (24CU!) ngl all en RPC, mais llama-server sous windows quand même.
https://dochost.co/d/ksfr6tgn?v=c
 
J'ai du passer le contexte a 32k. Mais j'ai (mal) trifouillé le mtt, ya peut être moyen de mette plus.
PP a 400, mais le tg/s est beaucoup plus bas, 10 en thinking, 11 en code.

y'a tellement de clones de flappy bird qui arrivent sur la plateforme qu'à mon avis ils vont devoir renomer dochost en flappyhost
 
merci pour ces tests

C'est fou, j'ai:

- Un dual 3090 +32gb de ddr5. Qui va peut être pouvoir faire tourner des gros modèles
- Un Strix qui avec le llamacpp de nathan1014 devient utilisable
- Mon pc normal avec un 9070Xt et 32gb de ddr5, je vais surement pouvoir faire tourner un 27b dessus
- 2 BC250 qui vont être sous steam OS. Mais je suis sur que tu peux mettre un petit modèle en background...

Avant les 2 premiers me semblaient utilisable mais la avoir des modèles sur 16Gb de vram ça change la donne.

Je parle de truc utilisable en agentic coding ofc

je vous répond depuis l'an de grâce 2028 où tout le monde à son agent swarm sur des téléphones. On ne sait plut trop bien comment la tradition a démarré mais il y a une moyenne de 6M de nouveaux clones de flappy bird par seconde et aucun moyen de stopper la tendance
 

 

je pense que t'as assez de puissance de calcul pour aller concurrencer salesforce en frontal sur la capacité de dev

Lol

Tu rigoles mais avec un cap a 100usd par mois en tokens... Je dois faire ca par jour juste sur les 3090's

j'aimerais en dire autant : 2,2M de tokens en input, 1M en output sur en gros 24h.
 
je finirai jamais de rembourser le matos. Sauf éventuellement à en faire une steambox et la louer aux gamins

du coup nouveau sondage    

J'ai mon glm qui tourne quasi autonome dans OpenCode, il a bossé pendant 3h environ pour me faire des corrélations et des rapports sur des données.

Je lui ai redonné quelques input sur des problèmes qu'il a identifié mais qui n'en sont pas pour qu'il affine ses livrables

Je le laisse de nouveau en autonomie pour la nuit, je lui ai demandé de me générer des rapports avec des fonds de carte et tout

C'est quand même au dessus de DS4 Flash   J'imagine bien que ça se voit pas sur des tâches à la con mais sur ce genre de trucs on voit qu'on est pas dans le même monde

j'espère qu'ils passeront aussi à une nouvelle architecture de modèle type celle de Next 4. On aurait tellement de possibilité de faire tourner des gros modèles correctement un peu sur n'importe quoi !

Hello !  
 
Dans le cadre de mon métier nous utilisons de plus en plus l'IA pour divers sujets (Maitrise d'oeuvre en marché public, économie de la construction) ,  nous avons changé de matos il y a pas longtemps et je me suis motivé de récupérer des ordinateurs pas trop dégeux pour créer un LLM local.
 
en gros ça serait un proof of concept qu'on peut faire quelque chose qui fonctionne pour notre service, pour ensuite passer sur des machines plus conséquentes avec un investissement adéquat en fonction des capacités du LLM.
 
Déjà est ce que je suis sur le bon topic ?    
 
En ce qui me concerne je suis plus que calé en hardware, c'est la partie soft qui est plus une inconnue.

Oui c'est le bon endroit !

Tu dois commencer par expliquer ce que tu as comme hardware et quels sont tes besoins (relecture de doc en langues EU ?)

 
Pour l'instant l'hardware n'est pas folichon :  
 
5900X , 32 Go de ram, un SSD de 500 go et une 4060 TI de 8go (avec possibilité de doubler la ram et de rajouter une 4060TI)
 
J'ai plusieurs objectifs :  créer un LLM capable d'analyser des documents de marchés public, de les analyser afin d'accélérer leur traitement (Gros PDF, excel, et DWG)
 
dans l'idée :  
 
- Qu'il soit capable de faire une base de donnée de prix tirée de nos projets
- qu'ils soit capable de rédiger des documents en fonction d'une trame donnée
- qu'il soit capable d'analyser des documents et en faire des résumés.  
 
Pour l'instant on utilise gémini Pro ou bien encore Copilot.   Mais nous travaillons de plus en plus sur de gros projet avec des NDA conséquents, et j'ai peur que bientôt on nous interdise l'utilisation de LLM pas vraiment sécurisés sur la fuite de données.

Je ne suis pas spécialiste mais je pense que ça va être difficile, je ne crois pas que tu puisses faire grand chose sous les 32/64Gb de VRAM, et même si Gemini c'est de la merde, ça sera quand un même un massive downgrade

Mais il y a pas mal de gens qui bricolent ici et qui pourront t'en dire plus

Rapport visualisé un peu ce matin, et je comprends mieux les retours de certains collègues, il a du mal à parler d'autre chose que de code et son français est spécial  

Il a aussi été paresseux avec la vision, beaucoup de cartes sont illisibles avec des overlaps un peu partout.

Deuxième passe en cours, je vois dans le thinking qu'il en chie

 
Le but c'est d'avoir des bonnes connaissances avant de passer sur du matos adapté    
 

Pour moi là ou ça commence à être sympa c'est deux RTX6000 Pro BW 96Gb. Avec ça tu peux faire tourner un DeepSeek Flash v4 0731.
C'est plus qu'utilisable, c'est good enough pour pas mal de gens.
En dessous tu vas avoir les petits Qwen, 3.8 27b dense ou 3.8 Flash Next Moe, j'ai pas regardé en détail mais là tu commence à rentrer dans la gamme de ce qui peut tourner sur deux GPU grand publics, mais ne t'attends pas à des perfs impressionnantes (particulièrement niveau vitesse, niveau savoir
 c'est encore exploitable), ni un gros contexte (ça c'est embêtant mais ça peut se contourner niveau harness en demandant un découpage propre des tâches avec sub-agent et markdown de suivi) et probablement pas d'utilisateurs simultanés.
Je ne sais pas si c'est le mieux pour des documents en non-anglais, il me semble pas con de regarder du côté de Gemma de Google, voir Mistral, voir même Muse de Facebook (je crois avoir vu que ça se débrouillait pas si mal).

Pour le faire tourner, une Debian, VLLM, un reverse proxy par dessus et pas de soucis. Quand c'est des cas particuliers t'as des communautés qui compilent des VLLM custom et mettent ça dans des dockers.
Tu as d'autre solution, même qui tournent sur Windows ou Mac, mais je ne touche pas à ça.

 
Pour avoir tenté l'analyse de PDF, faut beaucoup de ram pour les gros pdf

 
La RAM n'est pas très utile, mais une deuxième 4060TI est un minimum pour arriver a 16Go de VRAM. Avec ça tu pourras essayer un Qwen 3.6 35B bien quantifié et faire des PoC. Mais tu auras quand même un tout petit contexte. Si tu n'as pas trop de tool calls, tu pourrais essayer un Gemma 4 en QAT.

Méfiez-vous d'après Windows Defender y a pas mal de Virus dans les repos de https://github.com/ggml-org/llama.cpp/releases
Après bon ce ne sont peut-être que de faux positifs, mais Windows Defender à envoyer les fichiers dans le Cloud Antivirus de Microsoft, puis une seconde fois à carément supprimer certains fichiers.

 
ça roule, merci pour les infos    
 

 
Ok ! le but c'est de tester au début, même si ça risque de bien ramer.
 

 
Dans l'idée je peux entrainer un LLM et le faire évoluer de plateforme en plateforme en fonction des performances ?

y'a eu des poc de streaming du cache kv depuis la RAM, ça évite que la génération se casse la gueule.
vaut mieux avoir un peu de RAM donc à l'avenir.

 
Faire de l'inférence avec une (ou deux) 4060ti 8GB c'est chaud, alors faire du training, il va falloir être très patient

 
je ne suis pas pressé. Mais je peux avoir des 3090, ça serait peut être mieux non ?  

Carrément mieux