Reprise du message précédent :
Carrément mieux

Il te faut des rtx6000

La Vram (et sa bande passante) c'est LE nerf de la guerre

 
Clairement, une paire de 3090 et tu es le roi
 
Ça de permettra de suive le club des 3090:
https://github.com/noonghunna/club-3090

Oui il y a aussi ça : il y a des setup qui sont classiques, et du coup tu trouves beaucoup de recettes pour les faire tourner. Quand t'as des cartes un peu exotiques ou un nombre exotique c'est le saut dans l'inconnu

T'as la même chose pour les RTX6000 en 2/4/8:
https://github.com/local-inference-lab/rtx6kpro

bienvenue !
 
carrément oui grâce au nvlink. Tu peux aussi voir pour faire un essai en cloud (c'est débile pour le côté privacy mais si tu n'as pas de problèmes légaux à réutiliser d'anciens appels d'offres sur gemini ben ... c'est bon dans un environnement cloud avec des garanties similaires)  
 
Vous avez fait des essais avec notebookLM ? normalement c'est inclus dans votre abo et ça vous donnera une bonne idée de ce que vous pouvez esperer de votre tas de PDF sans que ça vous coûte 1centime

https://minisforumpc.eu/products/mi [...] 1-max-p495
 
Minisforum AMD Ryzen™ AI Max+ PRO 495 >7000 euros ?    

79,99€    

C’est ptet juste pour faire du buzz oui.  
 
https://videocardz.com/newz/lenovo- [...] n-november
 

 
Est-ce qu'ils offrent le kit de montage de clodo pour rack?

 
En plus ya que 160GB d'adressable sur les 192GB

Une étagère sur coulisses et t’es mieux servi

Test alacon du jour:  
DeepSeek-V4-Flash-REAP-IQ2XXS-w2Q2K-AProjQ8-OutQ8-chat-v2.gguf
 
Je retrouve plus la source
PP a 7/s TG a 1.8/s
 
Je vais pas le laisser finir et libérer 56GB de mon stockage!

moi je suis en train de dégager le qwen 3.8 flash next de chez atomic chat : aucun problème sur la generation de code / appels d'outils jusqu'à ce qu'il touche à OCR (open code review) ça le fait péter un câble en très peu de temps. J'ai laissé tourner une nuit et si au début ça allait il a très vite générer des "/" (genre 4M en 8h. super stats en token generation : 144 tok/s. bravo super modèle )
 
je repasse en Q4 K XL
 
pour ceux qui passeraient et auraient le même problème : même avec une pénalité forte sur la répétition ou un peu de tweak sur la reflexion ne change rien. Il veut que slasher

Pareil, je suis arrivé a //// assez vite malgré la lenteur de mon setup. J'avais jamais trop regardé AtomicChat, mais la j'y toucherais plus. J'ai vu par mal de commentaires sur Reddit qui sont aussi suspicieux a cause de la taille de son modèle.
 
La je suis en train de DL des REAM de mradermacher pour voir:
https://huggingface.co/mradermacher [...] ct-i1-GGUF

finalement c'pas très cher
 

pas forcément, sur le Halo strix tu peux overide le max adressable via la config des GTT. Techniquement je limite à 119GO (c'est agressif certes) mais je dépasse largement les 96GO adressables par défaut par le GPU

 
On peut pas commander à ce prix  
 

 
C'est ce que je pensais, mais laisser 32GB a l'OS c'est du gâchis. 2GB max sur une Debian propre.

C'est con parce qu'en mode pi "mint" il a tourné 8h sans problème avec 1,3M de tokens produits. Mais dés que j'ai voulu faire tourner OCR les problèmes ont commencé.

Bon après trois jours de run (enfin debug surtout ) faut que j'affine mon setup
=> Qwen 3.8 Flash next Q4 K XL reste sur la partie dev : il bosse trop bien j'ai rien à redire (enfin jusqu'à la prochaine panne quoi ). il est bon aussi sur la partie doc donc parfait il en garde la charge
=> Pi.dev me convient donc il reste pour le moment aussi
 
mais deux phases sont frustrantes :
1 - la validation de qualité de code est longue, elle nécessite pas mal de tokens mais n'a pas besoin d'accéder à mon infra. Faudrait probablement un deepseek flash v4 en mode cloud a pas cher pour faire tourner Open Code Review sur le repo seulement en mode lecture seule
 
Ca amène deux questions supplémentaires :
=> Faire un scan local préalable de "conneries" dans le repo / code (URL accessibles de l'exterieur, tokens d'authentification, IP publiques) pour faire un clean en profondeur avant de faire lire par une IA externe
=> faire un scan du rapport de qualité de code généré en mode "recherche de easter eggs / défaut de sécurité potentiels avant de le redonner à l'IA codeuse la main pour qu'il implémente les correctifs
 
Faut que je regarde quoi mettre pour la sécurité mais globalement doit y avoir beaucoup de trucs déjà disponibles / assez facile à faire développer
 
2 - La discussion avec l'IA. Je ne veux pas attendre N minutes pour avoir un ETA de la tâche en cours ou avoir une idée de ce qu'il passe. Il faudrait que je test (en réalité que je mette en place) un autre agent dont le boulot est de vérifier ce que foutent les autres agents, est-ce qu'ils sont bloqués quelque part (voir est-ce que c'est parti en loop infinie) et faire le nécessaire pour les remettre en état ou me prévenir le cas échéant, éventuellement lui permettre de mettre en pause une tâche en cours pour prioriser un nouveau projet (plus rapide à délivrer ou plus urgent)
=> Idéalement en local. Si claude est en carafe ou passe en mode rogue je suis vraiment dans le    
=> pas besoin d'un énorme modèle. Peut être qu'un BC250 ou un Mac mini ou possiblement un smartphone avec NPU serait une bonne idée pour ça ?
 
Les prochaine grosses urgences seront le SIEM (je suis complètement spectateur de ce que fait mon IA dans son environnement) et la partie CI/CD comme c'est elle qui devra déclencher les scans de sécurité puis les scans de vérification/validation avant le push to prod (vraisemblablement des LXC proxmox pour ça reste simple à gérer / maintenir)
 
Bon week-end
 
Edit :
j'allais oublié mais Claude reste sur la partie proto / aide à l'architecture / assistance à l'humain. C'est pas cher si tu lui fait pas cracher du token par millions et diablement efficace et rapide

Pour te répondre, si c'est la partie software que tu demandes (parce que j'ai l'impression qu'en fait il te faut une idée de la partie hardware POUR le software, les deux vont ensemble en fait) :

- Pour la partie hardware, pour faire tourner correctement des IA (voire pour la lecture de gros documents), il te faudra au moins des rtx pro blackwell (comme dit) ET beaucoup de ram. Ca consomme pas mal.
- Pour la partie software, c'est plus compliqué :

1. Avec ton matos actuel, tu pourras bidouiller/faire mumuse pour te donner une idée de comment configurer, ce qu'il faut du point de vue software - commence par un bête ollama qwen en local, et vois comment tu peux l'installer, puis vois ce qu'il est possible de faire avec ta potite carte. Normalement, pour la partie software, on commence tous par là pour "se faire la main". Tu verras que c'est pas tres rapide, pas tres perf, c'est bien pour du local domestique pour des taches pas tres lourdes. A titrer perso je l'ai utilisé (pour tester) pour analyser des documents financiers d'entreprise (qwen9b de mémoire...) avec une petite 3080, et l'output n'était pas terrible mais ça faisait quand meme le taf.
2. mais ensuite tu vas tomber dans toute la partie software (quel modèle, quelle quantisation, qu'est-ce qu'il faut comme hardware pour aller avec le modèle d'IA que tu veux implémenter, qu'est-ce qui existe comme hardware qui soit acceptable/bon rapport qualité prix), comment est-ce qu'on configure ce hardware, comment on veut s'en servir (simple page web ou on upload/prompt ou bien harness type Hèrmes...).
3. Ensuite tu tomberas dans toute la partie optimisation en fonction des parametres des modèles...

Si tu veux entrainer un modèle pour toi même, comme dit, soit il va falloir être patient, soit il va falloir du compute. Pour te donner un ordre de grandeur, le dernier ChatGPT Astra a été entrainé sur 100.000 GPUs pendant 3 à 4 mois. Au doigt mouillé, faire de l'entrainement perso (et correct) d'un modèle il faudrait minimum x8 gpus H100 sur une station qui coute 100k€ et beaucoup de patience

Je confirme. J'ai réussi à monter à 160k de contexte, 45 tk/s (prompt processing ~ 400 tk/s) et j'utilise désormais OpenCode (plus stable/meilleur que pi.dev pour les sessions longues et la gestion d'erreur de communication avec Llama et retry).
EDIT - repassé sur pi.dev : je le trouve plus rapide; et trop impatient, j'aime bien voir le progrès de ses réflexion, alors qu'OpenCode attend la fin de sa réflexion pour pondre directement le résultat. Et avec 160k de contexte, je n'ai plus de coupure de communication LLM-pi qui le faisait s'arrêter.  
 
J'ai enfin un agent rapide et capable de bosser longtemps sur des tâches complexes. Plus lent que ce que l'on a au boulot (bien plus rapide, et j'en lance plusieurs en parallèle), mais très bien pour mes projets persos plus petits.
 

Et dans ~/.config/opencode/opencode.jsonc :

Pourquoi pas Claude code simplement ?

En fait pour faire un RAG y'a pas du tout besoin d'une grosse infra et je pense que ce serait beaucoup plus adapté à son besoin.
 
 
Y'a quand même plusieurs choses à avoir en tête :
- Sur ce qui est identique entre appels d'offre ça fera probablement un job correct (mais relecture / correction obligatoire derrière. C'est un LLM bon sang )
- Il faut que le dataset soit représentatif de vos appels d'offres en terme de part d'identique et de part non identique (idéalement tous les appels d'offres mais on revient rapidement au 8XH100 que tu lui propose
- Les llm sont pas faits pour des maths donc il faudra coder (ou faire coder) une app qui permet de convertir des besoins en charge facturable (licences, man days, frais divers) avec son MCP pour que le LLM puisse l'appeler.
 
Moi je pense que le 2X3090 permettra de faire quelques tests naïfs :  
- est-ce qu'on peut interroger une base de PDF (la réponse est oui)
- est-ce qu'en terme de qualité/vitesse le gap est gros avec ce que vous avez déjà (spoiler alert : oui )
- Est-ce que c'est juste une envie d'exploration (demande un dgx spark ? C'est pas si cher à environ 5k et ça permet de jouer dans d'assez bonnes conditions) ou un vrai besoin (RFP avec la défense / Renseignement / Armement / trucs stratégiques economico-souverains) faudra choper des experts pour vous guider un peu. Moi je pense que vous devez faire l'entrainement du RAG sur le cloud (aucun intéret de garder une infra qui se tourne les pouces 99% du temsp quand l'entrainement est fini. Prenez OVH / Outscale / scaleway si le côté souverain à du sens sinon si vous avez Gemini vous avez aussi du cloud ricain quelque part ... et vu que les PDF ont pas de conditions particulières (et sont anciens) normalement pas de problème
- Il faudra une infra pour la partie inférence en local. C'est l'expert qui pourra vous guider (DGX spark probablement suffisant ou RTX6000 pro si vous avez arrivez à justifier l'invest' avec le gain de rapidité / consolidation sur d'autres besoins)
 
Mais le projet en temps que tel me semble viable mais pas en mode apprendre en marchant par des équipes nons spécialisées : ca va finir en POC abandonné (mais si vous avez besoin de quelqu'un pour vous débarasser du DGX H100 ou du DGX spark comptez sur moi )

je pensais être sur le topic de l'IA locale

 
 
C'est pas mal tout ça
Je te conseillerais d'essayer le template de froggeric qui règle pas mal de soucis:
https://huggingface.co/froggeric/Qw [...] -Templates
 
Ton maxTokens est tout petit, surtout si tu passes sur 3.8 un jour. J'ai pas trouvé d'avantage a le limiter, ça peut couper le thinking au mauvais moment ou juste finir avec des fichiers tronqués.
Il te reste quoi en VRAM? Si t'en as assez ça pourrait être mieux de diminuer le contexte pour passer le KV en Q8.
 
 

 
Perso, au taf, j'aime pas trop switcher de modèle pour faire une tache différente. Je trouve que chaque famille de modèle (Opus, GPT, etc.) est trop différente et introduit des différences de style si on les laisses trop faire. Je préfère avoir un AGENTS.md différent et garder le même modèle. Genre en mode review, il n'a pas le droit de changer le code, juste créer/lancer des tests au pire.
Bon faut dire que j'en suis pas encore aux swarms

Faudra que je test un jour ©
 
En fait je me dis que c'est équivalent au code review du boulot : trois inge n'ont pas le même style pourtant le second vérifie le code du premier et le troisième sert à désamorcer en cas de "conflit stérile"
 
Et pour avoir vu des code review salés :
code une fonction et mets en dur un chiffre en variable sans explication
Le reviewer demande "what is this value ?"
réponse du codeur (humain) : "number N" (littéralement zero explication. nothing. Le gars bosse toujours chez nous   )
 
   
 
Je préfère que ça se fight un peu sur la qualité avec pourquoi pas une IA "quorum" en cas de blocage mais bref faudra que je test un jour comme dirait l'autre

Occupation VRAM : 10986MiB /  12288MiB - il me reste 1,2 gb.
OK, je vais augmenter le maxTokens à 16k et tester ce template jinja. De mémoire, j'avais enlever jinja pour essayer de corriger pi.dev qui s'arrêtait ou n'arrivait plus à parser un message.
Pour le moment ça passe à l'aise.
Merci

Personne a encore testé le k2-horizon en MoE ?

en même temps vu le nombre de téléchargements y'a peu de chance que ce soit quelqu'un tu topic
 

 
Je vote KV en Q8 avec tes 1.2GB restants.
 

 
Pas supporté encore:
https://github.com/ggml-org/llama.cpp/issues/28361
https://github.com/ggml-org/llama.cpp/discussions/28308

rapport open code review  
 

 
  pas mal. Il y a longtemps je bossais avec un gars qui supportait pas qu'on touche a "son code" et refaisait systématiquement tous les changements. Et pour bien montrer qu'il pensait a tout mieux que tout le monde testait toutes les valeurs possible partout, ce qui rendait son code imbitable (il est plus dans la boite ).
 
Maintenant j'ai mon AGENTS.md qui code comme moi, et quand j'ai un commentaire dans une PR je l'applique tout de suite sans discuter. C'est quand même top pour les tests, c'était trop chiant a faire avant l'IA.
 
Pour le style on a des règles strictes et ça compile pas si c'est pas bon. On applique aussi les trucs de base de la programmation objet. Il y a rarement débat.

Avis sans contexte d'Opus :
 

 
pour la suite je vais faire tourner la correction puis refaire une verification par OCR et enfin (enfin !) comparer avec ce que trouve claude opus 5 à partir du code source
 
Si opus est ultra verbeux ce sera mauvais signe pour mon setup      

Bon c'est fini pour les BC250 bon marché
 
LTT Parle de la BC250
https://youtu.be/lmLh29LE2W4
 
Rien de neuf, mais les prix vont probablement monter.

j'ai vraiment hésité cet après midi mais entre l'alim qui dégueule à côté et la conso au repos c'est juste pas bon pour mon usage. Ce sera soit smartphone soit modèle cloud qui ne peut que envoyer des messages à copier dans un salon auquel il n'a pas accès pour executer les commandes en local.
Encore un beau bordel. J'aurai jamais fini cette année

 
Faudrait une IA pour s'en occuper

C’est ce que je fais. Je passe mes nuits à prompter pour intégrer des composants. La je fini l’intégration un SIEM (wazuh) pour surveiller ce que font mes agents

Je voulais dire donner un budget à une IA pour qu'elle achète des trucs.

pour finir avec une 1065 rebadgée 5090 à seulement 800 balles sur wish ?

Je suis en train de tester un truc depuis quelques jours mais pour des raisons de "confidentialité", je m'oblige à faire ça en local.
J'utilise donc un Qwen 3.8 en Q4_K_M avec MTP sur mon combo 9070xt+9060xt. J'arrive à monter à 155k de contexte (il y a un réel besoin) avec kv cache en q8 (29GB de pris).
Bon outre les problèmes de drivers et de fuite mémoire de firefox qui font planter le pc de temps en temps (faudrait pas dépasser 27.5-28GB apparemment), je me retrouve à générer quand même pas mal de tokens.

Bref, hier soir j'ai essayé de lancer une "analyse" : 4-5 étapes avec revue, en moyenne par étape, ça génère entre 30000 et quasi 60000 tokens (voire plus entre 15 à 20 t/s mais prefill entre 150 et 180t/s sur la longueur) en fonction de la taille du contexte.
Bon, on va pas se mentir, c'est long car il y a une validation humaine nécessaire de l'analyse à la fin de chaque étape.
D'ici quelques semaines/mois, je compte investir pour mon petit hobby (cramer de l'électricité donc)
Disons fin d'année, début d'année prochaine.

Quel est, selon vous, le meilleur investissement à faire dans un budget d'environ 4-5k ? Je suppose qu'avec ce genre de budget, on resterait dur des modèles denses de 27-30B ou des MoE de 120B mais ça devrait largement me suffire.