Reprise du message précédent :
Merci pour les infos sur litellm, ça pourrait correspondre.
 
Concernant claude vs opencode, ça se discute manifestement, déjà apparemment claude bloat énormement niveau contexte et consommation de tokens.
 
Ex avec ds-flash justement (mais l'ancienne version) https://nqawhc.github.io/articles/h [...] t-quality/

Bah franchement pour le moment niveau intelligence ça m'a l'air assez proche (je reste 100% convaincu qu'antropic bride les modèles car ils sont surchargés donc la plupart du temps tu peux foutre sur max c'est pas pris en compte), par contre c'est 10x mieux niveau réactivité.

Pour l'instant je me suis beaucoup servi avec OpenCode et je suis ravi, j'ai pris un peu de temps pour me bricoler un launcher de VSCode avec des variables d'environnement pour utiliser le plugin Claude Code sur cette instance, ça fonctionne maintenant, comme ca je peux lancer un VSCode ou l'autre et faire la même tâche en double aveugle

J'ai encore collé un openweb-ui mais je vais m'arrêter là pour le moment, j'aimerais bcp avoir une gestion propre de l'auth avec des métriques par users et des clefs d'api pour les codeurs, à priori je devrais commencer par un keycloack branché sur l'AD on permises... Plus la fois la
Si quelqu'un a un peu d'expérience la dessus... On a pas vocation à devenir fournisseur de service mais je sais bien comment ça va tourner donc j'anticipe on a déjà prévu de l'ouvrir à certains fournisseurs pour qu'ils essayent de corriger leur code de merde  

LiteLLM pour le metering c'est pas mal, j'utilise OpenWebUI juste pour les « end users ». Les devs veut directement le clef et donc branche LiteLLM à ton SSO et voilà.

edit : et merci pour les retours, je t'avoue que j'ai très envie de tester un gros GLM ou un Laguna avec 1M de contexte pour peut être remplacer Claude, mais le budget est franchement gros : si ça prend pas ça va être relou à justifier (bon on peut toujours revendre derrière hein )

Au passage je suis en 1M sur ds4, inutile au quotidien mais c'est cool pour auditer des apps, et vu qu'il me reste plein de vram...

Du coup entre DeepSeek V4 flash 284B / GLM / Laguna ta une préf ?

https://huggingface.co/ox-ox/DeepSe [...] 1-gguf-ds4

Laguna j'ai pas essayé. GLM-5.2 j'aime beaucoup mais c'est pas le même budget, en dessous de 8 RTX tu peux oublier.
La ou par contre DS plie le modèle-jeu c'est la release 0731. Avant DS4 Flash c'était sympa mais gaffeur je mettais quand même très en dessous de GLM mais cette nouvelle version... Pour moi c'est au niveau, en moins de moitié moins de matos...

 
Si t'a l'occas de tester Laguna je suis preneur de ton retour DS flash 0731 m'a l'air en effet super intéressant

Laguna j'ai testé ya quelques posts, c'est tout pourris, en dessous de Qwen 35B ou 27B.

Agréablement surpris, je n'y croyais plus

Bon par contre je vais pas avoir que ça a faire moi
Je vais rester sur DS4 pour le moment

Qwen3.8-Max ? C'est la première fois qu'ils publient leur gros modèle non?
J'espère qu'il y aura 35B aussi plus tard.

Oui, je suis curieux du gap potentiel entre 3.6 27B vs le nouveau en 3.8, vu que ça sera les même ressources derrières J'attend avec impatience sur les RTX 6000

Si vous voulez je teste tout ça pour vous, il me faut 50k juste pour rajouter 4 RTX, le châssis en prend 8

 
T'es parti sur quel chassis d'ailleurs ?

Putain la RTX que j'ai acheté 8k fin mai est déjà presque au double moins de 3 mois après… https://www.grafikkarten.com/fr/NVI [...] ulk/A18607

J'ai une RTX 5090 à vendre 4000€ pour ceux qui veulent anticiper la sortie de qwen3.8-27B  

C'est un revendeur allemand et le châssis c'est un machin Asus. En vrai je l'ai jamais vu mais je vais faire un saut sur place à l'occase.

on veut une photo #hardware porn

Tu verrais une sacrée quantité d'Alcatel
Mais ça on va me faire chier mais des photos du châssis seul c'est faisable

 
Je m'attends pas à grand-chose, les gars qui ont fait Qwen 3.5 sont partis...

Ils vont quand même pas faire une annonce pour ensuite sortir une bouse

Non, ça serait une première dans le monde des modèles open weight

Plus sérieusement, de toute façon tout ce qui va sortir sera ridicule par rapport au nouveau DS4 Flash. Ça sera quelques pouillemes mieux en demandant, 2, 3 ou 4x de ressources  

 
Google
Mistral
Laguna
Longcat
Nemotron
Microsoft

 
Qwen 27B et DS4 c'est pas comparable...

Franchement sur des tâches spécialisées le 27b fait très bien le taff.

Si je m'emmerde je regarderai si je peux le charger à côté de DS4 Flash mais j'ai peur que ça me force à faire des compromis sur la taille du contexte où les utilisateurs simultanés, pas sur que ça soit une bonne idée

 
Le 27B est très bon pour sa taille, le 35B aussi, mais DS4 a 10x plus de paramètres quand même. Après j'ai pas testé DS4 ...

 
De maniere realiste, en dessous de combien de tps en pp et gen vous considerez le modele comme "inutilisable" ?  
 
Perso en dessous de 500/30 ca commence a etre tendu...

3000/80

Perso, 100/7 mais c'est parceque je lance un prompt et je le laisse tourner la nuit voire des jours...

+1

 
Et t'arrives a quelque chose avec ca ? En utilisant quel harness ?

 
Utile, je sais pas, fun oui . Pour le moment je joue avec des modèles et les harness en faisant un port de Linux 7.x pour mon Amiga 500. C'est presque impossible, mais ça me permet de tester avec des prompts qui bossent pendant longtemps tout seul, jusqu’à plus de 2 jours.
 
Coté harness, j'en ai testé des paquets... Dans ce que j'ai utilisé le plus, j'ai commencé sur Opencode, puis passé sur Claude-code mais la je viens de passer sur little-coder que je trouve pas mal.

Hmmmmmm je vois. Je suppose que ça pourrait être utile avec du crewai ou autre...

Mais pour moi en dessous de 500/30, j'ai vraiment du mal...

tu as du mal parce que tu as des deadlines à tenir ou tu es pressé. Perso ça fait 5 mois que je rebuild mon homelab (trois grosses itérations avec des amélioration entre chaque)
 
C'est un plaisir que je n'aurais jamais pris si j'avais le début d'une deadline (d'ailleurs je m'en trouve tout seul histoire que ça ne tombe pas en désuétude)  
 
Si tout va bien je ferais une photo hardware porn / software porn d'ici la semaine prochaine. Si j'y arrive pas je sais pas si ça sera prêt vraiment un jour avec le départ en vacances de l'assistante maternelle