Reprise du message précédent :

Ah oui ça fait beaucoup de choses
Pour répondre à ta dernière question, oui Claude ça part vite

 
Ya pas de raison qu'ils le fassent pas sur le long terme, mais certains modèles comme les GPTs ont peu de gains et c'est pas encore stable. J'imagine que quand ça sera dans VLLM les gros fournisseurs le proposeront.

Ok je pensais que le gain était énorme aussi pour eux

 
J'ai juste vu un retour comme quoi GPT-OSS compressait très peu; mais c'était ya un moment et c'était un vieux modèle.
 
Pour l'instant il me semble que les TQ ont un coût de traitement GPU supérieur, qui pourrait rendre le truc moins intéressant a grande échelle. Genre tu peux mettre 10% d'utilisateurs de moins avec un contexte 2x plus gros, sachant que la plupart vont pas l'utiliser c'est pas forcément rentable.

 
(Reprise de mon message sur "IA générative de texte, ChatGPT, Copilot, Gemini & co" )
 
Certains font-ils tourner des LLM en local ? Pour ma part, je suis sous Linux Mint, avec une RTX 5090 ( ).
 
Il y a un peu moins d'un an, j'avais testé plusieurs LLM (Gemma3, Qwen, etc.), via Ollama / AnythingLLM en docker, et c'était franchement décevant.
 
Là, il y a Gemma4 qui vient de sortir (j'utilise Gemma4:26b, la version 31b sature la VRAM), et c'est tout juste bluffant ! J'ai comparé plusieurs réponses (avec Gemini Pro et ChatGPT Plus), et ça semble tenir la route ! Bon, le délai de réponse est quand même plus long, mais les perspectives sont franchement enthousiasmantes !

Merci pour le retour, et pour info sur windows LM studio est beaucoup niveau utilisation VRAM et tu peux sélectionner plus de paramètre sur qui charge le llm etc ... Ce que ne propose pas ollama et je trouve donc que c'est plus rapide aussi.

LM Studio c'est fait pour tester des modèles et différents paramètres mais pas à mettre en prod à mon sens...

Et pourquoi pas ?

Car un serveur ça n'a pas besoin d'une GUI

Y a un mode server sur lm studio
https://lmstudio.ai/docs/developer/core/headless

Et connecter tes clients avec
https://lmstudio.ai/link

Je ne savais pas, merci beaucoup

 
beaucoup quoi?

Bordel, je voulais tester les Turbo Quants, le build de llama.ccp prends genre 15 minutes sous Linux/Vulkan avec la BC250, le Windows/CUDA sur Ryzen3600/4060Ti approche des 1h45 2h10 4h20 et c'est pas fini .
 
Ça tournait encore après la nuit, j'imagine que compiler toutes les archi avec une 4060 était une mauvaise idée.

Beaucoup mieux  

 
ce cliffhanger

Bon, j'ai essayé Claude for Excel.
Et bien je suis bien bluffé...
 
Contexte : j'utilise un classeur pour stocker les notes des évaluations de mes étudiants.
Une feuille par évaluation.
Dans une, feuille, j'ai une grille d'évaluation par question, et je numérote les questions comme ceci : E1Q1, E2Q2-A, E2Q2-B, etc...
Et pour chaque question il y a un barème par compétence, et il peut y avoir 1 à 3 compétences.
 
Bref, j'ai demandé à claude de me générer, depuis mon PDF d'évaluation, la liste des questions, avec leurs compétences, le barème (tout ça c'est présent dans le PDF) et la Capacité évaluée qui est présente dans une liste dans une autre feuille (je lui ai donné carte blanche sur ça, il peut ajouter des choses, car quoiqu'il arrive, je repasse derrière.).
Puis une fois que j'ai corrigé l'évaluation, je lui ai demandé de me faire une appréciation dans une autre feuille pour les copies corrigées en lui demandant d'apprendre des miennes sur les autres feuilles d'évaluations et d'utiliser les notes que j'ai mises dans les cellules de certaines copies.
Et bien, ça sonne vraiment comme moi. En un peu mieux écrit ^^  
 
Bref, content de moi et de son travail.
 
Le hic : c'est que ça m'a pris quasi plus de temps de faire les prompts que de corriger les copies XD et de faire moi-même les appréciations.
Mais au moins c'est fait pour les futures
(je lui ai demandé de me faire les prompts pour lui redemander ce travail, car je ne sais pas trop si d'un classeur XLSX à un autre il conserve une mémoire...)

dans les fichiers, il y a les noms et prénoms des élèves ? tout ça sur les serveurs de Claude ?
j'espère qu'ils sont honnête et ne stockent rien.

Ha crap, j'avais pas vu ce hic...
Faudra que j'anonymise les feuilles de calculs alors  

Alors non seulement Anthropic n'entraîne pas les données des utilisateurs payants (sauf si tu es en gratuit) mais comme déjà répété, des données ne peuvent remonter dans un LLM que si les occurrences sont présentes des millions de fois...

Et avant de s'inquiéter de ça il faudrait déjà prendre garde de ne jamais utiliser iCloud, Google Drive, OneDrive ni aucun espace de stockage dans le cloud (et ne jamais rien stocker de données personnelles sur son téléphone également, comme des contacts, adresses mails, numéros de téléphone, SMS, etc.)

Par contre il reste un point réglementaire cela dit, sur le traitement automatique des données... Demande donc à Claude ce qu'il en est juridiquement

Tu peux rajouter Github à la liste...  
GitHub va utiliser vos données Copilot pour entraîner ses modèles d'IA
https://korben.info/github-va-utili [...] s-dia.html

Il suffit de ne pas utiliser cette merdasse de Copilot et sinon on peut désactiver ça :
 

 
Le plus simple est de désactiver Copilot ou de passer sur GitLab (ce que je vais faire pour mes repo privés)...

https://github.com/safishamsi/graphify
Tout nouveau tout chaud

Bon je laisse tomber les turbo quants pour le moment. Un des forks ne marche pas, j'ai peut être loupé un truc, mais il prends pas les KV tq3. Il y en a un autre qui marche, mais que sur CUDA pas Vulkan, donc ma config hybride plante.
 
Si quelqu'un veut tester un build CUDA, il vaut mieux utiliser -DCMAKE_CUDA_ARCHITECTURES=xxx pour ne compiler que sa propre archi, je suspecte que ma 4060 n'est pas capable de compiler les shaders pour les A10+.
 
Je suis en train de tester les APEX de coder-next:
https://huggingface.co/mudler/Qwen3 [...] -APEX-GGUF
 
Le plus petit modèle fait 2GB de plus que le Unsloth, je sais pas comment ça rentre, il doit me rester 200MB de RAM/VRAM combinées sur les deux systèmes .  
 

Comment on se sert de ça ?
Ca semble intéressant mais je n’ai aucune idée de comment faire    
Déjà Claude code je ne vois pas comment m’en servir lol

Pour faire tourner en local, jan server existe aussi, agentic compliant, toussa
 
https://www.jan.ai/
 
Comme Ollama mais bien plus complet, gestion native des MCP, un peu comme LM Studio, et se base sur Llama.cpp plutôt que le backend propriétaire d'Ollama

C'est expliqué dans le lien

Un nouveau système de gestion de mémoire IA
 
Vous allez voir qui l'a fait
https://github.com/milla-jovovich/mempalace

 
Tu installes claude code. Tu le lances puis tu lui files le lien du skill en lui demandant de l'installer. Tu relances Claude code et tu lui demandes d'utiliser le skill  

Je veux même pas imaginer chez toi dans 5 ans à ce rythme

 
Oui je dois être fort!

aussi simple que ça

Bon, j'ai laissé tombé le modèle APEX, pas de bénéfice visible et 2GB de VRAM en moins.
J'ai testé Gemma-4 31B Q6, et il a crashé llama.cpp au bout d'une heure de taf'
 
Bref, je retourne sur Qwen3-coder-next d'Unsloth.

Sacré budget pour choper le hardware du truc

EDIT: j'ai la version dans une taille plus... hmm... modeste
https://rehost.diberie.com/Picture/Get/f/504286

faut investir  

J'ai pas 10k€ à mettre dans un PéCé, déso pas déso  
 
De toute façon, à la vitesse où ça va (algo, compression, etc.), dans 3 ans, 16 Go de DDR3 et un i5-4600K fais tourner gpt-oss-120b

Peut être, peut être pas

On joue peut-être pas dans la même cours, mais je me pose sérieusement la question de claquer pour +10k€ en materiel

Si c'est pour taffer avec ça peut se réfléchir mais je pense que le ROI est largement plus élevé en claquant ça en AboMax20 ou TeamPremium chez Claude (et Codex aussi si jamais). Ou API si tu veux brancher un soft précis dessus.
 
Le use case du gros setup qui fait tourner un bon LLM en local ça serait plutôt pour des clients exigeants (et auquel cas je sais pas comment un solo-entrepreneur peut montrer patte blanche sur des projets secure), enfin j'sais pas trop bien sur

Avec le boulot ou toi perso? c'est pas pareil