Reprise du message précédent :

Gemma 4? Vraiment?
J'ai jamais réussi a en faire un truc utile.

Salut!
Je suis entrain d'essayer de mettre en place (au moins pour faire une étude de faisabilité) via llama.cpp un outil qui permettrait de générer automatiquement une synthèse annuelle à partir de bilans de visites contenant des données personnelles que je ne peux pas mettre en ligne.
 
J'ai uniquement des VMs sans GPU avec un peu de RAM (128 à 200Go disponibles) et une vingtaine de cœurs.
J'ai testé les classiques de Mistral 7 et 8b, Qwen 7b, GLM et Gemma plus gros mais en MOE. Je tourne autour de 10-15tps donc c'est suffisant vu que je vais automatiser cela la nuit et au cas par cas.
 
Ma question concerne plutôt des modèles "experts" dans la reformulation. Je ne veux rien inventer, juste structurer et synthétiser l'existant. Vous en connaissez? Notamment bons en compréhension du français, y compris juridique...
 
Pour l’instant, je trouve que glm4.7-flash (a3b) et gemma4-26b-a4b s'en sortent pas trop mal mais j'imagine qu'il y a mieux.

 
pour coder c'est pas mon préferé mais pour trouver des trucs sur internet / me faire des résumés c'est pas si pire

alors perso dans ton cas je prendrais un abonnement workspace business standard pour avoir notebookLM avec le bon niveau de sécurité de la donnée (agréé HDS, tout à fait désigné pour de la donnée perso et le RGPD https://workspace.google.com/products/notebooklm/ ) et pour 14 balles par mois c'est imbattable.
 
Maintenant c'était pas ta question (:o) mais tu as un qwen 3.6 35b a3b (un peu moins bon que le 27b mais tellement plus rapide), nemotron vaut l'essai aussi avec le 3 nano omni qui peut bosser avec des images et des documents nativement
 
Si tu as des problèmes de qualité (lié par exemple au juridique) tu peux regarder à lui rajouter des skills (à gauche la liste de domaines couverts) : https://lawve.ai/fr/skills

Gemma 4 est bon pour la traduction je trouve  

 
Merci pour le retour!  
NotebookLM je l'ai testé sur d'autres projets, ça me parait overkill pour cet usage et je ne sais pas si il y a une api ou un autre moyen de l'interroger... et en ce moment la direction est à fond sur la souveraineté numérique donc j'essaye de limiter la sortie des données à tout prix, même vers une plateforme certifiée HDS si elle dépend d'une entreprise non UE.
 
Et oui en cas d'abonnement j'ai besoin d'une certification HDS mais aussi de construire un mcp ou autre système d'export de données pour l'interfaçage avec mon logiciel métier, c'est pour cela que je fais des premiers tests en local car je préfère maitriser toute la chaine. J'en suis juste à l'étape du prototypage pour montrer ce qui serait faisable grâce à l'IA sur ce sujet en particulier.
 
Le but de la manip est de générer les synthèses en anticipant les demandes pour éviter que les users collent directement leurs comptes-rendus non anonymisés dans les chats grand public (ce que certains ont certainement déjà fait...) car on n'a pour l'instant pas le budget pour équiper tout le monde d'un abonnement. D'ailleurs, là encore, ça serait surdimensionné vu l'usage basique qui en serait fait par ces services.
 
Je vais réessayer Qwen3.6, je l'avais déjà testé à titre perso à sa sortie et je trouvais que le mode thinking était lourdingue à surinterpréter et à tourner en boucle sur des détails "wait, the user is maybe..." ce qui était très pénible et long sur du code. Je n'avais pas réussi à le désactiver, ça a peut-être évolué.
 
Nemotron, je l'ai déjà testé dans ce cas précis et il ne comprenait vraiment pas ce que j'attendais de lui et surtout il inventait des infos qui n'apparaissaient pas dans les comptes-rendus ce qui était très problématique vu l'usage souhaité.  
Je fais mon benchmark de modèles avec un unique prompt type pour tous les modèles, il faudrait peut-être que je l'adapte pour Nemotron mais pour l'instant, il est hors jeu.

cette phase lourdingue l'aide bien à préciser ta demande et à faire bosser ses experts. Tu avais essayé en diminuant un peut la quantisation pour qu'il bosse plus vite ?

Non, j'avais laissé tomber et j'étais retourné sur Opus.  

 
OK, on est d'accord alors, le code c'est la vie en taule Gemma

J'ai vu passer hier sur reddit pas mal de modifications de templates Jinja sur Gemma.
Je comprends pas trop comment de telles conneries sont possibles mais il semblerait que partie de ses mauvaises performances viennent d'un problème de communication avec le moteur et ses templates...

ça a été sorti dans l'urgence à tout les coups pour contrer Qwen. Ils avaient du faire un patch aussi quelques jours après la sortie pour que ce soit utilisable  

Pas sûr non plus que la cible réelle soit les prolos avec llama.cpp, mais juste faire de la pub...

y'a une histoire de concurrence direct avec gemini en plus (je pense que ça a été appris des travaux faits avec K8s qui a fini chez tous leurs concurrents hyperscalers sans rapporter un rond)  là où les modèles chinois n'ont pas ce luxe d'avoir autant cette segmentation pour le moment

Intéressant à lire : Six semaines sans cloud : j'ai confié tout mon travail à une IA locale à 4 500 €
 
https://www.clubic.com/dossier-6195 [...] 4-500.html

"J’ai vidé un forfait Claude Max à 200 $ par mois en deux heures de travail soutenu avec le modèle le plus puissant d’Anthropic : Fable 5. Deux heures. "
 
mytho
 
la comparaison avec le coût api est foireux puisque les abo 5/20 valent beaucoup moins cher (et changer de token/secret pour taper un autre abo c'est pas ce qui est lourd dans un workflow)
 
mais sinon son ASUS, l’Ascent GX10; gros kiff

Des trucs amusants dans l'apprentissage de tout ce bordel d'IA  
 
J'ai besoin d'accéder à un base MariaDB, j'installe comme avant MySQL Workbench, problème ne fonctionne plus avec la version de MariaDB que j'utilise. Je vais chercher un autre outil et surprise, possibilité d'utiliser l'IA avec, problème, que deux possibilité cloud. Je cherche une autre alternative et en l'ayant trouvée, je cherche comment l'utiliser avec mon Lemonade local. Et là, paf, limite pas besoin, l'Open WebUI  que j'ai également en local, suffit de lui ajouter un skill (pas encore regardé les skill, juste ajouter des collections) et ça va taper dans la base de données tout seul comme un grand...
 
L'utilisation du NPU du portable consomme moins de 1,5 W quand je fais tourner gpt-oss-20b-FLM, je m'attendais à beaucoup plus (après, à voir la précision de la mesure donnée par Ressources). Le truc un peu plus chiant, c'est la vitesse de chargement du modèle  
 
Allez, dans quelques années, je devrai maîtriser un poil plus tout ce merdier et arriver à la retraite, je pourrai demander à l'IA le temps de cuisson d'un œuf dur

Oue bon, on est bien d'accord.. en attendant c'est quand même intéressant

L’article est sympa, mais le comparatif est un peu biaisé quand il aborde le prix des abonnements
 
À l’usage, je trouve que la course au local, avec des machines surpuissantes et des quantités absurdes de VRAM, est un peu un non-sens. Pour les tâches qui demandent vraiment beaucoup de réflexion, on voudra toujours utiliser le meilleur modèle disponible, quitte à passer par une API.
 
Et pour tout le reste, pas besoin d’une machine de guerre : la plupart des modèles réellement optimisés pour tourner en local sont relativement petits et tiennent dans 24 Go de VRAM.
 

Un fine tune de 27B intéressant pour changer, qui limite le thinking en gardant la même qualité:
https://huggingface.co/bottlecapai/ [...] 6-27B-GGUF
 
ThinkingCap Qwen 3.6 27B MTP benchmarked vs Base Qwen 27B - 16GB Local LLM setup
https://www.youtube.com/watch?v=vERb6uIscKo
 
Le gars teste en Q4_K_M avec 16GB VRAM, 32GB RAM, llama.cpp donc un setup représentatif
 
Je trouve son setup bon, mais il a des soucis avec Opencode, le même genre de chose que j'ai aussi. Juste dommage qu'il ne teste pas le remplissage de contexte et la compaction par contre.

Opencode j'ai laissé tomber aussi, un moment il était très bon et maintenant dès que je le lance avec un petit modèle il se bloque assez vite...

Kimi K3
https://platform.kimi.ai/docs/guide/kimi-k3-quickstart
 

 
Plus qu'a attendre le Unsloth Q0

"on a detecté zero mauvaise réponse grace au Q0. On travaille désormais sur un Q-1 qui ajoute de la VRAM à votre GPU

 
  l'ajout de ZGRAM a provoqué un crash boursier, vous pouvez maintenant acheter de la DDR5 au prix normal et une 5080 pour 500€
 
Sur ce sujet d'ailleurs, on risque d'être sauvé par les chinois une fois encore avec CXMT qui commence a fournir de la DDR!

Qwen 3.8:
https://www.reddit.com/r/LocalLLaMA [...] is_coming/
 

Super 2400 milliards de paramètres. Parfait pour le DGX H100 que j'aurais mis sur mon bureau si j'avais un DGX H100 et si j'avais un bureau
 
Tu as raison, le Q0 a de l'avenir

Q0 ou colibri

Projets IA : MCP expliqué à fond : le "port USB-C" qui branche l'IA sur le monde réel
https://www.youtube.com/watch?v=v2FigSIz_pI

Can a 3.5GB model replace my 35B daily driver? (Bonsai 27B)
https://www.youtube.com/watch?v=rBLWDJrXCp0
 
Codacus teste Bonsai!
 
La conclusion, il dit tout haut ce que tout le monde pense tout bas
 

ça fait depuis avril qu’on a rien vu de nouveau dans cette classe mais il y a tellement de nouveautés de partout (en particulier sur les gros modèles) qu’on a du mal à juste laisser passer un trimestre sans râler
 
Ça va probablement reprendre fort d’ici la fin de l’année le temps que les nouveaux « frontier models » servent de base d’optimisation des prochains modèles plus petits

 
Ta citation est cassée ! J'ai relu 3 fois avant d'abandonner et aller regarder la vidéo pour comprendre de quoi ça parlait. Ou bien c'etait un bait volontaire et déguisé    
 
Mais oui, super intéressant sinon. Je garde la chaine dans mes favoris, je connaissais pas le youtubeur mais il a l'air d'être précis et intéressant dans ses choix de sujet

 
J'ai copié/collé le transcript, j'ai juste corrigé quelques ternary, c'est tout. C'était pas du bait, c'est quoi que tu comprends pas? Après c'est vrai qu'il utilise des tournures en anglais.
 
Il dit juste que: le MoE réduit le calcul mathématique, le ternary la taille du fichier. Appliquer ça à un gros MoE de 250B pourrait donner un fichier de 20GB. Mettre une partie sur un GPU de 12GB et le reste en RAM pourrait permettre de d'utiliser des modèles "Frontier" sur du hard qu'on a déjà.
 
Ce que je trouve top avec ce youtubeur c'est qu'il utilise du hard qu'on trouve partout. Sa "grosse config" c'est une 3060 12GB avec 32GB RAM et sa petite c'est une 1060 6GB et 24GB de RAM (il me semble).

En gros :

Mais bon rien de grave, juste que mon cerveau bloquait à cause des mots qui manquaient et du transcript qui s'est emmêlé les pinceaux. Du coup, j'ai été mater la video, j'ai compris de quoi ça parlait et finalement je regrette pas parce que ça me permet de découvrir une nouvelle chaine youtube intéressante.

Le "bon plan du moment"? A priori on pourrait débloquer les CMP 170HX 8GB en A100 64GB j'essaye d'en trouver une pas chère, genre sous les 200€  
 
Je mets la source, mais la vidéo n'est pas très intéressante:
Did this 6 year old GPU just overtake the RTX 5090 in AI workload productivity?!
https://www.youtube.com/watch?v=_mByEJpGRXE
https://www.researchgate.net/public [...] oprocessor
 
https://github.com/dartraiden/NVIDIA-patcher/issues/73
https://github.com/abobasixseven/unlock-cmp-170hx

pas de FP8 ni de FP4, 4 lignes pci express gen 1, 4500 cuda cores vs la 5090 qui en possède 21k . C'est pas exactement une 5090
 
A ta place je stackerai des BC250 mais pour le topic je demande un test et un déblocage de cette carte
 
A noter qu'il y a de bonnes chances que les dies HBM soient endommagés et en fait des restes de HBM pour A100 qui n'ont pas passé les tests qualité

64GB voir 80GB de HBM, OSEF de la vitesse Si la mémoire déconne, ça fait juste un peu de randomness en plus
 
Il y a une semaine on devait pouvoir en chopper a moins de 150€ ... maintenant, j'en trouve sur Alibaba, mais quand tu chat pour avoir une commande ils disent que le prix est monté, les rats . J'en voyais une a 181€, le vendeur en veut 600€ maintenant!

Ca fait un moment que le hack tourne dans les bas-fond, les prix ont déjà explosés depuis plusieurs semaines.
C'est un peu comma a bc250 : pas cher ca en vaut le risque et les contraintes, mais sinon...

Clairement si en plus elle a miné du bitcoin pendant trois ans la carte risque de faire un peu la tronche même au delà du HBM avec ses fonctions random incluses

OK, pas de regrets alors si c'est déjà connu.
Mais Tronklou, si tu savais tu aurais pu prévenir les copain
 
Coté fiabilité, le hard sans pièces mobiles, ça crame rapidement ou pas du tout, surtout quand ça n'est pas allumé éteint souvent. A mon bureau on a installé 4/5 baies, j'ai jamais eu a changé que des HDDs, et des cartes SD sur reboot, j'ai pas le souvenir d'avoir eu d'autres soucis.

De ce coté je m'en fait pas, les cartes encaissent très bien le minage intensif dans la pratique.

 
J'etais aussi sur le coup avec d'autres potos, mais les prix ont explosé littéralement en dix minutes apres la release    
Et j'avoue que vus le tarif ont  a laissé tomber directement  

 
A 200 balles ça vaut le coup, a 1000 faut vraiment aimer gaspiller son argent ...