Reprise du message précédent :
Même constat de mon côté, plus le fait d'avoir une configuration boiteuse qui exige beaucoup de test pour peu de gain... Je suis repassé sur llama officiel et basta  

J'ai tout tenté pour faire tourner Qwen3.6 sur mon M4 avec 16 go de RAM et j'ai enfin réussi .... avec la version 35B en Q1   , toutes les autres versions plantaient systématiquement au démarrage quelque soit le paramétrage, y compris les models en Q2.
 
J'ai fait le test de lui faire générer flappybird et le résultat est plutot bon graphiquement (identique à la version de the_fennec) mais les tubes sont systématiquement mal placés et ne permette pas d'y jouer  (il n'y a pas l'espace pour faire passer l'oiseau), surement inhérent à la version Q1. Par contre le model à l'air vraiment très très bon et rapide, dommage de ne pas pouvoir le lancer une version Q3 ou Q4.
J'en ai également profité pour tester le même prompt (flappybird) avec Gemma 4 en 9B, qui lui, a généré un flappybird parfaitement jouable mais graphiquement ultra basique (un rond et des rectangles)

T'as pris quel model?  
C'est quoi ta ligne de commande?
T'as quoi d'autre qui tourne?

Sur du metal il y a des optimisations intéressantes, maintenant oui un 16gb quoi que tu fasse ça va rester très limité

Faudrait que je teste sur le m1 de ma femme, mais je vois pas pourquoi on pourrait pas charger un modèle de 12GB comme le Qwen3.6-27B-UD-IQ3_XXS.

J'ai tenté a peu pret tout ce qui était possible, du plus simple au plus compliqué (toujours avec mmap d'activé) , même avec un context de 4096 ça ne passait pas (je partais avec 0 appli ouverte à coté) .
Parmis les tests :
--jinja -c 4096 --port 8080 -ngl 99 --mmap
--jinja -c 4096 --port 8080 -ngl 99 --mmap --swa-full -fa on --reasoning off
--jinja -c 4096 --port 8080 -ngl 99 --mmap --swa-full --reasoning off
--jinja -c 4096 --port 8080

Il faudrait que je teste cette piste en effet   , a priori il y a des gains substantiels à la clé, au moins en tg/s

EDIT : j'ai réussi à lancer la version Q2 XXS, mais on voit que l'allocation de la RAM fait le yoyo, c'est le seul model qui me fait ça.
Et même en Q2 le model est trop imprécis ex  :
Prompt : Combien de R y a t-il dans le mot "fraise"
Réponse : Il y a 0 lettre "R" dans le mot "fraise".
Prompt : En es-tu sur ?
Réponse : Oui, je suis certain. Si tu regardes bien le mot fraise, il est composé des lettres : F - A - I - S - E. Il n'y a aucune lettre "R".

N'utilises pas -ngl 99, ça force a charger tout le modèle en mémoire. mmap est actif par défaut. Utilise --ctk q4_0 --ctv q4_0 pour compresser le contexte (a mort ).
 
T'as essayé ça?

 
Laisse tomber les tests de logique, surtout en français, ça n'a aucun intérêt technique. Un LLM c'est que des stats.
 
T'as d'autres trucs qui tournent en plus?

J'avais essayé sans le ngl et avec les ctk q4_0 et ctv q4_o, sans que cela change quoique ce soit.
Je n'ai pas encore testé ta commande sysctl cependant, je regarderais ça demain    
Rien d'autre qui tourne, même pas de navigateur web.
 
Pour le test de logique linguistique, Qwen 3.6 Plus le passe sans problème, je suspecte que c'est la quantification excessive qui rend le model local un peu bête.

Merci pour vos réponses et retours d’expérience

Sinon pour Qwen 3.6, je pense qu'il y a des petits soucis, je pensais que c'était le speculative decoding, mais non, 27B et 35B semblent s'arrêter tout seuls au bout de quelques heures, ensuite il faut souvent relancer llama.cpp.
 

 
Qwen 3.6 Plus doit faire 500GB et tourner sur 10xA100, c'est pas comparable ...

J’ai pas remarqué de soucis de mon côté sur Mac avec LM Studio. J’ai fait une session de 61k tokens au total avec Qwen 3.6 plus 35B A3B Q8. Les performances ce sont dégradées progressivement (les premiers messages tournaient à 49 tokens / seconde mais les derniers plafonnent à 36,14 tokens par seconde avec un Time to first token régulièrement supérieur à 30 secondes. Ce weekend je m’occupe enfin de la partie CI/CD et je vais le faire cravacher sur des apps K8s

 
Tant que tu n'as pas remplis ton contexte et compacté au moins une fois, je trouve qu'on a pas des perf stables, on commence vite et ça descends un peu puis ça se stabilise.

Bon je repasse sur Qwen3-coder-next, je veux voir si mes soucis de perf/halt sont dus a Qwen 3.6.
 
La j'étais sur 35B et tombé a 3 tgs au lieu de 35 au bout de 12h de code.

Je pensais que tu avais un gros cluster de GPU ? Pas d’intérêt pour switcher sur le dernier truc trendy mais obèse en VRAM (je pense à Kimi 2.6) ?
 
Pour faire deux scripts dans un coin c’est overkill je note mais si tes modèles tournent 12h d’affilée à priori c’est pas pour sortir un nouveau flappy bird

Si quelqu'un test le pro et flash je veux bien un retour même si 5 euros ça pourrait être rentable a tester sur un mois  

 
J'échange parfois les messages/sorties entre Claude et Codex. Il me faut vraiment une façon de les faire communiquer dans ce cadre
 
Des idées ?

Tu peux demander a l'un ou a l'autre d'utiliser la commande par exemple claude -p qui fait directement un echo et sortie de la réponse que peu récupérer codex non ? après ça reste du one shot comme demande pas de la communication en temps réelle

 
Mon "cluster" c'est une RTX 4060Ti 16GB et un carte BC-250 16GB, c'est tout. Le plus gros modèle que j'arrive a charger c'est Qwen3-Coder-Next-UD-IQ3_S.gguf qui fait 29GB et j'ai un contexte de 64k. Impossible de charger Kimi.
 
Il tourne depuis plus d'une semaine a porter le Kernel Linux 7.x sur Amiga 500 (avec quelques arrêts pour test/crash/swap). Ça sert strictement a rien, mais c'est fun et ça me permet de jouer avec llama et apprendre un peu comment ça marche. J'ai accès à Kiro/Cursor pour le taf, mais j'aime bien le fait d'avoir un truc en local pour faire des expériences.
 
L'étape d'après c'est de faire tourner le kernel dans un émulateur que j'ai modifié avec la même config pour ajouter une API REST pour que le LLM puisse bidouille. Ensuite si tout marche bien, sur mon Amiga 500 .
 
Si tout ça marche, ensuite j'aimerais tester de bidouiller ReactOS...

Je vois pas trop comment ça peut s'intégrer dans le worfklow là

P'tet un skill avec inotify et partage d'un dossier tmp avec fichiers codex_0001.tmp et claude_0001.tmp ?

Non tu lui dit de demande a claude en tant que skill il lance claude -p 'PROMPT' et voir le retour tout simplement, il me semble que le cli codex a le même paramètre
 
Edit : même sans skill ça doit fonctionner, en lui demandant de lancer la commande, test tu verras.

Tu vois pas mon screen

 
On va finir par se cotiser sur le topic pour prendre 8H100 et jouer avec les derniers modèles à la mode hfrstyle
 
Quelqu’un a déjà monté des RAG (ou équivalent) sur ses repos git hub ou sur des documents (drive ou local) ?

J'ai écouté la voie de la raison : j'ai mis une debian sur la bc250. Moins performant que mon ancienne installation fedora, mais tellement plus stable    
 
Il faut encore que je règle le souci de montée en fréquence du gpu qui se traîne beaucoup trop avec le governor et éventuellement tester le custom kernel proposé sur le wiki.
 
Par contre impossible de passer sous les 32w en idle
 
EDIT :  
 

 
Un petit watchdog sur le slot utilisé par llama, dès que l'inférence se lance ca boost a 2ghz le gpu, le gain est massif  
 
# BC-250 + llama.cpp : +42% token/s avec GPU DPM Watchdog
## Le problème
Le GPU BC-250 (Cyan Skillfish) bloque à ~1200 MHz en DPM auto pendant l'inférence,  
au lieu des 2000 MHz possibles.
## Le fix : watchdog D-Bus vers le governor SMU
Le driver amdgpu ne permet pas de forcer le DPM manuellement sur cette carte.
Mais le cyan-skillfish-governor-smu expose une API D-Bus pour forcer la fréquence.
 
### 1. Config du governor (`/etc/cyan-skillfish-governor-smu/config.toml`)
 

 
2. Policy D-Bus (/etc/dbus-1/system.d/cyan-skillfish-governor.conf)

 
3. Watchdog (/usr/local/bin/gpu-dpm-watchdog.sh)
 

 
4. Service systemd (/etc/systemd/system/gpu-dpm-watchdog.service)
 

 
5. Activation
 
chmod +x /usr/local/bin/gpu-dpm-watchdog.sh
systemctl restart cyan-skillfish-governor-smu
systemctl daemon-reload
systemctl enable --now gpu-dpm-watchdog

Si mais je ne sais pas comment tu pourrais faire soit via un MCP soit via un répertoire partagé qui verifie régulièrement le contenu avec un repertoire pour chaque, mais il me semble avoir lu quelque part que certain l'avait fait.
 
 
Sinon demande leur directement comment faire ^^

Je teste Anything LLM en ce moment qui a pas mal de possibilités agentiques et de RAG, très simple d'utilisation, il a sa propre base vectorielle, s'adapte à toute sorte de LLM. Il a des connecteurs Github, Confluence etc ...

Je vais devoir prendre un 2eme abo codex

 
Heuresement que j'ai des prix parce que sinon.. entre le team premium chez Anthropic (125$ normalement) et les Biz chez OpenAI à 21€ et tout ça hors TVA
 
Après si Anthropic avait pas chié dans la colle avec opus lô le Max20 serait une super offre, même à 200$ je parle pour les autres bien sur

21€ avec un gros quota ?  

bah classique non ? c'est le prix avant réduc je veux dire
pas de compte premium dispo pour moi sur openai, faut que j'enchaine les comptes  
sinon c'est paiement au token LOL

Merci  

Tu envoies la facture à ldlc  

Cross topic

Xiaomi sorti de nul part qui est le meilleur rapport qualité prix perf avec cette nouvelle version v2. 5 pro à venir


https://x.com/i/status/2047799218828665093

les modèles chinois en train de refaire tout leur retard sur les modèles ricains ! y'a d'autres projets en Europe à suivre ou tout est chez Mistral et Albert ( ) ?

A part Mistral et h company on est largué

deux boîtes françaises. On est pas dans la merde sur le vieux continent

 
.md files ?