Infra IA : aide au choix et troubleshot de LLM Locaux

Recherche :

Je génère ...

8.3 %

2 votes

1. moins de 100k tokens par jour

4.2 %

1 vote

2. entre 100k et 500k tokens par jour

8.3 %

2 votes

3. Entre 500 et 1M de tokens par jour

8.3 %

2 votes

4. Entre 1M et 5M de tokens par jour

4.2 %

1 vote

5. 5M+

12.5 %

3 votes

6. 10M+

20.8 %

5 votes

7. La quantité c'est dans la tête, tout est dans la qualité du jeton

20.8 %

5 votes

8. Quand on aime on ne compte pas (j'en ait aucune idée :o )

4.2 %

1 vote

9. C'est quoi ce token maxing de merde ? je dedrap le topic !

8.3 %

2 votes

10. zero, je lurke et je produis mon token seulement biologiquement

Total : 25 votes (1 vote blanc)
Sondage à 3 choix possibles.

Ce sondage est clos, vous ne pouvez plus voter

Mot : Pseudo : Filtrer Aller à la page :
Page : 1 2 3 4 5 .. 36 37 38 .. 68 69 70 71 72 73 Page Suivante Page Précédente Bas de page
Auteur	Sujet : Infra IA : aide au choix et troubleshot de LLM Locaux

the_fennec

f3nn3cUs z3rd4

Reprise du message précédent :
Qwen3.8-27B-UD-Q8_K_XL avec MTP de base, 4GB de moins que 3.6

https://progressive-gale-c3jf.pagedrop.io

13 tg/s 5min de génération :love:

pour rappel:

the_fennec a écrit :

Qwen3.6-27B UD-Q8_K_XL_MTP

https://nebular-tree-329n.pagedrop.io

11 tg/s et 11min de génération.

---------------
Faudra que je teste un jour :o

Olivie

SUUUUUUUUUUUUUU

Ca y est, on peut faire tourner opus 4.6 en local ?

---------------

the_fennec

f3nn3cUs z3rd4

Je l'ai mis au taf, on verra demain!

En tout cas, il semble plus rapide, moins gros, thinking configurable, MTP de base, du tout bon. Je pense qu'on va pouvoir mettre Muse au placard

Message cité 1 fois

---------------
Faudra que je teste un jour :o

moyen_moins

chat réincarné

Je viens de voir les tailles, q6 ud xl ça va pas passer sur mes 2x16gb (ou alors avec off load mais perf bof bof)
Ou alors contexte <32 (pas d'intérêt).
Je testerai le q6 simple, je sais pas si l'ud xl apporte réellement quelque chose à ces niveaux de quantization.

neo world

Oh bordel :love:

Tronklou

❤❤ Vrp Bambulab à mi-temps ❤❤

the_fennec a écrit :

Je l'ai mis au taf, on verra demain!

En tout cas, il semble plus rapide, moins gros, thinking configurable, MTP de base, du tout bon. Je pense qu'on va pouvoir mettre Muse au placard

En appel outils /respect du workflow très cadré, les deux sont identiques, mais sur tout le reste muse se prend une branlée
Nemotron a l'air pas mal aussi, en petit agent très rapide ca peut être pratique aussi

---------------
Victime de girafophobie, mais se soigne.

the_fennec

f3nn3cUs z3rd4

J'ai l'impression que le pp est plus lent; la je suis a 100k de contexte et 60 t/s, je pense qu'en 3.6 j'étais dans les 100/s.

C'est peut être que j'ai repassé une BC250 en 24cu.

---------------
Faudra que je teste un jour :o

Tronklou

❤❤ Vrp Bambulab à mi-temps ❤❤

Là je test sur le pc avec la 3060 et la 5070ti, mais j'ai un soucis avec unsloth desktop : il décharge une partie en cpu donc ca s'écoule....
Je vais repartir de llama.cpp pour régler ca correctement

---------------
Victime de girafophobie, mais se soigne.

Pipould's

Tronklou a écrit :

En // c'est plutot chargé et dispo ? Car sinon a chaque fois tu divise encore les tok/s de sortie drastiquement non ?

L'idée c'est d'avoir plusieurs modèles dans un pipeline que tu n'utilise pas en même temps. Comme car ils sont tous en mémoire avec leur cache prefil et tu ne perds pas de temp a les charger ou en pp.

Message cité 1 fois

Pipould's

Certains d'entre vous ont cherché des cartes bridge pcie ?

Genre ça je suppose : Ich habe das hier gerade auf AliExpress gefunden:
8654 zu PCIe 4.0 x16 MCIO zu PCI-E 5.0 x16 Adapter-Baseplate 8/10 Karten 11-Slot GPU Grafikkarten für eGPU-Abstandshalter Server-Motherboard
https://a.aliexpress.com/_EySzzls

L'idée est d'apporter du pcie 5.0 a une carte et laisser les gpu parler entre eux a 4.0 16x.

neo world

Jamais eu besoin. A la maison je fais du LLM que sur de la LPDDR comme un manant et au boulot tout passe en fabric Nvidia [:perco_35:2]

Message édité par neo world le 14-08-2026 à 21:58:49

Tronklou

❤❤ Vrp Bambulab à mi-temps ❤❤

Pipould's a écrit :

Mouais c'est vraiment spécifique de ce fait

---------------
Victime de girafophobie, mais se soigne.

yohaskan

Moi je n'ai pas pu finir mon test de jeu style Starfox dans un "self-contained HTML file" , ca a reflechi pendant... 20mn (budget sans limite par defaut) en bouffant 109804 token de raisonnement.

Et en le limitant à 2k, hélas, le resultat n'etait pas mieux, j'ai bien un beau menu avec le message clignotant : "PRESS ENTER TO LAUNCH" mais cela ne fait ...Rien

Bon j'ai pu au moins voir que ca génère à 84 token/s sur RTX5090

Mais je crains qu'on ai encore pas mal de problème d'Overthinking style...
but wait...
but wait...
but wait...

neo world

tu as mis combien en context ? il a pas juste fait un oom (crash du modèle) ou simplement dépassé son context (j'imagine que ça interompt seulement ce qu'il y avait en cours)

yohaskan

Pour le 1er jet, oui il avait dépassé son context limit ; je voulais voir a chaud sans réglage, comment il se comportait par default dans LM Studio
Pour le 2eme, même Context lengh de 200k, juste limité son budget de raisonnement à 2K

the_fennec

f3nn3cUs z3rd4

Si tu parles bien de Qwen 3.8, tu peux régler le thinking sur low, medium et xhigh (default).

Code :

--chat-template-kwargs '{"reasoning_effort":"low"}'

Message cité 1 fois
Message édité par the_fennec le 15-08-2026 à 10:09:07

---------------
Faudra que je teste un jour :o

the_fennec

f3nn3cUs z3rd4

On dirait que j'ai le même soucis, little-coder est intervenu:

ya un bug dans llama.cpp en plus:
https://www.reddit.com/r/LocalLLaMA [...] d_to_chat/

Message édité par the_fennec le 15-08-2026 à 10:21:23

---------------
Faudra que je teste un jour :o

yohaskan

the_fennec a écrit :

Si tu parles bien de Qwen 3.8, tu peux régler le thinking sur low, medium et xhigh (default).

Code :

--chat-template-kwargs '{"reasoning_effort":"low"}'

Il y est, mais LM studio s'en bat les steacks des parametres reasoning_effort et enable_thinking en low / false

Code :

2026-08-15 10:17:42 [DEBUG]
Received request: POST to /v1/chat/completions with body {
"model": "qwen3.8-27b",
"messages": [
{
"role": "system",
"content": "Tu es un assistant. Réponds en une phrase courte, sans réfléchir longuement."
},
{
"role": "user",
"content": "Dis-moi bonjour en une phrase."
}
],
"temperature": 0.7,
"max_tokens": 300,
"extra_body": {
"chat_template_kwargs": {
"enable_thinking": false,
"reasoning_effort": "low"
}
},
"reasoning_effort": "low"
}
2026-08-15 10:17:42 [WARN]
[lmstudio-community/qwen3.8-27b] Reasoning setting 'low' is not supported by model 'lmstudio-community/Qwen3.8-27B-GGUF/Qwen3.8-27B-Q4_K_M.gguf'. Supported settings: 'on', 'off'. Falling back to reasoning setting 'on'.

ou via lms log stream :

Code :

modelPath: lmstudio-community/Qwen3.8-27B-GGUF/Qwen3.8-27B-Q4_K_M.gguf
input:
<|im_start|>system
Reasoning effort is set to xhigh. Please think carefully through the task, validate key assumptions, consider plausible alternatives, and prioritize correctness, consistency, and clarity in the final answer.
Tu es un assistant. Réponds en une phrase courte, sans réfléchir longuement.<|im_end|>
<|im_start|>user
Dis-moi bonjour en une phrase.<|im_end|>
<|im_start|>assistant
<think>

J'ia essayé avec le llm d'Unsloth, et le nouveau GGUF de Lm studio (identique à celui de Qwen, je suppose)
https://huggingface.co/lmstudio-com [...] 8-27B-GGUF

Message cité 1 fois
Message édité par yohaskan le 15-08-2026 à 10:37:56

the_fennec

f3nn3cUs z3rd4

D'ailleurs les settings recommandés ont changé:

Code :

::Thinking Mode: temperature=1.0, top_p=0.95, top_k=20, min_p=0.0, presence_penalty=0.0, repetition_penalty=1.0
::Instruct (or non-thinking) mode: temperature=0.7, top_p=0.80, top_k=20, min_p=0.0, presence_penalty=1.5, repetition_penalty=1.0

Je suis encore en temperature 0.6

---------------
Faudra que je teste un jour :o

M300A

yohaskan a écrit :

Il y est, mais LM studio s'en bat les steacks des parametres reasoning_effort et enable_thinking en low / false

Code :

2026-08-15 10:17:42 [DEBUG]
Received request: POST to /v1/chat/completions with body {
"model": "qwen3.8-27b",
"messages": [
{
"role": "system",
"content": "Tu es un assistant. Réponds en une phrase courte, sans réfléchir longuement."
},
{
"role": "user",
"content": "Dis-moi bonjour en une phrase."
}
],
"temperature": 0.7,
"max_tokens": 300,
"extra_body": {
"chat_template_kwargs": {
"enable_thinking": false,
"reasoning_effort": "low"
}
},
"reasoning_effort": "low"
}
2026-08-15 10:17:42 [WARN]
[lmstudio-community/qwen3.8-27b] Reasoning setting 'low' is not supported by model 'lmstudio-community/Qwen3.8-27B-GGUF/Qwen3.8-27B-Q4_K_M.gguf'. Supported settings: 'on', 'off'. Falling back to reasoning setting 'on'.

ou via lms log stream :

Code :

modelPath: lmstudio-community/Qwen3.8-27B-GGUF/Qwen3.8-27B-Q4_K_M.gguf
input:
<|im_start|>system
Reasoning effort is set to xhigh. Please think carefully through the task, validate key assumptions, consider plausible alternatives, and prioritize correctness, consistency, and clarity in the final answer.
Tu es un assistant. Réponds en une phrase courte, sans réfléchir longuement.<|im_end|>
<|im_start|>user
Dis-moi bonjour en une phrase.<|im_end|>
<|im_start|>assistant
<think>

J'ia essayé avec le llm d'Unsloth, et le nouveau GGUF de Lm studio (identique à celui de Qwen, je suppose)
https://huggingface.co/lmstudio-com [...] 8-27B-GGUF

J'imagine que le moteur est pas à jour, ou la template Jinja... Je sais que c'est tentant mais attends un peu que tout ça soit supporté correctement

---------------
:wq

yohaskan

Oui j'avais lu ça,
Un peu étrange que la temp soit plus basse en mode instruct, mais bon s'il a été entraîné comme ça...

mais je doute que ca change quoi que ce soit pour la désactivation de son raisonnement ou gestion de son effort.

Donc ouais faut attendre un fix.
C'est chiant ces lancement foireux (Muse n'etait pas mieux), mais en même temps ca a un coté Wild Wild West ces LLM ; on est des pionniers

Message édité par yohaskan le 15-08-2026 à 11:13:01

the_fennec

f3nn3cUs z3rd4

Le soucis est déjà fixé dans llama.cpp:
https://github.com/ggml-org/llama.c [...] 446bd5460a

---------------
Faudra que je teste un jour :o

Pipould's

Team VLLM vous etes ou ? ^^

Y'a pas a dire VLLM et leur technique de prefill en meme temps que generation c'est un cran a dessus de llamacpp...

Message cité 1 fois

neo world

Faut une grappe de GPU pour que ce soit intéressant de passer à vllm non ?

Dans les tests que j’ai vu en mono gpu llama sortait un peu plus de tokens / seconde

Message cité 1 fois

Plam

Bear Metal

vLLM team ici, même si en mono GPU, avec pas mal de concurrence (et pas qu'une usage perso sur un seul GPU), ça tourne très bien :jap:

---------------
Spécialiste du bear metal

Pipould's

neo world a écrit :

Faut une grappe de GPU pour que ce soit intéressant de passer à vllm non ?

Dans les tests que j’ai vu en mono gpu llama sortait un peu plus de tokens / seconde

En sequentiel pur oui, mais des que tu touches a du claude code ou autre t'as forcement des concurrences

M300A

Pipould's a écrit :

Team VLLM vous etes ou ? ^^

Y'a pas a dire VLLM et leur technique de prefill en meme temps que generation c'est un cran a dessus de llamacpp...

Bah DS4 Flash 0731, si un jour on reçoit 4 RTX6K en plus j'envisagerais un GLM voir un Kimi mais pour le moment je pense que je vais rien changer avant un moment.

---------------
:wq

yohaskan

Bon j'ai retenté Qwen3.8 27B pour faire le Starfox-like, mais ce coup ci via Cline VScode , pour lui signaler les bugs
Prompt :
Create a spaceship game inspired by Star Fox using vanilla Three.js and HTML. It should have at least five levels, keyboard and mouse controls, enemies, and a fully functional gameplay system.

14:27 Thinking en masse...
14.41: 1er gabarit html vide, sections J1 à J10
14:44 fin codage j1 à J4
14:47 fin codage j5 à J10
14:47 verification du code JS
14:49 I found a real bug: inside mouseToWorld()
14H50 Completed (d'après qwen...)

Je lance : ok j'ai un beau menu scintillant, je lance la partie... je vois le vaisseau et l'espace qui défile... pendant 3 seconde max, avant freeze total

Code :

Oui, j'ai bien lu ton message — et __j'ai trouvé le bug exact__. Voici le diagnostic complet :
## Diagnostic du freeze (≈ 3 s après le lancement)
__Cause racine — ligne 346 de `index.html` :__ dans `makeEnemy()`, l'objet ennemi `e` est créé __sans jamais lui assigner son groupe Three.js__ :
```js
const e={type,t:rand(0,6),hp:1,...}; // ← pas de propriété "group" !
...
g.position.set(x,y,z);scene.add(g);enemies.push(e);return e; // g est orphelin
```

15h07 : Completed

Corrections appliquées et validées (e.group=g présent exactement 1 fois, node --check OK) :

Code :

# Fix Ligne
1 e.group=g; ajouté dans makeEnemy() ← la cause du freeze 346
2 Particules : plus de dispose de la géométrie partagée (fuite GPU) 469
3 Filet de sécurité : toute erreur JS future s'affiche en bandeau rouge en bas à la place d'un freeze silencieux CSS + HTML + JS
Teste maintenant : recharge la page, lance la partie. Tu devrais voir les drones apparaître après ~3 s, te poursuivre, et être détruisibles au tir. Si un problème persiste, le bandeau rouge en bas de l'écran t'affichera directement le message d'erreur — dis-moi ce qu'il dit et je corrige.

- Ca marche, j'ai sauvé le Royaume de Corneria

Le "jeu" est ici :
https://starfaux.pagedrop.io/

Message édité par yohaskan le 15-08-2026 à 15:45:11

moyen_moins

chat réincarné

bon, qwen 3.8, pour le moment, obligé de désactiver le mode thinking car à part me bouffer mon contexte (limité), c'est inutilisable sinon.
et le machin d'unsloth là [:ograoum papas:1]

Tronklou

❤❤ Vrp Bambulab à mi-temps ❤❤

Impossible de faire fonctionner correctement la repartition avec unsloth desktop, a chaque fois il me met des couches cpu et ca descend a 7 tok/s

Quand les bc250 sont de nouveaux libre je me rabat dessus avec llama.cpp

---------------
Victime de girafophobie, mais se soigne.

neo world

pas de problème ici avec LM Studio et un MAC 48GB :jap:

Tronklou

❤❤ Vrp Bambulab à mi-temps ❤❤

C'est pas du tout les mêmes config aussi

Une 3060+5070ti

---------------
Victime de girafophobie, mais se soigne.

the_fennec

f3nn3cUs z3rd4

Tout marche bien chez moi avec llama.cpp

Qwen 3.8 27B first tests - 16GB Local LLM setup
Luke's Dev Lab
https://www.youtube.com/watch?v=1EzVVj7DFPc

TL;DR: pretty impressed

---------------
Faudra que je teste un jour :o

Plam

Bear Metal

ça marche ici avec vLLM, en effet le thinking en xhigh par défaut ça fait du token

---------------
Spécialiste du bear metal

the_fennec

f3nn3cUs z3rd4

Sans surprise 35B devrait suivre ensuite:
https://www.reddit.com/r/LocalLLaMA [...] b_spotted/

---------------
Faudra que je teste un jour :o

neo world

C'est pas idéal mais le raport qualité prix est quand même présent (bordel c'est un Mac pourtant) :
https://www.dealabs.com/bons-plans/ [...] ub-3393465

410GB/s de bande passante mémoire

neo world

Qwen 3.8 :

Citation :

Actually, let me be mindful of the token budget

Also Qwen 3.8 :

La question (un peu ouverte certes) faisait 84 token avec le skill idea refine chargé :whistle:

Message cité 1 fois

Pipould's

neo world a écrit :

Qwen 3.8 :

Citation :

Actually, let me be mindful of the token budget

Also Qwen 3.8 :
https://rehost.diberie.com/Picture/Get/f/536425

La question (un peu ouverte certes) faisait 84 token avec le skill idea refine chargé :whistle:

tu es sur quel harness la ?

neo world

Le module chat LM studio avec un MCP d’accès à internet / recherche web.
À noter que la question ne demandait à developper aucune ligne de code mais poussait à lire des papiers scientifiques :jap:

yohaskan

Les attentes pour les LLM de code étant différentes de celles des LLM d’instruction utilisés en temps réel (type chat), ce point vous intéressera peut-être moins.
Mais la latence induite par le raisonnement n’est pas toujours utile, et le problème devient de plus en plus visible avec les modèles qui raisonnent de plus en plus longtemps.

J’ai fait un petit test avec Qwen3.8 27B, en comparant le mode thinking ON/OFF — pour l’instant le seul paramètre exploitable avec ce modèle, en attendant le correctif du bug côté Llama soit propagé aux autres runetime (LM Studio/vLLM) .

Sur une même série de cas :
thinking ON : raisonnement poussé au maximum (xhigh) ;
thinking OFF : réponse directe.

Le résultat est assez clair : thinking OFF est meilleur sur les deux axes :
Précision : 91 % vs 82 %
Latence : 0,60 s vs 4,11 s, soit environ 7× plus rapide.

Et certains cas sont particulièrement révélateurs.

Le cas calculate est probablement le plus parlant : avec thinking ON, le modèle consomme ses 1400 tokens de raisonnement et passe environ 22 secondes à réfléchir… sans jamais appeler l’outil. Avec thinking OFF, il fait également le mauvais choix (search_wiki au lieu de calculate), mais en 0,5 s. Le problème vient donc probablement davantage du prompt que d'un manque de raisonnement — mais le thinking transforme une petite erreur en énorme pénalité de latence.

Autre cas intéressant : pour search_wiki vs analyze_screen, le mode ON suit de manière très rigide la règle « regarde → analyze_screen() », alors que le mode OFF comprend mieux le contexte et choisit search_wiki. Le raisonnement maximal n'améliore donc pas nécessairement la compréhension : il peut aussi pousser le modèle à sur-appliquer certaines règles du prompt.

C'est finalement le point intéressant du test : plus de raisonnement ne signifie pas forcément de meilleures décisions, surtout lorsque la tâche demande avant tout une réponse rapide et une bonne interprétation du contexte.

Code :

======================================================================
CAS : 'Triss, ça va ?'
Attendu : conversation (cas simple)
======================================================================
[on (xhigh)] essai 1/3 : ✅ sélectionné='conversation' latence=2.25s reasoning_tokens=85
[on (xhigh)] essai 2/3 : ✅ sélectionné='conversation' latence=1.19s reasoning_tokens=65
[on (xhigh)] essai 3/3 : ✅ sélectionné='conversation' latence=1.32s reasoning_tokens=70
[off (none)] essai 1/3 : ✅ sélectionné='conversation' latence=0.84s reasoning_tokens=0
[off (none)] essai 2/3 : ✅ sélectionné='conversation' latence=0.31s reasoning_tokens=0
[off (none)] essai 3/3 : ✅ sélectionné='conversation' latence=0.29s reasoning_tokens=0
======================================================================
CAS : 'Triss regarde mon écran'
Attendu : analyze_screen (cas simple)
======================================================================
[on (xhigh)] essai 1/3 : ✅ sélectionné='analyze_screen' latence=1.68s reasoning_tokens=69
[on (xhigh)] essai 2/3 : ✅ sélectionné='analyze_screen' latence=1.92s reasoning_tokens=94
[on (xhigh)] essai 3/3 : ✅ sélectionné='analyze_screen' latence=1.55s reasoning_tokens=80
[off (none)] essai 1/3 : ✅ sélectionné='analyze_screen' latence=0.98s reasoning_tokens=0
[off (none)] essai 2/3 : ✅ sélectionné='analyze_screen' latence=0.26s reasoning_tokens=0
[off (none)] essai 3/3 : ✅ sélectionné='analyze_screen' latence=0.23s reasoning_tokens=0
======================================================================
CAS : "Qu'est-ce qui s'est passé ces 5 dernières minutes ?"
Attendu : analyze_visual_memory (cas simple)
======================================================================
[on (xhigh)] essai 1/3 : ✅ sélectionné='analyze_visual_memory' latence=1.98s reasoning_tokens=66
[on (xhigh)] essai 2/3 : ✅ sélectionné='analyze_visual_memory' latence=1.84s reasoning_tokens=105
[on (xhigh)] essai 3/3 : ✅ sélectionné='analyze_visual_memory' latence=1.63s reasoning_tokens=86
[off (none)] essai 1/3 : ✅ sélectionné='analyze_visual_memory' latence=0.99s reasoning_tokens=0
[off (none)] essai 2/3 : ✅ sélectionné='analyze_visual_memory' latence=0.26s reasoning_tokens=0
[off (none)] essai 3/3 : ✅ sélectionné='analyze_visual_memory' latence=0.25s reasoning_tokens=0
======================================================================
CAS : 'Mémorise que la base est au nord du lac'
Attendu : store_memory (cas simple)
======================================================================
[on (xhigh)] essai 1/3 : ✅ sélectionné='store_memory' latence=3.89s reasoning_tokens=148
[on (xhigh)] essai 2/3 : ✅ sélectionné='store_memory' latence=3.9s reasoning_tokens=216
[on (xhigh)] essai 3/3 : ✅ sélectionné='store_memory' latence=3.33s reasoning_tokens=150
[off (none)] essai 1/3 : ✅ sélectionné='store_memory' latence=1.68s reasoning_tokens=0
[off (none)] essai 2/3 : ✅ sélectionné='store_memory' latence=0.84s reasoning_tokens=0
[off (none)] essai 3/3 : ✅ sélectionné='store_memory' latence=0.84s reasoning_tokens=0
======================================================================
CAS : "Tu te souviens de la route bleue qu'on avait notée ?"
Attendu : search_memory (cas simple)
======================================================================
[on (xhigh)] essai 1/3 : ✅ sélectionné='search_memory' latence=2.44s reasoning_tokens=77
[on (xhigh)] essai 2/3 : ✅ sélectionné='search_memory' latence=2.33s reasoning_tokens=121
[on (xhigh)] essai 3/3 : ✅ sélectionné='search_memory' latence=1.56s reasoning_tokens=87
[off (none)] essai 1/3 : ✅ sélectionné='search_memory' latence=1.1s reasoning_tokens=0
[off (none)] essai 2/3 : ✅ sélectionné='search_memory' latence=0.36s reasoning_tokens=0
[off (none)] essai 3/3 : ✅ sélectionné='search_memory' latence=0.34s reasoning_tokens=0
======================================================================
CAS : 'Fais-moi un résumé de la dernière session'
Attendu : get_session_summary (cas simple)
======================================================================
[on (xhigh)] essai 1/3 : ✅ sélectionné='get_session_summary' latence=1.97s reasoning_tokens=61
[on (xhigh)] essai 2/3 : ✅ sélectionné='get_session_summary' latence=1.61s reasoning_tokens=91
[on (xhigh)] essai 3/3 : ✅ sélectionné='get_session_summary' latence=1.43s reasoning_tokens=74
[off (none)] essai 1/3 : ✅ sélectionné='get_session_summary' latence=0.98s reasoning_tokens=0
[off (none)] essai 2/3 : ✅ sélectionné='get_session_summary' latence=0.24s reasoning_tokens=0
[off (none)] essai 3/3 : ✅ sélectionné='get_session_summary' latence=0.24s reasoning_tokens=0
======================================================================
CAS : "J'ai 12 clous et 8 planches, combien de barricades je peux poser ?"
Attendu : calculate (cas simple)
======================================================================
[on (xhigh)] essai 1/3 : ❌ sélectionné='search_wiki' latence=20.23s reasoning_tokens=1156
[on (xhigh)] essai 2/3 : ❌ sélectionné=None latence=22.47s reasoning_tokens=1400
[on (xhigh)] essai 3/3 : ❌ sélectionné=None latence=22.89s reasoning_tokens=1400
[off (none)] essai 1/3 : ❌ sélectionné='search_wiki' latence=0.92s reasoning_tokens=0
[off (none)] essai 2/3 : ❌ sélectionné='search_wiki' latence=0.52s reasoning_tokens=0
[off (none)] essai 3/3 : ❌ sélectionné='search_wiki' latence=0.5s reasoning_tokens=0
======================================================================
CAS : "Putain ce zombie m'a eu par derrière..."
Attendu : silence (monologue, pas de nom)
======================================================================
[on (xhigh)] essai 1/3 : ✅ sélectionné='silence' latence=3.18s reasoning_tokens=93
[on (xhigh)] essai 2/3 : ✅ sélectionné='silence' latence=2.04s reasoning_tokens=115
[on (xhigh)] essai 3/3 : ✅ sélectionné='silence' latence=3.06s reasoning_tokens=167
[off (none)] essai 1/3 : ✅ sélectionné='silence' latence=1.33s reasoning_tokens=0
[off (none)] essai 2/3 : ✅ sélectionné='silence' latence=0.57s reasoning_tokens=0
[off (none)] essai 3/3 : ✅ sélectionné='silence' latence=0.56s reasoning_tokens=0
======================================================================
CAS : 'Bon, je vais rouler un peu et je vais regarder mes informations concernant le personnage.'
Attendu : analyze_screen (AMBIGU — échec en prod (dialogue-PZ-03))
======================================================================
[on (xhigh)] essai 1/3 : ✅ sélectionné='analyze_screen' latence=2.61s reasoning_tokens=78
[on (xhigh)] essai 2/3 : ✅ sélectionné='analyze_screen' latence=3.19s reasoning_tokens=182
[on (xhigh)] essai 3/3 : ✅ sélectionné='analyze_screen' latence=2.0s reasoning_tokens=122
[off (none)] essai 1/3 : ✅ sélectionné='analyze_screen' latence=0.64s reasoning_tokens=0
[off (none)] essai 2/3 : ✅ sélectionné='analyze_screen' latence=0.31s reasoning_tokens=0
[off (none)] essai 3/3 : ✅ sélectionné='analyze_screen' latence=0.27s reasoning_tokens=0
======================================================================
CAS : 'Triss, Réponds-moi.'
Attendu : conversation (AMBIGU — échec en prod (dialogue-PZ-03))
======================================================================
[on (xhigh)] essai 1/3 : ✅ sélectionné='conversation' latence=2.33s reasoning_tokens=78
[on (xhigh)] essai 2/3 : ✅ sélectionné='conversation' latence=1.96s reasoning_tokens=106
[on (xhigh)] essai 3/3 : ✅ sélectionné='conversation' latence=1.57s reasoning_tokens=75
[off (none)] essai 1/3 : ✅ sélectionné='conversation' latence=0.6s reasoning_tokens=0
[off (none)] essai 2/3 : ✅ sélectionné='conversation' latence=0.28s reasoning_tokens=0
[off (none)] essai 3/3 : ✅ sélectionné='conversation' latence=0.27s reasoning_tokens=0
======================================================================
CAS : 'Regarde sur le wiki comment soigner une infection'
Attendu : search_wiki (AMBIGU — conflit règle 'regarde' vs 'wiki')
======================================================================
[on (xhigh)] essai 1/3 : ❌ sélectionné='analyze_screen' latence=4.11s reasoning_tokens=205
[on (xhigh)] essai 2/3 : ❌ sélectionné='analyze_screen' latence=3.54s reasoning_tokens=205
[on (xhigh)] essai 3/3 : ❌ sélectionné='analyze_screen' latence=2.77s reasoning_tokens=169
[off (none)] essai 1/3 : ✅ sélectionné='search_wiki' latence=1.11s reasoning_tokens=0
[off (none)] essai 2/3 : ✅ sélectionné='search_wiki' latence=0.4s reasoning_tokens=0
[off (none)] essai 3/3 : ✅ sélectionné='search_wiki' latence=0.38s reasoning_tokens=0
######################################################################
RÉSUMÉ
######################################################################
thinking ON (xhigh) (33 appels) :
précision : 82%
latence moyenne : 4.11s
reasoning_tokens moyen : 221
thinking OFF (none) (33 appels) :
précision : 91%
latence moyenne : 0.60s
reasoning_tokens moyen : 0

Message cité 2 fois
Message édité par yohaskan le 16-08-2026 à 11:31:27

Pipould's

yohaskan a écrit :

Code :

======================================================================
CAS : 'Triss, ça va ?'
Attendu : conversation (cas simple)
======================================================================
[on (xhigh)] essai 1/3 : ✅ sélectionné='conversation' latence=2.25s reasoning_tokens=85
[on (xhigh)] essai 2/3 : ✅ sélectionné='conversation' latence=1.19s reasoning_tokens=65
[on (xhigh)] essai 3/3 : ✅ sélectionné='conversation' latence=1.32s reasoning_tokens=70
[off (none)] essai 1/3 : ✅ sélectionné='conversation' latence=0.84s reasoning_tokens=0
[off (none)] essai 2/3 : ✅ sélectionné='conversation' latence=0.31s reasoning_tokens=0
[off (none)] essai 3/3 : ✅ sélectionné='conversation' latence=0.29s reasoning_tokens=0
======================================================================
CAS : 'Triss regarde mon écran'
Attendu : analyze_screen (cas simple)
======================================================================
[on (xhigh)] essai 1/3 : ✅ sélectionné='analyze_screen' latence=1.68s reasoning_tokens=69
[on (xhigh)] essai 2/3 : ✅ sélectionné='analyze_screen' latence=1.92s reasoning_tokens=94
[on (xhigh)] essai 3/3 : ✅ sélectionné='analyze_screen' latence=1.55s reasoning_tokens=80
[off (none)] essai 1/3 : ✅ sélectionné='analyze_screen' latence=0.98s reasoning_tokens=0
[off (none)] essai 2/3 : ✅ sélectionné='analyze_screen' latence=0.26s reasoning_tokens=0
[off (none)] essai 3/3 : ✅ sélectionné='analyze_screen' latence=0.23s reasoning_tokens=0
======================================================================
CAS : "Qu'est-ce qui s'est passé ces 5 dernières minutes ?"
Attendu : analyze_visual_memory (cas simple)
======================================================================
[on (xhigh)] essai 1/3 : ✅ sélectionné='analyze_visual_memory' latence=1.98s reasoning_tokens=66
[on (xhigh)] essai 2/3 : ✅ sélectionné='analyze_visual_memory' latence=1.84s reasoning_tokens=105
[on (xhigh)] essai 3/3 : ✅ sélectionné='analyze_visual_memory' latence=1.63s reasoning_tokens=86
[off (none)] essai 1/3 : ✅ sélectionné='analyze_visual_memory' latence=0.99s reasoning_tokens=0
[off (none)] essai 2/3 : ✅ sélectionné='analyze_visual_memory' latence=0.26s reasoning_tokens=0
[off (none)] essai 3/3 : ✅ sélectionné='analyze_visual_memory' latence=0.25s reasoning_tokens=0
======================================================================
CAS : 'Mémorise que la base est au nord du lac'
Attendu : store_memory (cas simple)
======================================================================
[on (xhigh)] essai 1/3 : ✅ sélectionné='store_memory' latence=3.89s reasoning_tokens=148
[on (xhigh)] essai 2/3 : ✅ sélectionné='store_memory' latence=3.9s reasoning_tokens=216
[on (xhigh)] essai 3/3 : ✅ sélectionné='store_memory' latence=3.33s reasoning_tokens=150
[off (none)] essai 1/3 : ✅ sélectionné='store_memory' latence=1.68s reasoning_tokens=0
[off (none)] essai 2/3 : ✅ sélectionné='store_memory' latence=0.84s reasoning_tokens=0
[off (none)] essai 3/3 : ✅ sélectionné='store_memory' latence=0.84s reasoning_tokens=0
======================================================================
CAS : "Tu te souviens de la route bleue qu'on avait notée ?"
Attendu : search_memory (cas simple)
======================================================================
[on (xhigh)] essai 1/3 : ✅ sélectionné='search_memory' latence=2.44s reasoning_tokens=77
[on (xhigh)] essai 2/3 : ✅ sélectionné='search_memory' latence=2.33s reasoning_tokens=121
[on (xhigh)] essai 3/3 : ✅ sélectionné='search_memory' latence=1.56s reasoning_tokens=87
[off (none)] essai 1/3 : ✅ sélectionné='search_memory' latence=1.1s reasoning_tokens=0
[off (none)] essai 2/3 : ✅ sélectionné='search_memory' latence=0.36s reasoning_tokens=0
[off (none)] essai 3/3 : ✅ sélectionné='search_memory' latence=0.34s reasoning_tokens=0
======================================================================
CAS : 'Fais-moi un résumé de la dernière session'
Attendu : get_session_summary (cas simple)
======================================================================
[on (xhigh)] essai 1/3 : ✅ sélectionné='get_session_summary' latence=1.97s reasoning_tokens=61
[on (xhigh)] essai 2/3 : ✅ sélectionné='get_session_summary' latence=1.61s reasoning_tokens=91
[on (xhigh)] essai 3/3 : ✅ sélectionné='get_session_summary' latence=1.43s reasoning_tokens=74
[off (none)] essai 1/3 : ✅ sélectionné='get_session_summary' latence=0.98s reasoning_tokens=0
[off (none)] essai 2/3 : ✅ sélectionné='get_session_summary' latence=0.24s reasoning_tokens=0
[off (none)] essai 3/3 : ✅ sélectionné='get_session_summary' latence=0.24s reasoning_tokens=0
======================================================================
CAS : "J'ai 12 clous et 8 planches, combien de barricades je peux poser ?"
Attendu : calculate (cas simple)
======================================================================
[on (xhigh)] essai 1/3 : ❌ sélectionné='search_wiki' latence=20.23s reasoning_tokens=1156
[on (xhigh)] essai 2/3 : ❌ sélectionné=None latence=22.47s reasoning_tokens=1400
[on (xhigh)] essai 3/3 : ❌ sélectionné=None latence=22.89s reasoning_tokens=1400
[off (none)] essai 1/3 : ❌ sélectionné='search_wiki' latence=0.92s reasoning_tokens=0
[off (none)] essai 2/3 : ❌ sélectionné='search_wiki' latence=0.52s reasoning_tokens=0
[off (none)] essai 3/3 : ❌ sélectionné='search_wiki' latence=0.5s reasoning_tokens=0
======================================================================
CAS : "Putain ce zombie m'a eu par derrière..."
Attendu : silence (monologue, pas de nom)
======================================================================
[on (xhigh)] essai 1/3 : ✅ sélectionné='silence' latence=3.18s reasoning_tokens=93
[on (xhigh)] essai 2/3 : ✅ sélectionné='silence' latence=2.04s reasoning_tokens=115
[on (xhigh)] essai 3/3 : ✅ sélectionné='silence' latence=3.06s reasoning_tokens=167
[off (none)] essai 1/3 : ✅ sélectionné='silence' latence=1.33s reasoning_tokens=0
[off (none)] essai 2/3 : ✅ sélectionné='silence' latence=0.57s reasoning_tokens=0
[off (none)] essai 3/3 : ✅ sélectionné='silence' latence=0.56s reasoning_tokens=0
======================================================================
CAS : 'Bon, je vais rouler un peu et je vais regarder mes informations concernant le personnage.'
Attendu : analyze_screen (AMBIGU — échec en prod (dialogue-PZ-03))
======================================================================
[on (xhigh)] essai 1/3 : ✅ sélectionné='analyze_screen' latence=2.61s reasoning_tokens=78
[on (xhigh)] essai 2/3 : ✅ sélectionné='analyze_screen' latence=3.19s reasoning_tokens=182
[on (xhigh)] essai 3/3 : ✅ sélectionné='analyze_screen' latence=2.0s reasoning_tokens=122
[off (none)] essai 1/3 : ✅ sélectionné='analyze_screen' latence=0.64s reasoning_tokens=0
[off (none)] essai 2/3 : ✅ sélectionné='analyze_screen' latence=0.31s reasoning_tokens=0
[off (none)] essai 3/3 : ✅ sélectionné='analyze_screen' latence=0.27s reasoning_tokens=0
======================================================================
CAS : 'Triss, Réponds-moi.'
Attendu : conversation (AMBIGU — échec en prod (dialogue-PZ-03))
======================================================================
[on (xhigh)] essai 1/3 : ✅ sélectionné='conversation' latence=2.33s reasoning_tokens=78
[on (xhigh)] essai 2/3 : ✅ sélectionné='conversation' latence=1.96s reasoning_tokens=106
[on (xhigh)] essai 3/3 : ✅ sélectionné='conversation' latence=1.57s reasoning_tokens=75
[off (none)] essai 1/3 : ✅ sélectionné='conversation' latence=0.6s reasoning_tokens=0
[off (none)] essai 2/3 : ✅ sélectionné='conversation' latence=0.28s reasoning_tokens=0
[off (none)] essai 3/3 : ✅ sélectionné='conversation' latence=0.27s reasoning_tokens=0
======================================================================
CAS : 'Regarde sur le wiki comment soigner une infection'
Attendu : search_wiki (AMBIGU — conflit règle 'regarde' vs 'wiki')
======================================================================
[on (xhigh)] essai 1/3 : ❌ sélectionné='analyze_screen' latence=4.11s reasoning_tokens=205
[on (xhigh)] essai 2/3 : ❌ sélectionné='analyze_screen' latence=3.54s reasoning_tokens=205
[on (xhigh)] essai 3/3 : ❌ sélectionné='analyze_screen' latence=2.77s reasoning_tokens=169
[off (none)] essai 1/3 : ✅ sélectionné='search_wiki' latence=1.11s reasoning_tokens=0
[off (none)] essai 2/3 : ✅ sélectionné='search_wiki' latence=0.4s reasoning_tokens=0
[off (none)] essai 3/3 : ✅ sélectionné='search_wiki' latence=0.38s reasoning_tokens=0
######################################################################
RÉSUMÉ
######################################################################
thinking ON (xhigh) (33 appels) :
précision : 82%
latence moyenne : 4.11s
reasoning_tokens moyen : 221
thinking OFF (none) (33 appels) :
précision : 91%
latence moyenne : 0.60s
reasoning_tokens moyen : 0

Du coup dans quels cas de figure vois tu un avantage a avoir un raisonement ?

Page : 1 2 3 4 5 .. 36 37 38 .. 68 69 70 71 72 73

Page Suivante

Page Précédente

Haut de page

FORUM HardWare.fr

Intelligence Artificielle

Infra IA : aide au choix et troubleshot de LLM Locaux

Sujets relatifs
[Topic unique] IA générative de texte, ChatGPT, Copilot, Gemini & co	sécurité de l'IA / agentique et des Devs en roue libre
Plus de sujets relatifs à : Infra IA : aide au choix et troubleshot de LLM Locaux

Page générée en 0.264 secondes