Infra IA : aide au choix et troubleshot de LLM locaux

Recherche :

Mot : Pseudo : Filtrer Aller à la page :
Page : 1 2 3 4 5 .. 19 20 21 22 23 24 Page Suivante Page Précédente Bas de page
Auteur	Sujet : Infra IA : aide au choix et troubleshot de LLM locaux

neo world

Reprise du message précédent :
et avec une grosse bande passante (de tête 800GO/s) en M3 Ultra. c'est une machine de guerre mais même là ça plafonne à 20 tokens / seconde

Avec la crise de la RAM ça va être compliqué de faire tourner ce type de modèle avec un budget 3000€ ou moins (on doit pas être loin des 10k€ avec deux DGX spark ou 5k€ avec deux strix halo) ou alors faut taper les 10 BC250 en promotion pour 2600 balles mais ça fait beaucoup de temps perdu en réseau

b-tzu

Geek a toute heure...

Ouaip rien de faisable pour un particulier qui n'a pas des millions sous la main

---------------
Topic Ventes || Topic Jeux Vidéos || Topic Téléphonie (Rien pour le moment)

neo world

avec des millions, tu empiles quelques 6000 blackwell sans trop transpirer

Olivie

SUUUUUUUUUUUUUU

b-tzu a écrit :

256 Go de RAM :ouch:

Après la c'est pour faire tourner presque ce qui se fait de mieux en terme de LLM.
Pour une boîte qui se soucie de ses données, c'est pas un budget infranchissable 1To de RAM

---------------

the_fennec

f3nn3cUs z3rd4

bounty2k a écrit :

D'ailleurs pour l'anecdote j'ai testé LlamaCPP et Ollama sur un PC a base d'Ultra 5 235U eh bien sur ollama l'inférence se fait sur le CPU alors que llamaCPP utilise le GPU.
Par contre je n'ai pas réussi a utiliser le NPU, trop compliqué même avec la version spécifique llamaCPP.
Mais j'ai vue sur une chaine YT qui est déja passé sur le topic que le NPU était moins performant que le GPU mais plus efficient, donc l'intérêt est très relatif. Il montrait d'ailleur que llamaCPP était plus rapide en Vulkan que l'environnement OpenVINO d'Intel :lol:

Vulkan FTW, j'ai de meilleurs perfs qu'avec le mix CUDA/Vulkan dans mon cas.
Faudrait voir ce que ça donne si tu utilises le NPU + iGPU, si c'est possible.

b-tzu a écrit :

jai essayé le igpu, avec un modele 8B qwen 3 jetais a 8 token seconde, ca passe encore.
la je teste le tiens, je ne sais pas pourquoi il ne genere rien. le serveur tourne, mais je nai rien sur linterface quand je fais un prompt. mais j'ai deja essayé un tout petit, un 1.5B.

Donnes ta ligne de commande et les logs, je peux pas deviner
Essaye en Vulkan pour voir, ya rien a changer, juste télécharge le build Vulkan.

Message cité 1 fois

---------------
Faudra que je teste un jour :o

the_fennec

f3nn3cUs z3rd4

Olivie a écrit :

Version 1 bit

Citation :

@UnslothAI
1-bit GLM-5.2 GGUF vs. Claude 4.8 Opus vs. GPT-5.5

We gave 3 models the same prompt and compared one-shot outputs.

The 1-bit GLM-5.2 GGUF ran locally on a Mac Studio M3 Ultra with 256GB RAM at ~21.6 tok/s.

Which output do you like best?
GGUF: https://huggingface.co/unsloth/GLM-5.2-GGUF

Ya des versions REAP aussi, avec des experts retirés, mais 1bit c'est pour le fun, on peut pas espérer faire grand-chose avec.

Message cité 1 fois

---------------
Faudra que je teste un jour :o

Olivie

SUUUUUUUUUUUUUU

the_fennec a écrit :

Ya des versions REAP aussi, avec des experts retirés, mais 1bit c'est pour le fun, on peut pas espérer faire grand-chose avec.

Ben ça permet de faire des animations

https://x.com/UnslothAI/status/2069 [...] deo/1?s=46

Message cité 1 fois

---------------

the_fennec

f3nn3cUs z3rd4

Olivie a écrit :

Ben ça permet de faire des animations

https://img3.super-h.fr/images/2026 [...] 079604.jpg
https://x.com/UnslothAI/status/2069 [...] deo/1?s=46

Impressionnant que ça fasse quelque chose quand même. Après Unsloth est assez bon avec ses UD, 1 bit c'est une moyenne et ils dégagent des données pour allouer une partie des bits a ce qui reste.

Message édité par the_fennec le 24-06-2026 à 10:09:26

---------------
Faudra que je teste un jour :o

b-tzu

Geek a toute heure...

the_fennec a écrit :

Vulkan FTW, j'ai de meilleurs perfs qu'avec le mix CUDA/Vulkan dans mon cas.
Faudrait voir ce que ça donne si tu utilises le NPU + iGPU, si c'est possible.

the_fennec a écrit :

Donnes ta ligne de commande et les logs, je peux pas deviner
Essaye en Vulkan pour voir, ya rien a changer, juste télécharge le build Vulkan.

voila la ligne de commande, les logs cest dessus aussi ? ou y'a un autre fichier
pour vulkan pourquoi pas, mais ou on le trouve, et comment il s'installe ?

Code :

Python 3.14.6
[setupvars.bat] OpenVINO environment initialized
===================================================
Lancement du moteur Llama.cpp
Cible materielle : NPU
Modele charge : Qwen3.5-2B-Q4_K_M.gguf
===================================================
0.00.351.738 I log_info: verbosity = 3 (adjust with the `-lv N` CLI arg)
0.00.351.752 I device_info:
0.00.351.765 I - OPENVINO0: OpenVINO Runtime (32239 MiB, 8095 MiB free)
0.00.351.770 I - CPU : Intel(R) Core(TM) Ultra 7 258V (32239 MiB, 8095 MiB free)
0.00.351.815 I system_info: n_threads = 8 (n_threads_batch = 8) / 8 | CPU : SSE3 = 1 | SSSE3 = 1 | AVX = 1 | AVX2 = 1 | F16C = 1 | FMA = 1 | LLAMAFILE = 1 | OPENMP = 1 | REPACK = 1 |
0.00.351.892 I srv init: running without SSL
0.00.351.994 I srv init: using 7 threads for HTTP server
0.00.354.422 I srv start: binding port with default address family
0.00.358.172 I srv llama_server: loading model
0.00.358.521 I srv load_model: loading model 'C:\Users\Bessalel\.lmstudio\models\Qwen3.5-2B-Q4_K_M.gguf'
0.00.358.537 I common_init_result: fitting params to device memory ...
0.00.358.538 I common_init_result: (for bugs during this step try to reproduce them with -fit off, or provide --verbose logs if the bug only occurs with -fit on)
0.32.690.194 W llama_context: n_ctx_seq (4096) < n_ctx_train (262144) -- the full capacity of the model will not be utilized
0.32.722.922 W sched_reserve: layer 0 is assigned to device OPENVINO0 but the fused Gated Delta Net tensor is assigned to device CPU (usually due to missing support)
0.32.722.938 W sched_reserve: fused Gated Delta Net (autoregressive) not supported, set to disabled
0.32.723.891 W sched_reserve: layer 0 is assigned to device OPENVINO0 but the fused Gated Delta Net tensor is assigned to device CPU (usually due to missing support)
0.32.723.901 W sched_reserve: fused Gated Delta Net (chunked) not supported, set to disabled
0.32.763.309 I srv load_model: initializing slots, n_slots = 1
0.32.781.408 E get_inp_pos_tensor: inp_pos not found in cgraph0.32.782.285 E GGML OpenVINO backend std::exception: get_inp_pos_tensor: inp_pos not found in cgraph
0.32.782.301 E graph_compute: ggml_backend_sched_graph_compute_async failed with error -1
0.32.782.303 E process_ubatch: failed to compute graph, compute status: -1
0.32.782.310 W decode: removing memory module entries for seq_id = 0, pos = [0, +inf)
0.32.782.330 E llama_decode: failed to decode, ret = -3
0.32.782.332 E common_context_can_seq_rm: llama_decode() failed: -3
0.32.789.619 W srv load_model: speculative decoding not supported by this context
0.32.789.669 I slot load_model: id 0 | task -1 | new slot, n_ctx = 4096
0.32.789.810 I srv load_model: prompt cache is enabled, size limit: 8192 MiB
0.32.789.811 I srv load_model: use `--cache-ram 0` to disable the prompt cache
0.32.789.813 I srv load_model: for more info see https://github.com/ggml-org/llama.cpp/pull/16391
0.32.789.814 I srv load_model: context checkpoints enabled, max = 32, min spacing = 8192
0.32.790.243 I srv init: idle slots will be saved to prompt cache upon starting a new task
0.32.876.209 I init: chat template, example_format: '<|im_start|>system
You are a helpful assistant<|im_end|>
<|im_start|>user
Hello<|im_end|>
<|im_start|>assistant
Hi there<|im_end|>
<|im_start|>user
How are you?<|im_end|>
<|im_start|>assistant
<think>
'
0.32.915.604 I srv init: init: chat template, thinking = 1
0.32.916.016 I srv llama_server: model loaded
0.32.916.027 I srv llama_server: server is listening on http://127.0.0.1:1234
0.32.916.916 I srv update_slots: all slots are idle
2.26.505.927 I srv operator (): Chat format: peg-native
2.26.506.795 I slot get_availabl: id 0 | task -1 | selected slot by LRU, t_last = -1
2.26.506.798 I srv get_availabl: updating prompt cache
2.26.507.077 I srv load: - looking for better prompt, base f_keep = -1.000, sim = 0.000
2.26.507.088 I srv update: - cache state: 0 prompts, 0.000 MiB (limits: 8192.000 MiB, 4096 tokens, 8589934592 est)
2.26.507.090 I srv get_availabl: prompt cache update took 0.29 ms
2.26.507.484 I reasoning-budget: activated, budget=2147483647 tokens
2.26.507.490 I reasoning-budget: deactivated (natural end)
2.26.507.512 I slot launch_slot_: id 0 | task 0 | processing task, is_child = 0
2.26.513.011 E get_inp_pos_tensor: inp_pos not found in cgraph2.26.513.066 E GGML OpenVINO backend std::exception: get_inp_pos_tensor: inp_pos not found in cgraph
2.26.513.070 E graph_compute: ggml_backend_sched_graph_compute_async failed with error -1
2.26.513.072 E process_ubatch: failed to compute graph, compute status: -1
2.26.513.075 W decode: removing memory module entries for seq_id = 0, pos = [0, +inf)
2.26.513.101 E llama_decode: failed to decode, ret = -3
2.26.513.105 E srv decode: Compute error. off = 0, n_batch = 2048, ret = -3
2.26.513.107 E srv send_error: task id = 0, error: Compute error.
2.26.513.121 I slot release: id 0 | task 0 | stop processing: n_tokens = 26, truncated = 0
2.26.513.128 I slot prompt_clear: id 0 | task -1 | clearing prompt with 26 tokens
2.26.513.140 W srv stop: cancel task, id_task = 0
2.26.515.227 E srv update_slots: decode() failed: Compute error.
2.26.515.250 I srv update_slots: all slots are idle

Message cité 1 fois

---------------
Topic Ventes || Topic Jeux Vidéos || Topic Téléphonie (Rien pour le moment)

the_fennec

f3nn3cUs z3rd4

OpenVino est toujours pas fini ... si ils mettent les Delta Net sur CPU c'est pour ça que t'as des perfs de merde, les Qwen récent en on besoin.

Code :

0.32.722.922 W sched_reserve: layer 0 is assigned to device OPENVINO0 but the fused Gated Delta Net tensor is assigned to device CPU (usually due to missing support)
0.32.722.938 W sched_reserve: fused Gated Delta Net (autoregressive) not supported, set to disabled
0.32.723.901 W sched_reserve: fused Gated Delta Net (chunked) not supported, set to disabled
0.32.781.408 E get_inp_pos_tensor: inp_pos not found in cgraph0.32.782.285 E GGML OpenVINO backend std::exception: get_inp_pos_tensor: inp_pos not found in cgraph

Essaye Vulkan ou SYCL pour voir.

---------------
Faudra que je teste un jour :o

M300A

Ca sert a quoi openvino la dedans ??

Message cité 1 fois

---------------
:wq

the_fennec

f3nn3cUs z3rd4

M300A a écrit :

Ca sert a quoi openvino la dedans ??

C'est la couche d'abstraction pour Intel, comme CUDA pour Nvidia ou ROCm pour AMD.

Message cité 1 fois

---------------
Faudra que je teste un jour :o

TotalRecall

Pas trop convaincu de l'intérêt de faire tourner des versions 1 bit d'un énorme modèle...
Ok, t'as ton quasibillion de paramètres, mais si c'est pour qu'à la fin le modèle te raconte des conneries dans 10% de ce qu'il crache, autant partir sur un plus petit modèle en Q4 ou autre, ça aura des chances d'être plus fiable, surtout sur des workloads un peu longs (génération, analyse...) qui nécessitent une grande cohérence d'ensemble.

edit : zut j'avais loupé la page 20 . Pas grave je laisse le post, ça plussoie ce qui a déjà été signalé...

Message édité par TotalRecall le 24-06-2026 à 22:42:13

---------------
Topic .Net - C# @ Prog

M300A

the_fennec a écrit :

C'est la couche d'abstraction pour Intel, comme CUDA pour Nvidia ou ROCm pour AMD.

Au oui, je connaissais ça uniquement dans un contexte de traitement vidéo, je savais pas que c'était un framework de tensors générique

---------------
:wq

the_fennec

f3nn3cUs z3rd4

b-tzu a écrit :

voila la ligne de commande, les logs cest dessus aussi ? ou y'a un autre fichier
pour vulkan pourquoi pas, mais ou on le trouve, et comment il s'installe ?

Une vidéo pour toi:
https://www.youtube.com/watch?v=IMJxyrD7iOs

Il teste un NPU Intel aussi et trouve que Openvino marche pas bien, Vulkan est 3x plus rapide, il conclue que le iGPU est beaucoup plus puissant que le NPU.

Pour Vulkan, tu prends juste la version vulkan de llama.cpp, ya rien d'autre a installer:
https://github.com/ggml-org/llama.cpp/releases/

Message cité 1 fois

---------------
Faudra que je teste un jour :o

b-tzu

Geek a toute heure...

the_fennec a écrit :

Vulkan tape dans le gpu ou le npu ?
Je sais que le gpu fait mieux mais je trouve ça aberrant de mettre un npu dans une puce ce qui a du coûter cher en dev, a du impliquer des processus différents de fonderie, Windows d'imposer son copilote plus pc a grand renforts de pub et de partenariat pour au final flouter un arrière plan sur teams
C'est le client qui est flouté ici !

Message cité 1 fois

---------------
Topic Ventes || Topic Jeux Vidéos || Topic Téléphonie (Rien pour le moment)

the_fennec

f3nn3cUs z3rd4

b-tzu a écrit :

Mettre un NPU c'est juste pour vendre de l'IA sur le papier, d'ailleurs je serais pas surpris que ça soit juste une partie du GPU exposée d'une autre manière. Dans son test il montre que le NPU consomme moins de watts, mais le rapport token/watts est meilleur sur le GPU. L'idée du NPU est peut être de "nourrir" copilot tout en laissant le GPU et le CPU tranquille. Mais pour le moment j'estime que c'est juste un attrape gogo, tout comme Copilot d'ailleurs.

Je sais pas si Vulkan peut utiliser le NPU, GPU c'est sur.

Message édité par the_fennec le 25-06-2026 à 09:41:54

---------------
Faudra que je teste un jour :o

b-tzu

Geek a toute heure...

Attrape gogo c'est sûr... je me rends compte encore plus aujourd'hui
Bon je ne l'ai pas acheté pour ça donc ça va, j'aurais gagné du temps si je l'avais su depuis le début.
Après copilot je sais que à la base c'était une sorte d'interface sur GPT non ?
Ça a évolué depuis ? J'ai jamais utilisé

Message cité 1 fois

---------------
Topic Ventes || Topic Jeux Vidéos || Topic Téléphonie (Rien pour le moment)

croustx

Modoadorateur

Savez-vous s'il existe des comparatifs de LLM locaux ?

En gros, pour une taille de VRAM donnée, quelle est la meilleur taille de modèle et de quantisation ?

Message cité 2 fois

neo world

bon et la FP elle est faite pour qui ? [:neostranger]

Citation :

Comment trouver/choisir un modèle d'IA adapté à son besoin ?
Bonne question, ça commence évidemment par son besoin (programmation, agentique, assistant), ensuite un tour par les benchmarks (ou les news de bulldozer sur HFR ) pour voir comment les modèles disponibles en local s'en sortent :

https://www.vellum.ai/open-llm-leaderboard
https://onyx.app/self-hosted-llm-leaderboard
https://livebench.ai/#/?openweight= [...] nbias=true

Message édité par neo world le 25-06-2026 à 10:58:32

the_fennec

f3nn3cUs z3rd4

b-tzu a écrit :

Copilot c'est un nom plaqué sur plein de trucs différents chez MS. Perso sur mon Windows 11 je le vire régulièrement lors d'updates. Je sais pas trop a quoi il peut servir, mais j'en veux pas, ya déjà assez de merdes qui prennent mes resources...

---------------
Faudra que je teste un jour :o

colonel_freeze

croustx a écrit :

Savez-vous s'il existe des comparatifs de LLM locaux ?

En gros, pour une taille de VRAM donnée, quelle est la meilleur taille de modèle et de quantisation ?

https://forum.hardware.fr/forum2.ph [...] r=1#t14221

Message cité 1 fois

lapin

croustx a écrit :

Savez-vous s'il existe des comparatifs de LLM locaux ?

En gros, pour une taille de VRAM donnée, quelle est la meilleur taille de modèle et de quantisation ?

Pourquoi ne pas posé la question à un IA: https://share.gemini.google/9QayjI6ylDii

Citation :

Pour faire tourner des LLM en local, la règle d'or est stricte : **le modèle doit tenir entièrement dans votre VRAM** pour garantir une vitesse de génération fluide (tokens par seconde). Dès que le modèle déborde sur la mémoire système (RAM), les performances s'effondrent.

La formule rapide pour estimer l'empreinte mémoire d'un modèle quantifié est la suivante :

$$\text{VRAM requise (Go)} \approx \frac{\text{Taille du modèle (en Milliards de paramètres)} \times \text{Quantization (en Bits)}}{8} + \text{Overhead du Contexte}$$

---

Le Tableau de Synthèse (VRAM / Modèles / Quantization)

Voici la cartographie pour optimiser vos choix selon votre configuration matérielle :

| VRAM Disponible | Taille de Modèle Idéale | Quantization Recommandée | Modèles Phares (Top Recos) |
| --- | --- | --- | --- |
| **6 Go** *(ex: RTX 3060M, 4050)* | **3B à 4B** ou **7B/8B serré** | **Q4_K_M** (pour 7B) | **Q8** (pour 3B) | **Phi-4-mini (3.8B)**, **Llama 3.2 (3B)**, **Qwen3 (4B)** |
| **8 Go** *(ex: RTX 4060, 5060, RX 7600)* | **7B à 9B parameters** | **Q5_K_M** ou **Q4_K_M** | **Llama 3.1 (8B)**, **Qwen3 (8B)**, **DeepSeek-R1-Distill (7B/8B)** |
| **12 Go** *(ex: RTX 3060 12G, 4070)* | **8B (non compressé) ou 14B** | **Q8_0** (pour 8B) | **Q4_K_M** (pour 14B) | **Qwen3 (14B)**, **Phi-4 (14B)**, **Gemma 3 (12B)** |
| **16 Go** *(ex: RTX 4060 Ti 16G, 5070)* | **14B à 20B parameters** | **Q8_0** (pour 14B) | **Q5_K_M** (pour 16B) | **Qwen3 (14B)**, **DeepSeek-Coder-V2-Lite (16B)** |
| **24 Go** *(ex: RTX 3090, 4090, 5080)* | **27B à 32B parameters** *(Le Sweet Spot)* | **Q5_K_M** ou **Q8_0** (pour 32B) | **Qwen3 (32B)**, **DeepSeek-R1-Distill (32B)**, **Gemma 4 (31B)** |
| **48 Go+** *(ex: 2x RTX 3090/4090 ou Mac Studio)* | **70B parameters** | **Q4_K_M** ou **Q5_K_M** | **Llama 3.3 (70B)**, **DeepSeek-R1-Distill (70B)** |

---

Quelle est la meilleure Quantization (Précision) ?

La quantization réduit le poids du modèle en convertissant les poids (souvent codés en FP16 à l'origine) vers des formats plus légers (en bits).

Le "Sweet Spot" absolu : Q4_K_M ou Q5_K_M
Les formats 4-bit (Q4_K_M) et 5-bit (Q5_K_M) basés sur `llama.cpp` (GGUF) offrent le meilleur compromis mondial. La perte de logique et de précision par rapport au modèle original (FP16) est pratiquement imperceptible pour l'esprit humain, mais ils divisent la mémoire requise par 3 ou 4.
Quand choisir le Q8 (8-bit)
À utiliser uniquement si vous avez de la VRAM en surplus pour une taille de modèle donnée (par exemple, un modèle de 8B sur une carte de 12 Go ou 16 Go). Au-delà de Q8, la différence avec le fichier d'origine non quantifié n'est plus mesurable au quotidien.
À éviter : En dessous de Q3
Les quantizations à 2 bits (Q2_K) détruisent la cohérence syntaxique du modèle. Celui-ci commencera à bégayer, à inventer des mots ou à perdre le fil de la conversation.

---

Recommandations par Profil de VRAM

8 Go de VRAM : Le standard grand public

Le choix se porte naturellement vers les excellents modèles 7B et 8B.

Qwen3 8B ou Llama 3.1 8B en Q5_K_M. Ils occupent environ 5,5 à 6 Go, laissant environ 2 Go pour le système d'exploitation et une taille de contexte décente (8k à 16k tokens).
Pour le code, Qwen 2.5/3 Coder 7B est redoutable à ce niveau.

12 Go à 16 Go de VRAM : Le milieu de gamme performant

Ici, vous pouvez passer un cap architectural majeur en visant les modèles de 14B.

Qwen3 14B en Q5_K_M transfigure l'expérience en termes de raisonnement et de capacités multilingues.
Alternativement, faire tourner un modèle **8B** entièrement chargé en Q8_0 (comme un DeepSeek-R1-Distill-8B orienté raisonnement) vous offrira une vitesse de génération ultra-rapide sans aucun compromis sur la précision.

24 Go de VRAM : Le paradis de l'utilisateur local

C'est la catégorie reine pour les possesseurs de cartes "XX90". C'est ici que les modèles de 32B brillent le plus.

Le champion incontesté est le Qwen3 32B (ou sa déclinaison DeepSeek-R1-Distill-32B) configuré en Q5_K_M ou Q8_0. Le niveau de logique s'approche des versions cloud propriétaires tout en s'exécutant à une vitesse impressionnante.
*Note sur les gros modèles : Vous pouvez tenter de faire entrer un mastodonte comme Llama 3.3 70B en quantization très agressive (Q2_K ou IQ3_XS), mais le modèle sera lourdement ralenti et perdra une partie de son intelligence. Il vaut mieux un excellent 32B en Q8 qu'un 70B complètement bridé en Q2.

Ou sinon pourquoi ne pas poser la question à un LLM Local.

Tu peux aussi poser les questions à un agrégateur d'IA: https://mammouth.ai/

Message cité 1 fois

the_fennec

f3nn3cUs z3rd4

lapin a écrit :

Pourquoi ne pas posé la question à un IA: https://share.gemini.google/9QayjI6ylDii

Citation :

Parce qu'elle dit de la merde
Il suffit de voir le début de la discussion de b-tzu.

Dans ton post généré par IA:
La première ligne est fausse, on peut très bien avoir les experts MoE en RAM et avoir une très bonne perf.
Phi-4-mini est pourrave, Llama 3.2 un vieux truc, DeepSeek-R1-Distill est dépassé, coder aussi... en fait tous les modèles cités ont largement plus d'un an.

...

Dans mon expérience Gemini hallucine complètement et donne des paramètres faux pour llama.cpp.

---------------
Faudra que je teste un jour :o

the_fennec

f3nn3cUs z3rd4

colonel_freeze a écrit :

https://forum.hardware.fr/forum2.ph [...] r=1#t14221

Bof, j'ai testé, c'est pas terrible je trouve, bon c'est sur que j'ai une config exotique aussi.

Message cité 1 fois

---------------
Faudra que je teste un jour :o

morcok

bonjour, quels models vous utilisez pour faire de la transcription d'une réunion de 8 personnes environ ?

yohaskan

"Vous avez dépassé le quota de votes.
Le nombre maximal de votes autorisé est de : 2"

mais j'en cochais 5 ou 6 sur les 8, moi :cry:

A ce propos ca vous interesserait de voir de l'analsye de log des entrailles de la bête ?

Code :

─────────────────────────────────────────────────── RAPPORT CHESIREAI [MODE COMPLET] ───────────────────────────────────────────────────
╭──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╮
│ Modèle : google/gemma-4-12b-it │
│ Session : 15:29:08,103 → 17:15:34,104 │
│ Serveur LM : 2026-06-25 16:49:12 → 2026-06-25 17:15:12 │
│ Requêtes LLM : 54 │
│ Evénements : 2409 total (stt: 401 | audio_state: 1031 | snapshot: 462 | barge_in: 54 | false_vad: 461) │
│ Focuses : server, latency, llm-context, tool-mismatch, budget, summarization, vision, tool-usage, tool-all-usage, tts │
╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯
Composant Métrique Valeur Statut
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
Serveur LM Prédictions 34
Réponses tronquées 0 [OK]
Haute latence >10s 0 [OK]
Vision Screenshots 475
Contextes vision 412
Erreurs WebSocket (session) 0 [OK]
Latence LLM Médiane (n=30) 0.71s 0.71s
P95 1.93s
───────────────────────────────────────────────────────────── USAGE OUTILS ─────────────────────────────────────────────────────────────
Outil Déclenché Utilisé Taux Statut
──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
analyze_screen 11 11 100.0% [OK]
analyze_visual_memory 10 10 100.0% [OK]
search_wiki 2 2 100.0% [OK]
store_memory 1 1 100.0% [OK]
──────────────────────────────────────────────────── DÉBIT TOKENS/SECONDE PAR OUTIL ────────────────────────────────────────────────────
Outil N Moy tok Min t/s Moy t/s Med t/s Max t/s
──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
search_memory 2 87t 37.9 38.8 38.8 39.7
search_nms 2 82t 31.3 33.8 33.8 36.2
conversation (simple) 22 54t 15.7 28.3 28.5 42.8
search_wiki 3 108t 16.4 26.1 29.1 32.9
store_memory 5 58t 17.5 21.8 21.7 24.8
analyze_visual_memory 7 82t 10.3 13.4 14.6 15.3
analyze_screen 13 74t 5.4 12.0 13.4 16.8
───────────────────────────────────────────────────────────── LATENCE TTS ──────────────────────────────────────────────────────────────
Métrique N Min Médiane Moyenne P95 Max
──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
Génération XTTS pure 52 0.96s 2.72s 2.94s 4.64s 8.06s
TTS total (text → diffusé) 52 1.31s 3.44s 3.67s 5.55s 9.03s
╭────────────────────────────────────────────────── ⏱ SILENCE E2E PERÇU PAR L'USER ───────────────────────────────────────────────────╮
│ Config détectée : XTTS local (5090, charge modérée) (TTS médiane 3.44s) │
│ │
│ 1 tour conversation() N= 20 médiane 4.52s ✓ P95 5.86s │
│ 2 tours outil → réponse Triss N= 32 médiane 8.00s ⚠ P95 11.34s │
╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯
──────────────────────────────────────────────────── Détail par outil (silence E2E) ────────────────────────────────────────────────────
Outil Tour 0 Tours N Médiane Moyenne P95 Max
──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────
conversation (simple) 1 20 4.52s 4.49s 5.86s 6.15s
store_memory 2 5 4.55s 5.01s 6.94s 6.94s
search_memory 2 2 4.87s 4.87s 5.58s 5.58s
search_nms 2 2 6.31s 6.31s 7.50s 7.50s
search_wiki 2 3 7.91s 7.03s 8.07s 8.07s
analyze_screen 2 13 9.80s 9.72s 11.23s 17.11s
analyze_visual_memory 2 7 10.55s 10.16s 14.26s 14.26s
Distribution des silences :
0-5s ████████████████████████ 19
5-10s ██████████████████████████████ 24
10-15s ██████████ 8
15-20s █ 1
>20s 0
Top silences les plus longs :
1. 17.11s stt=16:49:04,980 llm=16:49:04,981 tts=16:49:22,094 (analyze_screen · 2T)
2. 14.26s stt=15:38:13,627 llm=15:38:13,629 tts=15:38:27,883 (analyze_visual_memory · 2T)
3. 11.34s stt=16:36:47,669 llm=16:36:47,670 tts=16:36:59,006 (analyze_visual_memory · 2T)
4. 11.23s stt=15:40:02,508 llm=15:40:02,510 tts=15:40:13,738 (analyze_screen · 2T)
5. 10.79s stt=15:31:26,278 llm=15:31:26,280 tts=15:31:37,073 (analyze_screen · 2T)
──────────────────────────────────────────────────────────── SUMMARISATION ─────────────────────────────────────────────────────────────
╭──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╮
│ Triggers manuels: 1 Auto: 1 Résumés générés: 2 │
│ Pic contexte: 41.3% │
│ ⚠ │
│ ⚠ │
│ ⚠ │
╰──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯
[OK] Aucune erreur ni warning détecté.
──────────────────────────────────────────────────────────── fin du rapport ────────────────────────────────────────────────────────────

Tiré de la derriere session de cette aprem midi, avec gemma 12B
https://www.youtube.com/shorts/OCf-G4r7rkY

Message édité par yohaskan le 25-06-2026 à 21:57:02

Nr13

the_fennec a écrit :

Bof, j'ai testé, c'est pas terrible je trouve, bon c'est sur que j'ai une config exotique aussi.

Tu peux simuler une config (raccourci S), genre sinon sur linux si tu as une RAM/VRAM unifiée il ne voit pas tout ce que tu peux allouer au GPU.

Message cité 1 fois

the_fennec

f3nn3cUs z3rd4

Nr13 a écrit :

Tu peux simuler une config (raccourci S), genre sinon sur linux si tu as une RAM/VRAM unifiée il ne voit pas tout ce que tu peux allouer au GPU.

Ça a du bien bougé, je l'ai testé il y a un moment.

---------------
Faudra que je teste un jour :o

the_fennec

f3nn3cUs z3rd4

It's aliiiiive

Spoiler :

bis

---------------
Faudra que je teste un jour :o

neo world

les bench ! les bench ! les bench ! :love:

Message cité 1 fois

TotalRecall

Certains connaissent ce projet ?
https://korben.info/dream-server-ia [...] ergee.html
https://github.com/Light-Heart-Labs/DreamServer
C'est pas le premier ni le dernier du genre mais ça a l'air sympa pour ceux qui ne veulent pas passer 200h avant d'avoir un truc qui parle

---------------
Topic .Net - C# @ Prog

Nr13

Honnêtement lemonade ça a marché en 5min sur Windows et Linux.

neo world

lm studio pareil (bon il fait pas la génération d'image) et au moins je peux choisir ce que je veux au lieu qu'une IA décide pour moi ce qui est bon pour mon hardware ^^

TotalRecall

Sauf que là ça package apparemment nettement plus de choses (RAG, agents, TTS, STT...) que lemonade ou lm studio...

---------------
Topic .Net - C# @ Prog

XaTriX

c'est plus une supply chain attack c'est un débarquement :love:

---------------
[:dawa]

the_fennec

f3nn3cUs z3rd4

neo world a écrit :

les bench ! les bench ! les bench ! :love:

Vite fait:
Qwen3.6-35B-A3B-UD-Q8_K_XL_MTP 38GB avec 256k de contexte et j'ai de la VRAM en rab' :love:
Je suis a 50 tg/s

Pour le lol:
m51Lab-MiniMax-M2.7-REAP-139B-A10B.i1-IQ3_XXS 52GB avec 32k, 50 layers en GPU, 13 layers en CPU
Bon 5 tg/s et le flappy bird est pas fonctionnel

Alibaba, c'est quand Qwen 3.7? je suis prêt

Message édité par the_fennec le 27-06-2026 à 00:28:48

---------------
Faudra que je teste un jour :o

neo world

[:federerlegrand:5]

C'est vrai que ça traine pas mal ce nouveau Qwen ! le 3.6 tourne quand même rudement bien

ibuprophet

Avec du matériel consumer grade, j'ai l'impression qu'il n'y a que qwen3.6 qui vaille le coup en ce moment.

the_fennec

f3nn3cUs z3rd4

Gemma4 pour du chat ça va aussi.

---------------
Faudra que je teste un jour :o

memaster

M.arc a volé mon 62

j'avais pu vu ce thread, j'aurais du mettre ça ici [:eponge]

memaster a écrit :

j'ai installé un autre assistant ollama/phi3 sur une autre machine pour comparer.
c'étrange, mais les 2 assistants n'ont pas le même comportement.

il y en a un : mon premier est très coopératif dans ce que je lui demande,
du genre des infos sur le sys et des commandes à tapper pour résoudre tel ou tel pb.
notamment sur openclaw...

le 2nd : le plus jeune essaye de me vendre des tokens de cloud alors que je lui dis qu'il tourne en local.
il arrete pas de me repeter que c'est microsoft à distance qui gère ses réponses...

hallucinant :pt1cable:

Message cité 1 fois

---------------
ma conduite intérieure .:R | memaster pilote officiel de la HFR Badoit-Auchan F1 Team | zéro tracas, zéro blabla MMa.ster

Page : 1 2 3 4 5 .. 19 20 21 22 23 24

Page Suivante

Page Précédente

Haut de page

FORUM HardWare.fr

Intelligence Artificielle

Infra IA : aide au choix et troubleshot de LLM locaux

Sujets relatifs
[Topic unique] IA générative de texte, ChatGPT, Copilot, Gemini & co	sécurité de l'IA / agentique et des Devs en roue libre
Plus de sujets relatifs à : Infra IA : aide au choix et troubleshot de LLM locaux

Page générée en 0.198 secondes