Reprise du message précédent :

Pareil

Faudrait que je trouve une vielle alim de recup en fait...

Ajout du support de Ling dans llama.cpp:
https://www.reddit.com/r/LocalLLaMA [...] _llamacpp/
 
Ling tiny 8B A1B
Ling flash 124B A5B
 
Je trouve les deux modèles intéressant, a voir si ça vaut le coup!

Fichtre, je découvre ce topic.
 
Je suis grand débutant en IA locale, j'ai très récemment craqué pour une 5060 ti en 16GB. Vu la montée des prix, j'avais l'impression que c'était maintenant ou jamais.  
 
La config : AMD 5950X, 48 Go ram (2x16 et 2x8) et la 5060 ti donc.
Avec Ollama, Anything LLM et Linux.
 
Mon but : jouer avec, découvrir, comprendre comment ça marche et à terme, en faire un truc utile de tri / recherche / fusion de documents, taggage de photos... j'aurais bien attendu encore un peu mais donc, vu les prix...
 
Donc je teste les capacités à reconnaître des sujets photographiés, à résumer/traduire et à répondre à des questions stupides comme :
- how many walkers did you kill
- qui a chanté Morgane de toi (très intéressant, se plantent tous)
- quelle est la taille des oeufs de vache
 
Je suis vraiment en phase découverte.
 
Si j'ai bien vu qqn ici a pu ajouter une 1650 Super à son setup ? De ce que j'ai vu je pourrais physiquement ajouter la 1650 à ma CM mais elles vont être bien collées et le PCIe en plus est en x2 de mémoire.  
 
Bref, je joue  

il y a aussi quelques versions REAP.
de ce que j'avais pu essayer sur les qwen coder next, les résultats en REAP sont bof mais on part dans ce cas avec plus de paramètres.
il y a une version 97B 53.3Go en MXFP4 ou 58.3 en K4_M

une alim 12V 30A pour juste du 12V suffirait pas ?
c'est ce que je comptais faire avec un rallonge PCIE pluguée sur les 3 borniers +12V/GND  
par contre, c'est le stockage que j'ai plus.
ça devrait pas trop mal tourner avec du gemma 4 12B QAT non ?

 
C'est ce que je me dis...

 
Ajouter une 1650 Super c'est faisable, faut voir si tes pilotes la supporte encore. Après tu vas tuer tes perf vu la diff entre la 1650 et 5060, mais si ça te permet de mettre un modèle dense qui passait pas ça peut être un bon plan. Pour un modèle MoE il vaut mieux faire un offload CPU surtout avec autant de RAM dispo et un bon CPU!
 
 

 
Mouais bof bof les REAP, pas convaincu non plus. Après j'ai un DS4 REAP sous le coude, j'attends juste un fix RPC.
 

 
C'est ce que j'ai une alim pour LED 12V 30A avec une rallonge pcie.
 
Si t'es pas pressé ça doit se tenter un Linux live en USB et tu charges le modèle par le réseau?

Qwen 3.8 qui se pose la, a la cool

 
https://artificialanalysis.ai/#intelligence
 
edit: post reddit effacé

Ça mesure quoi ?
 
(Les graph sans unité c'est poubelle)

Je crois que c'est le score de chaque modèle à l'Artificial Analysis Intelligence Index, mais je suis pas sûr.

J'essaierai peut être. Pour la science

Je crois avoir un 250Go qui traine (ancien disque de portable). Faut juste le retrouver dans mon bordel

edit: Retrouvé
et mes 2x8Go de DDR5 sodimm

 
J'ai mis les bon liens
c'est une compilation de benchs, ya pas d'unité.

 
Je me tâtais a faire un boot PXE, mais la flemme

Quelqu'un peut faire tourner son setup pour m'expliquer avec une belle infographie ?

On évalue quoi ? Comment ? On pondère de quelle manière ? Quelle est la base 1 (ou 100, ou...) ?

Parce que je doute franchement de la pertinence de ce ce graphique s'il consiste à mélanger des pommes et des patates pour arriver à un chiffre totalement arbitraire via la méthode wet finger index™.

En l'état je vois juste un graphique de mauvais marketteux "regardez comme notre produit est meilleur que celui de la concurrence, la barre est plus haute"

Edit : c'est pas après toi que j'en ai le fennec, c'est juste que ça me semble bien fumeux.

Si je me fade la méthodologie :

Ok c'est bien, mais qu'est-ce que ça signifie exactement ?

Oh cool, de jolis mot de stats. Bon, un échantillon de 10 est trop faible pour faire des stats, on nous donne en filigrane des pseudos p-values dont on ne reparlera jamais (et que siginifie "intervalle de confiance à 95% pour l'Index machin +- 1%" ? Le reste de la phrase est à l'avenant, vous avez compris le truc )

Idem pour le tableau :

Comment a été choisie la répartition des différentes catégories ? Même question pour l'Index.
Comment ont été sélectionnés ces test ? Pourquoi certains ont le droit à plusieurs tirs et d'autres un seul ? Et en cas de tirs multiple, on prend quoi ? Moyenne, médiane, on exclue certaines valeurs et si oui sous quels critères ?

#statisticien #aigri

Non mais je suis d'accord, c'est un peu bidon comme site c'est juste marrant de voir un modèle aussi petit aussi haut.
Même les benchs sur lesquels il est basé sont pas top pour la plupart.
 
C'est le Metacritic de l'AI

Vous savez s'il y a une version abliterated de Qwen 3.8:27 de dispo ?

Ce que je peux dire en tout cas c'est que Qwen3.8-27b (la version qui pèse 18Go) ne sait pas qui a chanté "Morgane de toi"    
 
Par contre, contrairement à tous les autres (Gemma4, llama, Mistral...) il ne répond pas n'importe quoi (ou alors je confonds avec llama3.3, mais je pense bien que c'était qwen3.8 qui s'arrêtait à "je ne sais pas, je ne vais pas raconter de bêtises" ).
 
[quotemsg=45511,1527,87715]
 
Ajouter une 1650 Super c'est faisable, faut voir si tes pilotes la supporte encore. Après tu vas tuer tes perf vu la diff entre la 1650 et 5060, mais si ça te permet de mettre un modèle dense qui passait pas ça peut être un bon plan. Pour un modèle MoE il vaut mieux faire un offload CPU surtout avec autant de RAM dispo et un bon CPU!
 
[/quote]
 
Actuellement un "gros" modèle qui dépasse mes 16GB comme Gemma4-26b reste assez réactif. Un llama3.3-70b est beaucoup plus lent (genre 1/3 GPU, 2/3 CPU).
 
Mais donc, si je comprends bien, si ça dépasse un peu il vaut mieux un offload en ram, mais si je voulais utiliser souvent un llama3.3-70b, je devrais aller avec un 2e GPU pour me rapprocher d'un taux 25% CPU 75% GPU (ce qui est très utilisable, en tout cas à mon sens)

 
Demandes a Mistral Ai, peut etre qu'il sera gagnant  

Faut donner accès à internet à vos modèles
 
Si ils ne piratent pas hugging face pour tricher aux benchmarks c’est tout bon pour faire la recherche Google qu’il vous manquait

Blague à part c'est un peu le nerf de la guerre pour les "petits" modèles non (et le principe derrière les MoE)?  
Si on veut juste que l'outil sache répondre à une question de "connaissance" directe, on s'en fout qu'il ait besoin de faire une recherche, et on peut gagner du coût d'inférence.
 Par contre si on veut qu'il compose et chante comme Renaud, vaut mieux qu'il soit entrainé dessus...

 
À vrai dire je teste tous azimuts, donc aussi avec des questions qui au final apparaissent comme non pertinentes. ça me permet aussi de voir comment certains gèrent les difficultés, pourquoi certains acceptent texte et images, d'autres que le texte...
 
J'en suis à chercher des modèles très spécialisés comme la reconnaissance de lieux sur base de photos, voire entraînés sur certains pays uniquement.
 
C'est assez passionnant à défaut d'être, pour le moment, utile    

 
D'ailleurs, vous faites comment ?

Faut que je mette le truc recherche internet dans lmstudio, c'est plus simple pour tester que lancer le serveur + modèle et configurer opencode.

 
Dans Anything LLM (en version desktop en tout cas), si j'active le mode agent, il veut bien aller sur une page web et, par exemple, la résumer (sinon il se bornait systématiquement à broder autour des infos contenues dans l'url).
 
Sur mon portable je n'y arrive pas, mais ALLM tourne dans un conteneur docker, je suppose que ceci explique cela.

Faut chercher dans les MCP de recherche pour votre plateforme :
LMStudio : https://lmstudio.ai/brius
LLama.cpp : je vois searxng revenir : https://medium.com/@anish.rai3737/a [...] ce33378219
 
etc.

Unsloth Studio aussi a l'option websearch + Agent (Openclaude, Openclaw, ou autres ) dans son chat et/ou server web API

Il doit déjà en avoir plusieurs milliers sur HF non?
 

 
J'ai lu sur Reddit que les connaissances générale ont été purgées. C'est pas plus mal, OSEF d'avoir ce genre d'infos dans un modèle si il est capable de chercher sur internet tout seul.
 
 

 
Dépasser un peu avec un MoE comme Gemma4-26b ne pose pas de problème, tu mets des experts en RAM avec " --n-cpu-moe" et ça roule. Tu ne perds en perf que quand les experts sont accédés et llama.cpp se débrouille pas mal avec ça.
Avec un modèle dense comme llama3.3-70b ou Qwen 27B, tous les layers sont utilisés tout le temps, donc dès que ça déborde en RAM c'est mort. Avec deux GPUs plus de soucis, même si les bouts qui sont sur le GPU le plus lents vont te limiter en perf, c'est bien mieux qu'en RAM/CPU.
 

 
Oui j'ai un searxng, mais ça fait un moment que je l'ai pas reconfigurer. J'avais la config OC il me semble, j'ai prévu de retester OC v2... un jour.
 
En tout cas Qwen 3.8 mouline bien, même si il est un peu lent ... a 160k de contexte je suis a 35/s de PP et 5/tgs  

Ok, Gemma4 26b est MoE, ça explique pourquoi je le trouve plutôt rapide alors qu'il déborde de mon GPU (si j'ai bien tout compris).
 
En parlant de MoE, de fil en aiguille je suis tombé sur https://insiderllm.com/guides/runni [...] am-guide/.
 
On y parle de gpt-oss 120b et plus précisément : "gpt-oss 120B loads in about 14GB with its native MXFP4 weights (ollama pull gpt-oss:120b) and runs faster than a dense 70B ever could."
 
Du coup moi je me suis dit "champagne !" sauf que ollama pull gpt-oss:120b me télécharge 65Go.
 
Donc je suppose que le rêve s'arrête ici ? Ou j'ai raté quelque chose ?

C'est surtout que c'est a la rue maintenant gpt oss
 
Concentre toi sur les qwen 3.6/3.8 vus ta config

 
Je connais pas Ollama, j'ai testé ya longtemps et je l'ai viré car il essaye de cacher trop de chose, c'est just un UI pourrave qui essaye de se faire des sous sur le dos de llama.cpp.
 
Je prends mon modèle sur Huggingface, par exemple chez Unsloth:
https://huggingface.co/unsloth/Qwen3.6-35B-A3B-GGUF
 
J'ai renseigné ma config, enfin juste ma VRAM, et je vois directement sur la fiche les modèles qui vont bien:

 
J'utilise donc llama.cpp, j'ai mes .bat avec la config qui va bien, généralement j'applique bêtement la config recommandée.
https://unsloth.ai/docs/models/qwen3.6
 
J'ai un dossier ou j'ai DL mes modèle et j'ai pas a espérer que Ollama ou LMStudio ait pris les bon
 
Comme le dis Tronklou, GPT oss c'est un vieux truc, Qwen 9B doit faire bien mieux, je te parles pas de 35B.

Bon on dirait qu'Opencode c'est pas encore ça
 
https://www.reddit.com/r/LocalLLaMA [...] en_models/
 

Pour ça j'aime bien LM studio : un update et paf j'ai un beau bouton pour gérer le reasoning effort.  
 
Évidemment c'est moins bien à distance sans UI parce que soit c'est full ligne de commande soit faut passer par leur service de connexion à distance (merci mais je voulais un truc local. Pas un truc qui passe chez vous d'abord )

Comment tu fais pour le RPC?
Perso j'ai un .bat qui update llama.cpp sur Windows et les deux Linux, relance les systemd et j'ai juste a lancer mon .bat avec llama.cpp qui va bien.

J'ai mis plus de pognon dans mes machines de travail pour pas avoir du RPC à gérer
 
evidemment retour à llama.cpp sans lemonade le jour où les Strix Halo / Mac studio ne vaudront plus rien. Normalement j'ai le temps de voir venir

J'ai rien a gérer, mais c'est leeent

Comme beaucoup ici, un conteneur searxng attaqué par openwebui ou continue.dev.

Un autre mcp que j'utilise : le mcp Microsoft learn (pratique pour consulter les docs MS sans réinventer la roue).

D'ailleurs,j'aimerai bien tester la mise en place de mcp un peu partout pour le suivi des logs de tout le homelab ou piloter tel ou tel outil. J'ai vu que docker proposait quelque chose également.

 
 
Tellement de choses à apprendre encore, que j'ai.
 
Je pensais qu'Ollama était la solution open-source favorite pour faire de l'IA locale.
 
J'ai installé Unsloth Desktop (même si visiblement à la base c'était un conteneur Docker, c'est comme Anything LLM, ils ont aussi leur version desktop (?) ) pour tester. Il semblait plus directement utilisable qu'Open web UI ou Anything.  
 
Quoi qu'il en soit, je ne suis pas parvenu à le connecter à Ollama. Et en creusant j'apprends qu'Ollama stocke les modèles de manière chiffrée (? - c'est ce qu'une... IA m'a répondu) et qu'il vaut mieux le GGUF. edit : ah ben non, finalement Unsloth Desktop liste bien les modèles Ollama dans ModelHub/On device mais pas dans la liste déroulante (même si je choisis On device). Il mentionne que les modèles sont des GGUF. Par contre il ne veut pas me les charger. Bon, je chercherai plus tard.
 
Donc, le GGUF est le fichier de base, Ollama en fait une version perso qu'il est le seul à pouvoir gérer. Ce GGUF on peut aussi le télécharger soi-même mais il doit être modifié / compilé / autre participe passé d'un verbe en er pour être utilisable via un modelfile.
 
Je raconte probablement n'importe quoi, c'est juste mon état de compréhension actuel    
 
Quoi qu'il en soit, j'ai installé un gemma-4-E2B-it-GGUF en Q4 (je teste sur mon portable sans carte dédiée   ) qui était dans les modèles conseillés pour mon matériel (pratique).
 
Il y a un bouton "search" (comme dans Lumo au début). Si je l'active et que je demande simplement "cherche sur Internet", il trouve.
 
Plus précisément :
- il ne sait pas qui a chanté Morgane de toi (mais ne répond pas Mylène Farmer, Pierre Perret, Garou, Céline Dion, sisi, j'ai déjà tout eu)
- il trouve avec une recherche (vous me direz, c'est bien le moins, j'aurais été plus vite en allant directement sur un moteur / bon, je connaissais déjà la réponse, c'est pas la question, si je puis dire)
 
Résultat des courses :
- je progresse : j'ai une IA locale qui peut réfléchir ET aller sur Internet pour trouver la réponse au besoin ;
- Unsloth semble prometteur (recherche facile, je pourrais améliorer mon modèle (?)

Tu as combien de VRam déja ? 16GB   ?
Les gemma4 12B devrait passer en Q4,
gemma-4-12B-it-Q4_K_M.gguf
 
et si tu veux un bon MoE (Mixture of Expert ; 3 milliards de paramètre actif (les experts) sur les 35 milliards de paramètres du model "sa connaissance globale" )  
Qwen3.6-35B-A3B-MTP-GGUF mais la c'est du 20Go donc ca va deborder de tes 16 Go de Vram... Faut voir si le débit te va
en attendant un futur Qwen3.8-35B-A3B-MTP-GGUF