Reprise du message précédent :

 
Je me disais aussi, sinon les perfs seraient pas top pour une R9700  

DDR4 et pcie 4.0 aussi
je vais peut être passer sur 128GB de RAM mais punaise, les prix
ma R9700 a déjà pris 700 balles en 3 semaines

mon bosgame qui a pris que 600 balles en 7 mois. je suis mauvais en spéculation    

 
J'aimerais bien passer en 128GB aussi, mais je résiste Et surtout je viens tout juste de passer a 64GB

Et moi j'ai attendu Octobre avant d'acheter quoique ce soit, j'ai 0 gpu à la maison et 3x32go de ram mais sur 3 serveurs

 
C'est quoi ton budget, tu veux faire quoi?

J'ai passé commande
Un mac studio 128Go

Même pas le prix d'une 5090, radin va

 
96GB de RAM qui vont servir a rien
 
 

Il faut au moins 75-80Go de ram dans ce que je vois

https://omlx.ai/benchmarks/performance/oz0ly0at

Donc il reste de la place pour le système, quelques apps, voire un deuxième modèle

Je parlais de tes autres machines

 
Je vais garder le cluster proxmox avec tout ce qui tourne dessus
Le Studio c'est vraiment le node IA locale    
Encore 15j d'attente  

Grand saut dans l'inconnue ... j'ai upgrade Strata au dernier master, et je suis passé sur Gyro-S. Gyro-M fini par swap et tombe a 1 tg/s.
https://huggingface.co/agentionai/Q [...] -Gyro-GGUF
 

 
Le prefill identique a plus de 1k/s, la génération est plus lente, autour de 40/50. Après faut voir si le modèle est plus ou moins équivalent au Q2, mais au moins il tient en entier en VRAM+RAM.
 
J'ai aussi préparé l'unlock GPU, le repo principal a ajouté le support des RTX 4xxx et 2xxx:
https://github.com/Zagitta/gpu-unlock
 
Je pense repasser sur Q2 pour comparer la vitesse.

 
Si c'était une méthode sur windows et réversible sans risque de tout planter, je testerais bien.

Euh y a pas une histoire que justement tout ce qui est quantizé n'a aucun bénéfice d'accélération suite à ces méthodes?

c'est beau l'aventure  

Sous Windows c'est ici:
https://github.com/impacifist/Windows-GPU-UNLOCK
 
Mais je sais pas si c'est safe
 
 

 
Certaines parties des modèles quantizé restent en FP16, donc il peut y avoir un gain, mais c'est pas du 2x:

 
Pas mal de rapports:
https://github.com/Zagitta/gpu-unlo [...] ess-report
 
J'ai vu passer des +16% en prefill sur Strata. Ça coûte rien, faut pas se priver

l'unlock a de l'intérêt que pour le prefill normalement.

Ok oui j'avoue ça se prend  

Bon l'unlock a marché
 

 
J'ai eu la flemme de changer de quant, donc je suis resté sur Gyro-S:

• prefill avant: 1217/s pour 55k
• prefill après: 1402/s pour 57k

Donc un gain de 15%

 
augmentation de conso associé au gain de perf ou en plus tu feras des économies d’énergie à nombre de tokens égale ?

 
Difficile a dire

Mistral released Mistral Large 4 (Le Chonk), a 1-trillion-parameter multimodal model
https://mistral.ai/news/mistral-large-4-oss/
 
https://huggingface.co/mistralai/Mi [...] -4-1T-A52B
 
1T A52B ...  
 
https://huggingface.co/unsloth/Mist [...] -A52B-GGUF
 

C'est un tirage de numéros aléatoires la tuile en haut à droite dans le dashboard de strata ?

 
Un peu, ça oscille beaucoup entre 30W et 120W, j'aurais du mal à dire si ça a changé. Sachant que ça saute de génération à prefill, et qu'il y a plus de temps de gen que prefill.

+1 mon strata a la même fonctionnalité

que le pcie qui indique rien sous windows.
faut que j'essaie plus de contexte, marre des compactions tous les 200k vu la marge qu'il prend...
et passage à 128GB d'ici 10j

 
 
Dans la famille on utilise l´IA pour générer du PDF (comparatif d´offre), suivi de santé...  
On l´utilise aussi pour créer des petites applications (quiz pour la voiture, visite de ville,...)
 
Pour cela, on utilise Claude et Mistral.  
 
Depuis quelques semaine je lancé dans l´IA local en utilisant ma 5090 et mes 64Gb DDR5. Le résultat est plutot bon en utlisant Qwen avec Bionic.  
 
Pour pouvoir partager sur du multi device et pour la famille, je suis passé sur Ollama et Openwebui hébérgé sur mon NAS. Aucun problème de connection, le fonctionement est bon. Par contre, le problème est l´appel de fonction.
 
Impossible de générer des excels ou de générer des images (meme simple). Est ce que quelq´un ici utilise une IA local comme je souhait  l´utiliser ?

truc con mais demande à l'ia

 
C'est quoi ton NAS? Comment sont installés Ollama et Openwebui?  
Ollama tourne sur le NAS? Quel GPU il utilise?

en fait le skill "création / modification / lecture" de fichiers excels doit résider là où l'appel est fait :
tu peux trouver un harness avec ces capacités (claude code il me semble mais faut chercher sérieusement) et le connecter à ton endpoint API ollama / Openwebui (je te conseillerai strata avec Qwen 3.8 flash next en passant mais bref c'est un autre sujet) : ton utilisateur envoie la requete via le harness (installé sur son ordi avec ses credentials par exemple) et c'est lui qui fera le pont entre ton modèle hebergé sur ta 5090 à travers l'API et les skills excel avec l'accès aux fichiers du NAS

Budget 3000 boules : c'est quoi le meilleur matos pour faire de l'IA locale au jour d'aujourd'hui ?

Bosgame M5 ai ( AMD strix halo)

https://github.com/freriadoc/Avalon
 
src: Avalon Just Beat Strata by 47% on AMD (9x Faster)
https://www.youtube.com/watch?v=0F63pTS8Gt0
 
Un fork de llama.cpp qui annonce être plus rapide que Strata sur QFN!

J'arrive à faire tourner IQ3-XXS sur ma trottinette. Ma ram DDR4 2400 56go, fait de bric et de broc (3modeles differents) est à raz la gueule  

 
bon, par contre, mon clone de Nitro ça avance pas fort, soit c'est moi qui suis une pipe (probable ), soit le qwen FN montre ses limites.
c'est bof, ça ressemble de loin à l'original et c'est toujours aussi sec niveau design UI
 

trouvaille intéressante
je suis très content qu'il y ait des découvertes et des forks, mais pas content que les développements s'éparpillent entre X projets.

J'ai toujours été attiré par les Jarvis que faisaient tourner certains YouTubeurs, et j'ai toujours eu envie d'avoir le mien.

C'est chose faite. J'ai réussi à faire un "Jarvis" maison entièrement local. On trouve pas mal de vidéos qui montrent ça, mais beaucoup "trichent" en utilisant des API cloud pour les voix. Bien sûr, d'autres font ça entièrement en local, mais pas avec une trottinette comme la mienne.

Après quelques jours passés à configurer ma machine l'aide de Claude, voilà le résultat.

Pour l'anecdote. Je n'ai même pas d'abonnement Claude. J'ai tout fait en utilisant la version gratuite, qui coupe souvent et me limite à deux questions max par jour quand la requête demande un peu trop.

Je rappelle que j'ai un Ryzen 7 5700G + 56 Go de DDR4 + 2 GTX 1080, donc sans Tensor Core (Pascal oblige).

KoboldCpp + XTTS + Wihsper pour le micro

J'ai testé plusieurs modèles au fil de mes essais :

Qwen 3.8B VL Instruct

Qwen 2.5 7B

Qwen 3.5 2B

Llama 3.2 7B

Mais pour l'instant, le Gemma4 12B QAT est celui qui offre les meilleures performances sur ma configuration.

https://www.youtube.com/watch?v=HI6xdwxqhi4

whisper, c'est le speech to text ? à l'époque sur home assistant, ce qui marchait le mieux pour le français, c'était Vosk

Vosk est très leger et fait le job sur les commandes simples, mais sur de longues phrases, Whisper et bien meilleurs tout en étant plus lourd. 1.5go en Vram en medium si je me rappelle bien.

Vosk travaille à l'ancienne sur les phonèmes, alors que Whisper travaille sur des Transformers. Vosk est très leger dans 60mo et tient très bien dans un raspberrypi. Mais il est largué sur de longues phrases. Il lui manque surtout ce qui faite la voix humain, ponctuation, majuscule....