 |
||
| ||
| |||||
| Dernière réponse | |
|---|---|
| Sujet : Infra IA : aide au choix et troubleshot de LLM Locaux | |
| the_fennec | Sur le papier le IQ1 me fait rêver, mais ça pourrait être du benchmaxxing aussi :o |
| Aperçu |
|---|
| Vue Rapide de la discussion |
|---|
| the_fennec | Sur le papier le IQ1 me fait rêver, mais ça pourrait être du benchmaxxing aussi :o |
| neo world | Bon j'ai un peu diversifié le benchmark :
https://rehost.diberie.com/Picture/Get/f/568179 Il y a maintenant un environnement kotlin complet dans un container et un navigateur firefox avec playwright dans un container sans réseau pour le tester sur du debug de front / responsive / mobile native A ce train là ça va devenir commercialisable dans un avenir proche :o |
| neo world |
|
| the_fennec |
|
| neo world |
|
| Tronklou | Flemme de tout citer :O Mais en gros, même s'il y a un arrêt brutal du financement pour les datacenter tourné vers l'IA, c'est pas pour autant qu'il y aura une réduction de la demande en puissance de calcul. Donc perso je préfère que les financements a gogo continue encore jusqu'à fin 2028, que des moyens de productions sortent de terre, puis que la demande diminue après :sol: |
| the_fennec |
|
| neo world |
|
| moyen_moins | j'ai installé la RAM et du coup, avec le PLE en RAM, tout de suite, les chiffres s'envolent (en petits benchs) avec le iq3_s :o
ça demande vérification sur un truc plus conséquent. je teste aussi le nouveau iq4_xs, on va voir ce que ça dit mais a priori, je devrais perdre en décode (-20%), à voir si la qualité me satisfait davantage :) |
| the_fennec | Bon assez déçu avec les nouveaux Unsloth UD 3.1:
https://huggingface.co/unsloth/Qwen3.8-Flash-Next-GGUF Avec Strata le seul que j'arrive a charger c'est UD-IQ1_M, mais selon leur graphs il défonce GSQ-RCO IQ3_S alors que je suis heureux avec le Q2! Donc en théorie je devrais prendre un bon coup de boost niveau qualité. Je le mets, non sans mal, sur un clone de Mario et le laisser tourner. J'ai ajouté 5GB de RAM juste pour lui! Il a fini le jeu mais ya pas mal de bugs, je lui dit de fixer et au bout d'un moment il se plante sur un tool-call. Même après restart et quelques tuning (kv k8v4 -> int8) pas mieux. Alors maintenant que j'ai plus de RAM, je suis passé a Gyro-m, il rebouffe le contexte a 1k+/s au lieu des 200/300 du modèle d'Unsloth. Et la direct il fait le tool-call correctement! La génération est autour de 30/s en mtp, pas testé le dflash encore. Bref, je trouve qu'Unsloth est moins bon qu'avant, je me demande si c'est pas qu'il ne testent plus qu'avec llama.cpp et/ou leur propre app. Peut-être que c'est Strata ou ma config qui pose problème. |
| the_fennec | Perso je suis sur Claude avec Strata, Gyro-m avec 200k de contexte, 4060Ti 16GB - 40GB de RAM , KV en int8, pas de vision.
J'ai testé d'autre moteur basés sur Strata, c'est moins bien:
peut être d'autres que j'ai oublié... |
| dadamonhfr | J'arrive un peu après la guerre mais j'ai testé un peu Strata hier et je trouve ça vraiment bon.
Matos : Ryzen 3700x + 64 Go RAM + 5060 ti 16 Go VRAM Strata qui fait tourner IQ3_S de ISTA-DASLab avec Deepseek Harness pour diriger tout ça. Manque juste le multimodal et peut-être une fenêtre de contexte un peu large (65000 pour l'instant) Apparemment, ça pousse un peu de partout les moteurs d'inférence optimisés. Si vous avez des conseils d'optimisation à donner aussi bien au niveau modèle, que moteur inférence, que harnais, je suis preneur. |
| the_fennec |
|
| moyen_moins |
|
| neo world |
|
| crazytiti | Peut etre bien que la chine va racheter tous les stocks et là : - soit il rebranchent tout pour leur IA mais là bas ça à l'air moins le bordel avec un grand chef qui dirige tout contrairement aux US où une poigné de privés se tirent la bourre. - soit les puces vont être ressoudées sur des PCB grand publique et on aura de nouveaux GPU :bounce: |
| Tronklou |
Le problème c'est que c'est du matériel pro, le temps que les chaînes reviennent sur les gammes grand public et que les contrat d'approvisionnement se terminent, ont est bon encore minimum deux ans je pense |
| the_fennec |
|
| the_fennec |
|
| moyen_moins | non mais entre temps, la bourse (et l'ia) qui plonge aux USA, ça va peut être calmer les ardeurs et les lettres au père noel de certains :o
et je viens de lire un article, une armoire nvidia à 600kW de conso, on se rend pas compte de la densité de puissance/énergie là... la transformation, le transport, le câblage, la conversion, le refroidissement etc. ça commence à devenir démesuré, le réel risque d'en rattraper certains vs les gains supposés de l'ia :o on parle d'amazon qui a acheté du matos nvidia qu'ils sont pas capables d'alimenter. je croyais que le stock ou les trucs sur étagères, c'était du pognon qui dormait, si la fête est finie ou se calme un peu, ça va peut être se calmer sur les tarifs :/ |
| crazytiti | Si ça diminue la ram nécessaire on ne va pas revendre la ram, on va juste foutre un model plus gros, CQFD |
| ionik |
|
| moyen_moins | nouvelle version de strata :o
j'ai peut être acheté ma RAM au mauvais moment :o |
| neo world |
|
| neo world | on voit quand même bien la progression liée au niveau de réflexion (même budget de 65k tokens pour chaque épreuve) :
https://rehost.diberie.com/Picture/Get/f/568072 un exemple d’épreuve visuelle foiré même en xhigh : https://rehost.diberie.com/Picture/Get/f/568074 |
| the_fennec |
|
| Tronklou | A l'epoque oui :O C'est mort maintenant, reste a attendre :( |
| neo world |
|
| neo world |
|
| neo world |
|
| Tronklou | Petite astuce pour voir si c'est performant et utilisable pour de l'IA : c'est soit complètement hors sol en terme de prix, soit indisponible partout.
En gros :D |
| the_fennec |
|
| crazytiti | bah clairement ils doivent faire de l'avx ça fait un moment que les cpu intel le font il me semble ? avx2 depuis 2013... |
| neo world |
|
