Infra IA : aide au choix et troubleshot de LLM Locaux

Recherche :

Dernière réponse
Sujet : Infra IA : aide au choix et troubleshot de LLM Locaux
neo world	au fait on est le 4 novembre, c'est un bon jour pour sortir Qwen 4 non ? :D

Votre réponse

Nom d'utilisateur

Pour poster, vous devez être inscrit sur ce forum .... si ce n'est pas le cas, cliquez ici !

Le ton de votre message

Votre réponse

Smilies

Liste des smilies perso
Wiki smilies
Chercher un smiley

Options

Activer votre signature
Désactiver les smilies
Activer la notification par email du sujet

Aperçu

Vous avez perdu votre mot de passe ?

Vue Rapide de la discussion

neo world

au fait on est le 4 novembre, c'est un bon jour pour sortir Qwen 4 non ? :D

crazytiti

J'update mon Strata, mais alors c'est passé d'un tas de .bat a un executable avec setup et tout et tout :bounce:

moyen_moins

j'ai update le moteur de strata et j'suis passé sur dflash2, bon petit gain au total :)
en prefill ça a l'air violent par rapport à avant, en decode, c'est pas mal aussi mais moins :o

the_fennec

moyen_moins a écrit :

tu nous diras :o
faut que je bosse un peu quand même aujourd'hui [:tinostar]

Ça "tourne" avec 32GB mais avec ma config c'est pas utilisable, tg autour de 1/s avec des pointes a 4/s, pas testé le prefill:
https://i.imgur.com/sgFkAkw.png

chris282

xenom a écrit :

Un article intéressant : optimisation des poids d'un modèle par un autre modèle sans réentrainement :o
https://rikiyat.github.io/blog/weig [...] ogramming/

je pense que c'est cela qu'ils ont en interne chez Anthropic/OpenAI/etc : une auto amélioration qui s'execute quasi toute seule avec simplement l'identification des lacunes actuelles en input

moyen_moins

minux a écrit :

J'ai le même souci avec FF mobile sur mon Xiaomi 17 ultra

merci pour les retours :jap:
je sais pas ce que j'ai foutu avec ma oneplus pad mais j'ai pas ce souci [:transparency]

edit: je découvre la jungle du développent mobile :cry:

minux

moyen_moins a écrit :

punaise, c'est quoi ton téléphone ? :(
j'ai essayé sur ma tablette qui a firefox d'install et oui, ça rame un peu niveau animation, alors que c'est pas une petite config... [:transparency]
par contre, j'ai plus le problème du bandeau en bas après la mise à jour proposée :o

J'ai le même souci avec FF mobile sur mon Xiaomi 17 ultra

crazytiti

moyen_moins a écrit :

Une tablette :lol:
C'est un doogee blade10 la résolution est pas retina mais faut pas déconner non plus :whistle:

moyen_moins

the_fennec a écrit :

Faut 64GB de RAM j'imagine?
Dans le doute j'ai mis a DL quand même :o

tu nous diras :o
faut que je bosse un peu quand même aujourd'hui [:tinostar]

moyen_moins

crazytiti a écrit :

ok j'ai réussi a avoir tout l'écran mais impossible de plus dézoomer.
J'ai fait une partie : les animations rament :lol:
https://rehost.diberie.com/Picture/Get/f/567156

the_fennec

moyen_moins a écrit :

quelqu'un a essayé la dernière version de strata avec deepseek v4.1 flash coder ? :o
c'est gros, c'est pas aussi rapide que qwen 3.8 FN mais si les résultats sont nettement meilleurs... [:paysan]

Faut 64GB de RAM j'imagine?
Dans le doute j'ai mis a DL quand même :o

the_fennec

xenom a écrit :

Un article intéressant : optimisation des poids d'un modèle par un autre modèle sans réentrainement :o
https://rikiyat.github.io/blog/weig [...] ogramming/

Intéressant, ça permettrait d'avoir des modèles qui s'auto-optimisent pour un problème précis, une sorte de fine-tuning à la volée. Ça s'inscrit dans les idées vues précédemment de se passer du contexte et de modifier les poids directement, ou même de faire de l'ablitération à la volée.

Le problème étant que ça ne peut pas être permanent, rien ne dit que le changement est bon pour le modèle pour autre chose, c'est comme les fine-tunings qui benchmaxx mais font de la merde avec les vrais problèmes.

moyen_moins

quelqu'un a essayé la dernière version de strata avec deepseek v4.1 flash coder ? :o
c'est gros, c'est pas aussi rapide que qwen 3.8 FN mais si les résultats sont nettement meilleurs... [:paysan]

xenom

Un article intéressant : optimisation des poids d'un modèle par un autre modèle sans réentrainement :o
https://rikiyat.github.io/blog/weig [...] ogramming/

crazytiti

ok j'ai réussi a avoir tout l'écran mais impossible de plus dézoomer.
J'ai fait une partie : les animations rament :lol:
https://rehost.diberie.com/Picture/Get/f/567156

moyen_moins

crazytiti a écrit :

Alors peut etre que ça vient de mon FF dont je n'ai jamais réussi a replier la barre d'adresse quand il est en mode paysage.
Mais j'ai l'impression que même sans ça il n'y aurait pas assez d'espace :
https://rehost.diberie.com/Picture/Get/f/567111

essaie de dezoomer dans firefox, me semble que j'avais résolu comme ça le pb quand je l'avais rencontré sous chrome [:paysan]
j'aime pas trop FF sous android alors que c'est mon daily sur pc [:cupra]

moyen_moins

neo world a écrit :

Je connaissais pas :D

Mais sauf incompréhension de ma part le gameplay est très basique :
- seul le 1er qui commence a une chance de gagner si la partie est parfaite (100% des tirs réussis)
- faut juste pas se faire chopper par le prof au moment de tirer parce que sinon c'est difficile à louper vu l'indice énorme avec la courbe d’atterrissage
- le truc au milieu c'est de la déco : tous les tirs sont en cloche si possible 100% de puissance pour optimiser les dégats

Bref si tu commences la partie tu es certain de gagner. Faudrait peut être mettre des règles en plus :
tu vois le début de la courbe mais pas la fin
evenement aléatoire qui pousse à gauche ou à droite le boulet (oblige à viser plus précisément pour que la distribution soit favorable
tirs simultanés avec une combinaison de touche : plus de second joueur mais la possibilité d'exprimer une bonne coordination pour envoyer le boulet en plus

mais sur le papier c'est intéressant et jouable

faut couper laide à la trajectoire sinon, c'est trop facile oui :D
et "l'ia" à normal rate déjà pas beaucoup, faut pas se chier le 1er coup ;)

neo world

crazytiti a écrit :

c'est une manière low budget de faire un mode difficile au jeu :o

neo world

moyen_moins a écrit :

J'ai fait faire à qwen un petit jeu en HTML qu'on avait à l'époque aur les calculatrices TI, château ( http://www.metalazzo.fr/taf/chateau.html )
Ça fait partie de mes petits tests de LLM, ça et une blague du boulot. :D

crazytiti

moyen_moins

crazytiti a écrit :

L' attaque de château, évidemment !
Par contre jouabilité sur téléphone 0 je ne vois même pas l'air de jeu en mode paysage :pt1cable:
Et puis ça ne détrônera jamais le meilleur : scorched earth !

J'avais testé sur 2 tél différents et c'était OK. Je ferai un check plus tard :jap:

crazytiti

moyen_moins

alanou

crazytiti a écrit :

Ah bordel j'ai des course's à aller faire moi !
Sinon c'est rigolo j'ai fait faire un shoothemup à Qwen et j'ai les mêmes défaut que toi : incohérence visuelle et téléportation d'objets.

http://crazytiti.free.fr/jeuxia/

Je valide l'humour il est bien sympa
https://rehost.diberie.com/Picture/Get/f/567015

J'ai pas trop vu de soucis visuellement
Les deux versions sont du oneshot, je lui ai fait aucun retour ni aucune modif post première livraison. C'est pas si mal je pense.

Dans Silicon Strike 2 y'a un item éqique qui est "Intact 12VHPWR connector" ou un truc du genre, je l'ai vu passer dans sa trace de réflexion :o

crazytiti

Ah bordel j'ai des course's à aller faire moi !
Sinon c'est rigolo j'ai fait faire un shoothemup à Qwen et j'ai les mêmes défaut que toi : incohérence visuelle et téléportation d'objets.

http://crazytiti.free.fr/jeuxia/

Je valide l'humour il est bien sympa
https://rehost.diberie.com/Picture/Get/f/567015

minux

alanou a écrit :

Oui je l'ai vue aussi il y'a quelques semaines, techniquement c'est proche, sauf que je suis parti d'un vieux robot tondeuse existant (Flymo 1200R à fil périphérique)

Cadeau de validation agentique de mon repo DSv4.1F : https://alsaia.com/silicon-strike/

Have fun (je conseille l'english pour mieux profiter du fait qu'il est pas si naze en humour)

Je te remercie pas, tu as pourris ma productivité de l'aprem :o

https://rehost.diberie.com/Picture/Get/f/566987

Mais j'adore [:rofl]

pich_mu

the_fennec a écrit :

Oui, Strata c'est un peu comme ollama/LM Studio, mais dédié a faire tourner Qwen 3.8 Flash Next uniquement (et DS4 aussi).

Non, j'ai Claude code en 100% local qui utilise Strata pour l'inférence.

Comme Strata est très optimisé il va vraiment très vite. Sur ma config avec une 4060Ti 16GB, un Ryzen 5650GE et 36GB de RAM, j'ai un prefill a 1000/s et la génération 60/s sur Gryo-S (plus de 100 sur Q2). Avec ta config tu devrais être beaucoup plus rapide. La différence c'est que j'ai une VM dédiée pour l'inférence et d'autres avec mon/mes agents.

Ça marche, merci :jap:

Je vais essayer Strata et conserver LM-Studio en //, pour voir au début et comparer les deux modèles

alanou

moyen_moins a écrit :

j'ai vu une vidéo de greatscott sur YT où il pilote un robot qui filme là où il va afin de rester tout le temps sur l'herbe : https://www.youtube.com/watch?v=uDfdo2zfs88
a priori, le truc qui marchait le mieux, c'était bien sa Maix Cam :jap:

moyen_moins

alanou

moyen_moins a écrit :

ah ? dis m'en plus :)
t'avais besoin de puissance ou du NPU dans le bon format (l'A7Z est en format pi W) ?

Au début oui, mais en pratique j'ai un peu changé quand le projet a avancé

J'utilise moins le NPU car j'ai une MaixCAM Lite qui suffit à reconnaître ce qu'il faut, et consomme moins (l'archi c'est Maixcam avec Yolov11 + Lidar + GNSS RTK, fork maison d'Openmower.
Il y'a aussi une sorte de closed loop, une des caméras Frigate filme le jardin et sécurise les comportements de la tondeuse en la trackant + en cas de doute à la reco visuelle, la tondeuse demande son avis en offload à mon petit serveur PVE de ma baie réseau (celui qui gère NPM + Frigate + HA, pas le gros build IA)

Dans la prochaine version je mettrais probablement plutot un des Uno Q que j'ai

moyen_moins

neo world a écrit :

NPU 3 tops. C’est vraiment les fonds de tiroir. J’aime :D

pour faire du frigate, ça paraissait suffisant :D

the_fennec a écrit :

OK, je connaissait pas. J'avais regardé des SBC NPU mais ça m'a paru super chère pour ce que c'est, et trop de trucs en cours :o

le NPU est pas super puissant mais pour faire du traitement de flux video (comme frigate), ça peut faire un mimum.

alanou a écrit :

C'est ce que j'ai mis dans mon hack de tondeuse robot :o

ah ? dis m'en plus :)
t'avais besoin de puissance ou du NPU dans le bon format (l'A7Z est en format pi W) ?

alanou

moyen_moins a écrit :

c'est un radxa A7Z en version 4GB
je m'étais dit que pour home assistant pour chez mes parents à la montagne, ça aurait été suffisant (largement) mais t'es sur du full diy car le support de Allwinner... :sarcastic:

C'est ce que j'ai mis dans mon hack de tondeuse robot :o

the_fennec

moyen_moins a écrit :

OK, je connaissait pas. J'avais regardé des SBC NPU mais ça m'a paru super chère pour ce que c'est, et trop de trucs en cours :o

the_fennec

pich_mu a écrit :

Ok merci :jap: je vais essayer strata. C’est un ollama/LM Studio like ?

Quand tu dis que tu utilise Claude code, tu n’a pas un setup 100% local ?

Édit : de ce que je comprend, Strata est mieux que LM Studio pour faire tourner de gros modèle, mais je vais être limité par ma vram si j’importe de gros modèle, non ? Et si je balance entre ram et vram les perfs vont en prendre un coup ?

neo world

NPU 3 tops. C’est vraiment les fonds de tiroir. J’aime :D

moyen_moins

the_fennec a écrit :

Intéressant c'est quoi ton SBC?
https://i.imgur.com/2h4pTBv.png

neo world

alanou a écrit :

https://github.com/alanoo81/deepsee [...] x-cmp170hx

Ma recette pour Deepseek v4.1 Flash 1017 avec 4 x CMP 170hx

Basée sur la recette la plus utilisée par la communauté.
Experts 2 bits remplacés par 3 bits (essayé les 4 bits, pas de changement de qualité au delà des mesures de bruit).
KV cache compact, lossless.

Meilleure qualité (particulièrement en FR), meilleur KV pool, même vitesse (280 tk/s en c=1, 600+ en c=8).

Propre ! :D