Infra IA : aide au choix et troubleshot de LLM Locaux

Recherche :

Dernière réponse
Sujet : Infra IA : aide au choix et troubleshot de LLM Locaux
moyen_moins	bon, j'ai testé ud31 q3_k_xl vs ud31 iq4_xs, en terme de performances (prefill/decode), c'est vraiment kiff kiff. occupation mémoire, quasi pareil à 2Go près. dans le doute, je reste sur celui qui normalement devrait être le plus quali. edit: si j'avais eu une machine dédiée, j'aurais testé https://huggingface.co/bitlamas/Qwen3.8-Flash-Next-GGUF ça me parait être presque le meilleur compromis [:paysan]

Dernière réponse

Sujet : Infra IA : aide au choix et troubleshot de LLM Locaux

moyen_moins

bon, j'ai testé ud31 q3_k_xl vs ud31 iq4_xs, en terme de performances (prefill/decode), c'est vraiment kiff kiff.
occupation mémoire, quasi pareil à 2Go près.
dans le doute, je reste sur celui qui normalement devrait être le plus quali.

edit: si j'avais eu une machine dédiée, j'aurais testé https://huggingface.co/bitlamas/Qwen3.8-Flash-Next-GGUF
ça me parait être presque le meilleur compromis [:paysan]

Votre réponse

Nom d'utilisateur

Pour poster, vous devez être inscrit sur ce forum .... si ce n'est pas le cas, cliquez ici !

Le ton de votre message

Votre réponse

Smilies

Liste des smilies perso
Wiki smilies
Chercher un smiley

Options

Activer votre signature
Désactiver les smilies
Activer la notification par email du sujet

Aperçu

Vous avez perdu votre mot de passe ?

Vue Rapide de la discussion

moyen_moins

edit: si j'avais eu une machine dédiée, j'aurais testé https://huggingface.co/bitlamas/Qwen3.8-Flash-Next-GGUF
ça me parait être presque le meilleur compromis [:paysan]

the_fennec

J'aime beaucoup dans sa vidéo comment le personnage se morphe en autre chose après un prompt. C'est quand même dingue d'arriver à ça en temps réel sur des petits GPUs!

neo world

Pratique pour rouler et se garer toujours du bon sens :o

crazytiti

Il a mis en place un site de test.
https://lucidml.ai/dashboard/minidemo?world=gta5
C'est rigolo ça me rappelle les 1er vidéo généré par IA où tout se melangé, à part que la tu influx la direction dans laquelle ça avance.
Ceci dit en extrapolant les différentes évolutions de l'IA on devrait avoir des jeux jouables à partir d'un poster sous peu :jap:

Edit : ah je kiff quand je prend une caisse, que j'appuie sur w pour reculer et que la là voiture avance mais en faite l'arriere de la voiture se métamorphose en avant et donc ben je recule [:zedlefou:1]

the_fennec

I'm releasing a Local World Model Ive been building that turns images into interactive videos you control in real time. It works on RTX 3060, 4060 and anything above, linking huggingface
https://www.reddit.com/r/LocalLLaMA [...] _ive_been/

Ça a l'air cool, faut que je teste un jour :o