Infra IA : aide au choix et troubleshot de LLM Locaux

dans mon langage :D, ça veut dire qu'il avait oublié ce qu'il devait faire au rechargement du contexte et tu traitement de mon prompt : sortie plus formattée, il passait son temps à me dire qu'il était qwen, une ia  experte en je sais pas quoi etc.
tout sauf ce que je lui demandais.
1ère fois qu'il me faisait un truc pareil.
j'ai fermé strata et opencode, j'ai tout relancé et c'est reparti comme il faut ensuite.
pas compris ce qui s'était passé :pt1cable:

mais tant qu'à faire, je voulais utiliser la 9070XT qui sert pas en l'état (pas encore de bifurcation, j'ai juste inversé les cartes et pas installé la carte mère x570) et je me disais que pour de l'image, ça devait largement suffire. [:paysan]

edit: hier soir, qwen a pété une durite lors d'un chargement de gros contexte (130k), ça m'a fait sauté le master prompt :??:
bref, j'ai relancé, c'est reparti et j'ai pu lui faire faire la màj d'un yaml plus compatible avec les dernières versions d'esphome pour monitorer un onduleur :o
c'est une petite victoire en locale, ça n' pas été long, il a même pu rajouté des fonctions en documentant, faut tester maintenant [:joce]
par contre, il fait quelques petites fautes de français encore, la flemme de tout prompt en anglais.

 
C'est dommage qu'il n'expose pas les settings de llama.cpp pour ça, car c'est possible. Tu peux utiliser "--vision cpu" avec Strata si il te reste de la RAM et que t'es patient.

Imagine ce qu’on fait avec 28B aujourd’hui vs 120B il y a un an et demi. Imagine après encore quelques itérations :D
 
Ces cartes elles seront decomissionnees parce qu’elles consomment trop pour la perf qui en est tirée mais temps que ça tourne : ça fait la job comme disent les cousins outre atlantique :D

à un moment, on tombe quand même sur le memory wall.
malgré tout le compute récupéré, la VRAM, si c'est pas une 170HX, elle bougera pas "magiquement ":o

le truc que je voulais tenter, c'était de me servir de ma carte qui gère l'affichage/gaming pour gérer la vision de qwen 3.8 FN (pour l'instant désactivée par défaut).
pour éviter que ça vienne foutre le dawa dans les perf de la R9700 mais je pense pas que ça soit possible. [:transparency]
m'enfin, j'suis pas aussi intelligent que qwen et strata :o

 
 
C'est pas du tout une config faite pour pêter les max scores avec un quant dégueu (Strata  :o ), mais c'est une config de production multi agents.
 
https://github.com/alanoo81/deepsee [...] x-cmp170hx
 
100 t/s sur le main chat, 450/550+ en c=8, 2500+ de prefill mais pareil en agentique on s'en fout un peu, le cache de prefix fonctionne donc les agents font souvent du prefill à 15k ou 20k+

jolie vulgarisation. Je m'étonnais que NV n'ait pas mis un coup de laser pour couper les pistes (c'est des habitués depuis bien 20 ans pour diminuer les perfs entres cartes d'une même génération). Ils l'ont fait en fait mais ils laissent réécrire la valeur en registre avant de charger le driver si on arrive à passer le détecteur de signatures :whistle:  
 
Le chercheur qui a réussi à trouver ça a juste augmenté la durée de vie de millions de cartes [:-tac-:4]  
 
bon il a aussi augmenté la valeur de ces cartes sur le marché de l'occasion  [:fail]

 
L'idée, je l'ai déjà CF mes posts précédents!
J'ai regardé l'USB-to-USB mais ya pas de norme, pas envie de bidouiller du hard en plus. Je voulais brancher mes BC250 directement, mais au final le TCP marche pas mal!
 
Donc le but c'est de faire tourner mon layer Spock/Vulkan sur tout ce qui a un GPU a la maison et les monter sur ma VM Debian. D'abord avec llama.cpp, ensuite avec Strata.

 
Le problème c'est qu'ils s'intéresseront aux "pauvre" que quand ils auront assez saturé le marché pro pour que le marché particulier soit intéressant de nouveau.
La conséquence est justement qu'il ne vont pas reproduire le problème de 2023, donc pas d'intérêt de faire plus de prod.
 
Comme le note neo world, NVidia a prévu le coup, si tu veux acheter qqchose te le reçoit dès qu'il est dispo, avec une date max négociée, donc ils peuvent refiler leurs (propres) invendus très facilement.
 
 

 
Peut-être, mais les perfs en layer sont meilleurs que je ne le pensais, alors je me dis pourquoi pas :D. De toute manière OSEF, c'est Strata/QFN/Claude qui bossent tout seul.
 

 
Oui, c'est ce que je veux faire avec mon montage Vulkan/TCP, mais sans avoir a modifier l'appli d'inférence.