Reprise du message précédent :

 
Le problème c'est qu'ils s'intéresseront aux "pauvre" que quand ils auront assez saturé le marché pro pour que le marché particulier soit intéressant de nouveau.
La conséquence est justement qu'il ne vont pas reproduire le problème de 2023, donc pas d'intérêt de faire plus de prod.
 
Comme le note neo world, NVidia a prévu le coup, si tu veux acheter qqchose te le reçoit dès qu'il est dispo, avec une date max négociée, donc ils peuvent refiler leurs (propres) invendus très facilement.
 
 

 
Peut-être, mais les perfs en layer sont meilleurs que je ne le pensais, alors je me dis pourquoi pas . De toute manière OSEF, c'est Strata/QFN/Claude qui bossent tout seul.
 

 
Oui, c'est ce que je veux faire avec mon montage Vulkan/TCP, mais sans avoir a modifier l'appli d'inférence.

 
L'idée, je l'ai déjà CF mes posts précédents!
J'ai regardé l'USB-to-USB mais ya pas de norme, pas envie de bidouiller du hard en plus. Je voulais brancher mes BC250 directement, mais au final le TCP marche pas mal!
 
Donc le but c'est de faire tourner mon layer Spock/Vulkan sur tout ce qui a un GPU a la maison et les monter sur ma VM Debian. D'abord avec llama.cpp, ensuite avec Strata.

Pas mal de détails sur l'unlock de GPU:
https://www.reddit.com/r/LocalLLaMA [...] can_it_be/

jolie vulgarisation. Je m'étonnais que NV n'ait pas mis un coup de laser pour couper les pistes (c'est des habitués depuis bien 20 ans pour diminuer les perfs entres cartes d'une même génération). Ils l'ont fait en fait mais ils laissent réécrire la valeur en registre avant de charger le driver si on arrive à passer le détecteur de signatures  
 
Le chercheur qui a réussi à trouver ça a juste augmenté la durée de vie de millions de cartes  
 
bon il a aussi augmenté la valeur de ces cartes sur le marché de l'occasion  

 
 
C'est pas du tout une config faite pour pêter les max scores avec un quant dégueu (Strata   ), mais c'est une config de production multi agents.
 
https://github.com/alanoo81/deepsee [...] x-cmp170hx
 
100 t/s sur le main chat, 450/550+ en c=8, 2500+ de prefill mais pareil en agentique on s'en fout un peu, le cache de prefix fonctionne donc les agents font souvent du prefill à 15k ou 20k+

le truc que je voulais tenter, c'était de me servir de ma carte qui gère l'affichage/gaming pour gérer la vision de qwen 3.8 FN (pour l'instant désactivée par défaut).
pour éviter que ça vienne foutre le dawa dans les perf de la R9700 mais je pense pas que ça soit possible.
m'enfin, j'suis pas aussi intelligent que qwen et strata

à un moment, on tombe quand même sur le memory wall.
malgré tout le compute récupéré, la VRAM, si c'est pas une 170HX, elle bougera pas "magiquement "

Imagine ce qu’on fait avec 28B aujourd’hui vs 120B il y a un an et demi. Imagine après encore quelques itérations
 
Ces cartes elles seront decomissionnees parce qu’elles consomment trop pour la perf qui en est tirée mais temps que ça tourne : ça fait la job comme disent les cousins outre atlantique

 
C'est dommage qu'il n'expose pas les settings de llama.cpp pour ça, car c'est possible. Tu peux utiliser "--vision cpu" avec Strata si il te reste de la RAM et que t'es patient.

j'ai un peu de RAM encore, dans les 10Go de rab une fois tout lancé.

mais tant qu'à faire, je voulais utiliser la 9070XT qui sert pas en l'état (pas encore de bifurcation, j'ai juste inversé les cartes et pas installé la carte mère x570) et je me disais que pour de l'image, ça devait largement suffire.

edit: hier soir, qwen a pété une durite lors d'un chargement de gros contexte (130k), ça m'a fait sauté le master prompt
bref, j'ai relancé, c'est reparti et j'ai pu lui faire faire la màj d'un yaml plus compatible avec les dernières versions d'esphome pour monitorer un onduleur
c'est une petite victoire en locale, ça n' pas été long, il a même pu rajouté des fonctions en documentant, faut tester maintenant
par contre, il fait quelques petites fautes de français encore, la flemme de tout prompt en anglais.

C'est 700MB le layer vision il me semble.
 
Ca veut dire quoi "sauté le master prompt"?

dans mon langage , ça veut dire qu'il avait oublié ce qu'il devait faire au rechargement du contexte et tu traitement de mon prompt : sortie plus formattée, il passait son temps à me dire qu'il était qwen, une ia  experte en je sais pas quoi etc.
tout sauf ce que je lui demandais.
1ère fois qu'il me faisait un truc pareil.
j'ai fermé strata et opencode, j'ai tout relancé et c'est reparti comme il faut ensuite.
pas compris ce qui s'était passé