Reprise du message précédent :

 
 
Une fois l'audit termine, demande lui un audit de l'audit... il va encore trouver des trucs...  

win11 c'est no way de toute façon.
ce qui me fait chier, c'est que j'ai tout mes disques en ntfs, qu'il va falloir tout refaire... ou que j'en achète un autre pour faire du dual boot "au cas où"  
FLEMME mais c'est comme tout, faudra y passer.
 

JE SAIS §§§§

 
Je lui fait faire un audit avec Qwen via strata en utilisant claude claude
 

 
Je suis sur ma machine local avec RTX 3090 + 128 Go de ram (384k de contexte + 16 Go de cache de contexte)
 

 
Il trouve toujours des choses suivant comment tu l'orientes c'est le principe, mais comme je fais auditer par plusieurs LLM et que je les fait se challenger même si il remonte des choses l'autre peut le contredire et il trouve un consensus pour eviter de tourner en boucle etc ...
Seule grosse contrainte ça prend énormément de temps et de token (d'ou le test  que je fais sur l'audit des dernier commit pour voir si justement ça serait pertinent de faire l'audit dans mon flux actuel via aussi strata/Qwen)

Pour les audits de code je vous conseille de le faire via OCR :  
https://github.com/alibaba/open-code-review
C’est carré

je vais regarde je ne connais pas

 
Je suis en train de migrer tranquillou mes services Windows 2019 vers des VMs Linux. Mais je compte garder mes disques "NAS" en NTFS, même quand le passerais sous Linux. La raison est simple, je sais récupérer un FS en NTFS en vrac, mais les autres FS. Et pour ce qui est du RAID, au taf' j'ai passé deux semaines a récupérer un NAS Synology qui avait crashé, le support avait dit que c'était pas possible et disait de tout effacer...
 
J'ai mon HTPC de jeux/TV qui est sous Win10, j'attends un bon deal sur un GPU AMD pour remplacer ma 3070, c'est prévu en 2034
Dernier Windows mon laptop gamer, sous Win11... je sais pas trop encore comment faire vu que je peux pas changer de GPU, pour le moment je vais subir Win11 encore un moment.

j'ai pris un SSD d'1To je vais installer linux, j'ai un adaptateur nvme->pcie 16X, ça sera toujours utile si je veux jouer ou reboot su mon windows.
 
meilleure distro pour du matos AMD ? Cachy OS ? Ubuntu+kde ?

 
Fedora 45 KDE beta  

 
De mon coté je dirais:
- Cachy OS si tu veux des updates toutes les 2 minutes et un truc nouveau. (mais aussi des trucs pétés toutes les 5 minutes)
- Debian pour la stabilité.
 
L'avantage de Cachy c'est que pour jouer plus besoin de Windows avec le support de Steam, Epic, etc. sauf jeux avec anti-cheat.

J’aurais tendance à conseiller les nouveaux kernel avec l’option qui allait bien pour optimiser les performances. À vérifier si Fedora 45 le propose par défaut ? Sinon un Fedora 44 avec un kernel tout neuf

Si c'est pour jouer , bazzit ! Si c'est pour de l'inférence, team debian après avoir ragequit avec fedora

j'ai fedora sur le bc-250, ça a l'air de fonctionner correctement
fedora ou debian donc.

Strata pour GLM 5.3:
https://github.com/mw00/project-maya
 

 
  faut que je teste ça aussi

Vraiment impressionnant le Strata  
Mon NVMe est un peu trop plein (dual boot), j'en ai chié pour faire assez de place pour QW3.8-FN. Mais ça vaut largement le coup.

Le prefill qui dépasse les 1200 tk/s
La génération en général vers 50tk/s, avec des pointes à 100tk/s  

J'utilise le model qwen3.8-flash-next-coder-iq1_m, avec cette ligne de commande :

J'ai eu des pointes a 129 en génération avec une 4060Ti c'est incroyable!
Ça va être difficile de revenir à autre chose!
 
Mon SSD c'est un SATA, mais il sert pas beaucoup.
 
Passer a 200k de contexte et Claude configuré a 150k, j'ai plus de soucis de thrashing.
 
La ça fait plus de 11h qu'il bosse pour me trouver une nouvelle chaise de bureau, on verra bien si c'est mieux que pour les GPUs. (il est arrivé aux même conclusions que le reste de la terre, ya pas de bon plans pour 16GB/32GB )

je note que le premier que tu fais avec un modèle performant c'est de remplacer les topics de l'elite HFR
 
en plus je suis certain que tu trouverais la bonne info en moins de 11h sur ces topics

 
Pour les GPUs j'ai eu plein d'info compilés en un seul doc avec des prix a jours. Je suis toujours en train de baver devant des m10 ou des mi50 32GB, et la j'ai toutes les infos de ce qu'on peut faire avec. Le seul truc ou il est tombé dans le panneau ce sont les listing de v100 sur Aliexpress ou il a prix les prix des 16GB pour ceux de 32GB, mais il a noté clairement qu'il était pas sur du prix vu que les deux sont listés.
 
Pour les sièges, j'ai posté sur le topic et j'ai eu aucune réponse, le consensus étant d'acheter une chaise a 2k d'occase pour 300 euros sur leboncoin mais ça me plais pas, je préfère du neuf. Il m'a aussi compilé ce qui est dispo en local et cumulé les coupons. Ça m'a pris deux minutes de faire le prompt, et comme pour le code, je me fais la main ça sera beaucoup mieux bientôt.
 
En tout cas je suis satisfait du résultat, aucun lien bidon, les prix sont les bons et j'ai toutes les infos que j'ai demandé. C'est plus lent que Gemini, mais bien plus précis.

bordel
un de mes modèles préférés
en plus, sous linux, je pourrais cumuler la 9070XT et la 9700 pro alors que sous windows, vaut clairement mieux éviter

sur du iq2 ? ou plus gros ?
les pointes, je trouve ça étrange, ça peut monter à 80+ en iq3_s mais ça peut aussi descendre à 20, c'est beaucoup moins stable que llama.cpp.
au final avec 224K de contexte, ça donne 320-330 t/s pp et 40-50 t/s tg.
c'est utilisable, bien plus que 27B

edit: a priori mon pp est bas voire très bas.
lien pcie qui bride ? RAM ?

edit²: problème BP du bus pcie, faut que je trouve une cm X570 qui propose le split du 16X pcie 4.0

 
Bon, pas de miracle, ça charge pas chez moi, a un moment j'étais en "tuning" a 0.7 tg/s  
 

 
Je suis en Q2, le plus petit (après coders) et le plus rapide. Je suis en pcie 3 8x.

pcie 3.0 2x sur la 9700pro, ça limite le streaming (max 2GB/s vs ton 8GB/s), la carte doit se tourner les pouces

 
Oui, enfin avec 32GB de VRAM ya moins besoin de streamer

Violence en ce mardi matin :
https://www.youtube.com/watch?v=se5fzkZoPZA
 

 
 
Je quote :
"borrowing memory from the storage which is the equivalent of fixing a small kitchen by cooking in the garage"  
"the first thing you read is never the reply but the speed in tokens / second"
"free is a dangerous price for someone with a fast connection"
 
La blague du screenshot m'en rappel une bonne aux débuts de la complétion de mail automatique au boulot : tu commençais ton mail avec " I hope this email finds you" et l'IA proposait à certains de compléter avec "before I do"    

Haha pas mal

le PP sur une 9070XT c'est dans les ~1000t/s, je dépasse à peine les 300

Post un screen!
 
Si tu veux je peux t'échanger ma 4060TI qui arrache contre ta 9700pro
 

Projet en cours: j'ai mis claude/strata/qwen a créer un truc un peu WTF
Je veux monter mes BC250 comme des GPUs locaux dans ma VM Linux. J'ai dis de faire un bridge Vulkan/UDP avec un shim local qui réplique tous les appels a l'API à distance.
Comme ça j'aurais mes 3 GPU vu comme des cartes locale par Vulkan et je pourrais utiliser Strata ou llama.cpp sans modifs.
 
Ça a peu de chances de bien marcher, mais OSEF ça tourne en local

il te faut du RDMA
 
mais c'est gros projet   et idéalement tu veux tout connecter en 40gb/s au moins   Y'a de l'USB 4 sur le bc250 ?  

c'est pas idiot même si ça fait un peu comme du llama.cpp en RPC non ?

edit: je pense que je vais mettre strata et qwen sur revanced et la refonte des patchs anti pub pour YT

déjà du 10gb/s ça doit être plus sympa que du gigabit

 
Ça aiderait mais trop chère, j'essaye de me retenir de mettre plus de sous et de faire avec ce que j'ai.
Je voudrais 128GB de RAM, des GPUs en plus, etc.
 
Ya que de l'USB3 et un pcie 1x. Je me disait qu'on doit pouvoir faire du USB to USB ou pcie to pcie
Mais bon, je dois remettre le 2.5GB, mais pour ça il faut que je répare/change ma carte 10GB et aussi que j'adapte mon switch pour survivre au SPF+ Ethernet qui chauffe a mort.
 

 
C'est comme le RPC mais plus bas niveau, pas besoin que l'app le supporte, et pas besoin de build/update les nœuds.
 
L'intérêt du RDMA c'est pas la BP, mais l'accès direct a la mémoire, en gros tu peux écrire/lire directement sur le réseau sans passer par le CPU et ça donne une bien meilleure latence.

 
On en est au même point. Je commençais à lorgner sur un second strix halo ou le gorgon alors j'ai vite réservé des vacances au bord de la mer avec la famille pour pas craquer  
 
Donc je pense que même 128GB de RAM tu continueras à lorgner plus haut en mode :

la diff en bande passante est énorme c'est vrai mais par rapport au PCI express natif ça reste vraiment limite

Ouais vouloir toujours plus c'est la plaie  
 
Bien vu d'avoir booké des vacances !
 
Ici je me dis qu'avec mon mac studio, dans 2/3 ans si je veux plus j'ai 2 solutions :
 
Soit je le refile chez la pomme et j'upgrade
Soit je lui chope un ptit frer à pas cher d'un mec qui upgradera

on est sur de l'équivalent pcie 3.0 &x en 10gb/s non en terme de débit ?
c'est vrai que c'est pas ouf
 
je lorgne sur 64GB ou une 2ème 9700pro mais faut que je change de carte mère d'abord.

10gb/s (ethernet) c'est environ une ligne de pci express 3.0

c'est pas beaucoup beaucoup  

edit : je viens de traduire ton & avec mon clavier. Donc oui c'est bien ça

Clairement le second sera intéressant entre le port thunderbolt à 120gb/s et globalement le fait que les clusters de mac sont bien balisés
 
Mais bon on verra d'ici là. Les modèles 26B ont fait des progrès juste démentiels en 10 mois. Ca se trouve t'auras ton claude opus 5.5 dans un an dans une taille similaire (redface ou pas ? j'hésite )

sinon je suis en train de télécharger https://huggingface.co/huihui-ai/Hu [...] ed-v2-GGUF en UD Q4 K XL pour l'héberger avec gufo. Je vous tiens au courant si ça semble être un bon modèle non censuré

 
Après je fais ça pour m'amuser et apprendre, coté IA j'ai largement ce qu'il faut avec le taf' et en perso. Donc acheter du matos c'est tricher

 
J'ai hâte

Mais au final est-ce qu'on a besoin de tant de BP que ça? Même en passant en mode tensor RPC le 27B la BP était pas haute que ça, mais la latence tue tout.
 
Quand j'avais testé en 2.5Gbps j'ai pas noté de différence de perf.
 

 
La prochain Qwen4 35BA3B (ou équivalent) va être un massacre je pense, surtout si on a un "Strata" like pour le servir. Même llama.cpp déboîte bien avec le 35B. Ya moyen d'avoir les même perfs que 35B avec la qualité du 27B genre avec 8GB de VRAM et 16GB de RAM!.

 
le problème est bien la latence : quand la bande passante sature elle explose. Diminuer la vitesse des échanges revient à augmenter la latence des échanges. Les deux sont importants et interdépendants