Reprise du message précédent :
GLM 5.3 flash tourne bien chez moi, je suis très content, d'autres utilisateurs moins. Je pense qu'ils promptent en français ou en allemand et se tapent des réponses en chinois. Moi je bosse en anglais et ça ne m'arrive pas.
Je trouve sa capacité de langage humain correcte, similaire à DS4 Flash. C'est un peu plus lent mais c'est plus précis sur les problèmes cachés dans du code complexe.

top ! vous avez prévu d'étendre votre ferme (pour par exemple proposer DS4 flash en parallèle aux déçus de GLM ou faire un gros cluster pour K3 ou équivalent en modèle frontier) ?
 
Vous en sortez combien de tokens par seconde histoire de nous faire baver ?

Aucune idée mais je sur chaque log de vllm je suis entre 100 et 200 token/s, ça semble constant peut importe le nombre d'utilisateurs simultanés.

Pour l'instant on garde 4, je devais en rendre une pour un projet, mais finalement on en commande 2 de plus pour que je garde mes 4.
A terme c'est probable qu'on remplisse la machine a 8 puis qu'on en commande une seconde, on verra.... C'est comme partout, la tendance est plutôt aux économies malheureusement

Un de mes prochains projets serait d'intégrer le LLM pour faire de l'aide à la décision dans une application existante, vaste projet sur je sais pas encore sous quel angle l'aborder (voir topic dev IA). En attendant malheureusement, je vais surtout m'en servir pour pondre des milliers de lignes d'ETL maison pour des projets que je dois livrer.  

Aujourd'hui j'ai utilisé GLM pour debugguer une application de merde d'un fournisseur en C dont on a pas les sources. En heure d'été les timestamps insérés en DB sont une heure dans le turfu.

Heureusement le binaire n'est pas strippé donc il a pu debugguer ça et identifier dans l'appli des appels a strptime qui passe 0 sur une structure entraînant une heure forcée sans DST. En passant -1, ça demande à libc de choisir DST ou pas en fonction de l'heure fournie (https://stackoverflow.com/questions [...] -struct-tm)
Je lui ai fait vérifié l'ensemble de l'App pour confirmer que le problème est contenu au contexte identifié, puis créer un shim pour remplacer strptime avec un LD_PRELOAD, intégration systemd et script Python pour batch-fix les données existantes.

Pour finir, envoie de tout ça directement sur le ticket Redmine avec un MCP, maintenant c'est le problème d'un collègue.

C'était cool

c'est un bon usage de vous débarrasser de la production de milliers de lignes de trucs chiants à écrire
 
L'aide à la decision c'est casse gueule : le llm fera des miracles sur des patterns reconnaissables de de lignes de code mais pour de la décision ça turbo hallucine facilement (encore tout à l'heure Claude me propose d'augmenter la valeur d'un timeout qui était de 300s vers 900s ... la panne intervenait à 120secondes précis ... )
 
Par contre si vous avez plein de documents à compiler (par exemple les quaterly earning calls) pour alimenter un dashboard qu'un humain lit pour prendre une décision là à mon avis y'a un bon potentiel
 
En tous cas y'a jamais assez de matos dans ce topic décidément

S'en débarrasser c'est vite dit, c'est moi qui review tout ça et qui essaye d'organiser tous ces putains de mappings avant de revenir vers la direction... (Toujours arriver avec A ou B pour leur donner un truc pas important à choisir mais garder le contrôle de specs pour pas que ça parte pas en sucette   )

Classe, vous gérez comment l'accès à vos systèmes par le LLM ? Il peut executer des trucs en prod (rm -rf * / DROP table; ... ) ou tu copies sur ton client (agent ? Un IDE ?) les binaires et bouts de données pour troubleshot ?

Nan je copie ça en local et je lance un OpenCode dans le folder.

Normalement tout est firewallé dans tous les sens et l'accès à des serveurs de prod n'est de toute façon pas accessible depuis de postes utilisateurs/vpn. Je me grant l'accès parfois mais je me l'enlève quand j'ai fini.
D'autres collègues ont aussi des privilèges trop importants, je serre les fesses quand je les vois prompter  .
Jusqu'ici tout va bien, on a de toute façon une solution de backup rock-solid avec comptes séparés, 2fa, multi site et export offline donc au pire

Dans le cas présent l'agent a mocké une DB sur ma machine en reprenant des payloads depuis le ticket qu'un collègue avait fait. Il avait aussi fait une analyse statistique pour confirmer que ça ne touchait que l'heure d'été mais je sais pas comment il a fait pour ça, je pense qu'il a chargé un dump car normalement il n'a pas d'accès direct à cette DB non plus et il est pas censé se donner le droit (et je pense pas qu'il l'ai fait)

faudra que je regarde le côté sécu justement : j'ai assez de place en mémoire pour faire tourner un modèle uncensored pour chercher des bouts de code mal sécurisés et pentester les services que j'expose avant qu'un autre ait la même idée de le faire chez moi à ma place
 
Mais idéalement je ne voudrais pas devoir faire des excuses à huggingface / la dgfip / le pentagone parce qu'en fait mon outil a fait d'autres trucs sans forcément demander avant

J'ai pas encore trop essayé ça a, après c'est pas tellement mon domaine

la question risque de se poser chez vous aussi assez rapidement. Pas forcément pour de la recherche de bugs / failles / pentests comme dans mon lab mais pour accélerer la productivité sans finir par restaurer les apps de prod tous les deux jours parce l'IA super intelligente du futur s'est comportée comme un stagiaire

 
Tu bosses dans quoi déjà ? C'est un sacré joujou quand même !
Vous ne vouliez pas passer par du cloud ?

Question recherches :
 
J'ai monté un système de veille, basé sur SearXNG.
 
Il utilise intensivement plusieurs moteurs de recherches.
 
J'aimerai bien qu'il attaque aussi le darkweb, et même d'autres trucs un peu plus confidentiels.
 
Vous avez des idées ?

Tu peux ajouter tes propres moteurs:
https://docs.searxng.org/admin/sett [...] gines.html

Prêt à sourcer des macs sur le darkweb pour animer le topic de location de llm je suppose ?  

 
 
J'ai déjà 5 ou 6 moteurs de recherches, mais je me rend pas compte à quel point ils ont de la visibilité

Je crois que j'ai trouvé un bon plan pour ceux qui sont intéressés par une machine neuve

Une RTX PRO 4000 Blackwell (24GB) ça sort en ce moment dans les ~3500 euros?

Avec les offres étudiants sur Lenovo, on peut avoir pour ~3700 euros:

ThinkStation P3 Tower Intel Ultra 5 245 vPro
32 Go DDR5-5 600MT/s (UDIMM)
RTX Pro 4000 24GB
2 To SSD M.2 2280 PCIe Gen4 TLC Opal
2 To 7 200rpm HDD 3,5" SATA
Carte Ethernet Realtek RTL8125BGS PCIe 2,5 Gb
Intel® Wi-Fi 7 BE200 2x2 BE vPro® et Bluetooth® 5.4
Alimentation de 1 100W efficace à 92 %

Ça semble pas si mal  

Et pour 1000 euros de plus on passe sur une RTX PRO 4500 Blackwell 32Go GDDR7

si on est pas allergique à l'occaz tu dois pouvoir trouver un ordinateur avec 32GO de RAM et deux RTX 3090 pour à peu prêt le même tarif. Évidemment pas de matos neuf à ce prix

Vous vous souvenez qu'hier je vous parlais des PC à base de NVIDIA GB10? Et ben ils ont tous pris ~1000 euros dans la nuit    
 
Asus GX10 et Lenovo étaient encore à 4100/4200 euros.
 
Au moins je n'hésite plus
 
Ce topic est surveillé c'est pas possible  

Ça bouge très vite sur Llama.cpp sur Github: https://github.com/ggml-org/llama.cpp/releases

4400 sur joybuy

Tu voudrais pas nous parler du strix halo ? J’ai un plan pour partir à la retraite en avance mais il commence par un pump du prix du bosgame

Non

 
Si il était dispo, t'irais vraiment donner 4k a Joybuy?

 
Non plus

J'ai bien acheté un routeur à 130 balles au lieu de 440 sur joybuy (bon c'était y'a longtemps )

T'as oublié un zéro dans l'équation

Introducing K2 Horizon: Frontier Performance, Radically Open
https://ifm.ai/blog/k2
https://huggingface.co/collections/IFM/k2-horizon
https://www.reddit.com/r/LocalLLaMA [...] ging_face/
 

 
Le 36B-A4B pourrait être intéressant si il tient face a Qwen:
https://huggingface.co/IFM/K2-Horizon-MoVA-36B-A4B
 

sur le bc-250 avec sa carte en plus si ça marche

 
Ya pas de gguf encore, même pas les weights de base encore. Mais c'est toujours bienvenue d'avoir des nouveaux, surtout si ils donnent toutes les sources de training! Juste le nom du modèle qui n'est pas très bien choisis

Qwen-3.8-Next-Flash Ngram Hot-Swappable Knowledge Injector for llama.cpp
https://www.reddit.com/r/LocalLLaMA [...] knowledge/
 

 
Ça c'est intéressant, pouvoir changer un modèle a la volée .
Genre t'as plus besoin de contexte, tu édites les ngrams en direct!
 
edit:
   

C’est un concurrent sérieux de Amazon, rien à voir avec AliExpress. Alors oui si c’est gagner 1000 balles je les mets

Bref c’est pas dispo.
 
Par contre,  
 

 
https://hothardware.com/news/nvidia [...] nd-october

On perd déjà les ConnectX-7
D’où augmentation de prix avant le lancement  

P'tit retour sur le bosgamePC M5 Strix Halo avec PI.dev en client (zéro extension), Qwen 3.8 flash next en modèle et Lemonade web server pour la partie gestion / téléchargement de modèles :
 
Déjà pas de thottling sur la puce. Pour les SSD NVME j'ai des kingston NV3 (celui fourni avec la machine + un second acheté "pas cher" ) dont les contrôleurs ont tendance à surchauffer (même en empilant des pads thermiques pour qu'ils soient bien en contact avec le dissipateur cuivre) en genre 30 secondes (attention dissipateur extra plat uniquement. Y'a pas de place dans la trappe pour plus haut avec des ailettes).
 
J'ai résolu le problème de throttling des NVME en achetant un "support ventilé (en fait deux 120mm vissés ensemble avec 4 pattes et un connecteur USB pour les alimenter directement depuis la machine). Les nvme sont en dessous donc ça souffle directement dessus  
 
J'ai du quand même déménager la machine dans un autre rack (petit, aussi étanche à l'eau et à la poussière donc fatalement mal ventilé mais avec pour seul voisinage du matos réseau sans disque mécanique) : les disques du NAS commençaient à souffrir du voisinage avec le bestiau dont la puce bouffe quand même 84 watts (le CPU se tourne les pouces) :  
 

 
Question modèle y'a quand même du déchet sur le MTP mais ça reste efficace. Pendant les sessions de code en particulier on flirt avec les 90% de tokens acceptés avec -n 4. Y'a p'têtre moyen de jouer un peu plus haut pour aller grapiller d'avantage de tokens par seconde du coup mais avec un risque de déchets plus important sur la réflexion (laissée active) / les appels d'outils  
 

 
Pour l'instant mon modèle ( https://atomic.chat/blog/guides/how [...] xt-locally ) n'offre pas les extensions yarn pour traiter 1M de tokens en contexte mais dans les faits à 260k y'a quand même moyen de bosser et la compaction qui démarre à 93% du total de tokens permet de continuer easy peasy
 
Pas mal intéressé par les modèles K2 horizon pour faire la passe de correction de code (via l'extention open code review sorti par alibaba) histoire de ne pas demander au même modèle de faire la correction du boulot fait juste avant (c'est parfait du premier coup. Étonnant ! )
 
J'ai téléchargé aussi un modèle debridé pour faire la partie forensic / detection de problèmes de sécurité mais ça va attendre que je l'isole proprement avant qu'il attaque la NSA pour récupérer des outils pour faire un meilleurs pentest / red team sur mon app perso @ 2 balles
 
Côté Lemonade c'est pas aussi parfait que lm studio mais c'est un très bon moyen de trouver des modèles / télécharger / lancer / bazarder sans pondre une ligne de code. Ils sont assez réactifs aussi (j'avais un problème de timeout impossible à changer sur les appels "cloud externe" (en faire mon llama sur mesure) résolu après le téléchargement d'une nouvelle version de Lemonade  

 
Le support est correct? Je pensais que c'était un Temu-like.

 
Je vais finir par me laisser tenter
 

 
Attention, ça vient pas de Kimi

Qwen 3.8 27B GSQ RCO tested - 16GB Local LLM setup
Luke's Dev Lab
https://www.youtube.com/watch?v=jFHu6wx_TMQ
https://huggingface.co/ISTA-DASLab/ [...] Q-RCO-GGUF
 
TL;DR
Une nouvelle façon de quantizer prometteuse: un Q3_S MTP de 12GB qui tient la route sur ses benchs Blender et Godot, c'est balaise!
 
request for qwen3.8 next  
https://huggingface.co/ISTA-DASLab/ [...] cussions/3

ça donnerait quelle taille avec GLM ou K3 ?