 |
||
| ||
| |||||
| Dernière réponse | ||
|---|---|---|
| Sujet : Infra IA : aide au choix et troubleshot de LLM Locaux | ||
| the_fennec | Apsara conference: Qwen4 next week
https://www.reddit.com/r/LocalLLaMA [...] next_week/ [:wark0]
|
|
| Aperçu |
|---|
| Vue Rapide de la discussion |
|---|
| the_fennec | Apsara conference: Qwen4 next week
https://www.reddit.com/r/LocalLLaMA [...] next_week/ [:wark0]
|
| the_fennec |
|
| the_fennec |
|
| neo world | Si tu connais le pattern de montée en charge tu peux réserver dans le futur :
https://aws.amazon.com/fr/blogs/aws [...] ervations/ Tu pensais etre tranquille chez Amazon alors qu’en fait tu retrouves à jouer au Tetris des ressources comme un vulgaire péon dans son environnement on prem :o |
| the_fennec |
|
| moyen_moins | l'article sur clubic qui parle d'une bulle qui semble vouloir éclater :whistle: edit: https://www.youtube.com/watch?v=744xWZBqlC8 |
| neo world |
|
| the_fennec | J'aimerais bien que ça redescende, mais je doute que ça arrive vite.
AWS je sais pas comment ils font pour perdre des sous, ils doivent investir a mort. En tout cas au taf on a eu plusieurs outages ou near miss car il n'y avait plus de GPU dispo chez AWS, résultat les ops/SRE conseillent d'upscale le nombre d'instance GPU au cas ou :o |
| neo world |
|
| the_fennec |
|
| the_fennec |
|
| neo world |
|
| neo world | moi je pense qu'on aura pas à attendre autant : à la minute où la DDR6 sera produite en mass market avec des machines comme les GB10 / strix halo / Mac studio / Xiaomi box et j'en passe disponibles le prix des "vieilles" cartes encore rapide mais en faible capacité (en particulier sur tout ce qui fera 32GB ou moins) descendra assez violemment. Ca fera pas plaisir d'acheter de la RAM comme en 2025 ou des GPU comme à l'époque du prix suggéré de la 1080 mais 500w pour faire tourner un agent H24 (environ 1000 balles TTC d'elec au tarif actuel) ce sera juste pas possible et vu comme un hobby de geek ... Enfin j'espère :whistle: |
| speedboyz30 |
|
| the_fennec |
|
| speedboyz30 | Vivement que la bulle pète et qu'on chope des promos black friday en 2030 :o |
| neo world | le prix des RTX 6000 pro be like [:haha cassoulet]
https://www.idealo.fr/prix/20627932 [...] kwell.html Nvidia qui va nous coller 2k$ / an pour faire tourner des agents sur https://www.notebookcheck.net/Nvidi [...] 623.0.html [:vidadoe:7] |
| neo world | Bosgame PC : optimisation de perfs
J'ai noté cet automne que le bosgame PC M5 Strix Halo dépassait difficilement les 65°C avec le GPU à pleine charge et le package à 110W sustained / 120W en micro boost (réparti entre CPU et GPU) A noter que mon strix halo est posé sur cette base ce qui https://m.media-amazon.com/images/I [...] SX679_.jpg Donc prise de perfs avec Gufo 26 (la build du jour avec Rocm 10.1) : run 1/4 : 69903 tokens prefill 1644.3 tok/s (1er token 43 s) | prose 37.6 tok/s acceptation 58.5 % run 2/4 : 69879 tokens prefill 1604.0 tok/s (1er token 44 s) | prose 35.4 tok/s acceptation 55.4 % run 3/4 : 250794 tokens prefill 1473.8 tok/s (1er token 170 s) | prose 37.7 tok/s acceptation 56.8 % run 4/4 : 250848 tokens prefill 1444.3 tok/s (1er token 174 s) | prose 34.0 tok/s acceptation 57.1 % Et passage du package en 120W sustained : le premier run 70K tokens passe sans problème avec le GPU à 70°C mais le suivant amène le GPU à 76°C et sur les runs à 250K tokens patatras ça flirt les 93°C. Ce qui amène la fréquence GPU à un zigzag avec un point bas à 2 320Mhz J'ai ajouté deux démons : Un qui modifie la courbe de ventilation (pilote du ec_su_axb35 via dkms) pour l'amener à 80% du max RPM pour les deux ventilateurs dés 50°C (100% en RPM n'améliore que de 2°C la température max observée) Un autre qui surveille la température du CPU / GPU : dés que l'un d'eux dépasse 95°C pendant trois échantillonnages il diminue pendant 1h le wattage du package par pallier de 10W jusqu'à arriver à 90w si nécessaire. Par fenêtre de 8h il peut remonter par pallier de 10w temps que la temp max est en dessous de 85°C pour une load GPU de plus de 70% résultat (la dernière colonne donne les variation de température entre le début et la fin du run) : run 1/4 : 69849 tokens prefill 1658.2 tok/s (1er token 42 s) | prose 33.9 tok/s acceptation 54.4 % | GPU 25→50 °C run 2/4 : 69884 tokens prefill 1626.3 tok/s (1er token 43 s) | prose 37.3 tok/s acceptation 56.2 % | GPU 50→54 °C run 3/4 : 250811 tokens prefill 1507.8 tok/s (1er token 166 s) | prose 37.1 tok/s acceptation 58.0 % | GPU 54→56 °C run 4/4 : 250783 tokens prefill 1485.3 tok/s (1er token 169 s) | prose 35.7 tok/s acceptation 56.1 % | GPU 56→56 °C Gain à 250K en prefill : 2,6% ou 5s sans cache hit. En token gen pas de gain observé comme de toute façon la bande passante mémoire empêche de consommer plus de 90W Nouvelle tuile de monitoring pour vérifier comment évolue le profil d'alimentation : https://rehost.diberie.com/Picture/Get/f/565679 Voilà le terrain est préparé pour le moment où le NPU sera aussi exploité [:le_6tron] |
| neo world | Tu pouvais lui proposer de prendre un rack pour ce prix. Ce serait peut être passé :o |
| the_fennec |
|
| neo world |
|
| neo world |
|
| the_fennec |
|
| the_fennec | Ha, merde j'ai loupé mon enchère :o
https://www.ebay.com/itm/880041409723 |
| neo world |
|
| the_fennec |
|
| the_fennec |
|
| the_fennec | DS4 sur un Android 12GB :lol:, clustering d'un peu tout ce qui traîne a la maison:
https://github.com/Helldez/BigMoeOnEdge :lol: |
| lapin |
|
