 |
||
| ||
| |||||
| Dernière réponse | |
|---|---|
| Sujet : Infra IA : aide au choix et troubleshot de LLM Locaux | |
| moyen_moins | j'ai tout l'inverse :D |
| Aperçu |
|---|
| Vue Rapide de la discussion |
|---|
| moyen_moins | j'ai tout l'inverse :D |
| the_fennec |
|
| moyen_moins |
ou alors, je fais une machine dédiée linux sans kde/xfce etc. que je fous au garage, full barouf, je vends ma 9070XT, j'achète une 2ème R9700 et ma machine du quotidien, c'est mon nuc zen4 avec une RX6700 en USB 4 si je veux jouer (ou mieux, j'ai le bc-250) :o |
| neo world | tout est en ligne de commande côté serveur d'inférence ici avec le portail web fedora pour l'accès facilité sans SSH (dans les faits je l'utilise jamais en dehors de la curiosité de le regarder dans les tous débuts :o ) et mon portail d'admin / bench / monitoring / mise à jour de Gufo (ils sortent en moyenne une version par jour. Ca me prend un clic et 5 minutes de mettre à jour. tests de non régression des options gufo inclus, 20 minutes de benchmark de perf et rollback en un clic :D https://rehost.diberie.com/Picture/Get/f/568902 https://rehost.diberie.com/Picture/Get/f/568904 la partie benchmark qualitative est toujours en cours d'amélioration. 27h de calcul total pour le dernier bench en entier. Le nouveau sera un peu plus long avec des épreuves encore plus difficiles. Je veux mettre low et medium thinking en echec sur au moins une épreuve de chaque catégorie pour pouvoir mesurer les améliorations portées par le thinking sur toutes les catégories de bench et laisser de la place à de la progression pour qwen 4 vs 3.8 en xhigh :D Qwen 4 pas sorti la semaine dernière finalement [:speedboyz30:3] |
| the_fennec |
|
| neo world |
|
| moyen_moins |
|
| the_fennec |
|
| moyen_moins |
|
| moyen_moins |
|
| the_fennec |
|
| tfpsly | Avoir 4 barettes est souvent moins stable que deux, surtout sur Ryzen. Gemini m'avait aidé à stabiliser mes 4 barettes avec DOCP/XPM, en me disant quels settings changer pour ma carte mère (de mémoire, voltage et Gear Down Mode à T2). |
| moyen_moins | Bon, 9h non stop de decode avec la ram à 3433MT. Je me demande si c'est pas aussi mes bidouilles sur le GPU qui faisaient tout planter [:jean-guitou] |
| neo world | pour ceux qui hésitent à se prendre deux strix halo [:setlel] :
https://github.com/Shoestring-dev/Strixfold https://github.com/Shoestring-dev/S [...] eading.svg https://github.com/Shoestring-dev/S [...] -chats.svg vend ou echange deux enfants en parfait état de fonctionnement pour retour des nuits perdues et cluster de strix halo :o |
| neo world | cette nouvelle technique de quantisation ... [:lavie_lavraie] https://i.redd.it/zmzve33v200i1.png |
