 |
||
| ||
| |||||
| Dernière réponse | |
|---|---|
| Sujet : Infra IA : aide au choix et troubleshot de LLM locaux | |
| neo world | la batterie du téléphone [:paul de saint-balby:4] |
| Aperçu |
|---|
| Vue Rapide de la discussion |
|---|
| neo world | la batterie du téléphone [:paul de saint-balby:4] |
| Olivie |
|
| TotalRecall | Ah ouais sacré boulot :eek:
Y a même des exemples en français [:huit] |
| yohaskan | Tomber sur ce gars qui a bench 42 generateur TTS : Site bien utile, possibilité d'écouter des rendu audio, ou de voter par comparaison https://5uck1ess.github.io/tts-bench/speed.html https://i.ibb.co/dw6xpZQ1/image.png |
| neo world | benchmark des outils de ligne de commande fm (fondation models) sur Mac OS 27 beta Mac Mini M4 pro vs Studio M3 ultra (à noter qu'il y a aussi une offre cloud qui débite 3X plus rapidement) :
https://youtu.be/8vDuIVlfeV0 https://miro.medium.com/v2/resize:f [...] 1sx8Wg.png Y'en a qui ont Mac OS 27 ? |
| the_fennec | Ya le support de CUDA et un paramètre -ram, ça se teste, l'idéal serait du memory mapped IO pour éviter d'avoir a charger tout en ram d'abord. |
| Quich | J'ai une vieille machine (2x e5-2697v2 - pas d'AVX2) avec 256GB de ram à laquelle je peux ajouter un GPU. Ils n'auraient pas moyen de faire l'inférence sur un GPU avec le modèle en ram plutôt ? :o Après je pourrais faire un ramdisk sur ~240GB et le reste sur Nvme. |
| the_fennec | "ils" c'est juste un dev qui fait son truc sur son laptop. Ya un autre qui a ajouté le support de CUDA et qui visiblement a une config plus costaude.
Dans un commentaire (ou le README) il dit que WSL2 est limité a 1GB/s donc mon SSD SATA est pas si loin avec ses 600MB/s :o Quelques info d'évolution: https://github.com/JustVugg/colibri/issues/19
|
| neo world | sans NVME ce sera quand même vachement plus lent : "Cold starts are heavy on random reads (~11 GB/token)" imagine avec un SSD SAS / SATA ou un HDD :cry: Ce qui m'étonne c'est qu'ils ne se sont pas focalisés sur les MAC dernière génération (NVME PCI 5.0) dans un premier temps. Mais une version vulkan sur le strix halo ne me dérangerai pas non plus :o |
| the_fennec |
|
| Pipould's | Le nvfp4 ne marchera pas sur la 3060 non ? |
| Tronklou | Faut que je monte ma 3060 avec la 5070ti histoire de taper les 28gb de vram [:cerveau delight] |
| Olivie | Pour les fans de qwen
https://img3.super-h.fr/images/2026 [...] 869399.jpg https://huggingface.co/collections/unsloth/nvfp4 |
| LibreArbitre | Attention, plus de 300 Go sur un NVMe dédié en ext4 ;) Dommage de ne pas pouvoir capitaliser sur un GPU et offloader sur le CPU/mémoire... |
| the_fennec |
|
| XaTriX |
|
| Tronklou | https://github.com/JustVugg/colibri Si vous voulez faire tourner glm5.2 avec juste 30gb de ram :love: |
| LibreArbitre |
https://www.reddit.com/r/BC250Gaming/ |
| XaTriX | et on peut gamer dessus ? :o
j'ai pas de gpu :o |
| the_fennec |
|
| Tronklou |
|
| XaTriX | Seulement 150€ ? On en trouve sur AE ? |
| b-tzu | J’ai déjà une 3080 12Go, difficile de justifier un achat… Alors qu’un BC250 C’est pas cher |
| Tronklou | Pour moi le meilleur bon plan c'est une 3060 12gb si t'a un pc de dispo et assez de ram.
La bc250 c'est vraiment intéressant si t'a pas de pc pour accueillir un gpu ( ou que tu aime rigoler comme moi et the fennec) |
| Pipould's |
9060 XT 16GB |
| the_fennec |
|
| b-tzu | On fait quoi avec un bc250 seul? Que je vois si ça sert d’en acheter un |
| Tronklou | Les mV au dessus de 910 ça tabasse fort vus que le ratio est d'environ 0,43 il faut tout de suite augmenter beaucoup pour aller chercher les derniers mhz. Après en watercooling ça pourrait être jouable mais ça devient un peu le contraire fun setup lowcost :pt1cable: Oui j'avais bien mis dans le bios a 100% , au début j'avais même utilisé un adaptateur sata :D |
| the_fennec | C'est quoi qui est a 850/910? |
| the_fennec |
J'ai pas testé plus de 2ghz. |
| Tronklou | J'ai pas eu autant de chance que toi, même avec un adaptateur ça chauffais vraiment fort.
J'ai repast + ouvert le rad et le p12 en direct du coup. Niveau loterie silicium je suis aps trop à plaindre sur la premiere : elle tiens max 2300mhz pour 1v, mais ca chauffe beaucoup trop :D Le sweetpost c'est 2100/910 https://i.imgur.com/H91qZzL.png |
| the_fennec | J'utilise aussi bc250-cu-live-manager, pas fan du patch kernel pour la même raison que toi. J'ai les deux qui passent à 40 CU, pas vu de soucis pour le moment.
J'ai pas de GUI donc je devrais pas avoir de soucis avec le patch kernel, mais un service c'est toujours mieux pour les upgrades de kernel. J'ai un P12 pro à 100% sur chaque avec cet adaptateur, mais juste la partie ventilo, pas le boîtier complet: https://makerworld.com/en/models/2219947-amd-bc250-case Je suis a 350-2000Mhz max avec un UV à tous les niveaux. C'est stable à 100%, mais c'est très rare qu'une carte soit a 100% GPU très longtemps a cause du RPC. J'ai prévu de repaste quand je ferais un boîtier propre, un jour. |
| Tronklou | Non , j'ai deux core qui sont HS. Si AMD a bloqué des cores c'est pas pour rien à mon avis, ca devait être des déchet de la prod pour la ps5, donc c'est de la loterie. D'ailleurs utilise pas à l'aveugle le patch kernel qui unlock direct les 40, après c'est une boucle de la mort pour en sortir en SSH si t'a le moindre problème :O Je suis partis là dessus https://github.com/WinnieLV/bc250-cu-live-manager Bon le fork donne rien sur la bc250, j'ai coupé court car j'ai un autre axe d'améliorations rapides : Avec le nouveau système de refroidissement ( rad ouvert + P12 pro) j'ai largement plus de marge thermique, donc maintenant le but c'est de monter au max de fréquences possible sans tout cramer :O https://i.imgur.com/0bnATCO.png https://i.imgur.com/DKPuILL.png |
