Reprise du message précédent :

 
https://rehost.diberie.com/Picture/Get/f/543896  
 
Ça mérite un down-vote  

En plus OSEF c'est HS en plus en plus.

je fais tourner en ce moment un qwen 3.8 27B en mode RCO GSQ sur un projet perso (pas de code) et ça a l'air plutôt correct : entre 25 et 30t/s sur ma config, ~400t/s en pp
la sortie a pas l'air complètement pourrie, ça fait 3j qu'il est chargé sur les cg et pas encore de crash complet du driver AMD.
j'ai reçu l'adaptateur nvme-pcie, je vais pas tarder à essayer de monter le bc-250 avec un gpu en plus pour tester, (RX6700) il me reste un ssd en sata samsung dans le coin et va falloir que je trouve un adaptateur vers usb3...  

 
Pareil, j'utilise le même modèle pour tester en "local" sans RPC et je suis a 20/25 en TG mais 100 en PP.
 
Elle va être top ta BC-250

 
T'as un header sata en direct sur la BC-250 ? Je pensais qu'il fallait passer par un adapter m.2 -> sata.

Non il n'y en a pas
 
C'est via usb les disques supplémentaires sur bc250, bon après ça ne fonctionne pas si mal

De mon cote j'ai re-benche mon dual de 3090:  
 
⚠️ GPU power cap active — the throughput numbers in this report are NOT at stock power.
 
- GPU 0 capped to 250 W of 450 W default (55%)
- GPU 1 capped to 220 W of 350 W default (62%)
 
System
 
- OS: Ubuntu 26.04.1 LTS
- Kernel: 7.0.0-30-generic
- Motherboard: ASUSTeK COMPUTER INC. ProArt B850-CREATOR WIFI NEO
- BIOS: 1002 (07/13/2026)
- Environment: bare metal
- Locale: en_GB.UTF-8
- Timezone: UTC
- Uptime: up 20 minutes
 
CPU + RAM
 
- CPU: AMD Ryzen 7 7700 8-Core Processor
- CPU topology: 1 socket(s) × 8 core(s) = 8 physical, 2 thread(s)/core → 16 logical
- NUMA nodes: 1
- nproc: 16
- RAM: 29Gi total, 19Gi available
- Swap: 8.0Gi
 
GPU hardware
 
- GPU 0: NVIDIA GeForce RTX 3090 Ti | 24564 MiB | driver 610.43.02 | VBIOS 94.02.A0.00.01 | persistence=Enabled
  - Power: limit=250.00 W (55% of 450.00 W default, max=450.00 W) | current_draw=95.33 W ⚠ CAPPED BELOW DEFAULT — throughput on this card is power-limited, not comparable to a stock-power baseline
  - PCIe: x8 lanes negotiated (GPU max x16, Gen up to 4) | bus 00000000:01:00.0 ⚠ slot is narrower than GPU capability — affects load + all-reduce bandwidth
- GPU 1: NVIDIA GeForce RTX 3090 | 24576 MiB | driver 610.43.02 | VBIOS 94.02.4B.00.0B | persistence=Enabled
  - Power: limit=220.00 W (62% of 350.00 W default, max=400.00 W) | current_draw=106.70 W ⚠ CAPPED BELOW DEFAULT — throughput on this card is power-limited, not comparable to a stock-power baseline
  - PCIe: x8 lanes negotiated (GPU max x16, Gen up to 4) | bus 00000000:03:00.0 ⚠ slot is narrower than GPU capability — affects load + all-reduce bandwidth
- ECC mode: Disabled (3090s don't have ECC; expect N/A)
 
[bench] narrative run 1/5: 864 tok in 7.4s (118.00 decode TPS, ttft 81ms)
[bench] narrative run 2/5: 912 tok in 7.9s (116.96 decode TPS, ttft 80ms)
[bench] narrative run 3/5: 1000 tok in 8.4s (120.66 decode TPS, ttft 81ms)
[bench] narrative run 4/5: 930 tok in 8.3s (113.74 decode TPS, ttft 82ms)
[bench] narrative run 5/5: 890 tok in 8.2s (109.33 decode TPS, ttft 80ms)
[bench] code run 1/5: 800 tok in 4.1s (196.87 decode TPS, ttft 83ms)
[bench] code run 2/5: 423 tok in 2.1s (204.68 decode TPS, ttft 59ms)
[bench] code run 3/5: 477 tok in 2.4s (204.69 decode TPS, ttft 82ms)
[bench] code run 4/5: 399 tok in 2.0s (205.91 decode TPS, ttft 82ms)
[bench] code run 5/5: 488 tok in 2.7s (186.46 decode TPS, ttft 82ms)
[bench] capture: tokenizer ratio 1.35 tok/word (haystacks sized by measured tokens, not words)
[bench] prefill-10k run 1/3: 10003 prompt tok, 2611.2 prefill tok/s, ttft 3831ms
[bench] prefill-10k run 2/3: 10003 prompt tok, 2608.3 prefill tok/s, ttft 3835ms
[bench] prefill-10k run 3/3: 10003 prompt tok, 2608.4 prefill tok/s, ttft 3835ms
[bench] prefill-90k run 1/1: 83815 prompt tok, 1838.3 prefill tok/s, ttft 45593ms

Je sais pas si c'est bien mais vérifie surtout avec nvidia-smi que tes deux cartes arrivent a communiquer en direct

Bon, je me suis enfin commandé un GPU pour le lab perso  
 

 
(P4 8 Go / 110 €)
 
J'ai pas vraiment besoin d'avoir des modèles en local, ayant déjà des abonnements persos Anthropic / OpenAI, et au taf des accès à tout un tas de modèles par API.
 
Le besoin : jouer un peu plus avec OpenShift AI, qu'on déploie chez certains clients (d'ailleurs vLLM ne gère pas les P4, ça me fera configurer KServe ).
 
Mes contraintes :
- coût raisonnable (les A2 / T4 / V100 c'était plutôt 350-400 €)
- que ça soit utilisable dans un Dell R730 (40 cores / 256 Go RAM) sans devoir changer mes alims.

T'en a pris combien?

C'est juste pour jouer avec, si ça me plait je demanderais une V100 32 Go au papa Noël

 
Malheureusement le P2P a fait crash le system du coup j'ai un peu abandonne l'idee. J'ai malheureusement pas trop de retour sur du B850 neo creator....

Sata->usb3 plutôt.

 
C'est tu as mis le doigt dedans

Et hop une 6800 mise de côté pour le mod nvme bc250, j'attends les résultats pour voir si je commande l'adaptateur  

Faut que je me dépêche alors

Si tu peut faire ça dans la semaine ça m'arrange  

 
Et tu boot sur USB ?

 
T'as eu des resultats sur 6800 ? Je n'ai pas l'impression que RDNA2 soit si bon que cela...

De mon cote halogen mouline bien avec Claude Code:
 
● main
  ( ) general-purpose  Grepping git history for the leaked client secret                                                                                                                                                                                        1h 0m 25s · ↓ 53.6k tokens
  ( ) general-purpose  Running pytest coverage report                                                                                                                                                                                                             58m 25s · ↓ 44.3k tokens
  ( ) general-purpose  Auditing imports against requirements.txt                                                                                                                                                                                                  57m 52s · ↓ 49.3k tokens  
  ( ) general-purpose  Reading handlers.py and `_RRF_K` in hybridsearch.py                                                                                                                                                                                        55m 44s · ↓ 61.0k tokens

c'est l'idée, j'ai vu un polonais faire ça sur YT

bon, c'est ma mission cette semaine
 

c'est une putain de bonne nouvelle, les strix halo commencent à devenir "utilisables" du coup

 
Le prompt c'est "full project audit". Le genre de truc qui bouffe 50% de tes token hebdo sur claude code...  
 
Je vais voir combien de temps ca prend et ce que ca sort.  
 
Qui peut le plus peut le moins comme on dit

Luke's Dev Lab: Qwen 3.8 Flash Next Tested - 16GB Local LLM setup
https://youtu.be/s4cTVRH2ReA
 
Motivé le gars, il teste le Q3_K_XL avec sa RTX 2000 16GB et 32GB de RAM, prefil a 28/s et TG a 14/s
 

Pour la completion de code / du chat ça va
 
Faut pas lui demander d’analyser autre chose par contre

Hehe, 3heures plus tard:
 ● main
  ( ) general-purpose  Testing CRLF handling in httpx headers                                                                                                                                                                                                  2h 59m 21s · ↓ 79.9k tokens
  ( ) general-purpose  Verifying ONNX model file exists                                                                                                                                                                                                        2h 57m 21s · ↓ 87.9k tokens
  ( ) general-purpose  Inspecting test.yml dependency install                                                                                                                                                                                                  2h 56m 49s · ↓ 61.5k tokens  
  ( ) general-purpose  Reading crawler/cli.py argparse setup                                                                                                                                                                                                   2h 54m 40s · ↓ 67.3k tokens

j'essaierai bien sur ma config, faut que je trouve un guide pour configurer ce merdier comme il faut.
par contre, prefil à 28t/s, déjà qu'à moins de 200 je trouve ça long (j'ai souvent 32k+ à charger)
je me dis qu'avec plus de VRAM et plus de RAM système, ça sera forcément mieux mais bon

 
Absolument, mais uniquement pour la correction, le fond est entièrement de moi..  

 
Tu peux voir mes posts précédents, j'étais dans les 100+ en prefil, après ça dépends de la taille du contexte.
 
La j'ai clairement un soucis avec ma VM Debian et la RTX, peut être Vulkan + NV qui marche pas bien ou un réglage.

Personne ici n'utilise un setup à base d'Intel Arc?

Y’a katkar qui essaie de se convaincre d’acheter un B50 mais j’ai rien vu d’autre en pure Intel

Je fais des calculs savants pour voir si je pourrais commencer par mettre une B70 Pro en egpu oculink sur mon serveur existant
 

c'est le même prix qu'une R9700 pro ai non ? avec moins de compute ?

 
 
Je déconseille lourdement la AMD RADEON RX-VEGA56 et ses derniers drivers moisies, avec Llama-server j'ai moulte écran noir depuis quelques bêtas de Llama.cpp.
 
Là je vais juste réinstaller les derniers Drivers, si j'ai encore plein d'écrans noirs, ben je change de carte graphique, un truc plus récent et avec un vrai suivit des drivers.

Serveurs proxmox -> mieux supporté par Intel Pro Arc et SR-IOV supporté je crois

tu as ajouté ROCm 7.14 ou Vulkan ? que dit roc-smi ?

Ca c'est embêtant je regarderai mes notes demain.
T'es sous Linux ? Directement en natif ou les GPU en passthru dans une VM ?

 
je veux bien une piste si tu as...
 
- **OS:** Ubuntu 26.04.1 LTS
- **Kernel:** 7.0.0-30-generic
- **Motherboard:** ASUSTeK COMPUTER INC. ProArt B850-CREATOR WIFI NEO
- **BIOS:** 1002 (07/13/2026)
- **Environment:** bare metal
 
J'avais essaye avec claude code, en gros des que l'inference commencait, freeze / perte de ssh / reboot...

De tête déjà, t'as passé iommu=pt ?

Édit: pas sûr que ça soit nécessaire si t'es directement sur le host mais ça coûte rien d'essayer

 
 
AMD a dénoncé tout ce qui était GCN de ROCm, donc les AMD RADEON RX-VEGA56 n'ont plus de compatiblité officiel avec ROCm.
 
Je ne fais que du Vulkan et parfois du CPU Only mais c'est d'une lenteur.
 
 
Edit: faut patienté pour les binaryses mais voici le lien pour Llama.cpp version 0.4.1: https://github.com/ggml-org/llama.c [...] tag/v0.4.1
https://github.com/ggml-org/llama.cpp/releases
 

Windows ou linux ?