Forum |  HardWare.fr | News | Articles | PC | S'identifier | S'inscrire | Shop Recherche
3267 connectés 

 


Je génère ...
Sondage à 3 choix possibles.
Ce sondage expirera le 20-09-2026 à 10:00




Attention si vous cliquez sur "voir les résultats" vous ne pourrez plus voter

 Mot :   Pseudo :  
  Aller à la page :
 
 Page :   1  2  3  4  5  ..  64  65  66  67  68  69
Page Suivante
Auteur Sujet :

Infra IA : aide au choix et troubleshot de LLM Locaux

n°49452
yohaskan
Posté le 16-09-2026 à 20:33:01  profilanswer
 

Reprise du message précédent :
Uhuhu Enfoiré :D  
https://media1.tenor.com/m/dnvTJv5n [...] -happy.gif  
 

n°49453
neo world
Posté le 16-09-2026 à 20:46:57  profilanswer
 

M300A a écrit :

Ça a existé ça ? Jamais vu :D
 
Ceci dit j'ai vu passer que Facebook avait bricolé un adapteur PCI-E DDR4 pour ajouter de la ram sur les serveurs DDR5 faute de dispos


Yep c'était la rolls du stockage à l'époque où l’alternative la plus rapide c'était les disques 15k (attention fallait onduler le bordel comme la RAM est éphémère et ne tient pas des événements comme un simple reboot sans pile dédiée)

n°49455
neo world
Posté le 16-09-2026 à 20:51:21  profilanswer
 

yohaskan a écrit :

Hop !
Triss est passé en mode agent, et gère la comm avec Cline sur Vscode
évidement en local, et en vocal...
Ah, vous noterez que Cline peut continuer a overthink tant qu'il veut, pendant que je cause et contrôle son status en papotant avec Triss :whistle:  
https://media1.tenor.com/m/tabuI4Of [...] beesly.gif
C'est le Qwen 3.8 27B qui fait les deux
https://youtu.be/IzPfxbHqfqU


 
tu lui donnes accès à toute ta machine ? Courageux ! :D  
 

moyen_moins a écrit :

https://rehost.diberie.com/Picture/Get/t/544649
 
Les 14Go sont bien là, fallait faire un cold boot.
Par contre pour le moment, pas de RX6700 visible. :(


on avait le scotch, la boucherie et maintenant la photo de config explosée au sol :o

n°49456
neo world
Posté le 16-09-2026 à 20:51:42  profilanswer
 
n°49461
sardhaukar
Posté le 16-09-2026 à 21:18:17  profilanswer
 
n°49463
moyen_moin​s
chat réincarné
Posté le 16-09-2026 à 21:28:40  profilanswer
 

punaise, la RX6700 me fait des misères, elle a un bios pourri d'après DS 4.1 flash qui bug sous linux :cry:

n°49464
neo world
Posté le 16-09-2026 à 21:38:45  profilanswer
 

moyen_moins a écrit :

punaise, la RX6700 me fait des misères, elle a un bios pourri d'après DS 4.1 flash qui bug sous linux :cry:


Essaie la sur une machine classique, fais un update des drivers et regarde si il y a un firmware à jour. Mais je ne vois pas pourquoi elle aurait un bug spécifique à Linux :/

n°49466
moyen_moin​s
chat réincarné
Posté le 16-09-2026 à 21:45:56  profilanswer
 

elle s'identifie comme une carte de minage :heink:
bon, l'ia pas gratuite bosse pour moi et essaie de régler le souci. [:totoz]

n°49468
speedboyz3​0
Guide Michelin :o
Posté le 16-09-2026 à 21:58:59  profilanswer
 

Event Microsoft le 7 octobre avec tonton Jensen.
 
Annonces hardware & softr à venir, sachant que les nouveaux hard nvidia vont tourner sous windows.
 
https://videocardz.com/newz/microso [...] h-expected

n°49469
yohaskan
Posté le 16-09-2026 à 22:12:56  profilanswer
 

neo world a écrit :


 
tu lui donnes accès à toute ta machine ? Courageux ! :D  
 


 
Nan, pas dans l’immédiat.
Pour le moment, elle n'a accès qu'a ses outils prévu dans son profil .yaml,  
dont un déjà puissant (trop si tu le laisse faire avec les lignes de commande...) qui lui permet de piloter Cline (Vscode)
En gros, j'utilise l'agent vocal pour superviser l'agent de codage
Mais un des deux devrait déjà tiquer si jamais je demande de formater le disque C: :o  
 
 

n°49470
neo world
Posté le 16-09-2026 à 22:15:37  profilanswer
 


bienvenue ! ASV tu as déjà du matériel / fais quelques tests / des objectifs d'usage ?  :jap:

n°49472
neo world
Posté le 16-09-2026 à 22:29:32  profilanswer
 

yohaskan a écrit :


 
Nan, pas dans l’immédiat.
Pour le moment, elle n'a accès qu'a ses outils prévu dans son profil .yaml,  
dont un déjà puissant (trop si tu le laisse faire avec les lignes de commande...) qui lui permet de piloter Cline (Vscode)
En gros, j'utilise l'agent vocal pour superviser l'agent de codage
Mais un des deux devrait déjà tiquer si jamais je demande de formater le disque C: :o  


à ta place je mettrais l'agent et vscode dans un WSL (avec le .bashrc qui va bien pour bloquer les rm -rf trop ambitieux, les tentatives de supression de git and co)
 
Si l'agent à accès  internet ça équivaut à l'époque d'XP à l'exposer à internet sur une ip publique puis à s'étonner de recevoir XXXXX net send de pubs et trois heures plus tard d'avoir un écran bleu à force d’avoir de nouveaux trojans :o
 
Les attaques sur llm vont se massifier encore avec l'usage et l'absence de sécurité sérieuse. Un endpoint avec un modèle un peu sérieux (local ou une clé api externe) c'est le jackpot :jap:

n°49474
moyen_moin​s
chat réincarné
Posté le 16-09-2026 à 22:40:15  profilanswer
 

bon, j'ai croisé les skis quand j'ai commandé le riser, c'était un truc de minage, le signal est trop dégradé dès que je charge le bus pcie :(
me suis gouré de version  [:prozac]

n°49475
neo world
Posté le 16-09-2026 à 22:41:59  profilanswer
 

c'est quoi ton riser pci express ?
 
tu peux le déplier steuplé et l'éloigner de la carte au lieu de l'enrouler au port ethernet ? C'est pas fait pour s'accoupler :o


Message édité par neo world le 16-09-2026 à 22:45:14
n°49477
moyen_moin​s
chat réincarné
Posté le 16-09-2026 à 22:52:19  profilanswer
 

bah surtout, la ref achetée (pour le minage - M43JD-WK 4.0, 35cm) à une nappe bien moins large que ceux pour les cartes graphiques qui autorisent des vitesses jusqu'en 4X (et pas 1X comme le truc que j'ai acheté).


Message édité par moyen_moins le 16-09-2026 à 22:52:46
n°49478
the_fennec
f3nn3cUs z3rd4
Posté le 16-09-2026 à 23:01:56  profilanswer
 

C'est pas ton alim qui a du mal?
Le fait d'être en 1x va juste rendre le chargement de modèle plus long, mais ça devrait pas faire planter.
 
T'as branché l'alim du port pcie? Je la vois pas sur ta photo:
https://i.imgur.com/gekM8MO.png


---------------
Faudra que je teste un jour :o
n°49480
neo world
Posté le 16-09-2026 à 23:07:56  profilanswer
 

pas bete y'a que du 3,3v qui sort du connecteur M2 au lieu des 12v

n°49481
moyen_moin​s
chat réincarné
Posté le 16-09-2026 à 23:16:57  profilanswer
 

oui, il est branché, la carte est détectée mais dès que le modèle se charge et qu'il y a du trafic sur le bus => la carte freeze.  
j'avais des doutes sur l'alimentation mais a priori, ça passe avec ma bidouille (et ça devrait être large) :o

n°49482
neo world
Posté le 16-09-2026 à 23:34:42  profilanswer
 

que dit lspci ?  
 
et éloigne la nappe de ton riser du port ethernet : ça balance la blinde de signaux parasites

n°49484
the_fennec
f3nn3cUs z3rd4
Posté le 16-09-2026 à 23:37:11  profilanswer
 

C'est quoi ton alim? Tu peux pas mettre un voltmètre sur ton 12V?
T'as des trucs dans ton dmesg?
Comment tu vois que la carte freeze?

Message cité 1 fois
Message édité par the_fennec le 16-09-2026 à 23:38:19

---------------
Faudra que je teste un jour :o
n°49485
moyen_moin​s
chat réincarné
Posté le 17-09-2026 à 00:10:59  profilanswer
 

neo world a écrit :

que dit lspci ?

 

et éloigne la nappe de ton riser du port ethernet : ça balance la blinde de signaux parasites


[root@Host-003 ~]# lspci
00:00.0 Host bridge: Advanced Micro Devices, Inc. [AMD] Ariel Root Complex
00:01.0 Host bridge: Advanced Micro Devices, Inc. [AMD] Ariel PCIe Dummy Host Bridge
00:08.0 Host bridge: Advanced Micro Devices, Inc. [AMD] Ariel PCIe Dummy Host Bridge
00:08.1 PCI bridge: Advanced Micro Devices, Inc. [AMD] Ariel Internal PCIe GPP Bridge 0 to Bus A
00:10.0 USB controller: Advanced Micro Devices, Inc. [AMD] FCH USB XHCI Controller (rev 09)
00:11.0 SATA controller: Advanced Micro Devices, Inc. [AMD] FCH SATA Controller [AHCI mode] (rev 40)
00:12.0 USB controller: Advanced Micro Devices, Inc. [AMD] FCH USB OHCI Controller (rev 11)
00:12.2 USB controller: Advanced Micro Devices, Inc. [AMD] FCH USB EHCI Controller (rev 11)
00:13.0 USB controller: Advanced Micro Devices, Inc. [AMD] FCH USB OHCI Controller (rev 11)
00:13.2 USB controller: Advanced Micro Devices, Inc. [AMD] FCH USB EHCI Controller (rev 11)
00:14.0 SMBus: Advanced Micro Devices, Inc. [AMD] FCH SMBus Controller (rev 16)
00:14.3 ISA bridge: Advanced Micro Devices, Inc. [AMD] FCH LPC Bridge (rev 11)
00:14.4 PCI bridge: Advanced Micro Devices, Inc. [AMD] FCH PCI Bridge (rev 40)
00:14.5 USB controller: Advanced Micro Devices, Inc. [AMD] FCH USB OHCI Controller (rev 11)
00:15.0 PCI bridge: Advanced Micro Devices, Inc. [AMD] Hudson PCI to PCI bridge (PCIE port 0)
00:15.1 PCI bridge: Advanced Micro Devices, Inc. [AMD] Hudson PCI to PCI bridge (PCIE port 1)
00:18.0 Host bridge: Advanced Micro Devices, Inc. [AMD] Ariel Device 24: Function 0
00:18.1 Host bridge: Advanced Micro Devices, Inc. [AMD] Ariel Device 24: Function 1
00:18.2 Host bridge: Advanced Micro Devices, Inc. [AMD] Ariel Device 24: Function 2
00:18.3 Host bridge: Advanced Micro Devices, Inc. [AMD] Ariel Device 24: Function 3
00:18.4 Host bridge: Advanced Micro Devices, Inc. [AMD] Ariel Device 24: Function 4
00:18.5 Host bridge: Advanced Micro Devices, Inc. [AMD] Ariel Device 24: Function 5
00:18.6 Host bridge: Advanced Micro Devices, Inc. [AMD] Ariel Device 24: Function 6
00:18.7 Host bridge: Advanced Micro Devices, Inc. [AMD] Ariel Device 24: Function 7
01:00.0 VGA compatible controller: Advanced Micro Devices, Inc. [AMD/ATI] Cyan Skillfish [BC-250]
01:00.1 Audio device: Advanced Micro Devices, Inc. [AMD/ATI] Device 13ff
01:00.2 Encryption controller: Advanced Micro Devices, Inc. [AMD] Device 143e
03:00.0 PCI bridge: Advanced Micro Devices, Inc. [AMD/ATI] Navi 10 XL Upstream Port of PCI Express Switch (rev df)
04:00.0 PCI bridge: Advanced Micro Devices, Inc. [AMD/ATI] Navi 10 XL Downstream Port of PCI Express Switch
05:00.0 VGA compatible controller: Advanced Micro Devices, Inc. [AMD/ATI] Navi 22 [Radeon RX 6700/6700 XT/6750 XT / 6800M/6850M XT] (rev df)
05:00.1 Audio device: Advanced Micro Devices, Inc. [AMD/ATI] Navi 21/23 HDMI/DP Audio Controller
06:00.0 Ethernet controller: Realtek Semiconductor Co., Ltd. RTL8111/8168/8211/8411 PCI Express Gigabit Ethernet Controller (rev 15)

 

je vais essayer de bouger la carte mais avec seulement 35cm, je peux pas aller non plus bien loin.

 
the_fennec a écrit :

C'est quoi ton alim? Tu peux pas mettre un voltmètre sur ton 12V?
T'as des trucs dans ton dmesg?
Comment tu vois que la carte freeze?


BeQuiet 600W

[    7.775018] ---[ end trace 0000000000000000 ]---
[    7.775021] amdgpu 0000:01:00.0: [drm] *ERROR* dal_irq_service_dummy_set: called for non-implemented irq source, src_id=0, ext_id=0
[    7.775024] amdgpu 0000:01:00.0: [drm] *ERROR* Failed to clear hpd(rx) source=3 on init
[    7.775028] amdgpu 0000:01:00.0: [drm] dal_irq_service_ack: src: 4
[    7.775043] amdgpu 0000:01:00.0: [drm] *ERROR* dal_irq_service_dummy_ack: called for non-implemented irq source, src_id=0, ext_id=0
[    7.775046] amdgpu 0000:01:00.0: [drm] dal_irq_service_set: src: 4, st: 0
[    7.775058] amdgpu 0000:01:00.0: [drm] *ERROR* dal_irq_service_dummy_set: called for non-implemented irq source, src_id=0, ext_id=0
[    7.775060] amdgpu 0000:01:00.0: [drm] *ERROR* Failed to clear hpd(rx) source=4 on init
[    7.775063] amdgpu 0000:01:00.0: [drm] dal_irq_service_ack: src: 5
[    7.775074] amdgpu 0000:01:00.0: [drm] *ERROR* dal_irq_service_dummy_ack: called for non-implemented irq source, src_id=0, ext_id=0
[    7.775077] amdgpu 0000:01:00.0: [drm] dal_irq_service_set: src: 5, st: 0
[    7.775088] amdgpu 0000:01:00.0: [drm] *ERROR* dal_irq_service_dummy_set: called for non-implemented irq source, src_id=0, ext_id=0
[    7.775091] amdgpu 0000:01:00.0: [drm] *ERROR* Failed to clear hpd(rx) source=5 on init
[    7.775093] amdgpu 0000:01:00.0: [drm] dal_irq_service_ack: src: 6
[    7.775105] amdgpu 0000:01:00.0: [drm] *ERROR* dal_irq_service_dummy_ack: called for non-implemented irq source, src_id=0, ext_id=0
[    7.775107] amdgpu 0000:01:00.0: [drm] dal_irq_service_set: src: 6, st: 0
[    7.775119] amdgpu 0000:01:00.0: [drm] *ERROR* dal_irq_service_dummy_set: called for non-implemented irq source, src_id=0, ext_id=0
[    7.775122] amdgpu 0000:01:00.0: [drm] *ERROR* Failed to clear hpd(rx) source=6 on init
[    7.775128] amdgpu 0000:01:00.0: [drm] dal_irq_service_ack: src: 9
[    7.775139] amdgpu 0000:01:00.0: [drm] *ERROR* dal_irq_service_dummy_ack: called for non-implemented irq source, src_id=0, ext_id=0
[    7.775142] amdgpu 0000:01:00.0: [drm] dal_irq_service_set: src: 9, st: 0
[    7.775154] amdgpu 0000:01:00.0: [drm] *ERROR* dal_irq_service_dummy_set: called for non-implemented irq source, src_id=0, ext_id=0
[    7.775156] amdgpu 0000:01:00.0: [drm] *ERROR* Failed to clear hpd(rx) source=9 on init
[    7.775158] amdgpu 0000:01:00.0: [drm] dal_irq_service_ack: src: 10
[    7.775170] amdgpu 0000:01:00.0: [drm] *ERROR* dal_irq_service_dummy_ack: called for non-implemented irq source, src_id=0, ext_id=0
[    7.775173] amdgpu 0000:01:00.0: [drm] dal_irq_service_set: src: 10, st: 0
[    7.775184] amdgpu 0000:01:00.0: [drm] *ERROR* dal_irq_service_dummy_set: called for non-implemented irq source, src_id=0, ext_id=0
[    7.775187] amdgpu 0000:01:00.0: [drm] *ERROR* Failed to clear hpd(rx) source=10 on init
[    7.775189] amdgpu 0000:01:00.0: [drm] dal_irq_service_ack: src: 11
[    7.775201] amdgpu 0000:01:00.0: [drm] *ERROR* dal_irq_service_dummy_ack: called for non-implemented irq source, src_id=0, ext_id=0
[    7.775203] amdgpu 0000:01:00.0: [drm] dal_irq_service_set: src: 11, st: 0
[    7.775215] amdgpu 0000:01:00.0: [drm] *ERROR* dal_irq_service_dummy_set: called for non-implemented irq source, src_id=0, ext_id=0
[    7.775218] amdgpu 0000:01:00.0: [drm] *ERROR* Failed to clear hpd(rx) source=11 on init
[    7.775220] amdgpu 0000:01:00.0: [drm] dal_irq_service_ack: src: 12
[    7.775232] amdgpu 0000:01:00.0: [drm] *ERROR* dal_irq_service_dummy_ack: called for non-implemented irq source, src_id=0, ext_id=0
[    7.775234] amdgpu 0000:01:00.0: [drm] dal_irq_service_set: src: 12, st: 0
[    7.775246] amdgpu 0000:01:00.0: [drm] *ERROR* dal_irq_service_dummy_set: called for non-implemented irq source, src_id=0, ext_id=0
[    7.775248] amdgpu 0000:01:00.0: [drm] *ERROR* Failed to clear hpd(rx) source=12 on init
[    7.775599] amdgpu 0000:01:00.0: kiq ring mec 2 pipe 1 q 0
[    8.281402] amdgpu 0000:01:00.0: Fence fallback timer expired on ring sdma0
[    8.281542] kfd kfd: Allocated 3969056 bytes on gart
[    8.281586] kfd kfd: Total number of KFD nodes to be created: 1
[    8.785392] amdgpu 0000:01:00.0: Fence fallback timer expired on ring sdma0
[    8.785462] amdgpu: Virtual CRAT table created for GPU
[    8.785961] amdgpu: Topology: Add GPU node [0x1002:0x13fe]
[    8.785969] kfd kfd: added device 1002:13fe


entre autre :o
la carte freeze => "SMU hang messages"

 

je teste viteuf, en moe, c'est du iq2m et en dense, j'ai le qwen 3.8  ISTA sans raisonnement 32k de contexte (bc-250 seul et 220W en conso vs <100W en idle).
sur reddit, il y a eu des tests de gpu pour le jeu et là, 0 intérêt. mais l'inférence, il n'y a pas autant de trafic normalement et ça peut faire facilement dans les 21-22Go de VRAM et donc des moe plus quali à utiliser (ou toujours le dense mais avec plus de 32k de contexte...)

 

edit: 150W de conso et 12V@12.176V stable
edit²: 225W et 12V@12V180 stable


Message édité par moyen_moins le 17-09-2026 à 01:09:01
n°49501
seu
M 41
Posté le 17-09-2026 à 08:57:49  profilanswer
 

jojo_le_haricot a écrit :


 
Bien sûr, de mon côté je tourne avec 3 GPU : 2 3060 12G + 1 2070 8Go  
J'utilise llama.cpp pour faire tourner Qwen 3.8 27b UD_Q4_XL avec 192k de contexte  
 
J'ai simplement filé ma config de llama-server au modèle, je lui ai décrit mon hardware, mon besoin et on a trouvé le meilleur compromis vitesse/contexte pour moi
après quelques itérations et tests j'ai gagné 25% de tg et 65k de contexte par rapport à ce que j'avais paramétré seul de mon côté notamment en jouant sur le tensor-split pour utiliser le max de VRAM de chaque GPU (et en virant quelques arguments bidons)
 
J'arrive à 12-13 tk/s tg et environ 500 en pp (avec contexte vide, ça diminue progressivement quand le contexte se rempli mais largement utilisable)
 


 
ça roule merci, je vais étudier ça  :jap:  
 

the_fennec a écrit :


 
+une paire de Voodoo 2 en SLI pour l'inférence :o


 
J'ai une matrox mystic qui traine, je vais l'utiliser  :o

n°49511
neo world
Posté le 17-09-2026 à 09:19:07  profilanswer
 

Vous savez avx2 fera mieux que vos « accélérateurs » de papis ? :o

n°49519
Pipould's
Posté le 17-09-2026 à 10:00:45  profilanswer
 

the_fennec a écrit :


 
+une paire de Voodoo 2 en SLI pour l'inférence :o


 
Quand je pense que j'avais utilise une nappe de lecteur de disquette pour faire le pont et que ca marchait parfaitement...  
 
Putain...

n°49528
moyen_moin​s
chat réincarné
Posté le 17-09-2026 à 10:27:30  profilanswer
 

bon, à part faire une console de salon tout à fait potable, le bc-250, c'est pas fait pour de l'inférence sur autre chose que du MoE :o
le pp sur qwen 3.8 à ~100t/s (voire moins dès qu'il y a un peu de contexte), c'est loooooong :sweat:

n°49530
neo world
Posté le 17-09-2026 à 10:33:57  profilanswer
 

moyen_moins a écrit :

bon, à part faire une console de salon tout à fait potable, le bc-250, c'est pas fait pour de l'inférence sur autre chose que du MoE :o
le pp sur qwen 3.8 à ~100t/s (voire moins dès qu'il y a un peu de contexte), c'est loooooong :sweat:


Essaie avec un le llama cpp de hengram halo. C’est plus rapide que j’ai trouvé hors halogen

n°49537
Pipould's
Posté le 17-09-2026 à 11:07:54  profilanswer
 

moyen_moins a écrit :

bon, à part faire une console de salon tout à fait potable, le bc-250, c'est pas fait pour de l'inférence sur autre chose que du MoE :o
le pp sur qwen 3.8 à ~100t/s (voire moins dès qu'il y a un peu de contexte), c'est loooooong :sweat:


 
Quand tu vois que https://www.youtube.com/watch?v=Ztkh2UfSUxw
 
Ca a 2 semaines avec 2.4M de vues... Les BC-250 sont a oublier rapidement  :( J'aimerais me tromper et voir un deal dealabs a - de 200 euros...

n°49538
seu
M 41
Posté le 17-09-2026 à 11:17:47  profilanswer
 

neo world a écrit :

Vous savez avx2 fera mieux que vos « accélérateurs » de papis ? :o


 
Ah boooooooooon ?  :o

n°49543
lapin
Posté le 17-09-2026 à 11:32:42  profilanswer
 

moyen_moins a écrit :

bon, à part faire une console de salon tout à fait potable, le bc-250, c'est pas fait pour de l'inférence sur autre chose que du MoE :o
le pp sur qwen 3.8 à ~100t/s (voire moins dès qu'il y a un peu de contexte), c'est loooooong :sweat:


 
 
Sur ma RX-VEGA56 en déchargement GPU ou -ngl à 10 ou même à 37, en se moment avec les dernières mises à jour du moteur llama.cpp via l'API VULKAN, je me traîne à du 3 à 4 Tokens par seconde, avant y a quelques semaines j'étais entre 16 tokens par seconde et 22 tokens par secondes enfin surtout au début du raisonnent.
 
Soit y a un bug, soit j'ai dû encore abîmé moins windows 11 avec tous les écrans noirs que j'ai eus, Windows et les drivers graphiques n'ont surement pas aimer tous ses plantages à répétition.
 
Je vais faire un test en réactivant le HBCC à 12 GO pour voir.
 
 
Truc drôle, depuis LM STUIDO et l'IA gemma-4-26B_q4_0-it.gguf et l'IA traitement image gemma-4-26B-it-mmproj.gguf, l'ensemble peut générer un SVG donc Image To Text il tente de le faire, mais comparé le SVG donc du texte avec une image, il ne sait pas le faire et refuse.
 
Peut-être en rajoutant une étape lire le SVG comme une image SVG, la convertir dans un format, par exemple PNG puis ensuite comparé des deux images PNG, peut-être sous condition qu'elles aient la même définition.
 
Ou alors il me faut une IA qui fait du Text to Image, ou une IA qui fait les deux c'est-à-dire de l'Image to Text et du Text to Image.

n°49544
moyen_moin​s
chat réincarné
Posté le 17-09-2026 à 11:36:39  profilanswer
 

neo world a écrit :


Essaie avec un le llama cpp de hengram halo. C’est plus rapide que j’ai trouvé hors halogen


ah oui ?
parce que, bon, en l'état... ça fait de beaux chiffres avec le bench intégré mais en pratique, c'est inutilisable hors MoE mais on iq2 :/

n°49546
neo world
Posté le 17-09-2026 à 11:48:16  profilanswer
 

J’ai pas du tout ton hardware pour tester mais j’ai environ +50% en vitesse d’entrée au PP et + 20% fin de traitement par rapport aux autres llama.cpp que j’ai testé avec les mêmes drivers / modèles.

n°49549
Pipould's
Posté le 17-09-2026 à 12:08:44  profilanswer
 

Ca broute c'est magnifique...  
 
https://i.ibb.co/1Gb9L4Fg/image.png

 Page :   1  2  3  4  5  ..  64  65  66  67  68  69
Page Suivante

Aller à :
Ajouter une réponse
 

Sujets relatifs
[Topic unique] IA générative de texte, ChatGPT, Copilot, Gemini & cosécurité de l'IA / agentique et des Devs en roue libre
Plus de sujets relatifs à : Infra IA : aide au choix et troubleshot de LLM Locaux


Copyright © 1997-2025 Groupe LDLC (Signaler un contenu illicite / Données personnelles)