Reprise du message précédent :

 
On parlait de windows ? J'ai pas vu.
Je pensais qu'on parlait NPU au sens large, notamment avec l'exemple strix halo + GPU via oculink.

C'est vendredi

en plus rien interdit d'installer llamacpp et faire tourner des modèles sur windows. Y'avait un bon exemple avec yohaskan et ses modèles qui récupèrent des infos sur l’environnement dans ses jeux vidéos pour le guider

 
C'est fou car les petits NPU en embarqués c'est vraiment une pile intéressante ( en vidéo notamment ), mais clairement quand tu vois toutes les contraintes aussi bien dev que en intégrations hardware... Ca n'a rien a foutre sur un pc desktop

bah ça coute pas non plus des fortunes d'en graver un bout sur le CPU "au cas où" et ça évite d'acheter un dell avec un core I5 dernière génération mais une 1650 parce que y'en avait qui trainait dans le stock et s'étonner que cortana mets 10 minutes à lui dire quel temps il fera demain ensuite

Le pire avec les NPUs est surtout leur fragmentation. Même pour les Qualcomm, il faut faire un modèle par génération pour les utiliser au mieux. Seules les grosses boîtes peuvent se permettre d'optimiser un kernel par SoC, même sur téléphone.

 
Le seul vrai intérêt du NPU, c’est son rendement. Sur de l’embarqué ok, mais sur un PC portable ou desktop tu as déjà un igpu bien plus polyvalent et infiniment plus simple à exploiter avec des environnements de dev standards.  
Aller optimiser un modèle spécifiquement pour le NPU, c’est souvent se taper une quantité de boulot monstrueuse pour finir avec un truc assez anémique. La consolation, c’est qu’il aura consommé 3 W au lieu de 15
 
Et en plus l’essentiel des petits modèles qui rentrent bien dans le cadre d’un NPU sont tellement petits qu’ils tournent déjà très correctement sur le CPU  
Donc tu te tapes un environnement spécifique, de la quantif, des opérateurs pas supportés et potentiellement une optimisation par génération de puce, tout ça pour accélérer un truc qui tournait déjà convenablement sur le CPU.  
 
Tout ca pour ca... Je préfère encore qu’on me mette le budget silicium dans l’igpu ou la bd mémoire.
 
Pour moi c'est juste du marketing et de la segmentation artificielle avec le copilot ready

faut voir si l'agentique "locale" decolle avec des petites optimisations genre commander ton billet d'avion ou mettre un rdv à ta place. Si c'est pas le cas ce ne sera que du marketing.
 
Ne pas oublier que le NPU consomme moins aussi que le CPU où ça va devoir taper dans des fonctions comme l'AVX pour sortir quelque chose à une vitesse potable.

A ce compte là ton igpu ou cpu fera déjà le taff    
 
Ceux a suivre pour la voie NPU ce serais apple : ils ont intégrés les npu directement dans les cores gpu, ce qui est la voie la plus logique je dirais.

l'intégration verticale jusqu'à ce niveau de détail fait toute la différence pour Apple.
 
C'est bordélique côté PC en comparaison mais au moins tu peux installer linux, BSD ou autre sans pleurer le manque absolut de drivers
 
l'IGPU sans NPu bouffe beaucoup plus à performance identique en comparaison et pareil pour le CPU. Ca marche mais c'est tout sauf non douloureux pour la batterie et l'enveloppe thermique en général de détourner un accelerateurs sans registres spécialisés. Le LLM ressemble vraiment à du bruteforce si tu regardes un peu comment ça se comporte avec le matos en dessous

La force de la standardisation soft/hardware, clairement.
 
Mais c'est bien les seuls à pouvoir intégrer du NPU efficacement de par cette verticalité.
 
Sur pc vouloir pousser du NPU revient à ajouter un bloc séparé, avec encore une surcouche à gérer côté soft et hard, un bordel sans nom.
 
À côté de ça, les gros du GPU intègrent directement des Tensor Cores / Matrix Cores / XMX => c'est ça la voie à suivre.
 
Personne va s'emmerder à optimiser pour un NPU anémique et spécifique à chaque plateforme versus utiliser des outils déjà intégrés et standardisés.

attends que ça se stabilise. Personne ne savait quoi faire du TPU de google avant que tf light facilite la détection d'objets à 100 fps pour moins de 5w
 
d'ailleurs on attend toujours un successeur autre part que sur le pixel

C'est tellement efficace et génial que le produit est mort  
 
Je parie qu'on vas avoir directement les cores spécialisés propre a chaque constructeur dans leurs apu et/igpu, tout simplement. Ca consommera pas grand chose non plus, ce sera super standard et logiciellement simple à exploiter.

des testeurs d'halogen pour les strix halo ? sur qwen 3.8 flash next, ça a l'air de bien améliorer le pp te le pg