Reprise du message précédent :

le tel a de la mémoire unifiée (accessible par le GPU) en LPDDR5X pour les modèles moyen/haut de gamme. Et ca llama.cpp aime    
 
25 vieux PC c'est parfait pour de l'agent swarm avec quelques modèles tout petits / embeddings intégrés dedans (le CPU chauffera mais ça restera utilisables). Dés que tu vas distribuer la charge entre PC tu vas rajouter au problème de départ (mémoire pas très rapide + pas de GPU ou ne supportant pas les tensor nativement) un nouveau : bande passante faible entre PC et latences super élevées (quelques centaines de micro secondes c'est super long à l'échelle d'un modèle).
 
Par contre si les CPU supportaient AVX clairement il y avait un coup à jouer

bah clairement ils doivent faire de l'avx ça fait un moment que les cpu intel le font il me semble ?
avx2 depuis 2013...

 
C'est llama.cpp en more RPC, c'est bien mais pas nouveau!

Petite astuce pour voir si c'est performant et utilisable pour de l'IA : c'est soit complètement hors sol en terme de prix, soit indisponible partout.
En gros

c'est vrai pour les xeon puis les I7 mais c'est arrivé plsu tard dans les i5. Il faudra vérifier si vos PC sont pas trop vieux

on voit tout de suite que t'es pas affecté par le marketing : y'a un QR code et une jolie app avec des onglets. Le Quidam moyen se sent instantanément pousser un hoodie de hacker
 

 
Mais blague à part ça contribue grandement à rendre accessible ce type de bidouille

des fois tu joues au pocker et tu gagnes. Genre la ferme qui n'avait pas vendu ses CMP qui se retrouver avec l'or dans la cave. Les RTX 30X0 qui retrouvent une deuxième jeunesse (en terme de prix. Le transistor reste fatigué lui ), Le strix halo qui passe de bordel mal aimé à part pour quelques illuminés à machine de guerre à broyer du token    
 
faut le nez creux

A l'epoque oui  
C'est mort maintenant, reste a attendre