Reprise du message précédent :

 
Donc ton conseil c'est d'utiliser Llama.cpp ?

 
Salut,
 
Oui c'est bien pour commencer, c'est quoi ton hardware, t'as un GPU?
 

 
Ou tu pourrais juste tester une install de OC qui pointe vers ton Ollama. Tu disais que le modèle heretic marchait en direct dans Ollama.
Le problème avec les modèles bidouillés comme ça c'est que souvent le "créateur" a juste testé 30s pour faire une vidéo sur YT, mais que ça marche plus après la démo ...

J'ai une quadro k420 sur le pc du taf, c'est tout

 
C'est quoi ton CPU et combien de RAM?
 
Une quadro k420, c'est CUDA 10, donc c'est mort pour de l'inférence.
 
Essaye ik_llama.cpp si ton CPU est pas trop vieux, mais j'imagine que c'est pas un truc récent. Peut être que pour faire des résumés avec pas beaucoup de texte en CPU pure avec un petit modèle ça suffira.
 
Essaye avec Qwen2.5-1.5B-Instruct-GGUF et même Ollama. Fais juste attention a ce tu partes pas sur un modèle cloud ... C'est pour ça que je préfère llama.cpp, ya pas de doutes

i7-6700@3.4GHz et 16 go de ram et 2go de ram GPU

Tente le coup et dis nous, essaye avec Qwen2.5-1.5B (Q4_K_M) il fait juste 1Go.

Bon ça a marché sur le CPU mais l'output n'est vraiment pas top, normal avec ces petits modèles.
Merci pour l'aide!

 
Ça a pris combien de temps?
 
Tu pourrais essayer ces modèles si t'es pas pressé:
https://huggingface.co/unsloth/gemm [...] obile-GGUF
https://huggingface.co/unsloth/gemma-4-12B-it-qat-GGUF
 

~30' pour du double passage pour résumer une réunion de 1h30 assez technique. Si je compare à ce que m'a sortie Opus 4.8, bon bah là

 
Ce genre de modele utilises le pour du transcript simple.
 
Si tu veux de l'analyse de reunion ou autre, il faut mieux du Qwen 3.6 27 ou minimax 2.7... Mais c'est pas la meme taille.

la volonté de le faire en local c'est une sorte de "lubie" (souhait de contrôle de vos données), une peur de l'administration US (coupure d'un service devenu essentiel) ou un besoin de confidentialité forte (le code de la bombe nucléaire implanté dans le pacemaker de l'agent roger en infiltration secret defense en Corée du nord est ... ah zut y'a l'IA qui écoute)  
 
Selon le cas :
1 : fais toi offrir un GPU (AMD 32GB qui supporte Vulkan / ROCm) ou HALO Strix si vous avez un budget d'en gros 2k. Si le budget n'est pas un problème vous avez des équivalents chez Nvidia pour 2 à 5x le prix (Nvidia DGX Spark, V100, 5090, 6000 pro) avec les modèles IA déjà cités par Pipould's et the Fennec
2 : Essayez le chat megaperle de mistral. Moyen de l'auto héberger plus tard si besoin dans vos infras ou un cloud si il donne satisfaction et que tu arrives à sortir un budget pour ça
3 : Pas de budget c'est la merde mais idéalement faut sécuriser ça : Dans le public il y a une offre d'IA dispo dans les différents ministères (souvent basée sur Mistral) et autrement si vous avez du temps mais pas de pognon vous pouvez récupérer un modèle de STT ( https://www.gladia.io/blog/best-ope [...] ext-models mais j'en sais rien j'en ai testé aucun pour ça de la page web ) puis faire tourner un gros modèle en mode chat uniquement RAM avec CPU (ce sera plus long mais si pas de pognon ...) ou alors vous faites vos comptes rendus à la main pendant la réunion. C'est pas très trendy mais le papier et le stylo ne sont pas chers

 
 
Pas sur que je me lance un jour dans l'expérience, mais j'entend de plus en plus de bien au sujet des model locaux, et ça m'intéresse de savoir si c'est vraiment aussi viable que ça !
 
(par exemple)
https://vickiboykis.com/2026/06/15/ [...] -good-now/
 

 
30 minutes? wow je pensais pas!

 
C'est compliqué comme tuto.
 
C'est viable pour bidouiller et apprendre, si on a un GPU avec au moins 6Go de VRAM.

En fait, a mon age avancé , je n'ai plus tellement envie de jouer avec ces trucs à domicile (pour être franc) et au boulot, pas le temps. Par contre, la veille, suivre l'aspect évolution technique, scientifique, etc ... et aussi la façon dont ça peut diffuser, en particulier dans l'open source, ça m'intéresse pas mal. Vu le type de techno, jusqu'à présent j'avais du mal a accepter l'idée que faire tourner des modéles en local pouvait avoir un intêrêt autre qu'expérimental. Mais il semble que finalement, ça ne marche pas si mal. Dans le lien que j'ai posté, il dit :

Au final, de ce que je connais des llm et du dev, ça ne me parait pas du tout déconnant. C'est pas comme si on avait besoin de lui faire avaler tout l'internet, surtout si on cadre un peu le truc.

Donc ouais, je suis preneur de retour d'expérience sans pour autant le faire moi-même (même si ça ne remplacera jamais le fait d'expérimenter soi-même).

C'est un drap de touriste.

Edit : par exemple, un autre ici avec une analogie rigolote :

https://blog.alexewerlof.com/p/loca [...] tic-coding

Ma cogip paye pour le chatbot de mistral c'est tout. Pas d'API rien. Je ne sais pas trop comment l'interfacer avec python sur ma machine

Tu as demandé à Mistral un coup de main pour faire la connexion ?
 
Autrement il y a sélénium si tu veux commencer par automatiser en mode navigateur

 
 
Le truc c'est que l'avantage du local c'est de pourvoir débunker rapidement pas mal de papiers/vidéos/outils/blogs....
 
Un example récent c'est les Turbo Quants de Google qui devaient tout révolutionner. En réalité c'était du flan, ça marche pas du tout sur des gros contextes et il faut essentiellement presque tout refaire pour avoir un truc qui marche. Une fois le tout refait, il n'y aucun bénéfice, le peut de mémoire gagné est perdu en coup de processing plus élevé. Un kQ8/vQ4 fait aussi bien, j'ai posté des tests dans les pages précédentes.
 
Pareil pour le premier article que tu as posté:
 

 
Je pense que c'est quelqu'un qui a joué avec des trucs en local, mais qui a quand même du gros modèle en ligne. Gemma4 (ou Qwen) est bien loin d'être a 75% des gros modèles que ça soit en vitesse ou précision. Ça marche bien quand tu le lances 30s pour faire un truc, mais dès que le contexte se remplis, c'est plus pareil.
 
Le deuxième article est beaucoup mieux, mais fini quand même par parler d'OpenRouter à la fin  

 
T'es dur, il dit bien :  
 

 
C'est pas encore mûr, mais il semble y avoir du potentiel quand même.

 
J'ai rien contre lui, son article est bon. C'est juste qu'il y a pas mal de "bait and switch" dans le domaine du "local".
 
Par exemple des Agents comme OpenClaw, Hermes, Opencode, pi.dev, Ollama, mettent en avant le "local" pour mieux te vendre du cloud payant biensur.

• OpenClaw, Hermes, sont bien trop lourd pour tourner avec un modèle local, tout le dev est fait avec comme cible des modèles a 1T et 1M de contexte, contrairement a ce beaucoup d'influenceur annoncent.
• Opencode, pi.dev t'offre du cloud gratuit et ciblent de moins en moins le local .
• Ollama a commencé tout gratuit il me semble et vends des abonnements...

pi.dev ? Je pensais que c'etait la Rolls en local...

J'ai jamais pu trop en tirer grand-chose, je trouve la hype dessus surfaite. Je pense que c'est juste parce que c'est la base d'Openclaw.
 
Perso je jongle entre Opencode et Claudecode.

Bonjour question à moitié à sa place sur le topic mais je pense que c’est quand même pas mal en lien. Sinon je déplace sans souci
Un membre d’une organisation entreprise-like m’a dit qu’ils avaient un abonnement ChatGPT et qu’ils hébergent une API et donc si je passais par leur API mes données ne sortaient pas de chez eux donc restent en local pour faire le lien avec le topic.
Dans ma compréhension si utilisation d’API, ça part sur les serveurs d’openAI, j’ai raté quelque chose ?

do not compute
 
En fait ils peuvent avoir une api locale compatible (même format / paramètres / arborescence) avec les API d'openAI (c'est un des standards du milieu. Le plus simple si on veut que ce soit largement compatible). Par contre si derrière ils utilisent les modèles de chatGPT (sauf si c'est le chatgptOSS opensource qu'ils hébergeraient eux même chez eux) alors dans ce cas les données partent sur les infras d'OpenAI donc ni local ni même sous juridiction française / européenne.
 
Demandes lui de t'écrire qui / comment / pendant combien de temps sont processé vos données avec le nom des sous traitants concernés (si de la donnée perso est manipulée alors légalement ils vous le doivent / RGPD)

La seule façon ou ça pourrait être vrai, c'est si ChatGPT n'est utilisé que pour exécuter des commandes d'une API, genre MCP ou tes données ne remontent jamais. Par exemple "fais une requête pour trier les données par nom, prénom, age" et qu'il n'y pas de retour. Genre ça fait du SQL et ça remonte un nombre de lignes modifiées ou des comptes. Techniquement c'est possible. On a dev des trucs comme ça dans ma boite pour débugger en prod, vu qu'on a pas le droit de voir les données personnelles.
 
Mais c'est vraiment très spécifique et c'est peu probable que ça soit ton cas. Comme le dis neo world, il faudrait plus de détails.

Merci pour vos input tous les 2. Je peux vous donner quelques précisions, déjà c’est pas en France donc pas de rgpd, il y a un framework de protection des données personnelles mais je ne le connais pas. Ensuite les données envoyées seraient spécifiquement des données personnelles type CV lettre de motivation de beaucoup de monde.
Le type me certifiait que comme ils étaient agréés niveau fédéral, on peut leur faire confiance les yeux fermés grâce à la fameuse API ChatGPT. J’y retourne dans une semaine je poserai la question.
Après j’ai l’impression qu’en dehors du sujet de l’ia ils font les choses « bien » (pardon pour la digression) chaque stagiaire a une session perso hébergée dans une vm sur leur serveur. Accessible à distance et les laptops à disposition ne sont utilisés que pour faire du rdp vers la session hébergée, fin du stage, suppression de la session j’imagine.

si ils process des données de personnes européennes (dans les candidats) alors si ils doivent être RGPD. si c'est que du local hors UE alors en effet ...  
 
je te raconte pas l'orgie de filiales dans le delaware pour ne pas se taper les contraintes RGPD sinon
 
je suis moins au courant concernant les normes féderales (en dehors de la FIPS 140-3 qui n'a pas grand chose à voir ) je serai curieux d'avoir plus de détails si tu as il me semble que certaines états comme la californie implémentent des petits morceaux de RGPD

On a un déploiement Fedramp dans ma boite, ça inclue FIPS en effet , la gestion des clefs et plein d'autres trucs. Par exemple que les non-américain ne peuvent accéder aux données ou se logger sur les machines de l'env. Les données doivent aussi être exclusivement hébergées aux US. Être certifié Fedramp oblige a ce que tous les services soient Fedramp aussi, il semble que ChatGPT ait aussi des envs Fedramp:
https://help.openai.com/fr-fr/artic [...] or-fedramp
 
Donc ce que le gars dit est faux, tes données peuvent bien aller chez OpenAI sur des instances Fedramp. Par contre elles ne peuvent pas être utilisées pour du training, c'est probable. Mais rien ne les empêches de les stocker ou de les avoir dans des logs. Si t'es parano, des agences a 3 lettres peuvent probablement y accéder avec le mandat qui va bien (ou pas ).
 
Ce que garantis Fedramp c'est de la sécurité, de l'audit, et une gestion des données "propre". C'est le RGPD, mais avec le gov US comme seul client .
 
Cela dit, une boite qui est Fedramp garantis un minimum de sérieux dans sa gestion.

On parle de Suisse là et exclusivement de données de résidents à défaut de nationaux. Et je ne connais pas le cadre légal sur place mais normalement ils sont pas trop cons sur les données perso même s’ils protègent clairement moins que l’Europe. Mais j’ai ma réponse, son histoire d’api c’est bullshit si on balance un cv ça part bien sur les machines OpenAI. Il y a des offres / abonnements / contrats qui garantissent que les données restent en Europe chez openai ?
Par contre, là où je le crois, c’est qu’ils ont été audités et que quelqu’un a validé leur fonctionnement.

Yop, svp ça vous irait de joindre ou créer un autre topic pour le bordel légal ?
Je ne doute pas que ça soit intéressant pour ceux qui y comprennent quoique chose ( ) mais là ça s'éloigne un peu du LLM "local"

Je pense qu'on a fait le tour  
 
anyb0dy, tu devrais poster ta question ici:
https://forum.hardware.fr/forum2.ph [...] w=0&nojs=0

 
D'accord.  
 
Oui il y a tellement de hype pour chaque projet que ca devient difficile d'avoir des avis poses et impartiaux...

 
Chaud, chaud aussi pour un DT

Question openclaw :
 
. j'ai une session "Main" sur mon PC
. j'ai une session whatsapp
 
Les deux ne se voient pas.
 
Vous avez une idée de comment les faire communiquer ensemble ?
 
Exemple : je lance une tache sur "main", et je demande à Whatsapp comment ça se passe

Pourquoi un DT
A moins que vous ayez prévu de balancer tous les petits secrets de vos cogip respectives ça peut être un topic public !

 
 
Oui, mais un DT permet de filtrer les gens, enfin à partir de 10, il faut rajouter le pseudal Administrateur, ça permet de filtrer les gens et un DT où il n'y a pas LAPIN ça devrait te faire plaisir, enfin si tu arrives à t'en faire accepter !!!
 
Remarque, il peut y avoir un DT IA dans lequel LAPIN est présent, mais pas TotalRecall ça aussi c'est possible.

Possible, mais peu probable, pour ça il faudrait trouver des gens qui ont envie de faire un DT avec toi  

 
 
Y en a deux on est plus de 10 dessus dont un créer par moi.

je suis allé regarder sur wikipedia les réponses possibles à la question de ce qu'est un DT et le plus probable de tous c'est le deep throat donc j'en déduit que vous parlez d'un deep topic ?  

openclaw channels add --channel whatsapp  
 
ou j'ai pas compris la question ?

De mon côté c'est de dark topic qu'il était question, c'est le nom qu'on donne aux messages privés avec plusieurs forumeurs en même temps.
Pour lapin par contre je ne sais pas de quoi il parlait, tout est possible