Reprise du message précédent :

Faut avoir l'abonnement max

Ah ok c'est ca que le "Max" voulait dire    

C’est fourni avec ou sans backdoor pour que le Parti Communsite Chinois récupère toutes les données ?

Alors que chez d’autres c’est une feature
 

Et puis o3 pro pas ouf pour l'avoir testé, très lent et pas meilleur que les autres

ça n'embarque visiblement pas de mémoire, mais si ça pouvait permettre de faire tourner localement des model 1T+ franchement tant que ça tourne a une vitesse raisonnable surtout a ce prix la je serais un des 1er intéressé

Il y en aurait plus d'un intéressé

Beaucoup de gens seraient intéressés donc c’est un bon business modèle qui va faire de l’argent, donc ça va se développer donc on pourra bientôt faire tourner de bon LLM en local  

 
j'ai un LLM qui tourne (certes pas vite) sur ma Surface Pro  

On parle de bon LLM du niveau de Claude 3.5

L’avocate US dans le déni qui veut garder son potentiel de dollars contre la méchante IA et qui poste un truc écrit avec ChatGPT …

Ajoute 256 Go de VRAM par dessus

Une belle bande de salopes ces LLM !

On a qu'a faire des cartes gpu avec slots dimm comme à l'époque !

 
Pour info j'ai fait tourner un LLM relativement gros en local : Llama 3.3 (70 milliards de paramètres)
L'ennui c'est que chaque question met environ 20 minutes à être répondue
 
Si les détails vous intéressent, j'en ai fait une vidéo ici :
https://youtu.be/a7AkWmHmD3U?si=dbwjnbc17_T8n2oF
 
Je ne suis pas très satisfait de cette vidéo car comme je fais tout sans trucage j'ai dû attendre 20 minutes entre chaque question le temps que l'IA donne la réponse. J'ai dû meubler en parlant de divers sujets sur l'IA et sur ma chaîne mais je pense que ça crée de la confusion dans le suivi de la vidéo.
 
La note finale de Llama 3.3 est biaisée : c'est un modèle beaucoup plus gros mais il n'a pas des notes beaucoup meilleures que Llama 3.2 (petit modèle). Mon erreur c'est que je n'ai posé que les questions les plus difficiles à Llama 3.3. Si je lui avais posé aussi les questions faciles il aurait une meilleure moyenne.
 
Dans une prochaine vidéo je compte louer de la puissance de calcul chez AWS pour tester des modèles encore plus gros et que ce soit rapide. Je ne sais pas quand je pourrai le faire, c'est assez technique et il me faudrait une après midi entière de disponible
Si les tests sont concluants cela voudra dire qu'une entreprise pourra très bien avoir une IA privée et performante (et je crois que ce sera le cas), mais il faut quand même une certaine puissance de calcul. Ceci dit cette puissance de calcul n'est pas inaccessible pour des entreprises.

 
Sinon Llama 3.2 (3 milliars de paramètres) tourne très bien sur un laptop relativement basique. Ses réponses ne sont pas terribles en générale mais pas ridicules non plus. Cela peut déjà rendre quelques services. Il faudrait tester un petit modèle de ce genre su du codage...

Tu as des modèles dédiés au développement qui sont plus récents et probablement plus performants que Llama en étant plus petits.

Mais tu vas enfoncer une porte ouverte,  
Il y à déjà beaucoup d’entreprises qui le font

"Sans trucage" ça veut pas dire que tu peux pas couper et afficher "20 minutes later..."

Pourquoi ne pas utiliser un service d'API comme OpenRouteur ?

* Tu fais un script python ou tu utilises Open WebUI, y'a une infinité de modèles dispos, dont certaines API gratuites : https://openrouter.ai/models
* ou directement le chat online : https://openrouter.ai/chat?models=m [...] truct:free

Tu fais une vidéo pour montrer que tu sais faire tourner un modèle en local, et après tu te focus sur le test de modèles via OpenRouter. A part finetuner des modèles ou bosser sur des données confidentielles y'a pas trop d'intérêt de faire tourner de gros modèles en local AMHA. Pour des petits modèles c'est autre chose, c'est utile pour automatiser des tâches ou faire de la domotique.

Je comprends pas trop ce que tu essayes de démontrer. Oui c'est possible de louer un VPS avec un GPU et faire tourner un LLM dessus. Si une entreprise veut administrer son propre serveur Ollama ou autre c'est faisable, et y'a des services spécialisés qui permettent de faire ça plus simplement. Mais y'a deux niveaux de confidentialité :

* avoir son propre service de LLM privé cloud : ChatGPT Team vs cloud privé, c'est un peu le même combat : tes données sortent sur le net et sont sujettes au piratage, à des fuites de données ou failles de sécurité.
* avoir son propre service de LLM privé local : pas de problème de sécurité mais il faut du matériel coûteux.

Voilà.

L'open source refait son retard grâce à nos amis chinois
 

En même temps au vu du prix et des perf ça donne quand même plus envie d'essayer.

Surtout que le premier du classement est gratuit  

Ha j'avais pas vu ça xD
 
Quand c'est gratuit c'est toi le produit :
To our knowledge, this provider may use your prompts and completions to train new models.
 
Je préfère payer

 
Le problème c'est que tu n'as absolument aucune certitude que même en payant, les autres n'utiliseront pas tes datas pour l'entrainement  

Ah bien ça, je vais voir si ça fonctionne mieux que Gemini 2.5 Pro / Flash.
Je finis souvent par dépasser les quotas gratuits avec Roo Code.
Bon j'ai plusieurs comptes Gmail donc ça permet de cumuler les quotas mais quand même

 
C'est bien ça mon problème Mais ceux qui indique dans leur information qu'il n'utilise pas on est censé avoir moins de chance que ce soit le cas, ceux qui l'indique par contre aucun doute
 
Pour ça que je voudrais le faire tourner en local même si ça rame un peu (hors auto complétion bien sur)

La startup "Sapient Intelligence" vient de sortir le Hierarchical Reasoning Model (HRM), avec seulement 27 millions de paramètres.
Apparemment il arrive à battre les géants de l’IA sur des tâches de raisonnement complexe.
 
https://korben.info/hrm-ridiculise- [...] etres.html

Excellent, merci pour l'info ! (faut que Korben lève le pied sur l'utilisation de l'IA pour rédiger les article avec son style )

Sourcebot permet d'indexer et rechercher dans des repos de code (projet alternatif à Sourcegraph). Ils ont récemment intégré la fonction "Ask sourcebot" et un serveur MCP.  C'est open-source et c'est énorme  
 

• https://github.com/sourcebot-dev/sourcebot
• https://docs.sourcebot.dev/docs/features/ask/overview
• https://docs.sourcebot.dev/docs/features/mcp-server

Copilot qui est intégré à Github fait la même chose non ?

Exactement oui, mais pour ma COGIP toutes les technos IA qui touchent au code et aux documents doivent être hébergées en local. Je dis pas qu'on n'utilise pas les outils cloud, mais on héberge nos propres serveurs gitlab et on a certains projets sensibles. Si tu veux un bot qui fait une review de ta pull request faut trouver des solutions auto-hébergées.

Go gitea

 
Ah oui c'est vrai, ceci dit je ne teste pas dans mes vidéos les modèles de programmation car c'est tout un monde à part et je peux pas tout faire en même temps. Tous mes use cases de tests sont centrés autour de la gestion de projet en général et des méthodes agiles en particulier

 
Enfoncer une porte ouverte : oui et non, je m'explique :
 
1/ Déjà mes expériences sur ma chaine n'ont pas pour unique but d'informer les gens qu'on peut faire telle ou telle chose mais un des but est de montrer et d'expliquer comment on peut faire concrètement. Cad que ce n'est pas une chaine d'information, c'est plus une chaine pédagogique, de formation, d'explication. Beaucoup d'entreprise le font déjà mais elles n'expliquent pas comment elles font ou quels sont les outils. Il y a sûrement des formations qui existent (je ne sais pas) mais moi je le fais gratuitement pour ceux que ça intéresse
 
2/ Ensuite, même sans le point 1 : il y a encore beaucoup d'entreprises et de professionnels qui ne connaissent pas du tout l'IA et qui n'ont jamais essayé. Le niveau est très inégal suivant les entreprises : je m'en rends compte au quotidien (je suis consultant freelance et j'interviens pour diverses entreprises au gré des missions).
Petit anecdote : il y a 3 mois j'ai fait une démo de Ollama et quelques autres outils d'IA dans un labo de chercheurs en informatique. Donc normalement des gens qui devraient être en première ligne pour être au courant des avancées de l'IA. Et bien j'ai été surpris de voir que beaucoup ne connaissaient pas du tout, notamment Ollama (qui est pourtant facile à installer), certains n'en revenaient pas de ce qu'on pouvait faire avec l'IA
 
3/ Je pense que sur ce forum on est passionnés par le sujet donc on est pas représentatifs mais avant que l'IA soit implantée partout dans les entreprises il va falloir encore quelques années (plus qu'on ne le pense à mon avis). Donc je pense modestement que les expériences que je fais sur ma chaîne sont utiles à des gens

Pour le coup, Qwen 3 coder fonctionne vraiment pas mal.
Il m'a fait ce que je lui ai demandé quasi sans bug du premier coup, ça m'a semblé au moins au niveau de Gemini 2.5 Pro.

Bon par contre le quota gratuit est trop bas, je l'ai cramé en quelques heures

Un nouveau modèle chinois qui tape fort

https://x.com/Zai_org/status/1949831552189518044?s=19

Claude qui va baisser les usages

https://x.com/AnthropicAI/status/1949898514844307953

OpenAI même pas 5%, deux fois moins que Qwen.