Reprise du message précédent :
Comme ils n'avaient pas assez de contenus de merde:
 

Trop de demande pour Gemini (quand c'est gratuit)
 

J'étais passé a côté d'une API gratuite

Google
 

https://deepmind.google/discover/bl [...] lgorithms/

Google I/O dans quelques jours:
 

 
Donc les autres se préparent à également faire des annonces
Anthropic:
 

 
 
ChatGPT 4.1 dispo pour tous les payeurs
 

Ça va tellement vite

Le jour où on aura des modèles comme Claude 3.7 ou Gemini capable de tourner en local sur un MacBook, on sera bien.

Je me demande si ca pourrait arriver dans moins d'un an.
Je ne comptais pas changer mon MBP M1 de sitôt, mais c'est le genre de truc qui me ferait passer au M4.

Ça me paraît bien prématuré

La CNIL va avoir du boulot  

On a déjà ça dans Teams -> après le meeting, il y a cet IA qui te fait un résumé, te translate tout au cas où.
Alors oui, ça sera dans ChatGPT, mais ils inventent rien.

 
Il me semble que ChatGPT ça fonctionnerait directement dans l’app? Genre on sort le téléphone, on le pose au milieu de la table de réunion et on ressort avec un compte rendu ?

Non, ce dont je parle c'est l'enregistrement du meeting direct dans Teams, pour en ressortir le compte rendu. L'IA est donc intégrée.
Le résultat est...bluffant...

lol, après relecture, tu as raison, c'est bien ça

Pour tester l'équivalent google, le résultat est nul...
Comme quoi ça dépend des outils

 
Impressionnant. Je veux bien l'agent pour vscode

Quelqu'un voit cette option ? Je ne l'ai pas encore:
 

 
Ca va être complicado vu la taille des modèles.
GPT-3 fait 350Go de taille, si tu veux un truc avec un peu de perf il faut le charger en RAM.
Le jour où y'aura des GPU avec 350GO de RAM accessible pourquoi pas

Sur une tâche spécifique vous pouvez très bien avoir un LLM 32B performant si correctement entraîné. Mais c'est sûr que ça ne se fera pas sur une fenêtre contextuelle de 1M de tokens.

 
Oui a mon avis, à terme on devrait avoir des LLM hyperspécialisés, genre un LLM spécialement pour coder, un pour l'écriture etc...Ca devrait passer dans un MBP M4 64GB de ram
Mais faut que des gens paient pour les entrainer pour que nous on puisse ensuite les utiliser gratuitement...
 
Pour le contexte, c'est fonction de quoi? RAM également ?

On dirait que c'est clairement le contexte qui coute cher pour qu'ils soient radins à ce point

8k token en 2025
C'était le même contexte pour GPT 3 à sa sortie il me semble non ?
Et Claude 3.7 qui est l'un des plus chers avec 128k de contexte seulement.

Si j’étais pas pauvre, pour $100 par mois c’est sans doute un des meilleurs forfaits
 

Ils viennent de nous mettre Copilot au boulot. J'utilise chatGPT à titre perso en mode payant depuis 4 mois.
 
Je ne sais pas si c'est un Copilot bridé (ils ont désactivé la recherche web par exemple) mais j'ai l'impression d'être revenu en 2023.

Copilot c'est le meilleur.
Si t'aimes te faire du mal.  

Tu peux faire tourner des modèles sur CPU, mais c'est plus lent (et il faut alors de la RAM derrière)
Sinon, il faut des GPU avec de la VRAM, mais ca coute bonbon. Les grosses cartes graphiques Nvidia "retail", c'est déjà 3000 EUR la carte avec une vingtaine de Go de VRAM.
Les fameuses "A100" (je crois que c'est les plus petites, en plus), ca semble etre 20K direct
 
En plus, Gemini ou pas mal de "bons" modèles ne sont pas open-source !
Tu peux faire tourner de plus petits modèles en local. "Gemma" de chez Google, c'est du mini-Gemini, et c'est pas mauvais en résultat
 
Note: Déjà rien que du modèle 32B, faut déjà la config derrière pour que ca tourne
Note2: Pour toi sur Mac, comme j'ai regardé un peu les histoires de modèles en local, dernièrement: Il y a un format open-source, le "MLX", qui semble bien fonctionner avec les puces Apple, et tu peux déjà faire tourner des trucs pas trop dégueus sur CPU seul.

Perso, Copilot, Phi-4 (autre IA Microsoft que j'ai testé) et tous les Llama de Meta, je trouve ca vraiment moins bon que le reste (en tout cas, je n'aime pas du tout, et je n'aime pas l'utiliser).

C'est le meilleur pour faire quoi ? Tout est moins bon que le reste pour l'instant.
 
Edit : je viens de comprendre Je vais bientôt être remplacé par une IA vu ma lenteur.

Ah voilà on est d'accord.
 
Le service IT interdit l'utilisation d'autre chose pour raison de sécurité. (Ce que je comprend parfaitement par contre.)

Son trait d'humour est sympa, même si pas forcément tout de suite compréhensible => Faut prendre les deux phrases ensemble

Oui, merci. L’indentation m’a portée à confusion.
Mea culpa.

Musk, cette plaie pour l'IA (Il est sud africain et il a milité pour que les blancs SA soient rapatriés aux USA si j'ai bien compris)
 

Windsurf lance ses propres modèles:  
 

 


 
https://windsurf.com/blog/windsurf-wave-9-swe-1

 
Bonjour, la question d'Olivie est intéressante, je vais tenter d'y apporter une réponse.
 
Question : à partir de quand on pourra faire tourner un LLM tel que Claude ou Gemini en local sur un ordinateur standard (ordinateur de bureau ou portable, ça ne change pas grand chose). Est-ce que ça sera dans moins d'un an ?
 
Je vais faire beaucoup d'hypothèses pour aller très vite, mais ça donne une idée de l'ordre de grandeur du temps qu'il faudra attendre.
 - je considère que les gros LLM tels que Claude 3.7 et Gemini sont équivalents à Llama 3.3. Llama 3.3 fait 70 milliards de paramètres, Claude 3.7 et Gemini je ne sais pas si ces infos sont connues mais ça doit être autour de 100 milliards donc c'est le même ordre de grandeur. Je vous parle de Llama 3.3 car c'est le plus gros modèle que je peux tester sur mon PC de bureau. Je fais donc l'hypothèse que Llama 3.3 est à peu près aussi bien que Claude 3.7 ou Gemini.
- Sur mon PC de bureau, quand je pose une question à Llama 3.3, il met environ 15 minutes à répondre
- Les specs de mon PC : i5-13600KF   3.50 GHz, 64 Go de RAM, SSD, NVIDIA Geforce RTX 4070 12 Go => C'est un PC puissant mais pas non plus extraordinaire donc je le prends comme référence
- Je suppose que la loi de Moore est respectée et je l'énonce comme ceci : la puissance de calcul double tous les 18 mois. C'est une simplification grossière mais c'est pour faire un calcul rapide
- Je suppose que le temps d'inférence est proportionnel à la puissance de calcul
 
Ceci me permet de produire le tableau suivant très facilement :
Llama 3.3 (70B ) - Temps d'une inférence (sec)
mi 2025 -> 900
fin 2026 -> 450
mi 2028 -> 225
fin 2029 -> 112.5
mi 2030 -> 56.25
fin 2032 -> 28.125
 
Avec toutes ces hypothèses, on passe sous la minute en 2030
 
Donc je pense que bulldozer_fusion a raison de dire que c'est prématuré
 
Sinon mes hypothèses sont-elles justes ? Tout peut se discuter mais cela prend du temps
- La loi de Moore n'est plus respectée depuis longtemps et cela risque d'empirer car on atteint les limites de la technologie actuelle
- Les LLM vont certainement connaitre des tas d'optimisations donc cela va aider
- On est pas obligé d'avoir des gros LLM de 100 milliards, on peut avoir plusieurs petits LLM spécialisés pour lesquels chaque inférence sera moins couteuse
 
En tout cas je suis à peu près convaincu que ce n'est pas pour dans un an, ni même dans 2 ans

Agile Toolkit j'écoutais un podcast de Zuck entièrement sur l'IA et il disait (de ce que j'ai compris) qu'en ayant un très gros modèle, ca leur permettait d'entrainer un modèle beaucoup plus petit mais qui avait 90% de l'efficacité du gros modèle.
Donc la question c'est plutot si dans 1 an, on pourrait avoir des modèles aussi efficace que Sonnet 3.7 mais qui font 5 milliards de paramètres par exemple ?
 
Pour le podcast de Zuck: https://www.youtube.com/watch?v=rYXeQbTuVl0

 
Merci Olivie, je regarderai mais avant même de regarder je dirais que Zuck est un chef d'entreprise qui doit avant tout vendre de la marchandise et pour cela il vend du rêve
 
Il y a quelques années Zuck mettait en avant le metaverse et ça a été un flop total

 
Mais sinon 5 milliards de paramètre ça me parait pas mal et on peut déjà le faire tourner sur un PC standard dans de bonnes conditions. Donc si on a plusieurs LLM de 5 milliards de paramètres bien optimisés sur telle ou telle tâche, c'est tout à fait possible qu'on puisse avoir de très bon résultats en local sur tous nos ordis et nos téléphones, ça j'y crois davantage

C'est les seuls qui assurent une confidentialité des données à prix non exhorbitants (parceque absorbés dans les bundles de soft déjà vendus) + intégration avec les outils déjà déployés (github / teams / office / outlook / ...).
 
Aujourd'hui c'est le choix logique pour une grosse cogip