Reprise du message précédent :
Un peu hors sol le Bilou avec ses prédictions

ça c'est un vrai problème: Mistral est loin derrière le SOTA maintenant

Bon j'ai plus qu'a monter un cluster de CG pour héberger ça avec une vitesse a peut près raisonnable
 
Petit calcul 512 / 24go = 21 CG tout va bien ...
10 K sinon le mac studio.
 
AMD ou Intel va bien sortir un CPU qui supporte 512Go en mémoire unifié non ? (avec un truc pas trop déguelasse pour l'IA quand même)

Hein? Les guidelines disent juste qu'ils sont numéro 2 sur le bench LLM arena, sur lequel c'est sensé pas être possible de tricher (car évaluation humaine à l'aveugle)

 
 
ktransformers a quand même de très bons résultats avec un seul gros Xeon/Epyc + une/deux/trois CG.

A dispo j'ai 3 P40 + 1 A4000 et un double Xeons dont je ne me rappelles plus exactement la ref

Y'a quoi comme IA qui pourrait me faire du live transcript en sous-titre d'une vidéo random (50mn environ) ?

 
 
Tu peux tenter oui, c'est le genre de mix où ktransformers se débrouille bien.

 
hébergée où ?

dtc

Je sais pas

En fait ça me servira à rien du live si j'ai des vidéos enregistrées, mais pour le live ça aurait été sympa pour regarder des trucs ensembles avec ma meuf polonaise
Mais si ça bouffe 2x5090, on fera autrement

C'est intégrable avec ollama ou autre ?

c'est pas VLC qui a démoté ca en live il y'a quelques semaines ?

edit : https://x.com/videolan/status/1877072497146781946

Ah oui je m'en souviens maintenant. C'est dispo ?  
Je vais chercher

Pas de nigthly pour linux étonné https://nightlies.videolan.org/

dites, y'a que moi qui n'arrive plus à générer d'image depuis hier soir ?
J'ai trop abusé ? ^^

Sinon whisper en mode translation direct, mais j'ai pas de GPU

 
mon samsung S25 doit être le truc le plus puissant pour faire de l'IA chez moi

PotPlayer, windows only , propose une interface pour transcribe via whisper
 
https://www.ghacks.net/2025/01/13/v [...] nslations/ (fin de l'article)
 
screenshot:

J'arrive plus a referencer toute la codebase dans le chat de cursor. C'est parceque j'ai un compte gratuit ?

Je viens de voir des vidéos, cursor limite le contexte à 120k pour Gemini et Claude de ce que j'ai compris. Donc c'est juste qu'à contexte équivalent il est meilleur.
Tu as ajouté des fichiers d'explication dans ton répertoire pour qu'il sache c'est quoi le projet ou tu démarres en mode brute ?

 
Le futur du "code" les pieds dans l'eau
 

Euh y'a le Nvidia Project DIGITS qui doit sortir courant mai qui proposera une config avec 128 Go de mémoire unifiée et à partir de $3,000, sachant qu'il sera possible de la monter à 512 Go il me semble donc ça sera bien moins onéreux que 21 GPU à 3K !

Avec quelle latence ?  
C’est un peu le problème jusqu’à présent.

Bordel je croyais que c'était une blague, mais c'est une annonce en fait  

https://www.youtube.com/watch?v=wV51WWaQQYo

 
 
Ben c'est perdu
 
https://x.com/lmarena_ai/status/1909397817434816562

Tu fais pas tourner un LLM qui pèse 720gb en 8bits sur un Digits.

Digits/Ryzen HX395 avec 128gb c'est pour du 70b MoE avec quantification dynamique pour que ça tourne à une vitesse suffisante et avec un contexte pas trop riquiqui.

 
 
Ils ont fait une live démo hier.... sur un 32B

Oui j'en ai entendu parlé de celui la.
 

 
Un Q4 ou Q5 devrait suffire non ? donc sur 512 Gb le LLM doit passé.
 
Ps: j'ai jamais trop vu de comparaison de réponse/efficacité sur du Q4/5 vs Q8

C'est dire à quel point ils croient en l'efficacité de leur bousin

Et surtout 256gb/s de bande passante, c'est tellement ridicule quand on sait que le goulot d'étranglement se situe à ce niveau. Pour 1700e t'as une mobo ITX HX395 128gb avec la même bande passante chez Framework (dispo en juin).

 
En vrai je trolle un peu parceque la démo était sur le vrai cas d'usage, du training et pas vraiment une vocation a les faire tourner vite
 
https://youtu.be/S_k69qXQ9w8?si=jopsFxT3oOPzlbXA
 
C'était pas inintéressant mais vu les perfs et la fermeture sur l'écosystème NVIDIA, c'est vraiment trop cher

256gb/s même avec 512gb de ram faut aimer les réponses lentes.

Digits et tous les appareils de cette envergure devront se limiter à des LLM de 32/70b en fonction des besoins contextuels. Et à cette taille oui, t'es bien embêté si la quantification descend trop bas. Pour les gros modèles c'est moins embêtant, on peut même partir sur des quantifications très basses si bien ciblées sur certaines couches : https://unsloth.ai/blog/deepseekr1-dynamic

Autant entraîner en cloud computing vu que NVIDIA pousse dans ce sens à travers tout son écosystème.

Mais je conçois que c'est le seul avantage à digits (pas des moindres mais pas totalement convainquant non plus sur les perfs).

Sinon vous avez vu le "Boomerang" mode de Roo Code ?
Ca permet de créer un agent qui va déléguer des taches à des modèles, donc leur réduire leur contexte et utiliser des agents différents par taches. Par contre ca j'ai pas trouvé comment ?
Est-ce que c'est en assignant nous-même le LLM qu'on veut pour le rôle (genre Claude 3.7 comme architect, etc...?)
 
Doc officielle: https://docs.roocode.com/features/boomerang-tasks

 
 
Non mais c'est un peu l'idée, c'est le "bas de l'échelle" de l'ecosystème nvidia pour un dév qui est bloqué dedans, le point d'entrée à "pas cher"

Pour les pros, c'est quoi l'alternative à Openrouter pour les apis de LLM gratuits ?
Dans Roocode, il faut du crédit openrouter pour utiliser des LLM gratuits après quelques messages (lol)

 
 
Je dirais Open WebUI + LiteLLM ?
https://www.youtube.com/watch?v=nQCOTzS5oU0

Ca à l'air très complique comme solution
Je cherche un site (comme openrouter) où je peux m'inscrire et récupérer une clé API pour les LLM gratuit comme LLAMA 4 ou geminin 2.5 exp. Les clés openrouter même pour les LLM gratuits sont limités (en tout cas ce que je constate).
J'écoutais hier une vidéo ou un podcast je ne sais pas, et il parlait d'un site pour ca (et ce n'était pas openrouter) donc je me dis que y a une alternative
 
Edit: je suis con. Faut obligatoirement utiliser un des providers dans la liste de Cline/roocode

Ahah les mecs ont réussi à péter ce benchmark également
Ça renforce la crédibilité des témoignages anonymes de gens qui ont quitté Meta  
 
Merci pour le lien

Si quelqu’un veut tester dans cursor, il semble avoir été ajouté récemment  
 

 
Hello,  
 
Tu pourrais m'en dire plus sur la fonction de résumé d'une vidéo Yt avec Gemini stp ?