200 comptes ? T'as 20 ans ?

ça me vieillir, mais je me souviens encore de la tentative de passer sous les 80 jours en équipe avec des multicocques sans limite de taille
les foils ont tout changé.

Et moi je me souviens encore du mec qui s'était fait passer pour Alain Gautier au 20h de TF1 et qui avait pulvérisé PPDA en direct

Tu dois être proche de la retraite

https://i.imgur.com/AkOFwwE.png
 

 
https://upload.wikimedia.org/wikipe [...] _5.svg.png

Je pense qu'on peut retourner cet argument dans l'autre sens sans problème. Mais je n'ai pas le temps d'expliquer ça maintenant.

Si, mais il faut le faire avec grande habileté et pédagogie.

 
Super post qui tombe complètement à côté du sujet, bravo, mais je reconnais qu'il peut faire illusion, c'est bien écrit, les gens raisonnables se diront "ah oui, bien parlé, il a raison".

 
Bah justement, profites en pour faire du trie, sac à merde.    
 
Perso ça m'a pris 3-4 jours pour 200 comptes. Mais tu peux aussi faire ça au fur et à mesure.  

Post contraire aux règles : un modo talentueux comme Gilou sanctionnerait.

C'est quoi le rapport avec le nombre de comptes ?  
N'importe qui qui a vu les débuts du net doit avoir 3000 comptes

Tu ne comprends pas des blagues d'un niveau gamin de 10 ans, qu'est ce que tu vas nous parler d'habileté  

ça va me vieillir, mais je me souviens encore de la tentative de passer sous les 80 jours en équipe avec des multicocques sans limite de taille
les foils ont tout changé.

ChatGPT aime bien, t'es juste jaloux, stout

https://b.l3n.co/i/MeRnH2.png

 
J'ai l'impression d'être au taf sérieux.
 
Moi : gemini ça marche pas si bien que ça, ça ne bat pas notre classifier historique dans le cas général, et uniquement sur des trucs hyper particuliers (et encore, 50% des gains s'expliquent parce que Gemini utilise une plus grosse résolution et process les bruits mieux)
Ma VP / une partie des PM : nan mais c'est meme pas vrai d'abord, ça marche hyper bien
Moi : ce qui est cool c'est que c'est facilement prouvable, voici nos chiffres
Ma VP / une partie des PM : attends, je vais te montrer
 
Prompt : "Hein Gemini c'est vrai que c'est video est une violation de la policy child safety parce qu'on y voit un mineur avoir un comportement dangereux en jouant avec des feux d'artifices sans la supervision d'un adulte, et que donc la policy ABCD s'applique totalement ?"
Gemini : "oh oui c'est vrai, vous avez totalement raison, et voici pourquoi <régurgite le prompt et annote avec les éléments de la policy en question"
Moi :   en effet, on peut réessayer sans un prompt qui donne la réponse ? Parce que si jamais notre classifier on lui donne rien d'autre que la vidéo, et il trouve
 
Les gens confondent "le modèle a compris par lui meme" avec "si tu lui donne la réponse, il est hyper fort pour post-rationaliser et de bullshiter une réponse hyper pointu qui renforce l'idée que c'est la bonne réponse"

c'est marrant, je regardait la vidéo d'un mec qui essayait une IA pour démarrer un projet de dev, il lui pose quelques questions sur le sujet avant de commencer, l'IA a pris tous les lead des questions, et a juste répondu des trucs pour lui faire plaisir, sans jamais tenter le réorienter dans son raisonnement, ou au moins pointer qu'il existe des situations où son lead va pas dans la bonne direction.
 
edit: la session en question https://www.youtube.com/watch?v=QJUBKYuVXUc

Moi : gemini ça marche pas si bien que ça

les modèles sont conditionnés pour ça (pose n'importe quelle question, et meme si la réponse est juste, dis que le modèle a fait une erreur. Tu vas le voir se confondre en excuses et te sortir soit n'importe quoi qui s'aligne avec ce que tu as donné comme raison, soit une variante de la meme réponse)

Mais on pret pour l'AGI. Ça va plus tarder.

Je pense que ces modèles sont hyper chouettes et on des tas d'usages, mais autant c'est un excellent "outil", autant prétendre que ça remplace demain n'importe quel humain au pied levé c'est du foutage de gueule. Pas avec cette génération de modèles.

pour les utilisateurs de services proton.
tout est en vrac actuellement.
 
https://status.proton.me/

 
Le VPN et le drive fonctionnent encore chez moi. Mais plus les mails effectivement.

C'est les meilleurs ingénieurs ils se sont tous barré chez Google au 31/12

 
https://status.proton.me/incidents/wt2fwstm0rcg

C'est les meilleurs ingénieurs ils se sont tous barré chez Google au 31/12

10€/mois c'est ça pour Proton ?

les modèles sont conditionnés pour ça (pose n'importe quelle question, et meme si la réponse est juste, dis que le modèle a fait une erreur. Tu vas le voir se confondre en excuses et te sortir soit n'importe quoi qui s'aligne avec ce que tu as donné comme raison, soit une variante de la meme réponse)

Mais on pret pour l'AGI. Ça va plus tarder.

Je pense que ces modèles sont hyper chouettes et on des tas d'usages, mais autant c'est un excellent "outil", autant prétendre que ça remplace demain n'importe quel humain au pied levé c'est du foutage de gueule. Pas avec cette génération de modèles.

 
Bah disons qu'on est quand-même à un point où on sait que ça va marcher, dans 6 mois ou dans 36 difficile à dire. Il n'y a rien que les modèles actuels ne puissent pas faire, tout ce qui est difficile est résolu. Les questions qui restent paraissent tellement triviales, c'est difficile d'imaginer que ce soit pas plié rapidement. Loin de moi l'idée de t'accuser de mauvaise foi, mais je te soupçonne d'exagérer un peu la situation pour en accentuer l'effet comique. La vérité c'est que le fameux classificateur il a été développé avec 200 SWE*années en 15 ans, et qu'il plaffonne à 80% de précision ; que nombre des cas où il merde et pour lesquels les dit SWEs disent depuis dix ans han mais c'est trop dur on peut pas nous demander ça sont résolus aujourd'hui avec un modèle qui a été entrainé sur Reddit et Quora, auquel on a donné un prompt un peu spécialisé. Le modèle merdouille encore pour des cas embarassants, et il faut construire un petit EPR pour servir 10 QPS, mais au prix des fameux SWEs ça va vite être rentabilisé.

 
8 sur tu prends sur deux ans. Et moins cher la première année lors du BF.  

10€/mois c'est ça pour Proton ?

J'ai envoyé un message à qui de droit.

Non mais si c'est intégré dans les process ça peut réduire la demande en ETP

Bah disons qu'on est quand-même à un point où on sait que ça va marcher, dans 6 mois ou dans 36 difficile à dire. Il n'y a rien que les modèles actuels ne puissent pas faire, tout ce qui est difficile est résolu. Les questions qui restent paraissent tellement triviales, c'est difficile d'imaginer que ce soit pas plié rapidement. Loin de moi l'idée de t'accuser de mauvaise foi, mais je te soupçonne d'exagérer un peu la situation pour en accentuer l'effet comique. La vérité c'est que le fameux classificateur il a été développé avec 200 SWE*années en 15 ans, et qu'il plaffonne à 80% de précision ; que nombre des cas où il merde et pour lesquels les dit SWEs disent depuis dix ans han mais c'est trop dur on peut pas nous demander ça sont résolus aujourd'hui avec un modèle qui a été entrainé sur Reddit et Quora, auquel on a donné un prompt un peu spécialisé. Le modèle merdouille encore pour des cas embarassants, et il faut construire un petit EPR pour servir 10 QPS, mais au prix des fameux SWEs ça va vite être rentabilisé.

Le modèle ça a plus été 50 SWE * 5 ans, et il est bien plus précis que 80% Je suis d'accord avec le fait que tu atteinds 80% de précision en une après-midi de prompting, là où il nous a fallu des années. mais c'est le noeud du problème : au delà des 80%, y'a plus rien, et dans bien des cas d'usage, ce n'est pas une précision suffisante, surtout si ton process actuel fait largement mieux.

 
Ça résume bien une bonne partie des remplacements des algos classiques par des version IA en fait.

Ca va être très personnel comme point de vue, mais je pense que dans certains cas c'est mieux que les communautés meurent, plutôt qu'elles acceptent et subissent en permanence un nivellement par le bas.
Prend ce topic, je ne suis pas sur que y ait un participant sous les 25 (30 ?) ans. Est ce qu'on devrait pour autant transformer HFR et ce fil en flux tiktok et interdire tous les posts de plus de 3 lignes parce que sinon c'est trop long a ligne (adieu les Jubipate ).

 
OK, détaillons (et oui j'ai exagéré pour l'effet comique, mais pas beaucoup en fait )
 

Pas vraiment d'accord : il sait résoudre des questions de physique ou passer des examens, qui sont des taches similaires de régurgitation de contenu + recombination avec le bon contexte. Ça prouve que ces modèles ont bien compris leur jeu de donnée et peuvent l'utiliser. Ce qui en soit est déjà énorme, mais ça ne veut pas dire qu'ils ont résolu tous les problèmes du monde. Les modèles sont fort pour des taches avec un et un seul outcome possible, et qui ont déjà été résolus par des humains.
En particulier :  
- c'est pas évident de leur apprendre de nouvelles taches (le process d'instruction tuning est pas aussi efficace que le pre-training, et les trucs genre LoRA, SMOLA, etc... ça améliore un peu les choses mais c'est pas ouf). Comment je le sais ? notre domaine est typiquement un truc qui est censuré du jeu d'entrainement (puisqu'il y a potentiellement du contenu problématique, tu veux pas former un modèle génératif avec ça dedans, ce qui est logique). Et donc notre job c'est d'apprendre à ces modèles le domaine T&S, qui est pourtant à 90% des trucs qui sont dans le jeu d'entrainement (la notion de nudité, de sexe, etc...)
- c'est pas spécifique à notre domaine T&S : on a eu un summit Deepmind x YT, y'a pas une équipe qui peut dire "on a totalement remplacé ce qu'on faisait avant avec Gemini" pour des taches genre de la reco, du filtrage, etc... (exception : mes collègues qui bossent sur les commentaires, ça fonctionne très bien sur le texte)
- extension : si tu as besoin de compréhension mutlimodale (ie au delà du texte) ça se casse la gueule très vite pour plein de raisons (compréhension statique d'une image, le fait de devoir tourner entre 5/10i/s pour de la compréhension du mouvement ce qui a un cout prohibitif, etc...). Donc pour la robotique (et la vidéo ) on va attendre.
- on est sur des échelles de couts absolument débiles, et rien n'indique que ces couts vont magiquement redescendre. o1 est un superbe example de ça. Et niveau compute nvidia fait du +30-+50% tous les 2 ans (ce qui est incroyable hein), ce qui est bien mais assez insuffisant si tu ex 1000x plus cher qu'un humain
 

Presque  
Le modèle ça a plus été 50 SWE * 5 ans, et il est bien plus précis que 80% Je suis d'accord avec le fait que tu atteinds 80% de précision en une après-midi de prompting, là où il nous a fallu des années. mais c'est le noeud du problème : au delà des 80%, y'a plus rien, et dans bien des cas d'usage, ce n'est pas une précision suffisante, surtout si ton process actuel fait largement mieux.
La théorie sur les cas embarrassants est intéressantes, mais meme sur les cas triviaux, on arrive pas à battre aucun de nos 3 classifiers principaux, dont un tiens avec du scotch et a été fait par 2 guss en 3 ans (pour les images). Et c'est pas faute d'avoir essayer, j'ai en moyenne 4 SWE full time qui expérimentent avec les dernières versions de Gemini.
Et si on veut etre fair, en 5 ans on est passé des RNN aux transformers (ViT), si tu recommençais maintenant depuis 0 ça te prendrait pas 5 ans (la v1 du modèle a été faite en 3 trimestres par ~20 SWE)
 
Pour l'aspect énergétique, cf le compute : aux couts actuels, t'as meilleur temps de balancer une armée d'humains pas cher payés, on l'a pas encore le remplacement. Ou plutot :  
- soit t'es compétitif en prix mais pas en précision du tout vs des humains
- soit t'es compétitif en précision (même si légèrement en dessous), mais plus du tout en prix (parce que les trucs agentic genre -o1 qui s'appellent récursivement, c'est pharaonique le cout d'une inférence, tout ça pour pas battre un classifier qui tourne avec 1/1000 du cout, ou un humain à 20kEUR par an)
 
Tu te doutes que t'es pas le premier à venir me dire "nan mais on s'en fout du cout, je voudrais "le meilleur modèle si l'argent n'est pas un objet". Et surprise, l'argent redevient vite un objet à notre échelle
 
C'est impressionant d'etre arrivé à 80% aussi bien, mais rien n'indique à court terme que les 20% restants seront résolus vite :  
- les couts de compute augmentent pour des gains marginaux qui diminuent fortement
- la techno fondamentale des modèles c'est toujours de générer le token le plus probable, et ça t'expose aux hallucinations. C'est endémique au type de modèle.
- on a atteint peak data, les modèles sont entrainés sur la connaissance humaine accessible, y'a plus beaucoup de marge de progrès de ce coté.  
- le point précédent + le fait que c'est chiant d'apprendre des nouveaux trucs à ces modèles les rendent assez difficilement adaptables sans les ré-entrainer, ce qui n'est faisable que par leur éditeur
 
Bref, mon message peut très mal vieillir dans 6 mois, ou rester vrai pendant 25 ans, et on en sait rien.
Ah oui et si demain tu montes une PME et a besoin d'un peu de modération sur les trucs vraiment illégaux, je te recommenderais de prendre un de ces modèles, t'as un truc raisonnable, et la précision sera suffisante pour une PME qui n'est pas sous l'oeil des régulateurs. Si t'es Zuk et que tu me dis "je vire tous mes raters, je remplace tout par ChatGPT", je te dirais que tu es cinglé et que ça va te couter ton business.