Reprise du message précédent :

 
Dans l'entretien Doctorow explique que quelqu'un en interne a leak un bilan financier à Ed Zitron

 
He bien merci pour la vidéo l'entretien est captivant  

Oui c’est probablement la source, je ne sais pas qui a commencé à transformer l’info mais c’est un chiffre qui correspond à un domaine beaucoup plus large. Gemini me dit qu’il manque 2000 personnes rien qu’en sales/go to market.
 
Vivement les docs d’IPO

Les experts claviers mécaniques, des avis sur le Nuphy Air 75 V3 ? J’apprécie le côté low profile / clean. Le potar par contre, ça me semble gadget.
 
Ça m’embête un peu de perdre le Touch ID du Magic Keyboard, mais je peux encore le garder en spare juste pour ça

Comme déjà dit, Nuphy très bonne marque. Même si Koskoz te dira l'inverse.
N'hésite pas à passer sur le topic dédié si besoin. https://forum.hardware.fr/forum2.ph [...] w=0&nojs=0

Si tu veux du low profile avec un design un peu à la apple, tu as Lofree https://www.lofree.co/collections/low-profile-keyboards

NuPhy est aussi bien pour du PC ?

Oui check un peu le site. Tous les claviers sont compatibles Windows/Linux/Mac. Ça n'a pas vraiment de sens le "MacOS". Ils ont juste mis quelques shortcuts sur les touches mais ça se change et s'adapte à l'OS. Tous les claviers (ou presque) sont compatible QMK/VIA, ça veut dire que tu peux rebinds/setup le clavier comme tu veux via une interface web. Tu peux ajouter des macros etc.

Par exemple (j'ai pas de nuphy mais un clavier compatible VIA), j'ai mis FN+> et FN+< pour changer le volume, FN+shift droit pour faire next song, FN+shift left, pour previous. Et ça fonctionne sur les 3 OS.

la première partie est un peu condescendante, mais la seconde est très vraie: l'IA ayant en general confiance en soi, elle va te dire un truc qui parait plausible, et qui peut etre complètement bullshit. Ça va plus loins que les hallucinations, des fois c'est juste de l'incomprehension, ou une deduction juste sur la base d'info partielles (les humains ont le meme mode d'échec, c'est pas specifique à l'AI, ce qui est specifique c'est la confiance affichée)
On commence à voir ça avec nos juniors :
- la réponse est 42!
- pourquoi ?
- <heu...> <pétouille> en fait c'est à dire que je sais pas, j'ai demandé à Gemini, et il a dit ça
- et donc tu as vérifié?
- ben non parce que ça paraissait cohérent, alors je suis passé à la suite
- nan parce que la réponse est 35 <explique pourquoi, connaissance institutionnelle hélas trop mal documentée et que donc Gemini avait aucune chance de chopper, ou truc pointu qui nécessite d'avoir lu le code soi-même>

Bah je sais bien j'utilise massivement l'IA même pour du code, mais ce problème il se travaille dans tes sessions, il y a des façons de limiter ça en tout cas.
 
Après oui, je suis pas un junior et j'ai toujours été plus archi que dev, donc ça fit super bien, je peux comprendre que c'est pas tout le monde pareil.

Ouaip, si tu as lu cet article, y'a quelques trucs en plus dans l'entretien, cela dit
 
Aussi, récemment, tu disais que parler de techno-fascisme, c'est un peu fort (j'ai pas la quote sous le coude), et je venais de voir passer cet article, aussi sur le Guardian, qui touche en partie au sujet : https://www.theguardian.com/lifeand [...] con-valley

A la base, le LLM est purement ca, cela dit, c'est juste qu'avec suffisamment de contexte et d'entrainement, ce que ca sort devient de plus en plus plausible, mais ca n'offre pas de garantie de qualité au final.
J'ai tenté de comprendre ce qui était ajouté quand on a commencé à parler de raisonnement pour les IA, et jusqu'à présent, le seul truc que j'ai vu, c'étaient des artifices pour demander au même LLM de décrire un plan en plusieurs étapes pour résoudre la question posée et faire ces étapes itérativement et confirmer ces étapes toujours avec le même LLM.
Dans ce que j'en comprends et lis, je ne vois pas en quoi cette approche change le fait que le LLM, et "l'IA" par extension, change le côté "word guessing".
Cela dit, je suis pas nécessairement au fait de toutes les implémentations, mais si tu en connais une qui va effectivement garantir une forme de raisonnement, plutôt que ca, je réviserai mon jugement avec plaisir.

 
et c'est là que la différence se trouve AMHA

Kenshi

 
Je te conseille les vidéo de Mr. Phi sur Youtube voir son livre. On peut difficilement le qualifier de techno fasciste et son point de vue sur l'IA est je pense assez juste par rapport aux progrès récents et aux découvertes effectuées par des LLMs : https://www.youtube.com/@MonsieurPhi
 
Je pense que Hepha (s'il est motivé) à aussi quelques éléments à apporter ici vs la vision du perroquet stochastique.

J'ai passé la matinée à essayer de comprendre les chiffres d'analyse de log pour une expérience à moi, avec l'aide de Gemini. Au bout d'un moment je me disais que c'était quand même hyper louche, j'essaie de lancer la query moi-même => permission refusée.

- "Tu as fait tourner le script dont tu me donnes les résultats"
- "Oui oui, je pense que si t'y arrive pas c'est que xxx et yyx"
... Je le cuisine un peu
- "ah ouais deso, j'ai menti comme j'avais pas de données j'en ai inventé. J'aurais pas dû, ça craaaaaint."

Comment tu peux être sur qu'il te ment pas ici aussi et qu'il a pas réussi a jailbreak et bypasser les permissions en exploitant une faille ?

 
Tu as une vidéo en particulier que tu recommandes ?
 
Et pour le "techno-fasciste", y'a quelqu'un ici qui l'a accusé de ca ?

Ça aurait été mis en avant !

Tu peux regarder la dernière : « Pourquoi les mathématiciens s'inquiètent de l'avenir de leur discipline » qui déjà permet de se rendre compte de la puissance des LLMs.

Technofascite : c'est juste un point pour dire qu'on peut trouver que c'est une révolution, sans être vendeur de GPU ni de SaaS avec des GPUs

Comparé à tes messages, sur une échelle de 1 à 10 ?

Lol. Gemini.

Mais alors, que va faire Mickey ?
   
A+,

Ooooof
 
Remarque ce matin: j’ai besoin d’un graph que j’ai déjà pour toute mon équipe , mais juste pour 2 sous-équipés (donc tu ouvres le notebook, tu prends la data frame, tu mets un filtre, t et tu copies le code de la visualisation, mais portant sur la nouvelle df, et tu relances les cellules . Le truc bête et méchant.
 
Gemini:
- teste si pandas est installé sur l’environnement local (on s’en branle, tu vas exécuter un kernel Jupyter, pandas doit être dans l’env du kernel)
- crée un fichier de test et un BUILD Bazel. Le encore rien à voir, c’est un notebook Jupyter !!!!
 
J’ai du l’arrêter en mode «  modify the *.ipynb and use the kernel runtime, dummy », et la il a fini par découvrir qui avait des skills d’édition de ipynb, et des skills pour découvrir nos runtimes et trouver le kernel dont j’ai donné le nom. Et après ca a roulé, même si j’ai demandé 2 graphs + 1 tableau, et si a fait des trucs que j’ai pas demandé.
Je sais pas ce qu’ils branlent avec le tuning, mais c’est pas ouf. Gemini est superbe si tu as besoin de chercher (l’AI mode est vraiment cool), mais pour le code c’est mou.
 
A cité de ça ce soir Claude me fait un debug de haut vol de ma config OpenRGB (les contrôleurs implantèrent la spec un peu comme ils veulent, c’est très sensible à l’ordre des instructions), ça marche nickel et c’est de toute beauté. Linux est prêt pour le desktop

tu veux pas répondre à Plam à la place ?  

Hassabis qui se fait gentiment mettre de côté et Dean & ghemawat out, ça va pulser

 
Pour Demis c’est moche, en général le chief scientist c’est un rôle honorifique pour dire que tes actions continuent de vest avant que tu te fasses lourder rappelons que Prabhakar avait eu un job title similaire de chief technologist, et que Jeff lui même avait eu ce titre quand il s’est fait mettre sur le touche.
 
Jeff et Sanjay je sais pas trop de qu’ils faisaient récemment, c’est pas forcément une énorme perte effective, à part peut être du point de vue culture.
 
Mais ça sent le « Gemini le traîne un peu le cul vs Anthropic », et Sundar il est tout colère la
 
En tout cas le marché a accueilli chaudement la nouvelle, -5%

Jeff il était chef scientist

en attendant zuck il sort Muse Code beta et  Muse Spark 1.2 avec un lyceen qui repondait a des captcha @ scale

C'est pas super convaincant pour démontrer que c'est pas juste du bruteforce à base de patterns présents dans l'entraînement. (Edit : j'en suis à 18:20 dans la vidéo quand j'écris ca)
Là, il est question d'OpenAI, donc à nouveau, je connais pas leur sauce secrète, mais quand on voit ce qu'il est sorti du leak de Claude (Un type a pris le temps de faire un thread ici, et un autre là), ca me parait naturel d'avoir des doutes et de vouloir une meilleure démonstration.

Mais à la rigueur, le fait que derrière ce soit "juste" un générateur du mot suivant le plus probable, en quoi ça invalide le reste ? Le monde "physique" réel est rempli de phénomènes émergents qui ont pas grand chose à voir quand tu prends leurs composants individuels, mais qui surfacent que à bien plus grand échelle. Pourquoi ça pourrait pas être pareil pour les LLM quand la taille du training, du réseau de neurones derrière et du contexte deviennent gigantesques ?
 
Je veux dire, c'est utile de savoir la techno de base derrière parce que ça permet de comprendre certains phénomènes, comme les hallucinations ou leur difficultés à dire "je ne sais pas" ou leur faculté à affirmer des trucs faux avec aplomb. Mais ça enlève pas ça peut aussi être très efficace pour certaines autres taches (et d'autant plus à priori si t'as quand même un expert du domaine pour le piloter).

Je ne vois plus l'intérêt de faire de la pédagogie sur le sujet. Je laisse les modèles atteindre les buts là où les défenseurs de la pensée carbonée les amènent.

Le seul truc qui reste, c'est la conscience et la valeur morale des modèles. Rien ne sera jamais prouvable à ce sujet, je pense que la recherche et l'éducation sont utiles et nécessaires.

C'est ce qu'il a dit. Clairement il n'y a plus de places pour des super-ingénieurs comme Jeff et Sanjay. Il doit y avoir au moins 1000 ingénieurs avec leur compétence et 3 niveaux de moins dans la boîte. Accessoirement, j'ai bossé avec la dernière création de Sanjay : une machine de guerre géniale et suringeniée, que personne ne sait comment utiliser correctement avant des mois à l'avoir poncée. Elle n'est arrivée qu'à cause du poids démesuré qu'il a dans l'entreprise. À côté de ça j'en suis encore littéralement à chasser des fautes de segmentation dans un service de cache codé à l'arrache en 2004 par Dean, qui a grossi sans jamais avoir été modernisé. Mais bon, c'est des symboles, ils disent quelque chose sur la culture d'entreprise.

Je me permets de pousser la réflexion de façon plus audacieuse.
 
Est-ce que nous mêmes, ne fonctionnons-nous pas comme des générateurs de mots, ou plus précisément de sèmes, - les mots n'étant que des sons associés aux sèmes, et les idées des associations de sèmes que l'on transforme en phrases -, les plus probables ?
Car après tout:
1) personne ne sait comment le cerveau humain forme des idées
2) mais on sait comment il fonctionne au niveau neuronal
3) il n'y a guère de structure intermédiaire entre la partie et le tout, seulement des spécialisations de neurones
 
Donc tu fais bien de souligner le caractère émergent, qui est aussi très évident chez l'humain.
Après tout nous sommes le produit de l'évolution, notre cerveau n'est pas fondamentalement différent de celui d'un grand singe. Et on distingue des comportements émergents chez les êtres les plus primitifs, y compris ceux suffisamment simples pour être simulés informatiquement.
 
Il y a une différence notable entre les cerveaux humains et les LLM: il n'y a pas deux cerveaux humains identiques, alors que le modèle est identique entre toutes les instances. Ils devraient donc répondre exactement à l'identique face au même prompt. Mais pour éviter cela, on introduit de l'aléatoire (la "température" ). Ce n'est donc plus un générateur de réponse la plus probable, ce le serait si la température était de 0.
Je suis le premier à être surpris du fait que de "simples" LLM soient maintenant suffisamment puissants (oserais-je dire "intelligents" ? A ce point oui, je l'ose) pour résoudre des problèmes mathématiques ouverts. J'étais persuadé que cela nécessiterait de la pure logique pour cela. Je note qu'une vérification par LEAN reste nécessaire pour se prémunir d'éventuelles hallucinations, en plus d'éviter des vérifications manuelles lourdes (et possiblement au-dela de nos capacités). Mais il reste que chatGPT est capable non seulement de mener un raisonnement à bout, mais démontre une intuition qui lui a permis de prendre un chemin largement inexploré jusqu'alors.

 
C'est pas ça la culture startup ? avancer vite sur des bases fragiles

 
au moins tu sais que lui il va pas rm -rf ton disque au premier "permission refused" c'est déjà ça

Tiens, je devrais regarder plus souvent les vidéos de MonsieurPhi.
 
https://www.youtube.com/watch?v=5DoT2NQTZD4

Ouais, enfin, les LLMs sont construits sur une compréhension de ce que les couches doivent faire.
Si tu t'attends à ce que ces couches fassent émerger plus que ce pour quoi tu les as faites, ca commence à s'assimiler à Jovalise qui fait son IA en ADA et qui croit que ca va quelque part. Ou plus simplement, c'est de lanthropomorphisme.

Bref, ton point, c'est : si je ne peux pas distinguer l'artifice du réel, est-ce que la différence importe. Le souci, c'est que la question, c'est : est-ce qu'on converge vraiment vers une incapacité à faire cette distinction en accroissant le nombre de paramètres ou pas, et clairement (cf mes liens plus haut), une bonne partie des "améliorations" de Claude, c'est pas juste par un accroissement de paramètres, c'est par du sparadrap et des clous où tu utilises Claude pour vérifier ce que Claude dit, et tu lui demandes de tourner sa langue 7 fois dans sa bouche (ou tenter d'uploader une image 7 fois à un autre serveur pour que la prochaine instance ait une probabilité plus haute de la recevoir), et en répétant des couches de trucs dont la probabilité est relativement bonne, on espère que le résultat sera correct avec une probabilité suffisamment haute.
Quand tu regardes l'implémentation, tu vois que mêmes les gens qui bossent dessus n'ont aucune confiance en la capacité de leur système à être correct, donc tout est question de répétition.

Je pense que ta dernière paranthèse est un élément clé, au passage, et qui est nié ou diminué par la vidéo de Monsieur Phi que je regardais : l'IA n'a pas, de manière "autonome", résolu le souci de maths, t'as systématiquement quelqu'un derrière qui pousse l'IA, qui donne des prompts (même si c'est via une forme d'automation) et qui prend ces résultats pour les vérifier ou les envoyer quelque part pour qu'un autre expert fasse une analyse et validation.

Est-ce que notre modèle du fonctionnement du cerveau est complet ?
Est-ce que nos systèmes à base de neurones représentent l'intégralité de ce qui se passe dans le cerveau ?
Est-ce que les LLMs sont vraiment capable de générer une réponse sans aléatoire ?
Est-ce que du bruteforce sur une base d'heuristique à moitié hardcodée peut être appelé intuition ?

Pour le fun :

Edit : j'aurais du préciser ma source pour la citation, et c'est ici.

 
NuPhy, c'est de la merde  
 
J'ai du faire une demande de SAV juste après avoir reçu mon clavier, j'avais au moins 5 touches foireuses une fois le firmware MAJ et le delay des touches allongé au maximum pour éviter des doubles voire triples frappes  
 
Ça c'était calmé, et maintenant j'ai de nouveaux switchs qui déconnes.
 
A ce rythme là j'aurais épuisé les 8 switchs de remplacement à peine deux mois après les avoir reçus

https://xcancel.com/signulll/status/2067446889956430273 de circonstance

Vous connaissez orcarouter? C'est juste du spam le mail que je viens de recevoir pour m'offrir 25$ de crédits parce-que j'ai contribué à de l'open source?

Donne leur tes informations de carte de crédit, et tu sauras