Reprise du message précédent :
Drap

 
Je sais pas pour la DGA et l'OTAN, mais ma boite a la certification Fedramp et on tourne sur AWS qui permet d'avoir comme client des entités du gouvernement US. Il y a une extension DoD (qu'on a pas) pour les trucs militaires. Je pense que c'est bien plus facile d'obtenir et de maintenir des certifications comme ça en mode cloud qu'en premise. Perso pour mon service on a juste eu a déployer sur un compte AWS dédié, un peu de galère TLS/FIPS et nettoyage de logs, rien de très compliqué.
 
Obtenir ces certifications n'a rien de "très compliqué" techniquement, c'est beaucoup de lecture, d'audit et de paperasse. Si on avait tout fait en premise on y serait encore...

https://arstechnica.com/information [...] er-member/
 
Ça sent la boîte bien gérée et on peut lui faire confiance pour maîtriser les développements de l'IA

 
Gérée c'est vite dit Ca me surprends pas plus que ça, bien souvent les membres de la direction des grosses boites n'ont aucune idée de ce que la boite fait vraiment... A leur place je me serait fait tout petit, qu'ils sachent pas ce que leur boite fait, c'est déjà la honte, s'en plaindre publiquement, faut vraiment être con ChatGPT s'est pas fait en un week-end, ils se sont jamais posé la question de ce que faisaient leurs employés avec des tonnes de serveurs et leurs milliers de GPUs?

Possible que le board n'ait pas compris ce que la boite faisait ou du moins n'ait pas compris qu'un LLM puisse être tuné pour être un chatbot. Avant chatGPT, ça n'était pas du tout évident comme usage.

 
Une board est censée donner les grandes directions et faire des choix stratégiques. Comment ils peuvent faire ça si ils ne comprennent même pas ce qu'ils font? Comment ensuite justifier de leur compétence pour virer Sam Altman? Qu'ils n'aient pas entendu parlé de ChatGPT, c'est leur faute, c'est leur travail de s'intéresser a ce qu'ils dirigent. Qu'ils ne sachent pas tuner un LLM c'est normal, mais ils devraient quand même avoir une petite idée de ce que c'est. Ils ont quand même accès a plus de resource que nous
 
J'ai assisté a quelques réunions avec des membres de la board de ma boite (avant un gros remaniement et qu'ils soient tous virés) et j'avais halluciné sur certaines des discussions, complètement déconnectées des réalités de l'entreprise. On sentait bien certaines personnes arrivée par copinage qui ne comprenaient absolument rien mais balançaient les termes a la mode au hazard. Ensuite ça matérialisait des directions de développement (débiles) pendant des années, ça fini par plus d'un millier de licenciement...

 
Welcome

Connaissances de base de quelques algorithmes de ML et de leur utilisation avec les bibliothèques python de mon côté.
Pas mal d'auto formation via la plateforme Coursera aussi.

J'attaque dans 15 jours un parcours certifiant via mon job pour un équivalent master en IA et machine learning.

Ça devrait m'occuper pour l'année à venir

Cool, c'est une formation interne ou par une boite de formation?
Combien de temps ça dure?

Un cursus d'un an à base de 2 jours par semaine.
La boîte c'est datascientest.

Bien! Ca fait une bonne expérience.

https://www.msn.com/fr-fr/lifestyle [...] -BB1nNR2y?
 
 

Plus qu'une expérience j'espère, ça s'engage vraiment comme un parcours d'upskilling comme ils disent

 
Oui, je voulais dire experience dans le sens "travail", pas "on test des trucs"
 
N'hésite pas a faire un retour sur ta formation .

Je cherche une solution pour générer du schema electrique avec un LLM.
 
gpt me parle de faire du GPT <> pyhton (SKiDL) <> kicad  
 
des habitués ?

Ca doit être comme générer des schémas en PlantUML avec un LLM
 
 

 

Yann LeCun en interview plutôt grand public. C'est assez sympa, c'est la premiere fois que je l'entend en dehors de ses conf de vulgarisation plus technique.

Le père fondateur du Deep Learning - Yann Le Cun
https://www.youtube.com/watch?v=gz876KIYeEA

Il fait pas mal de pub pour Meta et ses lunettes, dit qu'un chat de gouttière est plus intelligent qu'un chat GPT, que les LLM sont un peu comme les idiots savants qui apprenaient tout par cœur à l'école sans chercher à comprendre. Bref, il enfonce pas mal d'idée reçue sur l'IA et les LLM qui sont autant de porte ouvertes pour ceux qui connaisse déjà tout ça, mais ça reste intéressant car il est rigoureux scientifiquement dans sa critique des LLM, et plutôt cool à écouter.

je veux croire en la voiture autonome de niveau 5 pour 2030

j'ai aucune connaissance dans le domaine, si ce n'est les vidéos de Sciences étonnantes sur le sujet, mais je me dis que c'est possible

je sais pas comment ils entrainent actuellement leurs modèles pour cet usage, mais si on devait calquer le modèle des LLM à cette branche, ça voudrait dire emmagasiner tout un tas de données de véhicules en circulation pour entrainer un modèle

on part du principe qu'on fige à peu près les dimensions de la voiture et les capteurs embarqués, et là, on fait conduire des dizaines de milliers de kilomètres plein de voitures semblables par des humains, dans tous les milieux, urbains, semi urbains... et on enregistre tout ce qui se passe au niveau des capteurs et on l'associe à l'action du conducteur, avec beaucoup de données de ce type, je me dit que c'est obligatoire qu'on arrive à faire émerger une capacité de conduite à partir de toutes ces données recueillies associées au comportement du véhicule et de l'action du conducteur

je vois ces IA comme des cerveaux vierges auxquels il faut appliquer des stimuli pour qu'ils développent une capacité spécifique

plus on arrivera à mettre au point des structures/concepts "neuronaux" complexes ou avancés, plus on se rapprochera d'un cerveau biologique, même si c'est pas forcément vers ça qu'il faut tendre, mais il semble quand même y avoir des similitudes

Les LLMs font beaucoup d'erreurs, je ne sais pas si c'est la bonne direction.

 
 
Sujet intéressant (je suis en plein dedans, ma boite développant un LLM - basé sur Mistral 7B) dans un domaine particulier (et qui tourne "en prod" tt les jours)

Bienvenue
 
Perso je solderais bien mon CPF pour faire une (bonne ) formation en ML. Il y a des opportunités dans ma boite, mais j'ai un peu peur de sauter le pas. Jouer avec Stable Diffusion ou des LLM c'est une chose, bosser dedans en est une autre. J'ai un peu peur que ça me plaise pas, les maths c'est pas mon truc

 
Je suis pas du tout certain que les modèles en conduite autonome qui existent se basent sur un apprentissage basé sur des millions de km "humains" enregistrés; ça me semble plus simple de coder ça à partir des règles du code de la route + des observations des divers capteurs, sans aller chercher comment se comporterait un humain dans cette situation précise.

 
Faut que tu vois l'interview de LeCun que j'ai posté plus haut, il explique justement les limitations des LLM, en particulier lié au fait qu'il n'ont pas de représentation interne du monde physique et qu'il sont incapable de planifier. C'est justement sur ces points qu'il souhaite que la recherche en IA progresse, et dans ce cadre qu'il a publié son papier (un genre de manifeste) : A Path Towards Autonomous Machine Intelligence et qu'il vulgarise dans cette conf au collége de france :
 
https://www.college-de-france.fr/fr [...] -planifier
 
Cela dit, LeCun explique bien que ce que font les LLM en terme de traitement de l'information, tout aussi impressionnant que ça peut nous paraitre, c'est rien du tout a coté de ce que fait un cerveau humain, même d'un enfant (ou même un chat de gouttière ). on est dupé par le fait qu'un LLM traite du langage, et que le langage est une sorte d'abstraction du monde physique, une version extrêmement simplifié de celui-ci et qu'il est donc "facile" de le manipuler de façon statistique.
 
Sans oublier qu'un cerveau humain c'est a peu prés une trentaine de watt en terme de conso d'énergie. Donc, bon, une fois les ordres de grandeur posés, je pense qu'on peut dire que l'on passe surement a coté de quelque chose de fondamental encore et que la route est longue avant d'arriver au bout du chemin qu'il désigne. C'est pour ça que lorsque tu dit :
 

 
C'est faux, et il est important de bien démystifier ça, et c'est ce que s'évertue à faire Yann LeCun et c'est ce pourquoi il est important de l'écouter quand on réfléchi a ces questions, ne serait-ce que pour éviter de continuer propager des idées fausses et des croyances au sujet des IA générative et des LLM en particulier. Et si tu te demande qui c'est ce type, je t'encourage a lire sa fiche wiki : https://fr.wikipedia.org/wiki/Yann_Le_Cun

on a déjà trouvé le message d'excuse en cas de bug

C'est surtout que les résultats d'un LLM ne sont pas adaptés a la conduite, ils donnent le mot suivant le plus probable en fonction du contexte. Genre "L'éléphant est plus xxx" -> grand
 
Pour la conduite c'est plutôt la classification visuelle qui est intéressante, le truc détecté a la position xyz1 est un piéton a 98%, position xyz2 est un feu rouge a 72%, etc. C'est la ou avoir des millions de km d'images de route divers et variées pour faire son training est plus intéressant qu'un export de Reddit et Wikipedia .

Pas besoin d'image de route on a largement les moyens de créer des simulations pour ça. Et la plupart des situations (en particulier lorsqu'elle sont spécifiques comme la conduite) peuvent se représenter sous forme de language, donc la technologie pourrait être adéquate.

je l'ai vu    
 
et à un moment il aborde ce sujet, je me souviens
 
quand je parle des LLM, j'aurais du plutot parler de deep learning tout simplement, je ne sous entendais pas dans mon propos qu'on pouvait utiliser la techno LLM pour l'apprentissage de la conduite autonome
 
pour ce qui est du gap entre un réseau de neurones artificiels et un cerveau humain, j'ai conscience du fossé qui les sépare, tant en énergie requise pour son fonctionnement qu'en terme de connexions, je voulais juste parler de la conception d'éléments artificiels reprenant le principe de zone du cerveau jouant un rôle spécifique dans le traitement de l'information, mais cela semble évident, sans qu'on est besoin d'en appeler au cerveau pour servir d'exemple, ça coule de source qu'un tel système requière l'agencement de différent "modules" jouant chacun un rôle spécifique dans la chaine d'analyse

oui, je metionne les LLM, mais c'est plus le deep learning en général que j'aurais du mentionner, effectivement

ah c'est top ça !  

 
Tu peux pas tout simuler, c'est le problème. En plus ton "LLM" n'apprendrait qu'a conduire dans un environnement simulé, une fois sur la route il ferait n'importe quoi.

pas sur que la simulation permette en effet de pouvoir recréer suffisamment précisément la complexité du monde réel dans le cadre d'un agent de conduite autonome

la conduite autonome, c'est vraiment un truc qui changerait en profondeur la société à l'échelle mondiale, et vu les progrès dans le domaine de l'IA, on peut espérer que ça arrive plus rapidement que ce qu'on pouvait espérer, j'y crois en tout cas

 
Le gars qui a hacké l'iPhone, Geohot, a fondé une boîte et vend un kit pour rendre une voiture autonome https://comma.ai/openpilot
 
Vidéo qui date de 8 ans, dans ce passage il explique qu'il est en phase d'apprentissage de la conduite des humains https://youtu.be/KTrgRYa2wbI?si=EjE [...] kcst&t=239
 
Bon, ps sûr que ce soit la même approche dans les grosses boîtes.

j'ai l'impression que c'est ce dont je parlais, faire conduire des humains pour entrainer un modèle
 
j'ai hate de savoir comment les grosses boites ont abordé la chose

 
c'est là (timecode 1h20) https://www.youtube.com/watch?v=gz876KIYeEA&t=4815s
 
Il explique que les techno qui font ça actuellement "trichent" en entrainant de façon supervisé des circuit de neurones convolutifs (le truc qu'il a "inventé" justement et qui a réveillé la recherche en IA dans les années 80)
 
Si tu préfère, c'est de la triche parce que sont des humains qui ont fait la partie "intelligente" de l'apprentissage des machines.  
 
Perso, je considère que la difficulté de la conduite autonome ne vient pas de la tache de conduite elle-même, mais du fait d'être plongé dans un trafic constitué majoritairement d'intelligence de type humaine au volant de machines dont le déplacement mobilise des quantité importante d’énergie cinétique la rendant létale, et que cette intelligence de type humaine que l'on appelle un automobiliste est très loin d'avoir un comportement prévisible et rationnel. Ce qui rend très dangereux le fait de se déplacer dans un tel environnement sans partager cette espèce de surcouche culturelle propre à l'humain qu'il construit au dessus du code de la route et de la logique avec laquelle est conçu l'infrastructure.
 
Dit autrement, si y avait que des machines autonome sur la route, le probléme serait infiniment plus simple à résoudre.  
 
Dit autrement autrement, imiter l'humain, ce n'est pas un bonne stratégie pour construire une machine intelligente, on risque d'avoir des surprises désagréable en faisant ça. Et c'est un des point centraux de la pensée de LeCun sur la question.  
 

 
https://fr.wikipedia.org/wiki/Yann_Le_Cun
 
C'est le piège dans lequel il n'est pas tombé et qu'il lui a permis de révolutionner le domaine mais dans lequel a peu prés tout le monde tombe (y compris Turing quelque part avec son fameux test).
 
C'est une des raisons pour laquelle c'est plutôt une bonne idée d'écouter ses arguments en règle générale.  
 

 
Les LLM utilisent les architectures de réseaux transformers qui sont adaptés au traitement du langage (difficile de piloter une voiture au clavier ), niveau vitesse de génération ça se compare avec une grand-mère avec 3gr d'alcool dans le sang après un gros bédo, et niveau raisonnement c'est pas gagné (ce serait marrant de faire choisir à la voiture une solution au dilemme du tramway avant de démarrer).
 
D'après les intervention de Le Cun justement on utilise les Réseaux de Neurones Convolutifs (CNN) pour la vision, les Réseaux de Neurones Récurents (RNN), et autre sûrement
 
Et Musk qui trolle :
 

faudrait un apprentissage "trajet habituel" pour accélérer , genre je fait 10 trajets , il comprends que y'a un passage a niveau ou un train (cf dernierement  https://www.bfmtv.com/auto/en-pilot [...] 90622.html )
clientele : Le papy qui prends toujours la meme route dans sa campagne pour chercher le pain

L'ia connais du coup cette route par coeur , donc est plus safe

Et l'autopilot de Huawei, c'était du fake ? (vraie question)
 
Huawei’s autonomous driving in action on a busy Chinese township street…

 
Huawei Auto Pilot,Can Tesla do it?

 
AITO M5 | How does Huawei ADS2.0 autonomous driving perform on mountain roads

C'est à l'image de leurs smartphones https://www.youtube.com/watch?v=xidfZ3_XodI

Pas tout non, mais le défi c'est d'arriver à un ordre de grandeur d'erreur inférieur des êtres humains.
Si des voitures autonomes font passer le nombre de décés sur la route en france à 100 elles seront acceptés (imposés en fait). Le problème est la phase de transition ou les agents sont mixtes (IA/humain) où les responsabilités sont difficiles à trancher et ou le nombres d'accidents par kilomètre parcourus reste plus compliqué à expliquer.
 
Par ailleurs les ordres de grandeurs c'est quelques centaine de milliers de kilomètres pour un humain sur une vie (admettons quelques millions pour les professionels ?) les IA en apprentissage simulé pourront en faire des centaines de milliards.

Quand on voit comment les gens conduisent, on se dit, qu'effectivement, même une machine stupide devrait arriver assez facilement à faire nettement mieux.