Reprise du message précédent :

 C'est long et les profil sont chère. Un datascientist correct avec 2-3 ans d'xp c'est très facilement 1000€/j si tu prend en conseil. Chez Gamma ca va être 2-3x ça.
Sachant qu'un projet comme un détecteur d'objet sur une ligne d'assemblage c'est, imo, facile 1ans a 2 ans homme+hardware+license ca va vite....

Je suppose un projet qui doit utiliser du ML/Deep. En effet si c'est sur un projet plus classique, ou le problème est craquable avec de la computer vision "tradi", qui là en effet est déjà bien maîtrisé par pas mal de gens.

Ah mais faire de la reconnaissance d’objets c’est facile. L’industrialiser en l’intégrant à l’IT, aux processus, en monitorant la performance et en faisant de l’amélioration continue, en gérant le versioning pour éviter de faire de la bolo à cause d’une erreur d’apprentissage, c’est ça qui est complexe.

  Très bien résumé. Et en plus il y a reconnaissance et reconnaissance. Je pense pas que différentier 50 type de fruit sur un tapis roulant qui va vite dans différente condition d’éclairage, de propreté du fruit , de maturation du fruit...soit si facile par exemple.
SI c'est compter les tomates déjà calibré là il y a même pas besoin d'algo de vision.

Mais en gros sur des problème nécessitant du deep learning pour la reconnaissance d'image, je vois très très peu de solutions sur étagère véritablement fonctionnelles. Les approches simpliste avec un Yolo sont toujours insuffisante niveaux perfo IRL, les cas d'usage ou les plateforme type Sagemaker (qui est pourtant une des meilleurs pour moi) ou Databrick suffisent se comptent sur les doigts de la main et le gap entre le dev et la prod est encore extrêmement élevé (ce que décris flyingchair) dans 99% des cas.

Tout à fait d'accord avec vous - et c'est mon domaine (l'imagerie)

C’est aussi le retour que j’ai eu pour la computer vision : les bibliothèques ou plateformes ne sont pas assez performantes. Ça peut permettre de faire un PoC démonstrateur pour convaincre des décideurs, mais difficilement plus, et pour faire un truc industrialisable faut mettre les mains dans le cambouis.  

Nan mais les enfants, vous vivez dans vos univers open source où il faut systématiquement tout refaire from scratch et se galérer avec l’industrialisation
 
Vu ce qu’on arrive à faire aujourd’hui en automobile ou aéronautique, j’ai assez peu de doute sur le fait qu’on y parvienne avec une solution quasi sur étagère pour un cas d’usage assez simple.

Matlab trouve lui-même les données, modifie les process, installe l’architecture de données et fait revenir ta femme   ?

Honnêtement quand tu parles comme ça on a vraiment l'impression que tu connais pas du tout le sujet...

 
Sur 2 ans c'est l'équivalent de 15-20 FTEs/annuelles pour un salaire moyen entre 70 k-100k et près d'1/2 Meur d'autres couts ...
 
Les plus gros problèmes pour mettre des modèles en PROD, en général sont surtout organisationnels plus que d’avoir une équipe IA large.
 
- Impossible pour des équipes internes de pouvoir metre eux-mêmes des applications en productions dues à une politique interne. (besoin contract de maintenance, pénalités etc.)
- Mentalité, tout doit être parfait au premier jour, versus une approche incrémentale
- Cloisonnement organisationnelle et de politique des bureaux ne permettant pas une bonne collaboration entre départements
 
Il faut aussi avoir une "infrastructure" pour faire de l'IA
- Manque de fonction de support pour de l'IA, data & software engineering, devons, projet management, QA/teste allouées pour le projet (souvent n'étant pas à 100%, et souvent utiles pour certaines phases d'un projet) - Si la boîte ne fait pas elle-même du développement mais passe par des prestataires bonne chance pour la coordination et gérer le budget et les délais
- Manque d'infra pour gérer les performances des models (monitoring, A/B tests etc.), defects / error identification ...
 
 

En effet

Il y a pas mal de startups qui arrivent à créer des produits IA avec bien moins de budget que ça ...  
Certaines startups font de la reconnaissance d'images médicales, sur des domaines spécifiques, avec peut-être 4-5 personnes dans leur équipe IA.
La grande différence c'est qu'elles ont un bon support technologique (software eng, devons etc.), et pas de problèmes d'organisation.
 
Avoir autant de budget pour une équipe IA, c'est soit gérer un portfolio de projets ou des projets ultras complexes.

c'est juste du vocabulaire on parle de la même chose je pense... , support, orga etc... Ca passe dans les gens mobiliser dans ce que j'appelle '' monter une team ia''. T'as pas besoin de 15 gars en r&d oui.

Je dis juste ça par opposition a mettre 4 gars en r&d et demander a la prod dev classique d'industrialiser

Je pense quant à moi que tu n’as jamais mis les pieds dans l’industrie, domaine dans lequel « l’industrialisation » de projets IA n’a absolument rien à voir avec l’industrialisation IT à laquelle tu penses.
 
Un détecteur d’objet sur une chaîne de fabrication, il déclenche une action derrière, il actionne un autre système. Par exemple une machine de tri des objets. Dans ce cas de figure, rien n’est centralisé. Le détecteur fonctionne avec son propre calculateur embarqué ou, éventuellement, un PC durci si les besoins de performance sont trop élevés. La problématique de déploiement et de mise en œuvre n’a strictement rien à voir avec celle d’un projet d’informatique d’entreprise.

Oui et ? Ce que tu dis n'est absolument pas en faveur d'un déploiement simple ?
Honnêtement j'ai regardé la plate-forme Matlab, c'est les mêmes fonctionnalités que toutes les autres et ça montre un outil pour faire des expérimentations... Pas de la prod.
Par exemple comment tu test les perfo avec le studio matlab ?
Comment tu mets en prod ?

C'est pas une critique que de ton produit hein... C'est grosso merdo comme sagemaker, comme databricks, comme valohai (même si ça reste une de meilleurs platforme à mon sens avec sagemaker, pour ceux qui connaissent pas jetez un œil ...) Etc..etc.. Ca se focalise sur le training et créer des modèles... mais on s'en fou, c'est hyper simple de créer un modèle, un algo, suivre des xp..... Tout ça il y a rien de compliqué c'est déjà quasi sur étagère dans tous les fmwk. C'est le reste le problème....

Je viens de l'industrie sinon, j'y ai passé plus de 5ans.

Ensuite mais désolé mais une approche "black box" et propriétaire du code de deep jamais je ne ferais confiance. Comment je sais comment est gérer la batch norm ? La normalisation ? Comment je rajoute une loss custom dans un framework fermé ? Je veux savoir ce que fais le truc, parceque derrière ça a des impact fort.

Ex: avec des solutions "sur étagère" on a vue des différences de détection en inférence si tu change de modèle de carte gpus....

Edit: si vous voulez voir une vraie stack de malade en ML il faut regarder chez Uber. La majorité de leurs outils sont open source avec des trucs vraiment super avancé mais c'est assez spécifique à leurs besoins.

Si on parle de reconnaissance d'image c'est devenu franchement accessible. Si c'est grossier (des tomates et des carottes avec un peu de subtilités mais pas trop) tu peux renforcer un YOLO (dont l'output est déjà industrialisable sans trop d'efforts) et avoir une prod à moindre effort avec du bricolage.

Si c'est sensible et que le support est critique tous les fournisseurs cloud proposent des solutions sur étagère avec des coûts très raisonnables (on parle en euros pour l'entraînement pas en k€) et le modèle est exportable en TF pour le edge computing (inférence) pour 0€

Si on parle d'un truc beaucoup plus spécifique mais que les datas sont là je pense qu'avec quelques centaines de k€ max on sort un proto a valeur ajoutée (plus rapide qu'un humain et taux d'erreur compatible avec une chaîne de prod et plus intéressante que l'existant).

Pour vous présenter un cas extrême en industrie que j'ai vu livré en effort avant vente (donc gratuit pour le client et parti en prod dans la foulée) : un projet de détection de défauts sur des microcontrôleurs tout juste fondus : pas deux photos parfaitement identiques car les composants ne passent pas exactement dans la même position dans le champ et le défaut à détecter correspond à une tâche noire visible au microscope mais pas différente en forme ou en taille du fond ni aux zones sombres normales sur la puce : l'effort à été de détecter et de corriger tous les décalages et resizer tous les clichés pour que seul les défauts différencient une photo d'une autre : l'entraînement se fait alors avec quelques dizaines d'euros et moins de cent clichés et le client a pu enfin passer sa QC d'un processus 100% humain à une machine capable de faire l'inférence en moins de 100ms avec un taux d'erreur à moins de 1 pour mille (suffit de repasser derrière quand le taux de confiance descend en dessous d'un seuil pré établi)  : le client peut multiplier ses chaînes de prod et livrer des composants fiables tout en réduisant ses coûts de production.

C'est probablement plus difficile en dehors des GAFA ou sur des cas plus complexes (voir qui manquent de datas) mais 5M€ pour industrialiser la détection de deux fruits de forme différente c'est du foutage de gueule ...  

Je connais bien le cas d'usage que tu decris. Je sais pas où ça en est IRL mais c'est vraiment un des rare exemples ou j'ai vu en effet une platforme marcher jusqu'à la prod, au moins en demo (c'était sagemaker ce coup ci).

L'analyse qu'on fait dans ma boîte, et qui est partagé par énormément de gens dans le secteur, c'est que en reconnaissance d'images (et en deep learning en général) les cas simples sont extrêmements rares, rapportent peu ou sont déjà couvert.
C'est pour ça que toutes les platformes de deep ou de CV (deepo, valohai..) galèrent a trouver vraiment un marcher. Les applications business sont trop spécifiques.

On parle d'un cas fictif là de detecter des tomates, en vrai ça sert à quoi ? Rien.

Je connais très bien les gens de scortex qui bossent sur la détection de défauts sur des pièces industrielles, très spécifiques, d'une industrie très spécifique... C'est très compliqué. Hyper compliqué. La mise en prod demande un savoir faire de fou.

Les gars de XXII qui font des trucs sur les caméras de surveillances, pareil c'est pas simple.
L'imagerie médical ? L'enfer rien que pour les format d'images et l'annotation. La voiture autonome ? Bonne chance... La télédétection ? Essayes de tester un Yolo sur une image satellite prise en Russie du nord en lumière rasante qu'on rigole...
Les fringues et la mode... Regarde la taille et le niveau de la team recherche d'Heuritech pour te donner une idée de la facilité de la chose...

D'autres se tirent la bourre en ce moment sur la détection de plateau repas c'est un enfer... si le cuistot met le jambon au dessus des patates, la machine se foire...

Donc oui en théorie c'est facile, hop un yolo, transfert learning de photo google et hop tu as un machin qui fait la différence entre des tomates et des carottes. Super. Maintenant tu vends ça à qui ?

Mais qu'est-ce que tu racontes ? SageMaker, Databricks... ??? C'est du Spark et du cloud tout ça, rien à voir avec le sujet. En fait, c'est bien ce que je pensais, tu confonds tout. Tu parles d'industrialisation au sens "industrialisation d'un projet ML dans une informatique d'entreprise". La question initiale portait sur l'industrie et industrialiser au sens industriel du terme, ça n'a strictement rien à voir. Sur des calculateurs embarqués, le code qui s'exécute est toujours du code bas niveau, soit développé à la main, soit généré par un outil tiers. Donc que vient faire la black box là-dedans ? Tu as déjà vu des outils black box qui génèrent du code ?

Ça ne sert à rien ? Donc j'imagine que détecter des bouteilles en plastique sur le tapis qui alimente un centre de recyclage, ça ne sert à rien non plus ?

L'annotation d'images pour le développement de la voiture autonome, c'est un sujet déjà traité. C'est fini tout ça, c'est de la commodité. Pour donner un exemple, la problématique de reconnaissance des panneaux n'était déjà plus une problématique il y a au moins 3 ou 4 ans.

pour toi industrialisé = embarqué ? C'est toi qui planne là...
Ton studio matlab ne fait rien de plus que sagemaker... Avec un modèle final qui peut être embarqué ou déployé on prem comme venant de matlab... Renseignes toi sur ces technos c'est un minimum.

Je pense pas que tu es besoins de deep learning pour ça

C'est tellement traité qu'on voit encore pleins de papiers et de boîtes qui traitent de sujets et tous le monde qui dit que la vrai voiture autonome c'est pas avant 2050

Ca le fait penser au gars de thales qui sortent que le '' machine learning, c'est terminé, c'est fini... "

Je vais te répéter ce que j'ai dit avant et je persiste : dans l'industrie, l'industrialisation passe souvent par le déploiement d'une application qui fait de l'inférence (mais pas que) sur un calculateur embarqué ou sur un PC durci. Renseigne-toi.
 
J'ai parlé de l'annotation, pas de la voiture autonome au sens large...

Tu es complètement à côté de tes pompes. Tu fais du contrôle commande sur SageMaker ? De la génération de code bas niveau ?

Ce que peux être fait avec les modèles issue de sagemaker, databrick, valohai, deepomatic, keras, mxnet, même avec Keras pour Js ça doit marcher ... ...

En quoi matlab est différent. Un pc durci reste un pc. D'ailleurs tu déploie pas un processus de deep sur un pc ça a pas de sens, tu le fais sur un serveur, sauf cas extrêmement particulier (cas qu'on traite d'ailleurs chez nous ) .

Au contraire ce que tu dis vas dans mon sens, l'application d'inférence tu as envie de la standardisé dans ton pipe et de brancher tous le processus dessus, du train au test...Tu veux tester tes perfo avec l'inference de prod sur le hardware de prod , pas avec une platforme d'expérimentation.

A terme tu veux un processus end to end pour ton calculateur embarqué. Pas un truc propriétaire que tu dois remodifié après pour l'intègrer. C'est ce que font XXII et scortex sur leurs cameras d'ailleurs.....
Mais je pense que l'embarqué prêt du capteur restera minime dans le deep, par exemple sur chaîne d'assemblage il n'y a aucune raison de pas mettre une uc avec gpu permettant de s'affranchir des contraintes forte de ce genre de solutions en terme de perfo.

Eu... On parle de deep learning là... Pas d'automatique. Les algo entraîné sur sagemaker sont exportable on prem et en edge pour être intégré sans soucis dans une carte embarqué type nvidia jetson par exemple.
C'était d'ailleurs exactement le cas illustré plus haut
(même si c'est sûrement pas du Jetson)
Si tu pense que seuls Matlab peut faire de l'embarqué tu plannes haut...

Bonsoir,
 
J'ai un test pour un poste data analyst junior, c'est mon premier emploi, ca sera autour de SQL, Excel et Python, vous pensez que ca tournera autour de quel choses à faire ? C'est un test de 3 heures. Je sais que ma question peut paraître stupide mais c'est la premiere fois que je passe un test pour un CDI.

Tu as un extrait plus large de l'offre d'emploi (éventuellement en MP si la boîte est trop identifiable ou si tu as peur de tomber sur ton recruteur ? )

Sinon bosse bien les notions et termes sur l'offre de l'emploi. Bricole un use case à partir des notions que tu ne connais pas pour être plus à l'aise et pour le reste un entretien d'embauche est souvent moins con qu'un examen : on va chercher à évaluer que tu as une tête bien faite (surtout pour un premier emploi) et que ton caractère est bien compatible avec l'ambiance de l'équipe / la culture de la boîte (en gros on va éliminer quelqu'un qui as un caractère de cochon, ne reconnaît pas ses limites ou transpire la suffisance)

Si possible essayé d'étudier le métier de la boîte (son domaine et ce qui peut concerner la data analyse). Ça va être important de bien collaborer et de comprendre le vocabulaire du métier et ça va montrer que tu as la niaque

 
Avec un peu de chance tu vas te taper du leetcode des enfers    
 
https://leetcode.com/problemset/all/?difficulty=Medium

 
Alors effectivement un Scortex par exemple balance un calculateur en local avec une petite boîte à image et le tout communique avec la chaîne pour actionner le tri.  
 
Le coût facturé par Scortex à l’installation initiale est il me semble assez faible, du type 60k pour une chaîne, mais dans ce cas Scortex brade totalement sa valeur parce qu’ils comptent sur l’abonnement qui doit être entre 25 et 100 keur annuels pour faire du cash. Et de leur propre aveu si il n’y a pas 1 Meur a faire chez le client ils n’y vont pas.  
 
À ça le client devra quand même ajouter ses propres coûts de récupération des données, intégration à sa chaîne, gestion de projet, formation... Et à la fin si on arrête de payer bah on a plus de solution logicielle et pas de compétence IA pour reprendre le sujet.  
 
Et là on parle d’une solution éprouvée qui fonctionne bien, le cas d’usage parfait, déjà mature, dans un environnement maîtrisé, pas de rocket science. Quand on cherche à faire des trucs nouveaux en environnement ouvert c’est plus la même.  
 
Bref, les PoC c’est pas cher et ça va pas en prod, et l’industrialisation ça coûte cher, par encore trop si on est une sur une chaîne relativement en îlot, mais beaucoup plus cher si on est sur un système informatique très intégré.

 
Oué si tu trouves des images de fruits et légumes avec les annotations ad-hoc sur lesquelles fine tuner ton modèle déjà fait

 
ou alors si tu connais l'arbre ou le plant duquel il vient, c'est facile

   
 
Sinon tu penseras à nous laisser ton adresse pour la facture de la prestation de conseil.  
 
 
Il doit même y avoir moyen de récupérer les algos convergés d’ une compétition imagenet.

 
Putain mais stop tout lui dire, c'est comme ça qu'on va se retrouver au chomdu  

 
Au sujet de l'annotation, je pense qu'hadada parlait d'imagerie médicale, et c'est effectivement un sujet qui n'est pas du tout résolu, en particulier dans tout ce qui est 3D
 
Concernant les panneaux, c'est pas aussi facile que ca
Suffit de regarder le talk de Karpathy d'il y a quelques semaines, il explique longtemps en quoi c'est dur de détecter et interpréter un panneau stop: https://www.youtube.com/watch?v=hx7BXih7zx8

Ah merde    
 
Du coup oublie, tu prends le cours machine learning le Andrew Ng, et il va falloir coder les couches de convolution, les fully connected, et la retropropagation    
 
Il faut souffrir pour faire de la data science.
 
Édit : et de toute manière dans 5 ans y’aura plus de data scientists  

C'est le débat sans fin entre ceux qui vendent des plateformes d'ia qui te disent que c'est facile et ceux qui les utilisent qui te disent que ça marche pas

Oui avec des méthodes de RCNN pour que ce soit moderne et plus précis sur les zones de détection. Oulalah le niveau d'expertise qu'il faudra rassembler  

À noter que les réponses en heures non ouvrées pour des besoins hors support à un défaut applicatif ne sont couvertes que par des contrats TAM de12 mois minimum chez nous

Ça va être rentable de répondre à des questions sur ce forum  

60k à l'installation + 100k à l'année, tu trouves ça cher pour le résultat produit ? Il n'y a pas que de "l'IA" dans ce budget, il y a aussi du matériel, de la maintenance pour ce matériel, etc.
D'ailleurs, dans la chaîne complète de développement de ce genre d'outil, la partie IA n'est pas nécessairement la plus complexe. Il y a une quantité d'autres tâches à effectuer (et à simuler en phase de développement) en amont et en aval de la détection d'objet.
S'il fallait développer tout cela en interne, le coût serait d'un tout autre ordre de grandeur.

Je dis pas le contraire hein, je dis juste que c’est pas quelques dizaines de keur quand on compte tous les postes. Pour le ROI bah ça dépend vraiment du cas par cas, du %age d’erreurs, du coût des erreurs... Ca peut être intéressant pour des pièces à plusieurs euros la pièce et ne pas l’être pour une tomate vendue 10 centimes.

Une "UC avec GPU" sur une ligne de production, ça s'appelle un... PC durci. Bref.
 
 
Tu réfléchis comme si le mécanisme d'inférence se faisait tout seul dans son coin. En pratique c'est pas le cas. Le résultat du traitement déclenche des actions, entraîne d'autres composants, et c'est le système dans sa globalité qu'il faut pouvoir simuler et tester. Pas juste ton modèle.
 
 
En ce qui me concerne, j'ai rien à vendre dans ce domaine. J'ai gardé des contacts dans certains de ces domaines et je constate simplement que ce qui d'après toi est infaisable sans tout redévelopper en interne fonctionne en fait sans aucun problème en pratique, parfois depuis des années. Mais compte tenu de la propension des gens à réinventer la roue en data science, je ne suis pas surpris que cette dérive se poursuive.

On est d'accord.

On dit la même chose
Mais du coup je comprend pas comment tu peux écrire ça et dire ensuite "c'est simple facile, et matlab le fait"