Reprise du message précédent :

On va peut être arrêter de te tomber dessus dans ce cas  

Comment ça se passe avec TF light ? Tu peux expliquer un peu plus ton besoin de transformation aléatoire ?

 
J'ai entraîné + converti + quantized mon modèle et transmis le tout au dev mobile, ça a pas bougé depuis.    
 
Pour la data augmentation, disons que pour l'instant je vois 2 manières de procéder :  
 
1) Appliquer les transformations et concaténer le tout ; X_final = [X_initial, transfo_1(X_initial), ... , transfo_N(X_initial)]
 
Ce qui va exploser la mémoire et le modèle va voir N fois la même image avec différentes transformations, je sais pas si c'est bien / mauvais pour l'apprentissage
 
2) Définir une série de transformations T = [transfo_1, ..., transfo_N] qui sera appliquée à chaque image (avec une proba p chacune)
 
J'aime pas le fait qu'une image puisse subir plusieurs transformations à la suite, ça va trop les déformer dans mon cas imo  
 
Ce que j'aimerais c'est qu'une image soit transformée ou non aléatoirement on the fly, avec une seule transformation au maximum. Il me semble que c'était possible avec pytorch / detectron2 mais je netrouve pas l'équivalent tensorflow  

Aussi, j'ai l'impression de toujours avoir le problème lié aux différentes sources de données

Ce que je fais actuellement c'est de cropper les images sur l'objet qui m'intéresse + resize puis (img / 127.5) - 1.

C'est suffisant ou pas ? Comment vous faîtes dans ce cas ?

 
 
c'est pas ça https://stanford.edu/~shervine/blog [...] on-the-fly que tu cherches?  

 
J'ai esquivé une balle, leur app marchait pas à cause d'un para par défaut mal réglé, donc ils m'ont pas interrogés sur ce projet (qui ne marche pas tfaçon)  

Tu commences à comprendre le game en entreprise : faire en sorte que ce soit quelqu’un d’autre qui prenne les balles  

Si t'as accès à aws utilise sagemaker ca fera le taf

 
Combien d'objets différents tu as ? Si c'est 400 000 objets uniques ça risque d'être compliqué. Ton but c'est seulement de classer l'image ou bien tu cherches aussi à localiser l'objet au sein de l'image ? Si on fait l'hypothèse que t'as un nombre raisonnable d'objets uniques à identifier et que tu cherches juste à faire de la classification, alors c'est un problème "simple" qui peut être résolu en très peu de lignes de code :  
 
Tu peux suivre ce tutoriel par exemple (tensorflow.keras) : https://keras.io/examples/vision/im [...] ne_tuning/

Salut, ça y est je me réoriente en DS. By by économétrie Je suis en formation avec beaucoup d'heures (plus que X en tout cas) pour les docteurs. C'est plutôt bien fait. Que conseillerez vous pour 1 job (possibilité contrat pro) si on a le choix entre :
1) une petite start-up avec un CDD (deep learning images). Je connais le sujet que je trouve sympa.
2) Grande boite qui a des unités DS, les sujets sont variés et à priori c'est un CDI dès le départ, mais peut-être avec un salaire autour de 40k. Et certains sujets ne sont pas une nouveauté pour moi.
Je penche pour le 2), mais j'hésite. Je n'aimerais pas cramé mon crédit d’impôt recherche (premier embauche docteur) pour un petit salaire.
 
Bon, il y a aussi l'option 3: continuer à chercher
 
Et sachant que j'ai 5 expériences en analyses des données, économétrie, mais pas en ML, combien je pourrais demander?

Option 2 + 3, je serai pas serein avec un simple CDD sur 2021 mais en effet le salaire semble faible

J'imagine plus 50/55k€ pour un débutant tête bien faite avec 5 ans d'expérience professionnelle dans le domaine de la data. Mais ça dépend plus de toi que de chiffres. Bonne recherche

Hum, effectivement comme Hadada je te conseil de passer par un service spécialisé cloud (AWS, Azure ou GCP) qui le feront très bien

Si c'est forcément sur ton ordinateur ce sera déjà bien plus galère :
- pour des temps d'entraînement raisonnables (quelques heures) il te faudra un GPU avec CUDA / CUDNN
- pour extraire des images à analyser de tes Vidéo et y appliquer des transformations il faut regarder du côté d'OpenCV
- côté reconnaissance d'objets j'aime bien YOLO et son darknet (mais vla la machine de guerre pour faire l'apprentissage sur tes objets en un temps raisonnable)
- il va falloir te créer aussi un dataset d'entraînement avec des labels et potentiellement des masques / coordonnées de rectangles pour surligner les zones de l'image intéressante.

Bref fais toi plaisir avec les crédits gratuits des fournisseurs cloud et utilise leurs services spécialisés comme suggéré. Tu passeras moins de temps à réinventer la roue

 
 
Merci pour vos retours !  
Effectivement, c'est des photos très bien détourées d'objet de collections (monnaies). Toutes les images sont sur Amazon S3, et j'ai une solution maison pour gérer la base de données, avec les caractéristiques associées.  
L'idée est d'aider les saisisseurs à préremplir les champs, car plus le temps passe, plus il est probable que l'article soit déjà en base.  
Je vais regarder sagemaker
 

Sagemaker est assez simplistes niveau pipe data et pre/post pro mais fait le taf sur des images naturelles sur la partie cœur algo

 
2 assurément.
 
Le deep learning image, c'est très spécialisé et ça relève plus d'un pose d'ingénieur machine learning qui devient plus populaire qu'un poste de data scientist.
 
En fait dans tes deux choix, tu as à mon avis deux branches très distinctes de nos métiers :
 
- Pur machine learning, ton travail se base sur les mêmes principes : préparer les data, train, optimiser, déployer
 
- Data Scientist, tu es un couteau suisse, tu vas faire des sujets avec différents niveaux de complexité avec parfois des choses très simples et redondantes et des choses complexes et du ML.
 
Perso je préfère l'option 2 car elle permet de devenir un vrai crack de la data dans son entreprise et c'est elle qui va ouvrir des portes, la première pour moi c'est le fordisme de la data science.

Du coup pour quelqu'un qui vient de l'infra et qui veut se convertir au ML, il vaut mieux passer par la première étape ? Je suppose, surtout si on sort (ou pas encore pour certains ) d'une école de groupe C+...

De toute façon je vois pas comment prendre l'option 2 sans cursus ingé+thèse ou être déjà très bon techniquement...

La data science n'a rien de bien sorcier. Il suffit d'avoir quelques bases en maths et de savoir raisonnablement manier un langage de programmation (Python typiquement). Inutile de suivre un cursus de formation complet pour cela, et encore moins de faire une thèse.
 
Il est beaucoup plus difficile de devenir ingénieur en mécanique des fluides ou en aéronautique que data scientist.

 
Je pense que la difficulté de ce rôle c'est surtout de trouver les bonnes applications et savoir les mettre en œuvre. Y a aussi le fait d'avoir la double casquette entre connaissances spécifiques d'un domaine et tout ce qui est data, car si on a que l'un ou l'autre, on apporte rien de nouveau. Et surtout si on a que la casquette data, le data scientist indien il va te faire le même boulot pour 4 fois moins cher

Précisément, et il est plus difficile d'acquérir les connaissances spécifiques à un domaine ou un métier que des compétences de data scientist.
 
Pour moi, la data science est une formidable opportunité pour les ingénieurs spécialisés dans un domaine différent qui utilisent déjà des outils de calcul scientifique. Typiquement, un ingénieur mécanicien qui fait du MATLAB/Simulink toute la journée a tout intérêt à développer une compétence data. Ce sera relativement facile pour lui et ça lui permettra de sortir du lot. Et on peut appliquer ce raisonnement à des tas de domaines.

Merci pour vos retours mais du coup je me permets de rebondir sur le post de Agmoh, notamment sur le cursus Udemy qu'il a trouvé, si ça worth ou s'il y a mieux (sans tomber dans les formations à plus de 10K s'entend)...
 
https://www.udemy.com/course/comple [...] o-mastery/
 

- Arrêtez de chercher le "meilleur" cours sur le sujet.
- Faites un cours, peu importe lequel, sur la plateforme de votre choix.
- Passez rapidement à un projet perso sur un sujet concret.

+1

J'ajouterai un cours adapté au niveau (, débutant - intermédiaire etc.) Et pas trop trop ancien pour ne pas passer tout son temps sur des exercices de MNIST comme à la belle époque

   
 
Voilà, la DS ça va devenir mainstream, surtout avec les plateformes et l’auto-ML, la plus-value viendra du gars qui comprend les data et les concepts et est capable avec tout ça de créer de la valeur. La partie algo au final dans la plupart de cas y’a R : si les data sont correctes n’importe quel algo fonctionne. Et au pire tu mets un réseau de neurones et tu pourras encapsuler dans un Excel pour mettre en prod.  
 
Sauf pour les pure players de l’IA, ou justement dans ce cas il faudra être PhD pour développer une nouvelle façon de reconnaître des slips sur une vidéo avec un modèle de 300 milliards de paramètres. Ou avec 3 paramètres seulement d’ailleurs.  

REP mon poste de DS

Pas de cas d'usage, pas de thunes, etc.  

Les chefs stoppent tout

Tu perds rien c'est de la merde la DS, go faire un truc utile et épanouissant genre vendre des churros

 
Implémenter un algo qui reconnaît des chiens dans une appli indonésienne, c'est quand même pas commun

Ahah, intéressant
 
Tu peux nous en dire plus ? Secteur d'activité, projets initialement envisagés, etc. Je t'avoue être un peu surpris par le "pas de thunes", une initiative data science ne coûte pas forcément cher. Sauf si on part du postulat qu'il faut embaucher 4 data scientists, 2 data engineers et un product owner avant même d'avoir commencé

Bah souvent rien que le taf de récupération et mise au propre des données c’est un budget qui n’est pas prévu. Je parle même pas de l’industrialisation...

 
Tout ça pour se rendre compte que finalement, on ne les a pas ces fameuses données  

Quoi on  nelaisse pas la machine apprendre toute seule comme une grande ?  

Il faut des données de qualité préalablement ? Quelle différence avec les systèmes experts des débuts des années 90 alors ?

 
C’est tellement ça    
Un collègue devait bosser sur des données de ventes récemment. Les gars n’avait que 5 points de données, un par année (ne me demandez par pourquoi ni comment). Il devait en extraire des insights et pondre une tendance pour les années à venir. Avec tout le blabla sur le machine learning/data science, les mecs pensaient qu’ils pourraient faire e la magie avec leurs données.

Le problème, c'est que les entreprises se font souvent aider par des cabinets de conseil comme Octo ou Quantmetry qui pondent systématiquement des usines à gaz en guise d'architecture cible. Tout ça dans le cadre d'un POC à 50 k€
 
On peut démarrer une initiative data en capitalisant sur des compétences internes et en faisant des choses simples. Et l'industrialisation n'est pas nécessairement un casse-tête, a fortiori pour des cas d'usages non temps réel. C'est suffisant pour se rendre compte de la pertinence de l'approche.

 
   
 
C'est exactement ça, mon poste a été crée en partant de ce postulat. Et on parle de quoi: de quantités pharaoniques de tableaux excels et de PDF (du texte et des données techniques), n'ayant entre eux aucune norme commune, étant enregistrés à droite à gauche sur des serveurs de fichiers sans respecter aucune règle particulière Et bien sûr on parle pas de data engineering comme tâche principale mais d'exploiter ça en l'état pour entraîner des algo de ML Au final j'ai du repartir sur d'autres bases.

 
Y'en a qui se régalent très clairement.
 
Une boite de conseil qui voulait offrir ses services à ma boite pour faire un référentiel des promotions faites sur les 5 ans, un truc vraiment tout con, 120k€ ... heureusement j'ai pu mettre mon véto.
 
Franchement là où je bosse, toutes les 3 semaines t'as quelqu'un qui a un contact dans une boite de conseil pour leur refourguer des trucs qui coutent la peau du cul tout ça parce que dans le nom de la boite y'a IA et ML.

 
Pas grave, si c'est un commercial l'important c'est les mots clés sur le powerpoint: big data, IA, machine learning, apprentissage automatisé et bien sûr l'illustration qui va avec    

Ha, y'a des gens qui font du Prolog ici ?

COGIP Énergie
 
C’était dans le cadre d’un sujet AIOPS. Beaucoup d’argent dépensé depuis plus d’un an et résultats pas assez rapide + besoin de faire des économies.
 
Sans compter que les modèles n’avaient pas l’air très optimisé parce les DS demandaient qu’il leur soit mis à dispo des machines avec de grosses puissances de calculs et très chers.
 
L’équipe dirigeante a annoncé qu’elle préfère mettre les « ressources » sur d’autres sujets et qu’ils y reviendront peut-être dans 2 ou 3 ans.

Y’a encore des outils qui permettent de développer et industrialiser du Prolog ? J’ai tripatouillé des trucs avec j’ai trouvé ça assez puissant.  

Grosse cogip de l’énergie ici aussi. Quand tu annonces au SI que t’aurais besoin d’attaquer la base mail ou la base documentaire avec une solution de traitement automatique  
 
En plus les financiers au début ils partent sur un PoC à 50k sans se rendre compte que pour industrialiser il va falloir fiabiliser la solution, trouver de la maille pour étudier et modifier le SI, payer des licences, faire de la maintenance. « Comment ça 500 keur la première année et 100 keur par an ensuite ?! »  

Si tu as besoin de 500 k€ d'investissement pour le moindre projet data, industrialisation comprise, je t'invite à remettre en question certains de tes postulats.
 
Evidemment, si tu colles de la base NoSQL et du cluster Hadoop dans tous les recoins, la facture va exploser. Mais tout ça, on peut s'en passer aisément jusqu'à un certain point.

Merci les avant-ventes