Reprise du message précédent :

Et t'extrais comment tous ca
Nous on passe images puis sur des données vecteur (format géographique) puis donné tabulaire. Le truc complexe c'est de passer sur image => vecteur. Detecter des objets, des contextes etc... C'est là où on fait de l'ia. Après c'est des plots

Le deep learning est pas encore arrivé ?  

En termes de workflow, l'approche est archi simple. Tu écris un algo, tu en fais un exécutable, tu l'exécutes sur des batchs d'images pour générer des collections de résultats en sortie. Il y a éventuellement une petite boucle de réintroduction des résultats dans l'algo. Tout cela reste quand même très linéaire, y a rien de compliqué (dans le workflow, entendons-nous bien, je ne prétends pas que l'algo est simple) et tu pourrais sans doute le faire en Dataiku sans problème.
 
A titre de comparaison, j'ai vu des workflows bien compliqués qui impliquent plusieurs jointures, des mécanismes de sélection de données complexes pour chaque table d'entrée, parfois des clés non uniques qu'il faut retraiter au préalable, tout ça mélangé avec des problématiques de delta entre des données historisées et des données entrantes. Algorithmiquement c'est plus simple mais le workflow est à s'arracher les cheveux.

ouais enfin toute la problématique c'est justement d'extraire les features, une fois que c'est fait tu peux même bosser sous excel si ca te fait kiffer c'est pareil

Donne moi un exemple dont l'output n'est pas tabulaire pour voir ?

 
synthèse d'images ? segmentation d'images ?

Ah, on parle pas de la même chose alors, pour moi des features ca a toujours été l'input d'un modèle, pas son output
 
Cela dit, comme dit Rick_C137, il y a beaucoup d'applications en traitement d'images ou les données de sorties sont également des images, ou même d'autres structures (contours, maillages, bounding boxes, etc) qui ne se représentent pas sous forme de tableau

Après même si pour mon équipe j'ai du mal à voir comment l'outil Dataiku pourrait être utile, je serai quand même assez intéressé par avoir une démo un peu poussé de ce que ca fait et discuter avec eux.  
 
Vous savez si ils organisent ca sur Paris ?

justement l'erreur basique... Un pipe de deep en prod c'est vraiment vraiment pas simple

 
Ouep nous on l'utilises, on a 30 licences DataScientists et plus et actuellement on est en train de faire un POC pour d'autres fonctionnalités.
Après il est vrai que les dashboard ne sont pas top, dommage car ça oblige a utiliser un autre outil
 
Pour la prise en main c'est quand même pas complexe, ça fait plus de 10 ans que je n'ai pas mis les mains dans du code et ça se fait très bien.
Après le problème est d'un point de vu visuel, ça peut vite devenir le bordel, il y a des axes d'amélioration

Ben développe...

Oui aucun souci.

 
Tiens je me demandais : est-ce que Dataïku permet d'attaquer directement des problèmes sur des données au format relationnel (type SGBD, table primaire et tables secondaires, selon différents schémas, en étoile, flocon ou autres) ?
 
ou non faut trouver un moyen de faire une table unique pour lui donner à manger ?

Perso j'avais préféré les outils Tibco

Oui, c'est supporté. En input y a pas trop de souci, tu peux te connecter à pas mal de sources différentes.
 
En output c'est une autre histoire...

Bonjour à tous,
 
Pour ceux qui travaillent dans le monde de l'IA à Paris.
 
une expérience dans des teams comme Willow / Sierra (si vous connaissez) ça vaut quoi pour taffer après ?
 
J'arrive pas vraiment à savoir si c'est trop microcosme académique ou pas.

Alors déjà ce qu'il faut comprendre c'est que les gens mettant du deep learning sur de l'image en production chez des clients sont hyper rare. Même des outils "pousse bouton" du style AutoML ou même Sagemaker, qui sont pourtant pas mal du tout, je vois absolument pas comment ça peut servir à faire autre chose que de l'usage interne ou du POC, ou alors sur des cas d'usages hyper simples.
 
La première complexité du pipe de deep (en cv ou pas) est le versionning:
- Données
- Modèle
- Code
Tout ça doit être traqué et versionné si tu veux que ce soit correctement fait à un niveau "pro" et bien entendu toutes les combinaisons associées possibles.
 
Ensuite tu as les tests de perfo, 95% des gens te disent "la perfo c'est ta val"    Ouai...ou pas...La perfo c'est une métrique, des set de données et un cas client. Tous ça aussi faut le traquer le versionner, l'automatiser etc....
 
Ensuite dans le pipe de inférence pûr tu n'as jamais, (où en tout cas pas dans les cas d'usages un peu industriels) "un algo" de deep qui sert d'application. Ton application c'est un pipe de données conditionnel:
-prepro, correction, détection de corruption
- inférence d'un ou plusieurs modèle
- Postpro, ensembling, clean et crosscheck avec des données externes, par exemple open sources ou extraction de méta.
- Ensuite éventuellement une deuxième série de traitement qui va mettre en forme pour le métier les sortie de l'algo de computer vision, ca peut être une courbe, une visu images, une alerte etc....
 
Et toutes ces étapes d'inférences doivent être prises en compte en training et en test, cad que tu ne tests pas la perfo "d'un algo", tu tests des points de fonctionnements multiples en fonction des association pre-pro, algos, post-pro et de métriques qui peuvent être très variables en fonction du cas d'usage.
 
Et là j'ai même pas parlé du pipe d'annotation ou de dev des outils.
 
Quand tu fais de l'images (mais je pense c'est pareil pour tout process de deep learning) le "pipe de prod" est justement ce qui fait la différence entre l'étudiant de 42 qui gagne un kaggle avec son notebook et mettre un truc en production à l'échelle sur un cas d'usage industriel.

Ils sont méga connectés, surtout Willow avec les boites dans le domaine de la computer vision
Suffit de jeter un coup d'oeil à leurs alumnis https://www.di.ens.fr/willow/people.php
je pense que Sierra est un peu plus théorique mais leurs alumins sont solides aussi https://www.di.ens.fr/sierra/people.php
 

Je ne vois pas en quoi c'est spécifique au DL. C'est tout aussi vrai pour n'importe quel modèle de ML et même pour toute application de traitement de données.
 
Encore une fois, versioning et automatisation, ça existe sur étagère depuis des lustres, y a rien de bien compliqué là-dedans.
 
Un "pipe de données conditionnel", c'est pas ce que j'appelle un workflow complexe. La preuve d'ailleurs, c'est que tu es capable d'en résumer les étapes en quelques points. Du coup, puisque c'était le débat initial, je ne vois absolument pas pourquoi il ne serait pas possible de mettre un truc pareil en place dans une UI à la Dataiku. La vraie complexité à ce niveau, elle apparaît :

• soit quand il y a un tel nombre d'étapes de traitement qu'il devient difficile de les représenter sur un seul canevas ;
• soit quand les étapes de traitement (avec le code associé) sont générées dynamiquement à la volée en fonction des données en entrée.

En terme de volumétrie de données, c'est de quel ordre chez vous ?

J'ai pas encore d'actions chez eux mais non, c'est un outil qui permet de faire des choses très complexes.

Perso je suis data scientist et totalement POUR que ce genre d'outils se démocratisent.

Sinon en ce moment je benchmark Azure Databricks pour une boite et c'est plutôt propre Je sais pas si des gens l'utilisent ici mais c'est puissant.

J'ai vu que ça parlait pas mal de Dataiku en tant qu'outil, mais que pensez-vous de Dataiku en tant que boîte pour un PFE voire job ?

En ce moment j'essaye de compléter des images en générant la partie manquante. Des idées de ce que je pourrais utiliser pour mesurer la qualité de ce que je génère ? (en gros il me faudrait une distance que je pourrais mesurer entre ce que j'ai généré et la "vraie" image sur mon set de test)  
 
 
Je trouve plein de trucs pour mesurer la qualité d'images 100% générées, mais dans mon cas je complète juste une image qui existe déjà et je trouve pas grand chose  

C'est un problème tout a fait classique, cherche des papiers sur "inpainting"
Bien sûr tu peux utiliser une norme L2, L1 ou un SNR, mais tu trouveras des mesures plus avancées dans la littérature (tu peux aussi lire des papiers de super-resolution par exemple, ou de restauration d'image)

Après, la métrique optimale dépendra de l'application finale (est-ce que c'est grave si il y a des grosses erreurs, est-ce que c'est grave si la partie complétée est un peu floue, etc)

C'est une bonne boîte pour y faire ce qu'on appelle des "customer facing jobs", typiquement avant-vente.
 
Côté R&D c'est moins intéressant, la problématique étant que Dataiku n'a quasiment aucune propriété intellectuelle sur le volet ML/IA. La R&D se fait essentiellement sur des aspects UI et automatisation/déploiement, c'est donc bien plus orienté infra que data science.

 
Je suis loin d'être un expert de l'impainting, mais je pense que pas mal de méthodes récentes utilisent des GANs, où la loss est seulement un réseau qui va détecter si l'imagine générée semble "réelle" ou "synthétique".

Après je pense que tu dois pouvoir trouver des missions de DS "par ricochet" étant donné que tu déploie l'outil avec des cas associés chez les clients.
 
Je reviens sur ma question de volumétrie des données, c'est de quel ordre chez vous ?
On a des tables à plus de 10 millions de lignes, ça se passe bien (à partir du moment où les données sont bien typées, notamment eu des blagues parfois) mais la on s'attaque à du plus gros avec des croisements de tables de 300 millions d'un coté, 2 milliards de l'autre et on commence à tirer un peu la langue par contre.
C'est pas de la DS mais déjà de la préparation des données (avec Dataïku notamment)

Oui tout à fait, tu trouveras ce genre de mission sur des postes de type Customer Success Management.

300 millions x 2 milliards, ça commence à faire mais c'est pas encore déraisonnable. Si tu veux le faire en base, il va falloir le bon SGBD en revanche.
Mais de toute manière, cette jointure est une opération ponctuelle non ?

 
Ouais ta loss est ta métrique dans ce cas, après si tu veux une métrique plus générale les classiques c'est PSNR et SSIM pour la qualité de l'image, si tu veux des métriques plus tournées vers la perception visuel y'a NIQE ou le Perceptual index qui est plus poussé : https://www.pirm2018.org/PIRM-SR.html.
 
PS: Les implémentations de NIQE pour vidéo sont souvent différentes que celles pour les images donc faut faire gaffes au code que tu prend.

 
Je suis dans le meme cas que toi. Pour l'instant jai commencé et pas fini le cours de Machine Learning d'Andrew NG sur coursera et pris des cours de python sur coursera aussi. Ca me sert a rien tres sincerement, a part alimenter ma culture generale sur le domaine. Je faisais ca l'année derniere et j'ai abondonné en commencant un nouveau job, toujours en IB.  
 
Depuis quelques mois je vois de plus en plus de news et dicussions qui parlent de fintech, regtech, maintenant suptech dans mon secteur... Des articles et consultations publiées par des banques/agences qui sont pas spécialisées dans la tech...
 
Du coup je pense reprendre les cours et formations et essayer d'aller plus loin.
 
 
Plus généralement, je voudrais avoir votre avis sur les cours de DeepLearning.ai. Vous en pensez quoi?
https://www.deeplearning.ai/deep-le [...] alization/
 
Merci  
 
 

Bonjour à tous,
 
Petite question pour ceux à la page niveau programmes éducatifs - je vois qu'il y a un DD X+HEC en data, quels autres formations existent?  
 
 

Tu as jeté un coup d'oeil au premier post?
Il y a une liste, peut-etre pas completement a jour mais c'est au moins un début

Hello ! Quel master en data science vous conseilleriez pour compenser le El karoui en stat à faire en même temps ? ( Le El Karoui n'a pas une réputation d'aimer les stat )

Je sais pas trop ce que tu veux faire après mais je me concentrerai sur le EK en premier lieux. Si tu veux un background stats en plus j'irai chercher quelques poly en plus sans aller jusqu'à faire un second M2.

Il y a de plus en plus de stats au El Karoui. Pas mal de possibilités de cours communs avec le master de proba théorique et le master M2A (stat/info).
 
Franchement fais le EK à fond, t'auras les bases solides pour te plonger dans la plupart des sujets stats théoriques de ton côté. Si c'est la pratique qui te manque, il y a plusieurs Masters de Jussieu qui participent à des data challenges que tu peux rejoindre.

 
 
Merci pour vos messages !
 
Je suis aussi de cet avis, sauf que le Master El Karoui a une réputation d'EDP et de calcul sto, c'est récent qu'elle se soit mis aux statistiques, qui sont trop devenues à la mode.
Je garde l'idée des data challenges !

Franchement, je comprends pas cette branlette autour des statistiques.
 
Les notions de statistiques utilisées au quotidien en data science sont archi-basiques, inutile de suivre une formation spécifique sur le sujet.

En l'occurrence c'est un mec en maths financières qui cherche à se renforcer en stats. T'as pas les moyens de dire qu'il va faire un métier où ça ne lui servira pas (a priori ce ne sera pas data ingénieur d'ailleurs).  
 
Je trouve pas ça illogique de sa part de demander ici
 
Puis maîtrise théorique des stats pas nécessaire =/= inutile.

Stop Hiring Data Scientists.
https://towardsdatascience.com/stop [...] 514028e202

 
Y'aura forcément un retour de baton un jour quand les gens vont faire les ROI sur les DS et voir la catastrophe, c'est une petite bulle qui éclatera avec le métier et on ira plus vers des postes spécialisés genre comme celui du machine learning engineer qui se dégage de plus en plus dans les offres d'emploi ... alors qu'au fond ml engineer, on pourrait se dire que c'est une composante du data scientist, tout comme l'est le data analyst.
 
Là où je suis d'accord, c'est que tu devrais pas avoir une team de 5 - 6 data scientist dans ta boite mais 1 ou 2 avec un engineer et des analyst pour assister.

Petite question débat :
 
Vous pensez que le PhD est un passage obligatoire pour un poste en research scientiste ?  
 
Je vois bcp d'offres DS mais research ça me paraît moins fréquent