Reprise du message précédent :
C'est quoi le souci avec Hadoop ? Pourquoi les projets de Data Lake ont foiré ?

o_BlastaaMoof_o, merci d'avoir évoqué les bases des données. J'ai une question à tout le monde.
Imaginez que vous avez une tonne des séries temporelles avec beaucoup d'observations. Disons 5-20 séries de 300k à 3000k observations par produit, sachant qu'il y a 10 000 produits. Dans quel type de base de données vaut-il mieux organiser le bouzin?

Depuis 6 mois la boite essaye d'organiser la chose... en ayant mit dessus un Data Scientist sans expérience dans les bases des données. On a toujours pas accès. Il semble qu'il y a une version test avec databriks... Je me demande: est-ce si difficile d'organiser la chose? IL faut coûte que coût passer par databriks? J'en ai aucune idée, mais c'est tellement leeeent....

Je peux dans ce cas expliquer c'est quoi la différence entre économétrie + stats et data science... En tout cas au début je ne comprennais pas pourquoi il y a autant de bruit autour alors que les modèles sont sensés être les mêmes.

Bon, les modèles et les maths derrières c'est la même chose. La différence vient de l'utilisation. En économétrie on a besoin de maîtriser le modèle, d'être sur que les hypothèses sont vérifiés pour appliquer les tests et expliquer les résultats. En DS l'objectif global est de faire un produit/service applicable plusieurs millier de fois. Donc trois gros points:
1) On se fiche des tests et des hypothèses. On a besoin d'être le plus près de la réalité. Concernant les tests et les hypothèses: on ne s'y intéresse pas parce que à chaque fois il faut un analyse post-estimatoire fair par l'humaine pour interpréter les résultats. Grosso modo en économétrie on va faire utiliser le modèle probit au lieu de logit parce que on aimerait avoir l'accès aux écart-types et covariances de l'erreur qu'on peut interpréter et corriger. En DS, m'est avis, personne n'utilise probit parce que cela donne les mêmes résultats que logit, mais l'estimation prend plus de temps.
2) Savoir bien coder est vitale, savoir utiliser git et cie.
3) Savoir travailler avec autres types et natures des données. Bref, les données qu'un économètre ne voit pas.
Bon c'est un résumé court A chaque point il y a des exceptions.

Pour finir, je trouve que c'est un plus d'être statisticien/économètre. Pour chaque méthode et modèle on connait en général ce qu'on peut faire avec ou pas en s'appuyant sur la formulation mathématique. Cela aide beaucoup et évite des erreurs que font certains parce qu'ils ne sont juste les utilisateurs de ces modèles. En formation DS j'étais avec 12 autres personnes dont 10 n'ont jamais faits les stats. Ils avaient un certain mal à aller au delà de la simple utilisation "je fit le modèle, je regarde le résultat". Un truc tout bête que j'ai observé des nombreuses fois: encoder les catégories dans la variable qualitatif de 0 à n alors qu'il n'y a aucun ordre dans les catégories   Ou faire de la ACP pour réduire le nombre des variables en conservant les N premiers axes qui expliquent 80%-90% de variation dans les données... sans se rendre compte ce que cela implique.

Pas tous mais c'est vrai que beaucoup de boîtes de sont cassé les dents dans ce domaine. Parmi ce que j'ai vu :
=>Zéro nettoyage de données. C'est un gros foutoir et ça fini limite en stockage de masse car trop difficile de qualifier ce qui a été mis dedans
=>Zéro catalogage des données. C'est un gros foutoir bis dont personne n'a la cartographie
=> On a demandé à l'éditeur ou une personne qui s'y connait de mettre en place le cluster hadoop / le datalake : plus personne ne sait comment ça marche et les nœuds/le stockage tombe petit à petit. La distribution vieilli mal en plus et est remplie de trous de sécurité
=> On a choisi une solution de niche. Elle a été rachetée/abandonnée et la migration est un vrai problème
=> On avait besoin d'un datawarehouse mais Jean-Michel voulait un datalake comme c'était à la mode. Ça a mal fini

Après je connais des boîtes qui ont bien conçu leur datalake / mis en place des clusters hadoop et en sont très contents. Mais c'est pas la majorité et c'est plutôt des boîtes très dépendantes de leurs activités dans le numérique (et qui se sont donné les moyens tout le long du projet)

Salut Cassiopella,

Ça commence a être un beau cas d'usage

Tu as une idée du volume que ça représente ? En fait je ne pense pas que le problème soit databricks. Vous pourriez faire ça aussi bien avec d'autres technologies (prometheus ? Toutes les solutions citées là https://towardsdatascience.com/the- [...] cd7f7ee64d + les solutions natives cloud)

Par contre ça me paraît fou d'y mettre quelqu'un sans expérience vous n'auriez pas le budget pour louer les services d'un dataengineer ou d'une ESN spécialisée dans les données (j'ai deux trois noms en MP si besoin) ?

 
Palantir gère très bien ce cas d’usage avec Foundry. L’accès aux données était vraiment très rapide avec beaucoup de données derrière.  
J’avais lu leur doc expliquant le fonctionnement mais malheureusement ça remonte à quelques années Pour sûr il y avait du Elastic Search, mais c’était couplé à d’autres technos.

En plus des raisons déjà évoquées, le gros problème selon moi a été l'arrivage d'un bestiaire technologies open source mal maîtrisées (Scala par exemple) avec lesquelles les entreprises ont tenté d'industrialiser des centaines voire des milliers de flux de données (puisque l'objectif était souvent de centraliser l'intégralité de la donnée dans le data lake). En pratique, les projets d'intégration de données dans le data lake ont souvent été très longs et très coûteux alors que c'était seulement la première étape à partir de laquelle il fallait ensuite dérouler les usages métiers...
 
Pour donner un exemple concret, dans une des boîtes où j'ai travaillé, il y avait un data lake en cours de construction, alimenté de manière opportuniste par des nouveaux projets, et un vieux data warehouse SAS de 10 ans d'âge. Quand il était question de mettre en oeuvre de nouveaux cas d'usages, l'évaluation des coûts sortait systématiquement à l'avantage du vieux data warehouse à cause des coûts d'intégration de données dans le data lake. Même comme la "stratégie" était d'aller vers un usage croissant du data lake (le bidule a coûté la bagatelle de 20 M€ au final), on oubliait gentiment l'analyse pragmatique de la situation et on balançait tout sur le data lake. Tout ceci au grand dam des métiers bien évidemment dont les projets étaient livrés dans des délais déraisonnables
 

Ah, toujours la même erreur...
 
Le problème n'est pas la technologie de stockage, le problème est la technologie de traitement.
 
A moins que tu ne souhaites implémenter des usages transactionnels, un stockage sous forme de fichiers CSV ferait sans doute l'affaire à condition que l'exploitation de la donnée soit faite de manière intelligente. Même en supposant qu'on colle une base de données là-derrière, ma main à couper que du PostgreSQL des familles ferait l'affaire.

 
Je commence le NoSQL (MongoDB), ça a l'air bien usine à gaz tout de même Mais ça doit être optimisable pour être plus efficace que SQL et s'intègre bien avec d'autres outils (je suppose)
 
Ce qui ne vaut (plus) rien dans mon cursus c'est surtout SAS, que je n'ai jamais vu dans aucune annonce liée au data (hors assurance). C'est pourtant un outil assez complet.
 

 
  Merci
 
Globalement en effet les outils IT et le développement sont bien plus centraux. Je pense que c'est aussi que avant que le terme "data scientist" ne devienne à la mode, l'économétrie, ACP série temp étaient restreintes à la recherche et R&D, avec 95% de théorie mathématique et 5% de code lors de la formation. Maintenant, c'est bien plus répandu dans d'autres domaines (vente, marketing, gestion etc...), ça s'articule aux logiciels et appli et aux différents providers de cloud, et c'est 99% de dev et 1% de théorie

Globalement toutes les banques et assurances veulent sortir de SAS car ils sont tenus par les c***** par l’éditeur avec des prix mirobolants.
Le problème est l’important legacy avec des enjeux réglementaires notamment.

Le NoSQL, tu peux arrêter tout de suite, c'est totalement passé de mode. MongoDB se rêvait comme le prochain Oracle et s'est complètement foiré. Ils vont se faire manger tout cru par les cloud vendors qui sont à la fois leur seul espoir de s'implanter et leurs principaux concurrents.
 
D'ailleurs, les chiffres sont sans appel : plus MongoDB augmente son CA, plus ils perdent d'argent
https://finance.yahoo.com/quote/MDB/history?p=MDB
 
Techniquement, le NoSQL n'a aucun avenir pour une raison simple : aucun standard n'a émergé.
 

Tout le monde veut en sortir et quasiment personne n'y parvient, c'est bien le signe que la solution est techniquement solide. Avant qu'on m'accuse de favoritisme, je ne travaille pas pour eux et j'ai toujours détesté la plateforme.
 
Sur le volet prix, tout est relatif. Les plus gros contrats SAS en France, ce sont des montants annuels à 7 chiffres, rien de délirant. A fortiori pour les banques et assurances qui balancent des millions par la fenêtre à la pelle.

neo world et -Meringue-, merci beaucoup. L'article est fort intéressant.

Le DS en question est un presta avec beaucoup d'expérience en DS et zéro en base des données.
Le budget, on en a. On a même un sous département qui est censé de nous préparer les données, mais on ne sais pas ce qu'ils font. Bref, ce n'est pas super logique ce qu'ils font... Il y a quelques boites (grosses et petites ENS) avec qui on travaille depuis plusieurs années et ils veulent garder "le contact" en leurs donnant les projets les plus intéressants. Vu les changements depuis 8 mois, ce n'est plus viable.

P.S. c'est plusieurs Tera des données.

 
Genre DynamoDB ? (le NoSQL d'Amazon)
 
Sinon MongoDB mise pas mal sur les formations pour essayer convertir les gens à son standard ; tout comme SAS qui donnait pas mal de licences scolaires infiniment moins chères que les licences pro...
 
Sinon je ne suis pas qualifié pour dire si le NoSQL apporte vraiment plus que le SQL...
 

 
Moi j'exècre SAS Enterprise Guide : dans toutes les boites ou j'en ai fait usage c'était particulièrement lent sur le serveur à distance. SAS V9 était bien plus fluide....

Soutien aux frères dans l'assurance qui font du SAS
J'ai jamais vu pire que ça, peut-être Prophet à la limite

 
On avait aussi Lotus Notes au taf. C'était un très bon soft en 1997. Pas évolué depuis.  

Crois-le ou non, on s'en sert encore chez nous
 
Mais Outlook est enfin en train d'être déployé

Bonjour à tous,  
 
Je suis un peu perdu dans l'offre actuelle des masters 2 en intelligence artificielle/data-science et sur la différence des débouchés qu'ils offrent.
 
Voici ceux que j'ai pu recenser :  
 
- Master Vision et Apprentissage (MVA) de l'ENS Paris-Saclay (https://www.master-mva.com/)
 
- Master Apprentissage et Algorithmes (M2A) de Sorbonne Université (https://m2a.lip6.fr/)
 
- Master Statistiques et Machine Learning (Stats-ML) de l'Université Paris-Saclay (https://master-statml.imo.universite-paris-saclay.fr/)
 
- Master Intelligence Artificielle, Systèmes, Données (IASD) à Dauphine (https://www.lamsade.dauphine.fr/wp/iasd/)  
 
- Master Mathématiques, Apprentissage, Sciences et Humanités (MASH) à Dauphine (https://dauphine.psl.eu/formations/ [...] /programme)
 
N'hésitez pas à me dire si j'en ai oublié un !  
Je n'ai pas mis le master Données, Apprentissage, Connaissances (DAC) de Sorbonne Université dans la liste car il me paraissait bien moins orienté recherche que les masters que j'ai cités précédemment.
 
Je crois que le MVA et le M2A sont les plus "côtés" ou les plus "sélectifs" de la liste, est ce que vous auriez des échos de ces formations, et notamment sur quels points elles se différencient les unes des autres? (professeurs plus ou moins reconnus, débouchés davantages industrie que recherche académique, orienté international ou pas, etc.)  
J'ai du mal à trouver ces informations sur le net.
 
Merci de m'avoir lu,
 
lucius

Pour le MVA, c’est très bon.  
La boite dans laquelle je suis fait du deep learning / computer vision et plusieurs membres en sont sortis. Dont un en double diplômes.  
 
Chacune de ces personnes ont un très bon bagage de départ. De belles opportunités en sortie d’école, avec des salaires de junior intéressants.

Bonjour chers tous,
Je cherche en urgence un thème de recherche sur la robotique mobile pour soutenir mon master 2 de recherche. Merci de m'aider.

Lol

A sa décharge il s'y prend assez tôt pour fin 2023 mais la forme est expéditive  

Lelou82 tu peux nous en dire plus où tu en es de tes recherches et ce dont tu as besoin pour avancer ?

Exemple de projet qui pourrait être intéressant: un robot qui irait chercher les bières dans le frigo et serait capable d'en commander quand il n'y en a plus

C'est possible avec Spot de Boston Dynamics

https://www.youtube.com/watch?v=tqsy9Wtr1qE

Bien le bonjour
 
Petite question Deep Learning, comment vous feriez pour de la classification d'images avec noisy labels ? Pour contexte, images medicales annotees a la main par des docteurs, certains labels se ressemblent pas mal, pas mal d'erreurs d'annotations. Ma solution c'est juste d'ignorer le pb totalement, la confusion matrix locale est un peu degueue mais en production ca a l'air satisfaisant  

Tu n’as pas moyen de faire faire du QC sur les annotations douteuses ?

 
QC = quality control ?
 
Y'a ~ 100k videos donc un peu dur de checker manuellement

Une soluce pas chiante si vous avez un peu de moula serait de payer des mecs sur MTurk pour clean les données, si elles sont pas confidentielles.
 
T'as pas trucidé ton head of AI depuis la dernière fois ?

 
Yes
 
T’as sûrement moyen de regrouper tes vidéos / images afin d’accélérer le process.

 
Malheureusement c'est confidentiel et faut une expertise medicale pour annoter  
 
Si on parle du meme, il a fini par se faire virer mdr. Pas trop de changements de mon cote si ce n'est la nouvelle embauchee 200k alors que je fais le mm taf pour bcp moins    
 

 
C'est un peu ce que je fais, j'utilise les predictions du modele pour flag les erreurs potentielles d'annotations mais je m'en sors pas
 
Visiblement a part ignorer le pb et laisser le reseau se depatouiller ou bien corriger les donnees, y'a pas grand chose a faire ? Jvois des trucs comme ca mais je sais pas les perfs en dehors du traditionnel MNIST CIFAR .. https://github.com/hitcszx/lnl_sr

 
Une autochtone non ?
Après j'imagine que pas mal de boites doivent profiter d'étrangers payés moins cher et tenus par le visa.
Et tu veux pas tâter ailleurs ?
 

 
Y'a Co-Teaching sinon, mais ça date un peu j'imagine que des trucs plus performants ont été trouvés depuis
https://proceedings.neurips.cc/pape [...] tract.html
Edit, une autre idée : de la data augmentation à partir d'un subset de data de qualité, assez diversifié et bien labellisé (à vérifier à la main). Mais à voir si ça peut s'appliquer à tes données, la vidéo c'est plus délicat
 
T'aura peut-être d'autres idées ici https://lilianweng.github.io/posts/2022-04-15-data-gen/

 
C'est une locale en effet, ce genre de meuf https://youtu.be/8VZTtRX4HIk , communique bien à l'oral et auprès des boss etc
 
Jla trouve pas incroyable, son premier projet en introduction c'était de faire un classifier binaire sur un truc très précis
 
Son modèle avait 2 pooling layers à la suite et 50% d'accuracy (donc son modèle jouait à pile ou face). Ça l'a pas perturbé et elle a conclu sereinement que cette approche était pas viable et qu'il fallait faire du 3D CNN ou jsp quoi
 
On se sent 200k / an Data Scientist
 
Pas envie de chercher ailleurs car flemme + anxiété + syndrome imposteur + vu les revenus de cette année c'est pas impossible qu'on se fasse racheter et j'ai genre 2500 options (ou jsp) donc potentiellement pas mal de thunes
 
La semaine pro j'ai un entretien avec mon boss jvais demander un gros up de salaire, on verra si ça passe
 

 
Merci pour la réf, jvais y jeter 1 coup d'œil

T'en verra probablement d'autres des comme ça, l'art du baratinage paie dans beaucoup de situations    
 
J'espère pour toi que vous pourrez aussi bien pipoter vos futurs acheteurs dans ce cas  

Vous ici ?
 

 
Monsieur

 
   
 
On paie des gens 200k/an pour faire ça ?
 

 
Ca fait 6 mois que je suis stuck sur de la classification d'images car nos labels sont faits avec le cul  
 
Avec le prix de l'immobilier j'hesite a go RSA + parents, j'aurais moins d'argent mais au moins je garderais mes cheveux sans tout ce stress

Et t’as essayé de modifier ton archi en remplaçant les layers de pooling par deux layers de pooling consécutifs ?  

 
Marche pas, ca a deja été benchmarké par notre expert IA

Débrouille toi pour battre son modèle et demande à être payé au moins autant  

Quand j'ai été embauché, le head of data science gagnait 9.5k + 20k de bonus performance et sûrement d'autres trucs. Au final il s'est fait virer et c'est moi qui ait fait tout le deep leurning FDA validated etc  
 
La nouvelle est à 200k de package, mon autre collègue doit être à 8k environ
 
Moi 7.5k donc ouaip y'a encore de la marge, mais j'ai déjà été augmenté en avril. Il m'avait dit que je devrais demander plus car j'ai bcp de leverage
 
En vrai j'en sais rien mais bon, y'a mon entretien performances bientôt donc jvais essayer de gratter
 
Mais bon c'est bien à chaque fois que je suis augmenté on se mange 15% d'inflation et 30% de hausse des loyers
 
Jme fais pas trop respecter en fait, on a sorti un papier dans Nature, y'a pas mon nom alors que j'ai fait 99% de l'IA sous-jacente
 
Bon apres j'ai pas non plus redige ni rien mais BON

Hello,
 
Data science pour ma part aussi, un salaire fixe brut à 60k à Paris, sans autres avantages (si on compte pas les obligations légales) dans une PME ça vous parait comment ? Pour 3 ans d'XP je précise.
 
Au niveau du marché ça se situe comment ?

 
T'as quel background et quelles responsabilites ? Ca me parait etre +/- dans la norme vis a vis de mes camarades de promo