Reprise du message précédent :
Bonjour,
 
J'ai un client expert en statistique, en ML et en DL qui m'assure que le dataset qu'il me donne est suffisant pour prédire le churn chez lui.
Cependant, j'ai beau faire de mon mieux, je reste persuadé que les données (leur qualité en faite) fournis ne sont pas suffisante (les exemples identiques qui ne sont pas dans la même classe ...).
J'ai beau lui montrer que les variables n'ont que très peu de corrélation (X²) avec la variable cible, je suis un peu bouche bé devant ses arguments:  
"Non mais si je met un réseau de neurone avec 100 couches, je vais te trouver un truc" ...  
 
Une idée de comment je peux lui montrer que le dataset fournit n'est pas adapté ?
 
Merci !
dd
 
 
 
 

Tu lui fais un réseau de neurones avec 100 couches et tu le factures ?

 
   
Ce n'est malheureusement pas une possibilité  

50 couches et tu lui fais un rabais de 50% ?  

 
J'essayerai de montrer quelles sont les implications sur la valeur ajoutée du projet:  
 
1/ Trouver de nouvelles variables ou en créer quelques unes composites d'autres
2/ Entraîner de multiples modèles de base, log reg jusque NN basique
3/ Calculer confusion matrix
4/ Etendre aux implications pour le business & demander si le coût est OK
 
Pour la phrase en gras et mon rapport à 1/ : sûrement que les variable liées au temps sont différentes, peut être creuser par là et aussi tester une corrélation avec un dataset externe. En fonction du contexte: météo, PIB, taux d'intérêt... qui soit facilement crawlé.  
 
 

 
Pourquoi pas?

 
Ce ne sont pas des arguments ... sauf au PMU
 
1- ben qu'il le fasse son réseau de neurones, pourquoi il a besoin d'une presta pour ça ?
 
2- il va trouver un truc ? mais quoi ? est-ce que c'est stable ? reproductible ?
 
3- est-ce qu'il a fourni un jeu d'apprentissage et de test ou autres ? Quelle taille, dimension, proportion de classe +/- ?  
 
Plus sérieusement, tu as déjà fait les phases de pré-traitement (analyse de corrélation, sélection de variables/individus, ...), maintenant, tu peux faire une évaluation de performance avec quelques algo connus (Random forests, SVM, XGBoost, NN, ...) pour commencer.

Merci de vos réponses,  
 
Je suis déjà a lui avoir montré que les algos de base ont aucun résultat, que les corrélations sont presque nulles et que même en ayant la meilleure volonté du monde, je vois pas comment faire.  
On est sur du churn, donc dataset non balancé qu'il a fallut traité (et aucune méthode ne donne un bon résultat). J'ai les 6 derniers mois de facture de ces clients avec churn ou pas churn.
 
Donc si je résume, je lui montre que c'est pas suffisant en l'état avec des arguments "logiques".
 
Parce que c'est un presta au forfait donc prix fixé depuis le début. Mais le mec s'en fou, il veut un résultat (boite du cac40 xD).

Un échec, c’est un résultat.
Surtout si il est argumenté.
 
Sinon, pas de possibilité de faire un premier algo qui écrème et détecte les cas dont les données d’entrée donnent churn/pas churn de façon indifférente, ceux-là auraient la classe « dunno » ? Et ensuite un second algo qui ne tourne que sur les cas qui ne rentrent pas dans cette classe « dunno » ?

Faire du forfait sur de la prédiction du churn qui est typiquement le use case qui foire 2 fois sur 3... C'est courageux.

 
+1
 

 
Je suis curieux du forfait en question  

Je suis assez étonné que la bulle data science ait pas encore éclaté

Ça peut arriver avec le coronavirus, quand il va falloir se recentrer sur des activités essentielles et arrêter les projets et initiatives à ROI < 0.

 
On aura toujours besoin d'ingénieurs qui gèrent bien Excel

Vu que tous les PoC ont un RoI < 0  ça va grincer des dents dans certaines start-up

Bonjour    
 
Je recherche un training, idealement max de 5 jours, qui couvrerait un spectre large autour de la transformation data-driven.
Je pensais à ce type de contenu:
 

 
J'ai regardé rapidement HEC, X, etc. mais je ne trouve rien de complet... quelqu'un aurait de l'expérience à ce niveau?
 
Merci  

Bonjour tout le monde,
 
Je m'apprête à entrer sur le marché du travail dans le monde de la Data Science, je vais être diplômé à la rentrée, je me demandais si vous pouviez me donner quelques tips pour pouvoir trouver rapidement quelque chose avant la rentrée, que ce soit comment et où postuler quand on cherche un contrat en tant que Data Scientist ou même Data Analyst et aussi quelques conseils pour les entretiens. C'est mon premier emploi et à la FAC on a pas eu beaucoup de conseils vis à vis de cela.
 
Je voulais également vous dire que c'est top ce que vous faites sur ce topic, ca m'a donné envie de continuer dans le domaine et j'aime lire chaque post.

Tu cherches un stage de fin d'études ?

Pour postuler bah y'a pas de secrets, regarde le site de ton master doit y avoir des offres, sinon les jobboards classiques, linkedin, le bouche à oreille, le piston

Hésite pas aussi à y aller au "culot" genre sur Linkedin : "salut ça va, ça a l'air trop cool ce que vous faites, j'aimerai trop faire l'esclave chez vous pr 1200€, t'as un moment pour discuter ????" et voilà, j'ai eu des entretiens comme ça alors que j'étais recalé officiellement après avoir postulé sur leur site

Malheureusement (ou heureusement ), pas mal d'entreprises se mettent à faire des screenings techniques à la Google donc je te conseille de faire des exercices pour t'entraîner :

• https://leetcode.com/
• https://www.hackerrank.com/ (en général ils utilisent cette plateforme pour le premier screening)

Ca concerne les start-ups qui veulent se la jouer élitiste à la con et les entreprises """""""prestigieuses""""""""" genre FAANG, BCG Gamma etc.

Si tu vises une COGIP normale tu auras probablement pas à faire ça

Pour les entretiens Data Science, faut que tu sois solide sur la préparation des données :
- Pourquoi faut normaliser
- comment tu passes d'une variable qualitative (jcrois c le nom) genre bleu rouge vert à un truc utilisable par un algo, idem pr les données continues (faire des bin) etc
- Les tests statistiques pour savoir quelles variables sont corrélées à la sortie et lesquelles sont les plus importantes (alors que dans la vraie vie osef   )
- Les visualisations etc

Le mieux c'est trouver un challenge Kaggle "classique" et de regarder les notebooks (kernels) qui sont les plus upvotés, si tu sais faire tout ça normalement c'est bon

Après faut que tu sois assez théorique pour pouvoir expliquer le fonctionnement de plusieurs algorithmes, perso à mon dernier job un de mes entretiens technique c'était une rafale de 30 questions un peu vague genre "Qu'est-ce que tu connais pour faire de la detection / segmentation " -> 2 familles one shot (YOLO etc) et RPN (Mask-r-cnn blabla)

Pour un lab de recherche d'une très grosse COGIP fr mon entretien c'était en gros déroulage de mon CV et petites questions sur ce que je disais genre je mentionnais tel algo, ils demandaient d'expliquer vitre fait comment ça marchait et voilà, donc ça peut être assez light

Pour un autre lab de recherche d'une autre très grosse COGIP fr mon entretien c'était des petites questions basiques sur régression Ridge / Lasso et après mise en situation et là j'avais rien bité donc jme suis fait tej mais bon c'était pas la mort l'entretien

En entretien t'as le droit de dire que tu connais pas un truc c'est pas la mort, c'est mieux de dire ça que de dire une connerie  

Bon courage  

Merci beaucoup pour ton message et tes conseils c’est top !
 
Ce serait pour un premier CDI, je termine mon alternance à la rentrée en modélisation. Je suppose que t’es conseils s’appliquent aussi pour un CDI. J’essaye de postuler un maximum via les sites des entreprises mais pas de réponses pour le moment.
 
En tout cas je vais bien suivre tout ce que tu me dis en espérant trouver quelque chose, merci beaucoup vraiment !

CDI c'est plus chaud avec la pléthore de nouveaux dips ouaip
 
Oublie pas de personnaliser ton CV et ta LM pour chaque candidature
 
Faut réviser les stats aussi, chez l'Oréal ils posent un exercice sur la p-value. Que celui qui sait ce que c'est et qui l'a déjà utilisé au taf lève la main      

Tiens si ca parle test, nous nos test ont deux parties :

1): on ca te pauser une question et on va te demander d'aller chercher des articles, des solutions techniques et de les proposer puis de justifier ton choix. Du style : comment '' tu ferais pour compter les gens sur des images de vidéo camera. ''
2) un challenge de code de deep learning , du style code un solution pour modifier des couche d'un truc open source, rendre paramétrable tel ou tel truc...

En gros on laisse 2h en presentiel et une semaine a distance. (bien sûr l'attente de rendu n'est pas la même).

Si le mec code comme un gorêt souvent c'est no go.

Et fyi je trouve pas ça du tout élitiste au contraire. De mon temps on disait "il est bon techniquement car il a fait X ou central", perso nous on test le gars techniquement en condition de boulot et si ca passe, et si le reste passe, on s'en fou qu'il ai fait X, 42 ou la fac. On le prend. Dans mes équipes IA ca va de Ulm Mva à des anciens product designer reconverti par coursera en passant par des 42 et des supelec... Ils ont tous passé les test techniques pareil avec même exigences.

Tu attends quoi du candidat en 2H?  
Juste des notes pour lancer une discussion? une presentation? quand meme pas un modele entrainé

J'ai eu un entretien où je devais faire une pipeline ML complète from data prep / viz / comprehension to algo final en 2h  

Autant te dire que j'ai rien fait  

Des notes pour lancer des discussions oui, éventuellement 2-3 slides. Le but est de voir comment la personne fait des choix techniques et comment elle les justifie. Sur la partie code quelque dizaines de lignes bien argumenté et bien codé.

Après on prend en compte le profil, on est pas nazi, on sait bien qu'un 42 sera olus solide sur la deuxième parti et un mva sur la première.

 
Ca porte sur quoi le code exactement? C'est du Python j'imagine?
Implementer le data loader, la loss et l'architecture du modele en TF/Torch/etc?
Vous fournissez un framework avec des trucs déjà implémentés?
 
Désolé pour toutes les questions    
Ca m'intéresse particulièrement d'avoir l'avis d'autres personnes car je suis en train de repenser le processus d'entretien de mon équipe justement

Une startup qui voulait s'offrir un projet sur le dos des candidats ?

Le plus drôle serait "le précédant candidat à atteint ce stade. Vous trouverez ici son git. Faites vos preuves en poursuivant le pipe là où il s'est arrêté. Vous avez 2h"

 
p'tain j'espère ta start up c'est du haut vol
 
tu demandes 1semaine de taf gratos a chaque candidat
 
heureusement tous les taf c'est pas comme ça
 
j'avais pas vu l'équivalence supélec et random mec reconverti sur coursera    

En général le code c'est prendre une architecture open source et rajouter des module de généralisation. Donc comme tu dis, rajouter un loader, rendre paramétrables des truc hard codé etc...
On laisse les gens choisir leurs modules parceque notre framework est en keras mais c'est pas un pré-requis.
Bien sûr python oui donc voir que le gars sais commenter, a entendu parler de pep8 par exemple, est pas complètement orthogonale aux principes de design patern etc...implementer une archi en test en live c'est souvent chaud. Après on a des tests qui varies en fonction du poste, de l'expérience, là c'est plus pour un jd "data scientist image/généraliste" (ce qu'on appelle image product engineer chez nous )

Pour moi les tests scolaires ont peu d'intérêt, les mecs ont leurs diplômes pour ça. Ce qui m'intéresse c'est voir la personne dans un contexte professionnel.

On laisse une semaine mais le test est designé pour une demi journée. On s'attend pas a ce que le mec passe une semaine, c'est juste pour lui laisser le temps de s'organiser. Globalement on a ce process de test pour tous les recrutement de l'admin sys au vp marketing.

Peut être que ça te défrise mais mon meilleur data engineer est un reconverti quasi autodidactes.

Si la paye est très bonne pourquoi pas mais normalement il y a une période d'essai (rémunérée) pour vérifier que les compétences et méthodes de travail correspondent bien (en plus des entretiens qui sont aussi une première sécurité).

Dans ma boîte on fournit un PDF aux candidats pour éclaircir les objectifs de chaque entretien à l'avance + le recruteur prend un rôle de coach (car objectif de recrutement). Il y a aussi un exercice façon crack the coding interview (pour les devs) ou un autre exercice de "mise en situation" pour les autres fonctions mais la quantité de travail est hyper limitée ( 4 à 5 planches max pour une présentation qui ne doit pas dépasser 20 minutes suivie par des questions par exemple).

La seule "fantaisie" c'est que le responsable qui recrute n'est pas décisionnaire final de l'embauche : on ne veut pas d'un recrutement approximatif à cause de l'urgence et si réorganisation il faut qu'une autre équipe soit aussi contente de récupérer les membres de l'équipe ainsi libérée.

C'est pas parfait et ça demande pas mal d'organisation dans la boîte mais c'est plutôt efficace

2-4h de test me paraît pas anormal pour vérifier les connaissances techniques du candidat. Ça choque personne irl. Le salaire est dans la moyenne et le même pour toutes les écoles et poste (sauf sales) donc oui les 42, les HEC, les Faqueux et Centraliens rentrent au même salaire chez nous.

Oui mais ca a un cout assez important en terme de temps, de formation, etc.
Dans l'absolu, quand on prend quelqu'un c'est vraiment dans l'idée que la personne va réussir la période d'essai
 
 
Ca ne me choque pas non plus - faut dire que les FAANG ont bien relevé les standards avec leurs journées entières de colles au tableau
Par contre c'est intéressant le salaire fixe, du coup les candidats n'ont strictement aucune marge de négociation? Vous leur dites directement?
Comment vous faites pour ceux qui ont de l'expérience? Vous recrutez que des JD?

 
 
Nos grille sont fixe mais avec bonus de 1 ans d'xp si tu as 4 ans d'étude (X, M2R en plus, cesure etc...)
Ensuite ça progresse évidement avec l'expérience mais c'est fixé.  La négo se fait sur ce qu'on appelle "le grade". On a un tableau a double entre "grade vs experience" avec une grille associée (on a adapté le principe d'Alan ici.)
 
En pratique on recrute assez peu de JD mais le principe de grille s'applique a tous.
Par exemple avec 3-5 ans d'xp sur le papier tu vas être soit " grade 2, senior" soit " grade 3, lead" avec un gap de salaire de plusieurs k€. En fonction de notre évaluation on va te propose plutôt l'un ou l'autre.La négo va se faire sur la justification de passer au grade d'au dessus mais avec, en contrepartie, des attente de notre côté plus élevé et en particulier une automie attendue plus forte. Ces grades sont revue tous les 6 mois et sont liée a des grille de compétences assez précises et des salaire plancher.   ce qui veut dire qu'on a des gens au même age/xp qui ont des différences de salaires assez importantes mais se traduise toujours par plus de responsabilité (projet, produit, management, tech...).
Du coup quand tu gagne en autonomie rapidement tu vas faire des saut de salaire liée au passage de grade, sinon tu vas juste augmenter avec une augmentation annuel qui va de 0 à 7.5 par palier de 2.5.
0 : insuffisant
2.5 : satistfaisant
5: très bien
7.5: Excellent
On a deux personnes qui ont passé 2 grade en 12mois ils on fait +20% de salaire je pense    
 
Ensuite on a le variable et tout

+1, ça à l'air encore plus compliqué que les obscures grilles des grosses cogip

Toute les startup sérieuses ont des grilles de salaire
Avoir une politique de rémunération lisible, transparente et évolutive c'est le B.A.BA d'une politique RH de qualité....

On a rien inventé ça vient d'Alan qui fais plutôt référence niveau innovation RH sur paris.
Et je t'assure que ça marche extrêmement bien Les gens sont hyper content de comprendre pourquoi ils sont augmenté de X et pas de Y et pourquoi ils sont a tel grade et pas celui ci. Et ils peuvent se projeter "ok si je veux passer lead je dois à la fois progresser sur mes compétence en python et sur mes capacité en gestion de projet, très clair" (oui on est  à ce niveau de détail ).

C'est gentil vos bidules.
 
Pour mon poste actuel, je me suis tapé une vingtaine d'entretiens dont une bonne moitié à se faire challenger devant un tableau blanc.
 
J'ai eu un test technique avec l'implémentation d'un cas pratique dans le langage de mon choix. En théorie, on me donnait un délai d'une dizaine de jours. En pratique, la décision était prise 3 jours après mon entretien, il ne fallait donc pas attendre trop longtemps avant de s'y mettre.

on est pas du tout extrême

Mais la boîte marche bien et le turn-over et maîtrisé du coup ?

Les GAFAM sont beaucoup moins hardcore sur la quantité d'entretiens et le niveau des recrutés / succès de ces boîtes n'est plus à démontrer ...

Oui, la boîte recrute de bons profils (certains en provenance des GAFAM d'ailleurs) et il y a très peu de turn over.

 
Ouaip donc là j'ai disrupté les objectifs ROI moyen terme en passant en méthodologie AGILE sur du Pytorch, ça m'a permis de passer au grade 2.a.bis qui m'octroie une généreuse augmentation de 0.52%, cimer chef

Si t'as envie de le voir comme ça c'est ton problème  
je te propose de postuler en SSII ou en Cogip du CAC et de savourer tes 0.72% d'augment "parceque tu comprends, c'est la crise" pendant que ton collègue prend 5% parcequ'il est syndicaliste.