Reprise du message précédent :

 
En plus jvais être collé sur de la data science "vanilla" avec un fichier CSV de mort pour un poste de... deep learning aué    
 
Si tu formates tes données pour pouvoir utiliser un algo, faut bien faire le même formatage sur le test sinon ça va crasher non ?    
 
Ou on parle ptet pas de la même chose, ou je suis ptet plus à l'ouest que prévu  

Si le formatage est "statique", c'est à dire n'utilise pas la densité des variables, ou des choses liées à la classe (comme des proba conditionnelles à la classe), alors ok
Sinon, il fait le faire que sur le train et le "déployer" sur les autres. Parce que a priori, tu ne sais pas ce qu'il y a dans le validation ou le test set

Oui en gros calculer les stats sur le train (fit) et appliquer les transformations sur le test (transform), oui ça c'est clair pour moi.  
 
Follow-up : quelqu'un a un bon site / tuto pour être data scientist en 4j ? (surtout sur la partie visualisation / feature engineering, le reste c'est ok)  

Au passage si tu peux éviter de transpirer l'insécurité en entretien, ça sera un gros plus

 
Aué merci    
 
Je galère un peu pour les variables catégorielles.  
 
De ce que j'ai compris si elles ne sont pas ordonnées ("nuageux", "pluie", "soleil" etc.) alors là on les one-hot encode mais qu'est-ce qui se passe si on en a plein ? Ca va pas être problématique avec la curse of dimensionality ? Y'a une manière standard de procéder ?  
 
Pour les variables catégorielles ordonnées, ça fait sens de leur attribuer un mapping croissant et de filer ce mapping à l'algo afin de préserver l'odre ? (petit : 1, moyen :2, grand : 3)  
 
 

Pour l’encodage tu as ça:
 
http://contrib.scikit-learn.org/categorical-encoding/
 
J’ai vu certains utiliser également du frequency encoding. Je ne sais pas ce que ça vaut, mais tu peux y jeter un œil  

Ah, l'encodage, le sujet auquel (presque) personne ne comprend rien et que (presque) tout le monde utilise n'importe comment
 
Avant de savoir s'il faut encoder ou pas, il faut savoir comment fonctionne l'algo que tu vas utiliser. Pour n'importe quel algo basé sur des arbres, en théorie il n'est pas nécessaire d'encoder. Si tu fais du SVM en revanche, pas le choix puisque l'input de l'algo est nécessairement une matrice.
 
S'il y a une relation d'ordre, il peut être intéressant d'utiliser un mapping numérique qui respecte la relation, en effet.
 
De manière globale, il ne faut pas oublier que le one hot encoding fait littéralement exploser la consommation en ressources CPU et mémoire, d'autant plus s'il y a beaucoup de variables catégorielles et/ou si elles ont une forte cardinalité.

Le one-hot c’est pas surtout quand on peut valider plusieurs catégories ?

Evidemment dans ce cas ca a d'autant plus de sens, mais comme le dit Blastaa, des qu'il faut faire des operations continues (donc quasiment tout sauf de la combinatoire comme les arbres), il faut passer en one hot

Ok merci beaucoup pour vos réponses
 

Bon du coup j'ai une autre question (deux en fait ), c'est pas problématique de se retrouver avec des features sparse d'un côté (one-hot encoding de certaines variables catégorielles) et des features denses de l'autre ? Si oui ça se traite comment ?

Aussi j'ai lu que c'était très déconseillé de faire du one-hot si on utilise des algos à base d'arbres, mais à priori osef non ? Comme l'a dit Blasta, vu le fonctionnement de l'algo c'est pas forcément nécessaire mais je vois pas en quoi ça dégraderait les perfs.

Oui enfin ça dépend quand même de comment fonctionne le split de ton algo d'arbre de décision.

Par exemple, s'il crée autant de branches que de valeurs de ta variable catégorielle alors tu auras un arbre tout moche (très large).

S'il a un split fixe (par exemple 2 et qu'il cherche le meilleur 2-split), ca sera un peu plus long à calculer mais tu auras un arbre binaire (plus beau, donc plus facilement présentable et interprétable).

S'il cherche le meilleur k-split (nombre k de branches à déterminer), ca sera encore plus long à calculer (voire pas tenable si recherche exhaustive avec beaucoup de valeurs catégorielles, mais doit y avoir des heuristiques qui permettent de faire bien en un temps raisonnable) et tu auras un arbre pas régulier en largeur mais avec potentiellement de meilleures performances prédictives

La beauté de cette discipline, c’est qu’on n’a ni fondement théorique ni même la moindre notion pifométrique permettant de dire si telle méthode de split est plus adaptée dans tel ou tel cas d’usage...

Ouaip du coup avec scikit-learn osef ou pas osef le one-hot ? Tfaçon ça gère pas les var catégorielles donc faut forcément encoder d'une façon

 
Il existe bien les notions de "consistency" (pour le 1-NN et maximum likelihood logistic regression) et de "learnable function" pour la théorie (je n'y comprends pas grand chose )
Mais face à un problème concret, le juge de paix sera une sérieuse évaluation de performance des différents algorithmes (ou variantes)

Sérieux ?!

 
J'en sais rien frère j'ai pas fait de ML depuis mon M1, il me semble que c'est le cas avec l'implémentation scikit  
 

https://youtu.be/kf_yBGpVVS8
 
 

 Je ne crois pas que c'était sarcastique. Comme moi, il est étonné si l'arbre de décision de sklearn ne gère pas les variables catégorielles

Re tout le monde, je vous casse les couilles une dernière fois. Je fais des Kaggle là pour m'entraîner et y'a encore des trucs pas clairs pour moi  

Déjà niveau méthodologie, de ce que j'ai retenu:

• 1) On s'assure que le data set est tidy i.e : 1 ligne = 1 observation, 1 colonne = 1 variable, 1 case = 1 unité.

ex : pas de colonnes <10k, <20k, <30k mais une seule colonne "salaire"

• 2) On nettoie le data set i.e : On vire les lignes / colonnes contenant trop de NaN (plus de 75% par ex), pour celles restantes on remplace les NaN par des valeurs qu'on determine (en général médiane pour numérique et mode pour catégorielle), on gère les outliers (via des graphes ou en utilisant les quantiles).

Là j'ai une première question: dans les "corrections" Kaggle, je vois systématiquement les mecs regrouper le jeu de train et le jeu de test pour virer les NaN etc. On est censés faire ça ? Pour moi, il faut déterminer une stratégie pour les NaN sur le jeu de train puis l'appliquer telle quelle sur le jeu de test. ex : déterminer le mode d'une colonne sur le train puis remplacer par cette valeur dans le train et le test. Le pb c'est que les NaN peuvent être situés différemments dans les 2 jeux de données donc là on est bien obligés de faire une "strat" par jeu de données, là c'est pas clair dans ma tête sur la méthodologie à adopter pour clean. Même question pour les outliers, pour moi on détecte les valeurs max / min à partir desquelles une val est outlier sur le train et on applique ce threshold tel quel sur le test.    

• 3) On fait le feature engineering, i.e : on transforme les variables catégorielles en var numériques après les avoir regroupées en bin si nécessaire (One-hot si pas bcp de cardinalité, hash-encoding si bcp de cardinalité, mapping perso si relation d'ordre à préserver etc. ), on normalise les colonnes contenant des variables numériques pour coller au mieux à une distribution normale et avoir des variables dans une même range. Finalement, on peut éventuellement créer d'autres variables etc

C'est sur cette partie où je suis le moins à l'aise et j'ai des questions:

- Si on fait du one-hot-encoding, on va se retrouver avec une partie de notre matrice sparse et une autre partie dense, osef ou pas ? Si non, faut gérer ça comment je trouve pas grand chose à ce sujet sur gougle  
- Je vois souvent des mecs sur Kaggle normaliser la target (genre log-transform), on est d'accord que c'est useless voir néfaste ?
- En parlant de cette normalisation, pas bien compris à quel moment il faut la faire, ça gène pas d'avoir d'une part des variables one-hot-encodées (donc 0 ou 1) et d'une autre part des variables numériques transformées et donc dans une range [-k1, k2] par ex ?      

• 5) On fait la feature selection. De ce que j'ai compris, s'assurer que nos features ne sont pas corrélées entre elles (hypothèse de pas mal d'algos linéaires), donc en utilisant la matrice de corr, on peut aussi utiliser les feature importances calculées avec les algos genre RandomForest pour virer les var inutiles, ou bien utiliser des tests statistiques univariés pour choisir lesquelles garder.

Ptite question: quelle méthode vous recommandez ? J'ai envie de laisser faire l'algo pour la sélection des features (genre Lasso ou RandomForest)

• 6) On modélise et on résout le pb i.e : on coupe le jeu de train en train - validation, le jeu de test reste à part. Là on sélectionne plusieurs algos, on les entraîne / para tuning avec une grid search en utilisant les jeux train - valid, dès qu'on a des bonnes perfs on fait sur le test et voilà

Si quelqu'un a la patience de répondre à mes questions et valider la méthodologie je lui en serais très reconnaissant.

Disclaimer : je ne suis pas data scientist

Ça me semble raisonnable en effet. Après, il peut arriver que tu réceptionnes le jeu de données avec des variables déjà réparties en bins et là, y a pas vraiment de bonne solution. Éventuellement remplacer les bins par la valeur moyenne de chaque bin...

Les valeurs manquantes, c'est un sujet de débat éternel...

• Déjà, il faut bien avoir conscience que parfois, l'absence de valeur est une information en tant que telle. C'est là où la compréhension métier du problème est importante. Par exemple, mettons que tu sois dans le cas de figure d'une prédiction d'attrition, si tu te retrouves avec une variable du genre "durée du précédent contrat" et qu'il n'y a pas eu de précédent contrat, l'absence de valeur est justifiée. Mettre zéro à cet endroit renverrait une information faussée. Mais se pose alors la question de savoir si l'algo que tu vas entraîner supporte les valeurs manquantes, ce n'est pas le cas de tous ! Pas de souci pour une méthode à base d'arbres mais c'est problématique avec des SVM par exemple.
• Ensuite, si tu utilises une méthode statistique pour remplacer les valeurs manquantes (par exemple la moyenne ou la médiane), il faut garder en tête que la valeur résultante est dépendante du dataset dont tu disposes. Le dataset en question doit du coup être très représentatif du problème traité et non biaisé, sinon tu vas introduire des biais dans tes variables.

Intuitivement, si la taille du dataset d'entraînement le permet, je conseille généralement de virer tous les observations comportant au moins une valeur manquante lorsque celle-ci n'a pas de signification métier particulière. Ainsi, on réalise l'entraînement avec un dataset propre.

OSEF, y a rien à y faire de toute façon. Mais c'est là encore un reproche à faire aux méthodes de one hot encoding : une variable à forte cardinalité va être surreprésentée dans le dataset et aura potentiellement plus de poids par rapport aux variables continues.

Si tu utilises des algos impliquant des calculs de distance (k-NN par exemple), il faut que tout le monde soit dans le même range, [0 1] typiquement.

Faut pas trop se faire chier avec l'algo, de toute façon, à la fin, c'est toujours la méthode de gradient boosting qui gagne

Amen.  

Merci beaucoup Blasta
 

 
Ouaip du coup les kagglers font de la merde, bon ça les empêche pas d'avoir 99% d'acc mais bon si l'ingé qui m'interview est rigoureux ça passera pas  

https://towardsdatascience.com/no-m [...] d3952234e3

 
Ouaip du coup les kagglers font de la merde, bon ça les empêche pas d'avoir 99% d'acc mais bon si l'ingé qui m'interview est rigoureux ça passera pas   [/quotemsg]
Les méthodes utilisées sur Kaggle ne sont quasiment pas applicables à des problèmes réels. Dans la vraie vie, personne ne cherche à maximiser l'accuracy. Il y a tout un tas d'autres paramètres à prendre en compte, notamment les KPI métiers et la facilité de mise en oeuvre en production.

Bon merci tout le monde, j'ai torché mon premier entretien technique. Plus qu'à charbonner pour les suivants (si j'en ai mais je pense que oui)  

Raconte comme cela s'est passe.

Entretien via skype en anglais, toujours un plaisir  

Première partie on discute tranquille de ce qu'ils font, de ce que moi j'ai fait en stage et dans mes projets perso sur mon Github, elle avait l'air intéressée donc c'est cool, quelques ptites questions techniques du style "Ton jeu était imbalanced, comment tu as résolu ça", "quel modèle de deep t'as utilisé et pourquoi" etc. mais rien de fou

Seconde partie en partage d'écran, elle m'a donnée un jeu de données assez dégueu, je devais faire de la classif binaire. J'ai drop vla des colonnes à l'instinct    

Mais j'ai quand même justifié avec la matrice de corrélation / test d'indépendance pour montrer que je suis un famoso data scientist

Finalement je sélectionne mes features au pifomètre grace à une compréhension business très fine, les distributions sont dégueulasses -> PowerTransformer -> loi normale, elle a trouvé ça incroyable

Ensuite train - test, randomgrid search pour tester plein d'hyper paramètres boom prédiction 100% d'accuracy, la meuf était scotchée, j'étais en sueurs car là jpensais j'avais laissé la target dans le dataset mais même pas,

Après ptit debrief elle m'a dit que j'ai did super well et qu'elle expected pas ça  

Quand elle me parlait elle me disait "you will be working on..." et on a parlé du visa donc jpense c'est bon signe

D'ailleurs question : jdois m'attendre à combien de temps avant un feedback ? Je la relance quand si j'ai rien ? Jcomptais lui envoyer un ptit mail pour la remercier demain soir et lui demander les prochaines étapes mais ça fait un peu forceur

 
Bien joué.  
   
Je te souhaite le meilleur pour la suite

 
Nice, well done!
 
 
"on a parlé du visa" C'est dans quel pays ?  

Merci tt le monde
 
Singap' !

Bravo !

Attend trois jours et, si pas de retour, demande où en est le process par email (et/ou pose lui tes questions si tu en as).

Si c'est pour les US attend-toi à pas mal d'obstacles de la part des services de l'immigration qui vont tout faire pour te décourager et décourager la boîte de te prendre si un américain peut occuper ton poste.

Tu as dans tes contacts quelqu'un qui a suivi le même changement ?  De France vers le pays que tu cibles avec un visa délivré pour bosser dans cette boîte et interdiction d'en changer (US toujours ) ?

Prévoit un pécule de côté pour le retour si jamais ça ne te plaît pas au final

C'est pas aux USA, je me suis d'ailleurs fait défoncer à un test technique pour une top start-up là bas  

gg  

 
Donc il considère avoir une

 
 
Alors qu'il admet ne pas savoir définir une proba conditionnelle
 

Ué il confond savoir implémenter un truc et comprendre pourquoi ça marche, pas étonnant de la part d'un ricain. Paix sur eux cependant  

 
Suffit de savoir de compter dans un sous-ensemble et de faire une règle de trois

Je sais pas que redémontrer Borelli Cantelli ça sert à rien en pratique

Mais ça laisse songeur sur la compréhension des algos par la majorité des DS

 
   
Emile est Français

Question "bête"  

L'ingé qui m'a interviewé veut que je lui envoie le test technique pour que le reste de la team puisse voir le travail. C'est autorisé de "cleaner" le notebook en rajoutant des explications, formatage ? En soi je modifierai pas le fond mais la forme pour que ça soit plus clair. Car c'est un truc codé en live et ça fait déjà 3j donc jsp