Reprise du message précédent :

 
Merci beaucoup pour ta réponse, c'est super gentil        
 
Mais c'est là où je me rends compte que j'ai pas mal de lacunes dans les trucs basiques quand même; ça craint

il n'y a rien de philosophique ! les variables continues prennent leurs valeurs dans un ensemble ordonné. Les variables catégorielles, pas forcément. on a bien 3 > 1 mais pas rouge > bleu. Il y a bien des transformations (one-hot, ordinal, ...) pour passer du numérique au catégoriel mais selon moi elles sont plus bancales les unes que les autres.

Sinon, pour les p-values, c'est moins grave : dans quelques années ça risque d'être abandonné :

Du coup faut quand même savoir ce que c'est pendant encore quelques années

 
 
Je recherche un stage en Data Analyst / Statistiques dans la région parisienne. Vous connaissez des boîtes qui recrutent des Bac+3 ? Malgré un CV bien rempli dont une première expérience consultant Data je sais pas trop vers qui me tourner
Si vous avez des idées je suis preneur  

 
Pour combien de temps ? En général ce qui est bloquant c'est la durée du stage plutôt que le niveau d'études (3 mois c plus galère à trouver que 6 mois ... )
 
 
Merci TiDom pour ta réponse, quand le data set est composé de valeurs continues et de valeurs après one-hot-encoding, il se passe quoi ? Je visualise pas bien ce qui va merder dans ce cas  
 
 
Pour la p-value et les tests stats, je regarde ça, ça me rappelle des souvenirs de L3  

 
Pour 4 mois max, de Mai à début Septembre
Tiens justement  on a vu les pvalue en début d'année  

Oui enfin on est d'accord que si un candidat me répond ca, bien évidemment que c'est un bon point
Mais ca me semble être une situation théorique: quelqu'un qui ne sait pas ce qu'est une p-value, il ne pourra pas vraiment comprendre cet article ni ne saura argumenter sur pourquoi il y aurait de meilleurs méthodes
 
Mais si tu veux, je peux remplacer la question par une formulation bien plus pratique
"quand je fais des expérience avec deux réseaux de neurones, comment je m'assure qu'il y en a un qui est vraiment meilleur que l'autre ?"

 
Des petites questions qui peuvent tomber:
 
Comment on fit un réseau de neurones simple (sur papier) : par exemple un perceptron avec fonction d'activation au choix ?
C'est quoi la backpropagation?
Comment régler le taux d'apprentissage pour la descente de gradient?
Avantage de la descente de gradient stochastique?
Cites moi un cas dans lequel tu as besoin d'augmenter tes données? Comment on peut s'y prendre?  
Quelle différence il y a au niveau de la dernière couche d'un réseau de neurones qui cherche à prédire:
a)des classes exclusives ( par exemple des chiffres à prédire de 1 à 9)
b)des classes non exclusives  (par exemple pour des espèces :  reptile ou non - lézard ou non)

Ouaip en gros la p value ça sert à rien donc chais pas pq on nous casse les couilles avec ça        
 
déjà ça calcule pas le bon truc d'après ce que j'ai compris car nous on veut P(H0 | x) alors que la p-value ça donne P(x | H0)  
 
Ensuite y'a des questions d'hypothèses non vérifiées en ML, je regarde le papier donné par TiDom là    
 

 
 
Pardon je ne me suis pas expliqué : la raison principale qui fait que le one-hot est populaire, c'est qu'en général, les variables catégorielles ont peu de valeurs (petit domaine de définition), donc ça génère peu de nouvelles variables : dans ce cas c'est ok. Toutefois, dans beaucoup de cas réels, les variables catégorielles prennent leurs valeurs dans un grand domaine de définition, ce qui génère beaucoup de nouvelles variables et complexifie la tâche d'apprentissage qui suit. Pour faire face à ça, une solution "simple et populaire" et de faire du binary encoding, i.e., une partition en deux groupes de valeurs (donc deux variables générées). En fait, il y a un monde entre ces deux extrêmes, (comme en discrétisation supervisée, il y a de la place entre une valeur par intervalle et deux intervalles seulement), on peut explorer l'espace des partitionnements des valeurs d'une variable catégorielle, en gros faire de la catégorisation supervisée de valeurs en tant que pré-traitement.
 
D'une manière générale, j'adhère à la vision de D. hand qui dit que : "the large gains in predictive accuracy in classification are won using relatively simple models at the start of the process". En gros, après une belle phase de pré-traitement, ton xNN (ou un autre classifieur/régresseur) ne s'en portera que mieux. D'ailleurs pour le vérifier (et on devrait le vérifier dans chaque cas d'application), un bon protocole expérimental avec tests statistiques (ou bientôt des tests Bayésiens) pour vérifier les différentes combinaisons preprocessing+classif, est le bienvenu... ça évite de vendre un xNN à 110 couches* si un simple arbre de décision est plus performant
 
*

 
Encore des gars qui publient en faisant du p-hacking et qui décident donc de dire que la p-value ne sert  à rien  

 
Moi j'aurais dit en regardant leurs capacités de généralisation mais visiblement c'est pas ça la réponse...
 
Tu attends quoi à ça ?
 

 
Merci en tout cas

 
Oui, à mon avis aussi, c'est aussi important que la connaissance du fonctionnement interne de divers algorithmes de machine learning.

Ben d'accord mais comment tu fais ca ?
Ton réseau A a une accuracy de 97,3% sur un ensemble de validation et ton réseau B a une accuracy de 97,6%  
Est-ce que tu peux me dire si B est vraiment meilleur que A ?

 
Facile
 
T'utilises le R²
 
 

Bordel je suis vraiment bidon en stats
 
Va falloir que je regarde ça cette aprem

 
Comparer deux expériences, c'est la base de n'importe quelle démarche scientifique
Un mec qui essaye plein d'idées et qui avance pas parce qu'il ne sait pas reconnaitre celles qui sont réellement utiles, ben c'est lui qui est inutile

D'accord donc il faut évaluer si cette différence est statistiquement relevant et pour ce faire on peut faire un t-test

Par contre y'a pas des hypothèses de normalité à respecter ?

Y'a aussi chi-carré comme test pour d'autre type d'output

 
Pas du tout, si jamais ton ensemble de validation est déséquilibré par exemple avec 90% de oui, un algo qui renvoit toujours 'oui' aura 90% de précision
Après y'a la matrice de confusion , et on peut aussi regarder la taille du jeu de validation

Et ca veut dire quoi, "vraiment meilleur" au juste ?

Commencez pas à m'embrouiller

 
Que la différence d'accuracy moyenne entre les deux classifieurs est statistiquement significative ?  

Non mais d'accord, si ton validation set a pas la même distribution que le training set, ton expérience est à jeter de toute facon...

Vous croyez que ca compte tout ca ?
Le plus important c'est comment en mettre plein la vue aux investisseurs pour qu'ils lachent x0 milions dans votre start-up de 7 personnes.  

Certains de mes clients sont justement ces start-ups qui doivent délivrer les résultats qu'elles ont promis
Du coup, indirectement, je prends les thunes des investisseurs sans le risque  

+1 Putain    
 
Les vrais ML ENGINEERS utilisent le même set pour le train et le forecast bordel  
 
Et pendant ce temps-là les néandertaliens en COGIP te vendent ces INNOVATIONS DISRUPTIVES à 200M€ comme étant "structurant pour l'entreprise"  
 
De toute façon c'est pas Frédéric Oudéa qui viendra foutre le nez dans ton code  

 
Oué ben c'est pour ça que ça avance pas dans le bon sens

Ne pas monter sa start up disruptive en IA & blockchain en 2019 jpp

Ce ne serait pas l'occasion d'utiliser de faire des "ROC curve" et de calculer les "Matthews correlation coefficient"?

Bon je connais pas mal de trucs mais y'a aussi pas mal de choses que je maîtrise pas, en particulier tout ce qui touche aux tests stats etc. On verra bien ce que ça donne
 
En tout cas merci tout le monde pour votre aide

Bonne chance
Tiens nous au courant

Bon ça s'est très bien passé, l'entretien technique n'était pas si technique que ça et tournait beaucoup autours de ce que j'avais fait à mon précédent stage et de l'offre en elle même  
 
Petit bémol : équipe full recherche pas du tout exposée aux clients = pas de thunes  
 
Mais le sujet a l'air intéressant et je serai assez libre + gros industriel français sur le CV
 
à voir s'ils me disent oui  

Je suis entrain de découvrir le deep learning pour essayer de remplacer des algos maisons de détection de défauts (saleté/rayure) par des choses plus répétables et performantes.
Au début je ne pensais même pas m'intéresser au machine learning mais j'ai vu des solutions commerciales (chères) proposer ça.
Est-ce le bon topic pour en parler ? Certains on de l'expérience avec ces softs de vision (Cognex, Halcon, etc.), ont-elles réellement un avantage par rapport aux SDK open-source ?

après midi sur les mathématiques de l'intelligence artificielle :  
https://www.math.u-psud.fr/Maths-IA/

Open Machine Learning Course mlcourse.ai:
https://mlcourse.ai/
 
 

Salut, est-ce que quelqu'un ici connaitrait les languages de programmation utilisés dans les 3 masters principaux de Data Science ( Disons MVA, StatML et DS Paris Saclay). C'est plutôt python ou R pour ces masters?

Full python chez moi
 
Sauf le cours de bayesian learning en R on sait pas pourquoi

T'es où j'ai la flemme de scroll ?

DS Paris saclay

Python <3, j'attends les réponses pour les autres

Pour le MVA, c'est full python, bien souvent des notebooks (que je commence à détester, tous les dms sont des notebooks...)

On a même une matière où on doit faire du machine learning mais on a le droit à aucun autre package que numpy

Des connaissances en R ou MATLAB peuvent être utiles dans certains, mais en ce qui me concerne, j'en ai pas eu besoin.