Reprise du message précédent :

 
Faudrait surtout que tu dises d'où tu viens et ce que tu fais.
Parce qu'entre un cursus ingénieur à Supelec + MVA et un Master à l'X ça s'adresse pas aux mêmes personnes  

Perso, j'avance toujours dans mon projet de ré orientation.
J'ai fini tout une série de cours chez coursera (machine Learning, regression, classifiers, clustering), J'ai fait une pause avec un cours D3.js pour la visualisation, puis une introduction à tableau (que je trouve pas mal d'ailleurs), j'ai enchaîné sur un autre cours chez udemy qui reprend pas mal des concepts déjà abordés chez coursera mais sur d'autres cas.
En parallèle de ce dernier cours je me suis inscrit sur le MOOC Big data de IBM pour pratiquer un peu hadoop.

Ça commence à bien rentrer à force de travailler.
Les points qui me restent à travailler: les bases en SQL. Un peu de data mining.
Et bien sûr reprendre mes cours de stats élémentaires. Je galère en ce moment sur des concepts de base, c'est un peu frustrant.

J'ai passé l'après-midi sur le test chi2 hier. Je vois bien comment ça marche mais une fois passé à python j'y arrive pas. Ça doit être un truc tout bête...

Bref à terme je pense viser un poste avec un minimum de management. Je ne suis pas vraiment junior, ça me semble difficile de trouver un poste purement technique, même si ça serait préférable dans un premier temps.

C'est quel test de Chi2 que tu veux faire ?
 
Si c'est le test sur table de contingence:
https://docs.scipy.org/doc/scipy/re [...] gency.html

Merci.
Bon apparemment, je me suis emmêlé les pinceaux entre les différents tests, en particulier entre scipy.stats.chi2 et chi2_contingency
 
J'avais fait des essais sur 2 exemples basiques :  
- Sur l'exemple bateau de x lancers de dés où on veut déterminer si c'est "fair", j'ai utilisé scipy.stats.chi2, qui donne les résultats attendus.
- Un jeu de données "bancaires" (light) avec 2 variables (sexe et une numérique), qui ressemble à ça :  
 

 
La question dans l'exercice est de déterminer si les hommes ou bien les femmes ont plus de chances de quitter la banque. Et de dire si c'est statistiquement significatif.
A la main, on trouve que c'est significatif est qu'on peut bien affirmer que les femmes ont plus de chance de quitter.  
J'avais essayé avec chi2 sans succès et avec chi2_contingency c'est OK (logique à vrai dire ).
Je trouve chi2 = 113 et p~e-26 donc à priori je suis bon
 
Bon, ça reste basique mais faut bien reprendre à la base

 
En general, c'est le cas ideal pour un Fisher exact test:

=> 2.2397e-26
 
 
Mais comme tu as des grandes values (total > 1000), on prefere utiliser le Chi2:

=> 112.92 et 2.2482e-26

Merci
Je ne connaissais pas encore le test de Fischer, je viens d'ailleurs de voir que tu en as parlé sur le topic voisin (stats) Je vais regarder ça.
Ca commence à rentrer mais je trouve qu'il n'est pas évident d'intégrer certains concepts.
 
Sur un autre exemple, j'ai un piège :
 

 
Sans réfléchir, je suis tenté de dire que la colonne de droite est significative mais en fait :

Je m'embrouille toujours dans les formulations mais je dirais :  
Ma p valeur est supérieure à 5% donc je peux affirmer avec 95% de certitude qu'aucune des deux situations envisagées n'est favorable.
 
(je vais devoir bosser encore pas mal je pense)

 
Ouais, c'est ca:
 

=> pvalue = 0.49
 
Hypothèse nulle = valeurs sont égales.
Hypothèse alternative = valeurs sont inégales.
 
Comme p > 0.05, tu ne peux pas exclure l’hypothèse nulle.

Bonjour à tous,
 
J'aimerais dans le cadre d'un mémoire en actuariat mettre du Machine Learning pour prédire le prix des actions... et faire la comparaison avec les modèles classiques (BS, Merton avec saut..).
 
J'ai trouvé des sources sous R mais ça ne m'a pas l'air simple : https://github.com/daumann/r-stockPrediction
 
Est ce que vous pensez que c'est jouable pour quelqu'un qui ne connait rien en ML ? si oui, le site que j'ai trouvé est il bien ?
 
Je précise que ce serait juste un paragraphe à part pour montrer qu'il existe d'autres modèles donc ça ne serait pas le sujet principal du mémoire.
 
Merci d'avance
 
++

Predire le prix des actions rien que ca. Tu vas avoir du mal a trouver quelque chose de correct en libre acces en ligne...
En plus ludique tu as ca https://github.com/maxbbraun/trump2cash

T'es mal barré, BS c'est pour les options pas les actions

Chaud frr, c'est vraiment assez compliqué comme projet car t'as un ensemble de paramètres qui ont des natures très différentes qui influent sur le prix. Enfin sauf si tu veux juste regarder la courbe, mais bon... voilà la qualité des résultats.

Une marche aléatoire sera surement plus prédictive que n'importe quel model

Hello,
Merci de vos réponses.  
Bon ok je laisse tomber, je vais rester sur mon ancien modèle mais je mettrais peut être un peu de blabla sur le ML en conclusion.

 
 
Beeen, techniquement dans BS, tu dis que le prix du stock sous-jacent suit une loi log_normale donc c'est pas totalement faux

J'ai testé celui là, en partenariat avec IBM
https://bigdatauniversity.com/
 
J'ai fait que le début, mais je trouve que c'est pas trop mal fait au moins pour une bonne introduction.

Messieurs, j'ai une offre pour un poste de R&D en Data Analytics dans le milieu industriel (IoT & usines) pour lequel j'hesite beaucoup. La localisation n'est pas parfaite et j'ai deja fait 5 ans en R&D dans une autre entreprise. L'idee ici et de gagner un maximum d'experience dans le domaine et de bouger peut etre sur des roles axes plus consulting.
 
Je me pose des question car c'est de la corporate R&D et j'ai peur de me retrouver "fiche" en tant qu'ingenieur R&D a vie apres avoir passe 5 ans + aller sur ce poste. Domaine de competence/entreprises completement differents.
 
Salaire tres confortable et bon contrat (heures supp payees...)
 
Vous en pensez quoi: le domaine est-il tellement dynamique que je pourrais bouger dans 2-3 ans quel que soit le groupe/entreprise?  
 
Ce qui me fait peur c'est que certaines personnes dans l'equipe que je vais rejoindre sont sur leur poste depuis 10 ans et ca fait un peu peur de se retrouver dans une dead-end

J'ai l'impression que le domaine est tellement dynamique que si tu t'ennuies tu pourras partir facilement n'importe où.
Après, le fait que les gens soient là depuis 10 ans est peut-être aussi lié à une bonne situation, bonne ambiance, bonne paye... C'est pas forcément négatif.

Difficile à dire sans info plus précise sur la localisation et la rémunération. Le marché de l'emploi est-il dynamique dans le secteur ? Idéalement, quel job te voyais-tu exercer après 5 ans en R&D ? Passer en consulting après avoir été en R&D, ça s'apparenterait davantage à une régression de mon point de vue.

Ou alors c'est une boîte de planqués. J'ai vu les deux exemples et c'est difficile à distinguer sans y mettre les pieds.

Localisation en Allemagne dans un coin pas super attractif. Je suis mobile et un demenagement est a prevoir pour ce poste, et je suis pret a quitter la region a nouveau pour un autre poste. Remuneration autour de 100k.
Dans la plupart des organisations R&D pour les grands groupes industriels, c'est a la fois de bonnes conditions/bons salaires, mais avec un lot de planques. Lire quelques avis sur Glassdoor j'y ai vu un commentaire recurent sur les opportunites de carrieres limitees.

Le consulting que je fais aujourd'hui est du "management consulting" qui m'amene a des positions type "line management" dans environ 1 an (dans des domaines pas forcements techniques).

Attention aux impôts en Allemagne... Célibataire ? Frontalier ?

 
Je suis deja employe/resident en Allemagne. L'imposition au final (supernet) y est tres proche de la France a ces niveaux de salaire.

Joli salaire    
Tu pourrais donner un peu plus d'infos sur ton xp/profil ?
 
Sinon pour repondre a ta question, je pense que le Data Analytics a encore de beaux jours devant lui.
Meme s'il y avait une hype en ce moment (ce dont je ne suis pas sur), il y aura toujours besoin de gens pour organiser et exploiter les données, qui seront de plus en plus grosses.

Mon profil: 7 ans d'experience au sein d'une meme boite. 5 ans en R&D corporate dans le domaine des systemes d'energie (ingenierie process/thermodynamique) avec developement d'outils in house. 2 ans en management consulting interne (finance/IT/supply chain) avec une plusieurs projets en S/W development sur une application cloud-based NodeJS/python pour donner acces a des algos ML a des utilisateurs non techniques.

 
C'est pas N****S ta boîte ?

non  

 
Par curiosité, c'est situé entre Mann*** et Stut***  et commencant par un W?  

Et le passage que j'ai fait avec 5 ans de R&D, 2 ans de business management... vous pensez quoi d'un retour en R&D pour quelques annees sur un domaine different? Risque d'etre flagge et de ne plus pouvoir retourner vers l'operationel?

Bonjour à tous,
 
Je travaille dans l'IT et je réfléchis à une reconversion dans le domaine de la data science.
 
Vous avez des infos sur le master data science de l'université de Lyon 1 ? Est-ce qu'il est accessible en venant d'une formation hors info ou math ?
 
Merci,

Hello, je me pose une petite question, j'espère que quelqu'un pourra m'aider.
 
Je suis en train de faire un modèle de régression sur un jeu de données de ventes immobilières (la compétition kaggle (https://www.kaggle.com/c/house-prices-advanced-regression-techniques).
Je voulais commencer par un lasso pour sélectionner mes paramètres.
 
Un des paramètres est le type d'allée qui mène à la maison, si je trace le prix moyen selon que c'est pavé ou gravier ça donne :  

 
Sauf que sur les 1600 maisons, j'en ai seulement une dizaines qui ont du gravier. Donc je ne suis pas certain de la pertinence de ce paramètre (d'ailleurs la taille de la barre noir pour Grvl est énorme).
 
Bref, ma question est la suivante :  
- Est-ce que je dois faire un test statistique (genre rank sum ?) pour confirmer que c'est pas pertinent et ne pas l'inclure dans mon modèle
- Le Lasso va se débrouiller tout seul pour écarter le paramètre ?
- Les deux ?
 
 
Edit: ça me semble pas très indépendant comme variables, non ?

Drapal  

@zuf : pourquoi tu traites pas le type de revêtement comme une seule variable ? Normalement après le lasso le sélectionne ou non. Enfin j'en suis pas très sur hein.

Bonjour,
 
J'ai en ma possession un ensemble de données composé de données discrètes et d'autres continues. Ces données sont des données médicales associées à une maladie (variables cibles). J'ai un dataset où j'ai plus d'exemples labellisés que de features, et je travaille sur 7 maladies définies.
 
Comme vous l'imaginez, in fine, je vais chercher à faire un classifieur.
Toute fois, j'essaye de voir comment je pourrais faire du feature selection dessus afin de comprendre qu'elles sont les features importantes pour chaque maladie (class specific feature selection ?).  
Mon souhait n'est donc pas d'avoir les meilleurs features (wrapper methods) pour un classifieur mais bien de savoir qu'elles sont les variables les plus corrélées avec une maladie. Le must serait de classer les features par ordre d'importances en supprimant les features inutiles.
 
Vous avez une idée d'approches ?  
 
Je pensais regarder du côté du Chi2 (continues) et Linear discriminant analysis (discret) puis utiliser l'algorithme de LASSO pour supprimer les features 'inutiles'.
Mon souci est du coup de pouvoir classer ensuite les features par ordre d'importances ...
 
Merci d'avance

tu devrais jeter un œil aux random forest (RF). Par contre les RF ne capturent pas que les "corrélation linéaire".
Elles capturent l'importance d'une feature dans la baisse de l'erreur associé au modèle. Plus cette feature participe à la baisse plus elle est importante.

+1, j'aurais pas dit mieux

Effectivement beaucoup de gens utilisent le mot corrélation dans le sens "non indépendant" alors que la corrélation a un sens très restreint (par exemple X et X^2 ont une corrélation nulle)

Avec le RF comme avec LASSO, les features "non idependante" entre elle ne seront pas toutes sélectionné non ?
 
Mon idée est vraiment de capturer toutes les features qui sont "non-independante" avec la feature cible puis de les classer et enfin de supprimer les inutiles (avec un RF pourquoi pas).
En effet, mon but n'est pas pour l'instant d'améliorer le modèle mais de voir la dépendances entre les features et la feature cible
 
Merci d'avance
ps: n’hésitez pas à me corriger si je dis n'importe quoi

Link du topic stats ? Thx (pas de fonction recherche fonctionnelle ici)

Thierry Breton qui parle de machine learning sur la 13

 
Digression: quelle branche de maths ou d'algorithmique est utilisée pour des lagorithmes prédictifs de comportement humain svp?

la théorie des jeux est l'étude mathématique des interactions stratégiques entre joueurs

Bonjour,
 
Des gens connaissent le Msc entre l'essec et centrale? et surtout la sélectivité ?  
 
gracias