Reprise du message précédent :
Le code a pas l'air faux, par rapport a la slide; mais leur ligne avec le premier bullet point m'étonne, j'aurais plutot vu un truc genre  
w_0^k <- \tilde{w}_k
(je connaissais pas cet algo, c'est juste que ca me parait bizarre de recommencer de w_1 à chaque fois)
 
Sinon, est-ce que tu as essayé de diminuer fortement la variable step ?

Pas de souci avec cette variable à priori.
En fait, l'algorithme est très lent, et stationnaire. Je vais minimiser un tout petit peu, puis ça va rester constant, alors que cet algo est censé être linéaire. On a fait d'autres algo comme coordinate descent, ou juste le gradient stochastic "classique" et tous marchent sans problème...

Mon réseau de neurones marche nickel ! Merci tout le monde !
 
Quelqu'un a de la littérature sur les algos permettant de modifier le taux d’apprentissage au cours des boucles ? Je trouve rien de concret dessus  

Cool ! Juste par curiosité, quel était le problème ?
 
Une liste des différents algos d'optimisation (dont certains estiment le pas autoamtiquement): http://ruder.io/optimizing-gradient-descent/
Sinon, une heuristique qui est souvent utile c'est de diviser le pas d'apprentissage par 5 ou 10 dès que ton erreur se stabilise, pour essayer de gratter quelques % supplémentaires

C'est un changement d'algorithme d'optimisation souvent.

Plutôt que de faire SGD à pas fixe on entraîne avec Adagrad, Adadelta, Adam, RMSProp... Qui adaptent le pas d'apprentissage par paramètre.

Mais sinon il y a aussi des stratégies simples même avec SGD classique et ses variantes non adaptatives (la version accélérée Nesterov par exemple). Tu peux multiplier le pas par une constante <1 après une epoch si l'erreur n'a pas "suffisamment" diminué.

 
 
Justement... Je ne sais pas !
 
J'ai pris un script vierge, j'ai tout refait en suivant attentivement le cours du prof... mais j'ai repris les fonctions de mon ancien script (erreur, gradient etc.), j'en déduis donc que mon implémentation était correcte (de ces fonctions tout du moins). Néanmoins, je soupçonne fort le fait que je me sois planté sur les mathématiques (sur le calcul matriciel... même si tout compilait, j'ai pu faire un cafouillage au niveau des dimensions...).  
 
En tout cas, je reprendrais à tête reposée mon ancien code pour identifier l'erreur.  
 
 
Merci Darmstadtium et Rontgen ! Je vais me pencher dessus . J'aimerai rendre un truc vraiment nickel. (Je met environ 30-40 sec à trouver les paramètres optimaux, j'aimerais optimiser tout ça )

 
Merci!

Du coup qui est encore chaud pour les challenges Kaggle ?
 
Je viens de finir le MNIST avec tensorflow, qui serait partant pour les autres ?
Pour l'organisation, j'ai simplement mis le code sur mon github...

Vous le mettez dans votre CV que vous avez suivi des MOOCs de machine learning? et si oui vous l'insérer dans quelle catégorie?
ça se fait de le mettre dans les technical skills directement même si on a pas eu l'occasion de l'appliquer dans le cadre pro? ou bien c'est mieux de le mettre dans Education ?
 

 
Bien sûr ! Pourquoi ne pas le mettre ?
 
J'ai fais une categorie Formation Complementaire pour les mettre
Ca vaut pas un master mais c'est forcement positif. En entretien, je suis tombé sur un groupe qui faisait justement le Mooc d'Andrew Ng une fois.
 
D'ailleurs celui pour Deep Learning est en ligne mais il manque encore les deux derniers cours.

Oui je l'ai mis aussi.
C'est dans mes expériences professionnelles même, vu que je suis au chômage depuis an, j'ai mis ça là pour pas avoir de trou dans mon CV.
J'ai mis les moocs, les compétitions suivies etc.

Je vois beaucoup de gens le mettre mais je n'en tiens pas compte généralement.
 
A vrai dire, je l'utilise même contre les candidats. Par exemple, si je reçois le CV d'un type qui se prétend data scientist, qui a exercé jusqu'à récemment un poste impliquant de l'analyse de données mais pas de "vraie" data science et qui a suivi un MOOC il y a 6 mois, c'est poubelle direct. C'est le parfait exemple de quelqu'un qui tente d'exploiter la hype data science mais qui n'a pas de compétences dans le domaine.

Ça dépend du contexte, du passé, combien de moocs il a suivi, ce qu'il a fait à côté.
Un MOOC c'est en effet un peu juste mais perso j'ai toujours pris le temps de regarder les CV atypiques, on y trouve des gens intéressants

merci pour vos réponses
intéressant!
Si j'ai bien compris @BlastaaMoof, tu jettes les types qui se prétendent data scientist alors que non, mais tu fais quoi des CV "honnêtes" où le type se présente clairement comme étant compétent en analyse de donnée mais désirant faire la transition en data science, tu jettes aussi?
Dans un monde où tous les recruteurs sont des BlastaaMoof, ça semble difficile (voir impossible) de passer d'un job impliquant de l'analyse de donnée à un job de data science non? même avec un profil quantitatif (matheux, physicien)? Dans un tel cas, comment faire la transition si les mooc ne le permettent pas? refaire un master+stage?  

Le contenu de ce message a été effacé par son auteur

 
 
C'est intéressant comme réponse. C'est quoi pour toi "des compétences dans le domaine" ? Avoir suivi des cours théoriques costauds genre MVA à l'ENS ou EK/M2MO ? Savoir implémenter efficacement une série d'algos connus ? Les deux ? Avoir fait des stages dans le domaine ?  
 
Après c'est clair que se prétendre Data Scientist en n'ayant suivi que des moocs c'est bizarre... Après un profil matheux/physicien/ingé qui veut se réorienter en data sciences et qui montre qu'il a suivi X Moocs et fait X compets genre Kaggle ça peut être intéressant... my2cents

Si j'ai bien compris, tu veux savoir si on peut (modéliser) prédire un comportement humain à partir de données de comportements humains (par exemple, des séquences d'action). Oui mais pour être précis, disons qu'un motif est déjà en quelque sorte un modèle.

La prédiction d'activité humaine est un domaine de recherche plutôt à la mode en Machine Learning / Data Mining. Une équipe assez avancée dans le domaine est le CASAS : http://casas.wsu.edu/
En particulier, leurs dernières publications portent sur la prédiction d'activités humaines à partir de données de capteurs posés dans des maisons (ce qui a l'air de correspondre à ce dont tu parles) : http://casas.wsu.edu/publications/

Pour remonter à un niveau d'abstraction au-dessus, cela revient à des variantes d'un problème assez ancien : la prédiction dans les données temporelles / séquentielles

Par curiosité, je vais aussi retourner la question aux candidats (vu que bon, c'est pas toujours facile de recruter des talents dans ce domaine):
Qu'est-ce qui rend une offre attractive selon vous ? Est-ce que vous postulez partout ou alors il y a des choses qui vous rebutent dans une offre d'emploi ? Dans l'absolu, quel serait votre job idéal ?

 
Pour moi, tant qu'on a des bases et de la motivation, ça peut le faire. J'ai vu en pratique que l'essentiel du boulot est appris sur le tas pour les débutants (ou disons à expérience limitée).
Quand j'ai démarré ma thèse je ne connaissais quasiment rien au sujet, ça m'a pas empêché de réussir avec du travail.
C'est pour ça que j'ai toujours été assez ouvert dans mes recrutements (thèses ou ingénieurs).
Après bien entendu, si tu es dans une situation où tu as besoin de quelqu'un en urgence qui sera opérationnel, tu dois être beaucoup plus sélectif.
 
 
Dans les entretiens que j'ai passé, j'ai vu de tout au niveau des recruteurs. Mais la plupart n'étaient pas bloqués par le fait que j'étais pas du domaine, sinon ils m'auraient même pas reçu en entretien. J'ai vu des boîtes où des gens ont été recrutés après des doctorats pourtant pas en math/stat/ML, on forme un peu les gens et voilà

 
Perso, j'aimerais avoir l'impression que la boîte est active et pas à la rue au niveau technos : par exemple si on me parle d'excel je vais fuir direct
Faudrait que l'offre propose de travailler avec des outils/technos récents et qu'on soit prêt à s'adapter au besoin.
 
Après, j'ai un soucis : je m'ennuie vite si j'ai l'impression de toujours faire la même chose. Donc, j'aurais tendance à privilégier les offres où on a des missions variées. On va moins loin dans les modèles/analyses je suppose mais ça permet de changer.
 
J'avais postulé pour une offre dans une grosse boîte, l'essentiel du boulot c'était d'optimiser un moteur de recherche et rien d'autre, j'avais trouvé ça intéressant mais je savais que ça finirait par être lassant.

 
- Si c'est une start up, je regarde le projet/concept général de la boîte sur leur site, si ça parait sérieux/intéressant. Sinon je regarde le champ d'application, si c'est pour vendre des machines à laver bof (mais comme première expérience je ferai quand même pas trop le difficile )
- Les technos utilisées: si y en a trop, c'est un peu louche, risque de toucher un peu à tout en surface. Quand c'est indiqué excel/sql, ça me tente pas trop non plus (je fais peut être le difficile)
- Les qualifications requises. Je ne postule pas aux offres où ils est explicitement recherché quelqu'un qui a fait des mathématiques appliquées et/ou statistiques ou des prérequis comme strong experience in machine learning, je n'aurai aucune chance!

 
 
1) Le salaire bien évidemment, on se lève à 6h du matin pour aller au boulot pour gagner de l'argent, pas pour s'épanouir personnellement ou je ne sais quoi
 
Après il faut bien sûr regarder les perspectives d'évolution de carrière (et donc de salaire), les avantages de la boite (CE, mutuelle etc. ) mais ça rejoint l'intérêt pécuniaire.  
 
2) Je viens d'une petite école d'ingé et je n'ai pas encore fait mes preuves (je suis en M1) donc oui je postule (presque) partout,ce qui me rebute ce sont les offres utilisant des buzzwords pour camoufler des missions chiantes. (wow venez pisser du code web dans un environnement BIG DATA )
 
3) Bien payé, perspectives d'évolution, problématiques intellectuelles intéressantes ...

Le contenu de ce message a été effacé par son auteur

Je rejoins grandement ce qui a déjà été dit. Je suis en pleine recherche de stage de fin d'études et suis confronté au grand nombre d'offres présentes.

Malheureusement beaucoup trop d'offres surfent sur la Hype et balancent les buzzwords dans tous les sens pour au final rechercher quelqu'un de compétent sur Excel, ppt, et éventuellement SQL...

Ensuite je tente d'éviter les offres de "simple" analyse. Je cherche quelque chose de plus stimulant. Puis un projet intéressant. Il y a des choses qui m'ont tapé dans l'œil chez Airbus par exemple, ou même la DGSE l'année dernière.

Pour finir salaire, cadre (entreprise agréable), avantages. Le salaire joue un rôle important mais je ne me vois clairement pas accepter un poste sans grand intérêt, pour moi, uniquement pour le salaire.

Et en dernier la localisation. Je suis parfaitement mobile mais Brest par exemple c'est non pour moi

Il y a clairement beaucoup d'offres mais il faut faire un bon tri.

En tout cas pour Andrew Ng, les moocs c'est suffisant pour commencer

Découvrez le Tweet de @AndrewYNg : https://twitter.com/AndrewYNg/statu [...] 24737?s=09

C'est  un peu beaucoup de la pub deguisee.

C'est pas faux

Jviens d'implémenter un K-mean pour classifier 4  clusters (60 points en tout).
 
Mon algo trouve les 4 centres en 3 itérations, c'est normal que ça soit aussi rapide ???

Si tes points sont biens stratifies, ca converge vite oui.

Je pensais essayer d'utiliser un NN sur des donnees de genotyping (donc 0/1/2*10^6 pour chaque individu) pour predire des traits phenotypiques (variables continues). Par contre j'ai aucune idee de comment implementer ca.
Si certains ont des exemples, je suis interesse!

Stratifiée? Dans quel sens? Tu veux dire qu'il y a le même nombre de points pour chaque classe? Cette méthode est aussi sensible à l'initialisation il me semble.

Pour le génotype, tu as pensé aux random forest?

Coucou ! Je pose mon drapeau.
 
Je m'intéresse aux formations pour éventuellement me "réorienter" vers la data science.
 
Les certificats (15-25 jours selon les formations) me paraissent un bon compromis pour avoir un truc diplômant et une base technique relativement solide sans y passer une année entière comme en master.
 
Du coup, deux questions vite fait :
Vous avez des retours sur les certificats des différentes écoles (X, Ensae, Paristech), voire du CNAM ?
Est-ce qu'un tel "diplôme" se valorise facilement sur un CV ? (je ne vois pas pourquoi pas, mais on sait jamais, peut-être que je m'illusionne !)
 
Merci à tous !

C'est super cher, ça peut être intéressant si c'est ta boîte qui finance, mais si c'est de l'autofinancement autant suivre les MOOC de référence + les livres classiques (introduction / elements of statistical learning) : en si peu de temps tu ne vas pas couvrir beaucoup plus que ça!
 
Sur le CV ça ne changera pas grand chose, sauf peut être a profiter du réseau de la formation  
 
A savoir : même si ça part d'une démarche positive, la "réorientation" à un côté péjoratif en France et est mal vue par les recruteurs, surtout en data science, où vu la mode en ce moment ça attire pas mal de farfelus. Comme le sujet est vaste et technique : dur pour un non spécialiste de juger de la compétence de quelqu'un, autant éliminer tout ce qui sort de l'ordinaire.
 
Je ne suis plus autant convaincu d'une pénurie de profils de data scientist : il y en a certainement moins que de développeurs mais il y a également beaucoup moins d'offres. Le métier n'est pas non plus si nouveau que ça, ça a juste changé de nom. Des formations spécialisées existent donc depuis longtemps.
 
Ça reste un sujet passionnant et d'avenir, c'est possible de trouver mais ça sera plus difficile qu'en ayant fait de la data science directement à la sortie de l'école

Oui je compte me le faire financer bien sûr
 
Merci pour ce retour
 
J'ai pas un profil si farfelu, diplôme d'ingé avec une bonne dose de maths/stats, et dans ma vie pro j'ai déjà touché plusieurs fois à ce domaine (données et stats) mais de manière assez artisanale. Je voudrais être plus solide techniquement pour éventuellement me vendre, mais ça m'intéresse aussi pour ma culture générale.

Bon les gars, faut faire de l'analyse d'image  

Je suis à la conférence internationale principale de computer vision là et c'est incroyable comment les boîtes recrutent agressivement, que ce soit des startups ou les GAFA
Je reviens d'une soirée m1cr0$0ft où ils ont réservé une salle d'un hôtel méga classe avec traiteur et cocktails à volonté juste en échange de son lien LinkedIn
Demain c'est au tour de M@m@zon, je vais essayer de m'y incruster aussi

ça recrute que en computer vision ?
J'ai vu plein de firmes financières qui s'y mettaient aussi. Suffit de voir les sponsos de l'autre conférence de l'autre côté de la méditerranée

J'ai fait un topic mais je repost ici comme vous avez l'air de vous y connaitre. Et je cherche un pro de R/séries temps sur Paris pour travail rémunéré !
 
Salut    
 
Je travaille sur un projet et j'aurais besoin de données auxquels ma fac n'a pas accès, plus précisément celle de CRPS :  http://www.crsp.com/products/resea [...] databases. J'ai vu que les étudiants de dauphine, edhec, escp, certaines institutions,... y avaient accès via WRDS.  
 
Pour les curieux => le papier sur lequel je fais ce projet : "The profitability of pairs trading strategies: distance, cointegration, and copula methods"
 
Il me faudrait les données en gras idéalement au format csv (je suppose que je dois pouvoir faire la suite tout seul avec python   )
 
Our data set consists of daily data of the stocks in CRSP from July 1st, 1962 to December 31st, 2014. The data set sample period is 13216 days (630 months) and includes a total of 23616 stocks. In accordance with Do and Faff (2010) and Do and Faff (2012), we restrict our sample to ordinary shares, which are identifed by share codes 10 and 11 in the CRSP database. In order to avoid relatively high trading costs and complications, we have further restricted our sample to liquid stocks. This is done by removing the bottom decile stocks, in terms of market cap, in each formation period. For the same reason, stocks with prices less than $1 in the formation period are also not considered. To increase the robustness of our results and to replicate practical trading environments as closely as possible, we use trading volume to filter out stocks that have at least one day without trading in any formation period in the respective trading period. In summary, our data set is consistent with that of Do and Faff (2012).
 
 
Si quelqu'un en banque a accès à ces datas ou à un truc similaire je prends aussi
 
Merci à celui qui prendra le temps de faire ça  

Ah mais j'ai jamais dit que ça recrutait que en computer vision  
Ce que je voulais dire c'est que ça fait quelques temps que je suis dans le domaine et j'observe vraiment un pic en ce moment

C'est probable qu'il y ait des boîtes en finance qui recrutent aussi, je ne m'y intéresse pas du tout

J'ai fait des petits réseaux pour reconnaître des images de chats c'est suffisant ?

Mon superviseur m'a prévenu qu'il y aurait ça

Je suis de Dauphine, j'ai pas le temps de te récupérer les datas (jamais utlisé WRDS) mais si tu bouges jusque dans le 16ème je te file la carte étudiante et des passwords et tu peux récupérer par toi même (gratuitement bien sur)

J'ai juste une question : tu fais quelle formation? Je compte faire un master stat et finance l'année pro histoire de faire un peu de ML appliqué à la finance donc ça m'intéresse

Super merci si je trouve pas d'ici quelques jours je veux bien (un peu la flemme d'aller jusqu'au 16eme la )
 
Le master c'est le m2 empirical finance (recherche) à Paris 1. Pas de stats ou de truc compliqué juste des séries temps des trucs comme ça. Pour ce projet par exemple je dois reproduire les tests du papier sur python.  
 
Je suis déjà admis en école de co top 3 ou top 5 selon la formation que je prends (pge ou ms) mais je vais me refaire un master recherche plus poussé en économetrie aussi l'année pro ! Si t'as des idées je prends !