Reprise du message précédent :
Tu es dans le cas d'une régression, mais pas forcément linéaire, c'est toi qui décide du modèle
Mais bon, effectivement avec seulement 10 échantillons, c'est probablement le meilleur choix

Ce que tu proposes a du sens mais est un peu manuel alors que tu peux directement estimer ce genre de choses lors du fitting du modèle

Si tu entraines un modèle linéaire avec des variables non corrélées avec ta valeur cible, normalement elles auront naturellement un coefficient nul (enfin peut être pas avec 10 échantillons)
Tu peux régulariser aussi explicitement en pénalisant la norme L2 des coeffs, ça s'appelle la ridge regression
Tu peux aussi pénaliser une norme plus robuste que la L2 (cherche Lasso regression), qui va avoir tendance à annuler les petits coeffs (donc à éliminer completement les variables pas très importantes)

Ah oui et sinon, 10k mesures par échantillon c'est beaucoup
Tu peux aussi peut être utiliser une technique de réduction de dimensions genre PCA pour visualiser tes 10 échantillons dans une base adaptée

Je ne sais pas quel langage tu utilises mais toutes ces méthodes sont en général disponibles facilement

Merci! Je suis en python (donc scikit-learn. ).

10k variables pour 10 échantillons peut importe la méthode ou modèle je ne vois pas comment tu peux obtenir un résultat intéressant et valide d'un point de vue statistique

Bah il se peut tout à fait que des variables correlent fortement avec la valeur cible
Mais c'est vrai que vu la taille de l'échantillon, la confiance en ce modèle sera probablement assez limitée

Faudra l'évaluer avec un leave one out sur les 10 échantillons pour voir si d'une part le modèle stable et d'autre part vérifier que ça overfit pas

Ça peut suffire si les données sont par nature de rang très faible (idéalement au plus 10 pour que le système soit au pire sur-déterminé) et qu'une bonne technique de réduction de dimensionalité est appliquée. Il peut aussi faire de la sélection de features mais avec 10 points ça sera pas fameux je pense.

Vu que j'ai plus d'une valeur par seconde, j'aurais aussi deux valeurs différentes pour 11h30 si je prends la B. Ou alors j'ai pas compris ce que tu as dit  
Et la convention ce n'est pas très important, sauf si tu es le seul à ne pas utiliser la même que les autres Parce que si je dois dans le futur croiser mes données avec d'autres sources qui utilisent une autre convention, va falloir que je fasse un convertisseur... C'est pas la mort mais bon...

Ah oui, tu as raison    
Bah disons que c'est plus satisfaisant d'avoir une valeur centrée plutot que décalée
Par contre si ca va a l'encontre des autres conventions, je suis d'accord qu'il vaut mieux plutot suivre la majorité

Ecole d'ingénieur groupe B/C... en informatique

Pour ceux que ça intéresse : https://www.lip6.fr/colloquium/
"Une approche géométrique de l’apprentissage non supervisé", une conférence "world-class" de Léon Bottou au LIP6 à Jussieu ... pour les Parisiens donc  

Hello, j'ai trouvé un poste de Data analyst (plutôt que scientist en fait, c'est plutôt bien pour moi vu qu'il me manque quelques compétences assez poussées en math/stat/algos.
On bosse avec un labo de recherche qui fait la partie vraiment"fondamentale" du travail et on se concentre sur l'utilisation et l'analyse.
Ça parle de maintenance prédictive, c'est exactement ce que je voulais faire je suis hyper content
On a du Spark pour regarder des Times séries et on anticipe la maintenance.
Youpi  

J'ai plus qu'à passer la période d'essai maintenant  

 
 
Bravo    
La maintenance prédictive c'est "trendy" : https://fr.linkedin.com/pulse/la-ma [...] us-thierry
 
Et courage

Woot je vais finir peut-être par avoir un vrai salaire HFR compliant  

C'est un domaine qui m'intéresse parce que j'ai beaucoup bossé dans l'industrie (la bonne vieille qui tâche, avec des usines vieilles de 100 ans) et j'avais vu pas mal d'axes d'amélioration

 
Félicitations !
 
Je suis intriguée de savoir quelles sont les compétences que tu estimes avoir besoin d'approfondir avant de devenir Data Scientist.

Je dirais que pour être un vrai data scientist faudrait que je comprennes plus en profondeur les algorithmes de machine/deep learning pour être capable d'en faire moi même, par exemple.
Là on est surtout utilisateurs des outils et on fait plus de développement pour la mise en production, enfin dans leur définition de analyst/scientist

 
Je vois. Merci de ta réponse.
Au final dans ce cas, cela veut dire que c'est presque indispensable de faire un master, non ?
Toutes les formations d'entreprises que j'ai vues restent vraiment en surface sur ce sujet.

Difficile de répondre, ça dépend de ton parcours et de ton expérience. En auto formation j'ai réussi à apprendre suffisamment, mais j'ai un doctorat en physique comme background ça aide (même si je suis une pipe en stats et probas ), j'aurais pu faire un truc plus "scientist" je pense, en complétant sur le tas.

Après, analyst ça me va mieux. J'ai fait 15 ans de R&D, donc être sur des sujets plus pratiques, aller voir les clients, etc ça me convient plus pour changer

Tiens, j'en profite pour partager mon cours préféré sur le machine learning : Learning from Data par Y. Abu Mostafa https://www.youtube.com/playlist?li [...] 4B7615313A.
 
Il y a une bonne partie de théorie, et je le trouve d'une pédagogie exceptionnel. Contrairement aux MOOCs traditionnels, les cours sont directement ceux de Caltech et durent plus d'une heure chacun.

Z'avez vu ?
Ya une chaire "Sciences des données" au collège de France : Leçon inaugurale - Stéphane Mallat
Et la suite des cours : https://www.college-de-france.fr/si [...] 7-2018.htm
J'ai pas regardé ; c'est sans doute un peu moins concret et appliqué que les MOOC.

Mallat    
Un des meilleurs profs que j'ai eus pendant ma scolarité, même si effectivement c'est probablement plutot du coté théorique  

Petit question au topic:
 
en terme de package/conditions de travail/evolution, il y en t'il une vraie différence entre un "data scientist"( Machine learning , stats , etc etc...) et un " data engineer"( travail avec de grand volume de données, Spark Hadoop etc etc ...) ?
 
tout ca dans le domaine bancaire/assurance, et pour un JD....
 
merci  

Oui.

Dans quel sens ?

Data scientist > Data engineer en termes de rémunération, clairement.

C'est surtout que le data scientist est plus visible.
 
Toutes les boîtes pensent avoir besoin de data scientists, très peu ont conscience d'avoir besoin de data engineers.

+10

drapal
en mode discovery

J'étais vendredi à une présentation (informelle) d'un master de physique à Jussieu et le prof parlait ouvertement du big data comme débouché possible pour les diplomés. Il disait que les physiciens étaient recherchés car aguéris à l'analyse de données (j'ai direct pensé à zuf) mais que l'aspect physique était aussi utile mais je n'ai pas bien compris pourquoi

Ca va faire un mois que j'essaie de me faire une config pour jouer avec du DL/Kaggle  la maison... les prix des GPUs sont complètement délirants. Je n'ai qu'une hâte, que le prix des cryptocurrencies tombe à 0 pour:
a) mettre fin au gaspillage énergétique de cette connerie que sont les XXX cryptos sur le marché. Que des pigeons se fassent plumer honnêtement ca m'en touche une sans bouger l'autre mais que ca impacte l'environnementsans rien produire de valeur ca me révolte.
b) mettre fin à cette inflation sur le prix des GPU type 1070/1080...

Vaiment frustrant, pas vraiment envie de claquer 1000 balles dans un GPU

Messieurs    
 
Pour mon stage de fin d’études commençant dans un mois, je vais principalement bosser sur du NLP. Je suis donc à la recherche de papiers ou références littéraires sur le sujet afin de mieux appréhender la mission. Si vous avez ça sous le coude, je suis grandement preneur.  

Pour les "académiques", NVIDIA peut vous envoyer une Xp gratuitement.
 
A vue de nez, c'est pas très sélectif, ils m'en ont envoyé une alors que je fais de la recherche très appliquée utilisant du ML.
 
https://developer.nvidia.com/academic_gpu_seeding

Ça va on est équipé au boulot, c'est pour la maison!
A moins que "on" ne soient toi et ta moitié, auquel cas respect!

Bonjour à tous,
 
(1er post sur le thread data   )
 
Je cherche à comprendre les différences entre Criteo et Rakuten Marketing (anciennement Nextperf) à Paris concernant des postes de Data Scientist / Data Analyst.
 
Je me doute que Criteo est bien plus gros. Mais laquelle des 2 boites a la plus forte croissance? Les ambiances et les rems sont-elles différentes?
 
 
Si certains ont des insights cela m'aiderait beaucoup.
 
 
See you
 

Féloches  

En réponse à ta question: Matrix Algebra: Theory, Computations and Applications in Statistics, Springer

GG t'as l'air d'avoir bien bossé pour gagner ta place !