Reprise du message précédent :
Ca a vraiment amelioré les résultats de faire de la reduction de dim sur des images, par rapport a un reseau de neurones direct ?

Le fit est bcp plus rapide déjà
 
Et en terme de perfs (precision, f1 etc.) Ça drop juste d'un chouïa

Je suis preneur du papier

On cherche un data engineer sénior si jamais ça intéresse  
Et du trapu please.

Effectivement tu vois mal

Là où je suis actuellement en stage (recherche quantitative axée machine learning dans une banque top 3 à Londres pour rester un poil vague) il y a plusieurs stagiaires du MVA et ceux avec une expérience en finance préalable sont plus l'exception que la règle

Je suis moi même doctorant en machine learning sans expérience des produits financiers (et j'étais pris au MVA ).

Donc clairement les profils ML et stats computationnelles intéressent de plus en plus les banques, et je pense qu'actuellement il y a même au moins autant à faire de ce côté là que côté sto/edp

Salut, je dois résoudre un problème de régression assez particulier, et je peine à trouver des infos (en fait je sais même pas comment appeler ce type de problème ).

Chaque échantillon de mes données comporte :
- X : des données climatiques (températures et précipitation quotidiennes sur une année). Ce sont donc des séries temporelles.
- Y : une date de floraison d'un certain type de plante qui aurait poussé dans ces conditions climatiques.

J'aimerais créer un modèle pour prédire Y en utilisant X. Avez-vous des idées ?

Encore un intitulé qui ne veut rien dire

Vu ton avatar, tu veux prédire la date du hanami ?
 
Ca me parait etre un problème de régression assez classique.
Ma première approche serait de transformer la date Y en un nombre [0;1] ou 0 est le 1e janvier et 1 est le 31 décembre, ou plutot 0 pour la date minimum dans ton ensemble de données et 1 pour la date la plus tardive.
Concernant X, si tu as peu de données, tu peux essayer d'extraire des features qui ont du sens; sinon tu te fais pas chier et tu utilises un réseau de neurones

C'est principalement pour prédire le cycle de croissance du riz, c'est moins glamour...
 
Désolé, mon message était trop court, je n'ai pas expliqué la situation suffisamment...
Pour Y, j'avais pensé à ça, effectivement.
Pour X, j'avais pensé à calculer les moyennes mensuelles etc... Mais il semblerait que la tendance, l'ordre de succession des valeurs est aussi assez importante, et on perd cette information en moyennant. Un réseau de neurone complexe (une entrée par jour) pourrait faire l'affaire j'imagine ?

Toujours commencer par une bonne grosse étape de visualisation. Cela t'aidera à définir des estimateurs discriminants.

edit :

Pour illustrer l'intérêt de la visualisation, je te propose de jeter un oeil au webinar suivant : https://fr.mathworks.com/videos/mac [...] 00694.html
L'exemple 1 (à partir de 10:00) est simpliste mais intéressant et généralisable à d'autres problèmes. D'ailleurs il traite également de séries temporelles.

si t'essayes les reseaux de neurones, tu peux aussi essayer un CNN pour exploiter la dependence temporelle de tes données au lieu d'y aller en mode bourrin 1 entrée = 1 jour et dense layers

Le contenu de ce message a été effacé par son auteur

Sur ta fenêtre glissante (prends plus que 3 points), tu calcules non seulement la moyenne mais aussi l'écart type.
Si il y a une valeur qui est au delà d'un intervalle genre [-3 sigma; 3 sigma] c'est probablement une mesure à dégager
Enfin je dis 3 mais faut ajuster

Hello

Certains ont déjà tenté la freelance ?
On a pris un freelance devops chez nous, quand je vois le tarif ça me titille
Comment ça se passe en général ? On te file un set de donné avec un objectif et tu as n jours pour sortir quelque chose ? C'est des missions chez le client ou à domicile ?

3 ans d'analyse de données avec beaucoup de R et un peu de python/spark c'est light ?

J’y songe pour plus tard, mais pour l’instant je trouve que je ne suis pas prêt, notamment niveau réseau et soft skills
 
Si je le fais je pense que j’essaierais dans un premier temps sur mon temps libre pour voir de quoi je suis capable, me faire la main, peut être mettre en place des process.  
 
Pour l’instant je suis plus à l’aise avec un salaire qui tombe tous les mois

J'y réfléchis aussi ... mais je suis toujours en réflexion
Si y a des retours d'expérience, je suis preneur

Prend la median.

C'est une idée encore meilleure

Tu peux essayer de trouver une solution intermédiaire, par exemple rejoindre un cabinet d'expertise ou de conseil dans ce domaine particulier
Ca te permet de gagner beaucoup d'expérience, potentiellement du réseau et d'avoir un salaire un peu plus élevé (même si pas au niveau d'un freelance) en ayant un job un peu plus secure

Franchement, vu l'offre pléthorique au travers de SSII (spécialisées ou non), je suis sceptique sur le business model.

Ouais enfin on parle pas du même genre de profil que la majorité des ingénieurs de SSII

 
 
C'est un peu bizarre ta remarque : pour les autres domaines des SSII (dev, BD, ...), y a aussi des freelance/indépendants qui ont fait leurs armes en SSII avant de se lancer non ?

Le contenu de ce message a été effacé par son auteur

Pour les autres domaines, la demande est sans commune mesure.

Que pensez-vous de ce master en cours du soir. Bonne alternative ou pas par rapport aux MOOC ou CNAM
 
Est-ce pertinent si on a déjà un DUT STID + M2 MIAGE
 
http://offreformation.univ-lyon2.f [...] 997_fr.pdf

Ca a un terme precis: median absolute deviation (MAD)

https://en.wikipedia.org/wiki/Median_absolute_deviation

http://eurekastatistics.com/using- [...] -outliers/

Y'a très peu de bon data scientist en ssii.

Alors c'est marrant parce que je suis sur un problème similaire et j'ai pris une moyenne +3 sigma.
Je voulais tenter avec la médiane mais en Spark c'est assez lourd à calculer donc je vais devoir rester sur la moyenne pour pas trop charger la mémoire.

Faudrait que je poste un graphe pour illustrer. J'ai des valeurs tout le temps comprises entre 0 et 5 en gros, et puis au bout d'un moment j'en ai une au dessus, puis une deuxième et de plus en plus.
L'idée est de compter ces pics et de déterminer à partir de combien de pics je dois lever une alerte pour une maintenance.
Pour l'instant c'est assez basique : je compte un point dès qu'il est au dessus de 3 sigma, puis je fais la somme de ces points sur une fenêtre et des que j'en ai plus qu'un nombre défini alors c'est une alerte.
Sauf que cette limite est définie arbitrairement et je me demande s'il y a une meilleure méthode pour ça.

Sinon pour détecter les pics j'ai aussi tenté un arima mais ça me semble bien lourd pour pas grand chose.

Question subsidiaire : je ne suis pas sûr que ma distribution de points est normale (plutôt log normale je dirais). Est-ce qu'une approche 3 sigma est toujours valable ? Il me semblait que la normalité de la distribution était une hypothèse

Oui c’est vrai ce serait un bon moyen de transition. C’est marrant car quand je lis cabinet de conseil je me rends compte que ça ne me fait pas du tout envie pour l’instant, je préfère travailler sur un produit.  
Mais bon ça peut s’essayer pour voir.

Ce sera pas la première fois qu’une approche qui semble non valable mathématiquement fonctionne empiriquement
Cela dit si tu as des preuves que c’est log normal (peut être tu peux faire un test de distribution pour t’en convaincre), pourquoi ne pas calculer la moyenne et 3 sigma après exp() ?

Je vais faire les tests pour vérifier le type de distribution, je tâtonne un peu mais j'avance
 
Après, oui, j'ai testé le truc sur plusieurs dizaines de cas et ça fonctionne bien (en gros je trouve les alertes au moment où le système les envoie, donc je peux les anticiper)
Mais comme au final je vais avoir beaucoup plus de cas à traiter je voudrais être "certain" que ça va être valable

De mon expérience, ni plus ni moins que dans les entreprises elles-mêmes...

 
Voir même très peu de data scientist tout court

 
C'est partout pareil en fait
 
Et pourtant les boîtes fonctionnent quand même pas trop mal dans l'ensemble

Quels boîte ? Techniquement les grosses boîtes et ssii sont quand même hyper null en general.... surtout en data et co...
Elles ont la force de frappe de leurs tailles et de leurs lobby mais franchement ca vol pas haut en général.

Ca dépend quel entreprise. Mais si tu veux des vrai data-scientiste en presta tu va pas chez Capgemini. Tu vas chez gamma, quantmetry ....

Salut    
 
Quelqu'un a une idée de comment downsampler intelligemment un data set ?  
 
~ 1 demi million de lignes, 60 colonnes, 7 classes différentes unbalanced (80% des exemples étant dans les 2 premières classes)
 
J'aimerais arriver à ~15 000 lignes en respectant au mieux les proportions de chaque classe.  
 
Une idée de package, méthode ? (Python)
 
Merci

Mais stop tes poncifs là c'est pénible

Je parlais de toutes les boîtes dans tous les domaines en fait.
Je lis partout que tout le monde est mauvais et ne sait rien faire (je caricature un peu) et en pratique j'ai vu ça nulle part et on a plein de boîtes hyper compétitives

Pourquoi un tirage complètement aléatoire ne convient il pas à la situation ?

C'est 3 fois rien 500k lignes, pas besoin d'en enlever

Avec pandas:  
 
df.groupby(‘Classe’).apply(pandas.DataFrame.sample, frac=0.03).reset_index(drop=True)
 
?