Reprise du message précédent :
 
Oui, ce n'est pas forcement ML, mais data au sens large.

 
En effet beaucoup d'acteurs sont attirés par la hype et les mouvements de capitaux vers le ML/DS sans vraiment y toucher - rien de nouveau

Hello,
Voila je me presente je suis business analyst dans la finance depuis 10 ans.  
Actuellement au chômage (merci le confinement) j'envisage d ème réorienter vers le métier de datasicentist via une formation en ligne d'une dizaine de semaines. J'ai une licence de math à la base et un master en économétrie.
Pensez vous que via de tel formation, je puisse facilement m'insérer dans ce domaine ?
Je vous cache pas que c'est aussi parce que c'est un domaine qui recrute pas mal apparemment , je ne suis pas un passione du big data mais disons que c'est un domaine qui peut m'intéresser.

 
 
Il y a pas mal de postes en BA dans ce domaine ?

C'est plutôt une bonne idée : ça recrute bien et autant des têtes bien faites (payés au lance pierre n'est ce pas ) que des profils expérimentés ou des reconversions (je trouve la tienne intéressante).

Avant ta formation commence les cours (avec exercices à la fin) sur kaggle pour te faire une première idée de ton appétence pour la fonction. En fonction des salaires auxquels tu veux prétendre il faudra probablement te mettre sur des concours (kaggle toujours) et te construire un petit github qui montre comment tu travailles.

Intéresse toi fort à Python, les structures de données, le ML, le (no)SQL, les API REST, GIT, Spark et les tests unitaires / tests d'intégration. Ça va être intense si tu étais bien payé à ton précédent boulot et que tu veux retrouver un salaire similaire mais si tu apprends bien et que tu es soigneux franchement ça devrait rouler

 
Vise plutôt data analyst orienté métier, tu seras + crédible a mon avis.

 
Il y a des formations particulierement adapté pour cela ?

 
J'ai eu plusieurs profils dans mes collègues (avec plutot 6-7 ans d'exp) et ils ont jamais eu trop de soucis donc go mec

 
Les mêmes trucs en ligne il le semble genre data quest et compagnie.
Après à toi de vu ce qui peut te convenir  

I violated a code of conduct  
https://www.fast.ai/2020/10/28/code-of-conduct/
 
 

 
 
Curieux de lire la réponse de NumFOCUS.  

C'est clair... Le type pond un blog post de 15 pages pour chouiner. Tout ça pour défendre les Jupyter notebooks en plus. C'est un peu comme si le type se plaignait de s'être pris un tir de LBD après une manif de soutien à Michel Fourniret.

J’aime bien Jeremy Howard, mais sérieux...
Il y a vraiment des gens, à part lui, qui utilisent Jupyter pour du dev un tant soit peu sérieux?  

Du coup NC tu pars quand ? Comment ça se passe avec le reconfinement ? La France veut savoir.

C'est un gros classique maintenant pourtant.

Le problème n'étant pas de faire "un dev sérieux" mais "trop de datas pour faire un extrait qui peut tourner sur des postes individuels et trop d'emmerdes à filer et gérer des accès VNC / RDP pour toute l'équipe pour que les devs collaborent"

On en est pas au confort de VS code , Pycharm and consort mais ça reste plutôt très efficace ...

Après si le dataset fait 50Go tout mouillé et que l'équipe datascience c'est deux pequins ou que les ops ont le temps de fournir les meilleurs services et ont les droits qui vont bien effectivement ça se discute

 
Je conçois le truc pour faire de l’EDA, prototyper un peu, mais pour les modules? Pour packager le code?  
 
Il y a probablement quelque chose qui m’échappe, je n’ai jamais passé beaucoup de temps dessus. Toujours eu l’impression que c’était pratique pour démarrer sur un sujet, analyser, lancer rapidement un peu de code ou même illustrer des notions dans le cadre de cours ou partager une analyse (markdown et les plots intégrés c’est col pour ça). Après, pour partager le code, le rendre réutilisable, l’organiser, etc... Jamais compris le truc  

Le notebook pour moi c'est devenu un outil de restitution.
 
Aujourd'hui je scripte généralement dans VS et à la fin je vais tout mettre dans un notebook, notamment pour les commentaires où c'est plus lisible que d'avoir des #ce bout de code fait blablabla.

C’est du agile : la code avant la documentation, principe de parcimonie en utilisant du code facile....  
 
 
Ouais mais eux ils ont peut-être pas foiré leur DS en 2012  

Petite question algo
 
J'ai un grand nombre de données que je voudrais classifier.
Le point discriminant c'est savoir s'ils sont fraudeurs ou pas, c'est l'information centrale.
 
A partir de la, et notamment s'ils sont fraudeurs, je voudrais faire des ensembles de personnes fraudeuses pour avoir des groupes types représentatifs de ces personnes avec un nombre de critères assez importants.
Quel type d'algo serait le plus à même de répondre à mon besoin ? (K means ?)
 

 

As tu déjà l'information pour chaque personne si elle est fraudeuse ou non ?
 
Ca sera un élément clé pour répondre à ton besoin.

Moi aussi j'ai une question pour les génies du ML
 
J'ai une time série de points x_i
 
je veux prédire certains évènements caractéristique [imaginons les moments où x_i devient 0]
 
A partir d'une time window [15 points par exemple], je peux calculer des features [prenons la FFT et l'amplitude de f = 1Hz] et je veux savoir si je peux en prédire que x_16 = 0
 
Pour déterminer si cette feature permet d'entrainer un classifier pour prédire mon événement, vous découperiez simplement le signal en n sample que vous traiteriez comme des data points lambda ?
 
Mon problème c'est de choisir une bonne découpe, je peux facilement avoir accès aux time windows qui précèdent un événement, mais je vois mal comment choisir le reste du train set.

Ouep j'ai l'info

Je ferais une fonction de réécriture des données qui  prend ta Time série en entrée et sort un .csv avec sur chaque ligne xn+1 ... xn+15 y=xn+16, en faisant glisser ta fenêtre de 1 pas de temps à chaque fois. Au moins t’as une truc propre pour travailler et t’as un gros train et test set.  
 
Et bien sûr k=15 tu fous ça en paramètre réglable pour faire des tests.

Pour découper en groupe il va falloir utiliser des algos de clustering. Tu as plusieurs approches : hiérarchique en arbres, avec des noeuds... :
https://larevueia.fr/clustering-les [...] connaitre/

 
N’abuse pas.
On ajoute ça dans une grosse boucle for, et on va à la machine à café en attendant.  

Soyons vraiment honnêtes : y’a un mec qui a fait ce script, et tous les autres l’ont récupéré pour être les premiers au café.

 
Soyons vraiment honnêtes: stackoverflow est connecté à la machine à café

Tu as un pattern visuellement qui semble précéder ton événement ? Si non j'aurais tendance à bourriner en découpant les samples en tailles différentes et voir ce que ça donne à l'entraînement et valider au test. De notre côté on est en train d'analyser des ECG et on a passé pas mal de temps à observer ce qui précède notre événement pour tenter de différencier de l'activité normale vs ce qui précède notre événement

Avec le télétravail on est pas dans la merde

 
Dans ce que tu décris je vois 2 trucs différents :
 
garder que les fraudeurs et faire de la classification non-supervisée dessus => tu cherches à voir s'il existe différents profils de fraudeurs et en fonction de la technique t'auras les profils moyens de chaque catégorie (centroïd de chaque cluster en k-mean)
 
regarder les stats des features entre ensemble global / ensemble fraudeur pour voir s'il y a des différences significatives pour caractériser les fraudeurs.
 

 
Yep j'ai pensé à faire ça mais avant de l'appliquer je me demande quoi en faire.
Parce que j'aurai clairement pas un dataTest équilibré et que j'vois pas trop quel segment j'devrais garder / virer
Ca peut paraitre con mais vaut mieux bootstrap mes segments positifs et garder un max de segments normaux  
ou virer 80% des segments normaux pour arriver à 50/50 dans le test.
 

 
Si y'a ça j'vais pas devenir millardaire mon jeune    
 
J'suis sur du signal encore plus atroce que de l'ECG, c'est inbitable à l'oeil nu.
 
 

Je dirais que soit ton « y » de sortie tu le considères continu et tu gardes tous les segments créés, soit tu le considères comme un problème de classification « événement ou pas » et tu équilibres. Et le mieux c’est probablement de tester les 2 approches.  
 

Si ça marche je prend 10%. Cimer  

Tu peux aussi choisir l'approche de faire du many-to-many, c'est a dire prendre l'ensemble du signal en entrée et prédire la série entière des classifications en sortie (une série de 0/1). Certes il y aura beaucoup de 0 donc il faut faire attention avec la loss
Par exemple si tu utilises un réseau de neurones convolutionnel, tu peux utiliser un réseau fully convolutional (sans pooling, ou alors avec du unpooling, comme un U-Net par exemple)

Merci à vous, ça va dans le sens que je voyais