Reprise du message précédent :

Merci à vous, ça va dans le sens que je voyais

 
Salut!
 
C'est typiquement un problème que l'on résout avec Random Forest ou XGBoost. C'est de l'apprentissage supervisé, de la classification (puisque tes données sont labélisée fraude/non fraude) et non du clustering. Les méthodes de clustering sont des méthodes qui permettent de séparer les données de façon non-supervisée.
 
Pour appliquer Random Forest ou XGBoost ça se fait assez facilement avec scikit-learn sur Python. Néanmoins, suivant tes données tu peux avoir un très gros travail de nettoyage en amont. J'ai écris plusieurs tutoriels dans lesquels j'explique pas à pas comment appliquer ces algos. Voici les liens :
 
XGBoost et RF pour classer les accidents par ordre de gravité : https://larevueia.fr/xgboost-vs-ran [...] -la-route/
 
Introduction à RF avec le problème Kaggle sur le Titanic : https://larevueia.fr/tutoriel-kaggl [...] -disaster/
 
Fonctionnement théorique de RF : https://larevueia.fr/random-forest/ (Jérôme Milot)

Il y a quand même une part de clustering, puisqu’il souhaite former des groupes à partir de ses individus fraudeurs et que les regroupements n’ont l’air connus à l’avance  

Il faut admettre que la description du cas d’usage est faite avec les pieds    
 
Il y a une première partie de classification supervisée, puis une seconde de clustering non supervisé. Mais pour quoi faire au final ? La France veut savoir   Pour créer de nouvelles classes à partir du clustering et faire de la classification supervisée sur ces nouvelles classes ?   Le mystère reste entier  

Le type qui écrit des blogs mais confond un algorithme avec l'implémentation d'un algorithme, ça donne confiance.

Non, c'est clair.
 
Il veut faire du clustering pour déterminer les caractéristiques types des différents types de fraudeur. J'imagine qu'ensuite, les caractéristiques qui auront été déterminées pourront permettre de détecter des fraudeurs en évaluant la distance d'une observation aux différents types de fraudeurs. Ceci à condition, bien entendu, qu'on ne retrouve pas les mêmes caractéristiques types chez les non fraudeurs.
 
Un jeu de données de détection de fraude étant par nature très déséquilibré, faire du clustering sur la population complète ne donnerait des informations que sur les non fraudeurs. Et il est assez courant que, sur ce type de use case, une approche strictement supervisée ne donne aucun résultat.

Avant de lancer le bazooka du clustering (que je trouve toujours très chiant à faire perso), tu peux faire des choses très simples.
 
Des stats descriptives, des tests paramétriques/non paramétriques.
 
Je pense que c'est largement suffisant pour ton cas d'usage.

Yo tout le monde,
 
Vous avez des ressources / conseils sur les bonnes practice ML ? Ma boite actuelle est un peu à la rue et c'est l'occase d'améliorer leur workflow  
 
Je pensais à :
 
Jira / Bitbucket pour tout ce qui est gestion des issues / pull requests, car là actuellement c'est un peu le zbeul
Robot framework pour tester le code AI  
Faire en sorte que tout le monde utilise le mm formatage / linting / doctstring
 
D'autres idées ?  
 
 

Une petite couche de Jenkins ?

- JIRA + Gitlab, avec integration de Gitlab dans JIRA, de sorte qu'une requete fermee dans JIRA ferme l'issue dans Gitlab.
- Pour Python:
-- Formatage automatique avec black ou yapf.
-- Controle qualite avec Pylint et/ou Flake8.
-- (Optionnel: force le typing de Python avec Mypy => cela permet un code plus robuste et plus clean).
-- Ajouter les controles en amont avec pre-commit et en aval avec le continuous-integration dans Gitlab.

Jenkins je connais pas donc jvais pas m'avancer, sinon oui c'est grosso modo ce que je leur ai recommandé, merci

Franchement leur codebase a l'air infecte, heureusement y'a un ingé assez doué qui fait de son mieux mais tendu

Pour les notebooks vous les gérez comment ? On dump tout dans un repo github  

ptite question Data Science  
 
On a des images pourries qui passent dans notre classifier, on veut les identifier et les virer en amont. Une image pourrie c'est assez large dans notre cas, ça peut être une image de mauvaise qualité (bruitée, où on voit rien) ou une image de "bonne" qualité mais qu'on ne veut pas quand même (genre il manque un bout d'un truc crucial).  
 
Jpensais faire juste des stats / CV classique (avec skimage) pour virer facilement ce genre d'images MAIS ils veulent absolument faire du ML    
 
Jpensais faire un autoencoder entraîné sur des images qu'on utilise en prod puis de virer les images bad quality en thresholdant sur la reconstruction loss, oui non ? Une meilleure idée ?    
 
Notamment ce papier : https://github.com/dmzou/RSRAE  
 

Ça a du sens oui, si les images sont suffisamment représentatives

Deja utiliser git avec CI/CD et pr pour éviter que les gens fassent nimp. Ensuite si possible standardiser le framework (choisir tf2 ou Pytorch). Pour ça pas besoin d'outil spécifique, des outils de dev suffisent.

On évoque même pas la possibilité d’utiliser R  

Il parle de computer vision la  

Pas faux. Sinon ça serait intéressant d’ajouter ce qui vient d’être dit sur les bonnes pratiques ML en first page. Si le taulier passe par là

bordel de merde mon autoencoder marche pas et j'arrive pas à reproduire les résultats du papier    
 
en plus jcrois c'est codé avec le cul  
 

 
pk ils font ça ptn

Si vous me faites un post bien structuré, je peux le copier/coller en FP

 
 
Saah le ML dream
 
J'ai la même chose en ce moment    
 
Mon boss veut que je prenne le code d'un ancien stagiaire pour le faire run dans une app web      
 
Je lui ai dit cash que passer d'un résultat vite fait qui marche en local pour un paper à de la prod ça marche quasi jamais, il m'a pris pour un fou    
 
 
Bonus point : le mec a littéralement appelé ses variables avec le nom des variables de maths      
j'ai la moitié de l'alphabet grec qui traine dans ses fichiers    

 
La même avec le repo que j'ai link au dessus, sah quel plaisir les x_tilde et les z    
 
Franchement j'en peux plus jvais go RSA et basta  

NowC va préparer un truc bien écrit pour sa boîte, il pourra le mettre sur le fofo
 
Merci d’avance, cordialement

 
Jvais me faire virer avant vu que j'arrive pas à résoudre leur pb de mort  

Ca me choque pas tant que ca si c'est cohérent avec le papier
Apres, ca depend si la quantite représente quelque chose qui a une signification compréhensible ou pas
 

Oui alors par contre je précise tout de suite: va me falloir un truc un peu mieux rédigé que son DS de terminale  

 
Heuuu un peu de respect, je suis data scientifique maintenant  

 
je pourrais croire que c'est moi le stagiaire

non mais j'crois que t'as pas compris
y'a pas la variable

qui traine pour régulariser, ça c'est normal et j'osef

y'a

   
Du coup t'apprends les codes ASCII par coeur ou tu fais du copier/coller a chaque caractère ?  

 
Background du stagios ?  

C'est pas Julia qui fait ca, avec toute la symbolique ?

 
le mec qui a fait ça est un putain de fou furieux.

 
Les ravages des options latin/grec pour être dans les bonnes classes au collège

 
Bah j'ai du tout rechangé a la main déjà
 
Fin j'ai réécris 90% de son code donc s'est passé à la trappe    
 
 
EPFL
 

 
Le pire c'est qu'il a une belle ligne sur le CV après son passage ici    

 
ah
 
oui là non

C'est débile mais je trouve ça énorme

Je rêve ou leur implémentation est fausse en plus ?  

Puis d'une façon générale jtrouve pas le papier dingue, ils choisissent 1 classe du dataset comme étant une anomalie et regardent s'ils peuvent la virer, jpense que c'est un peu trop simple comme pb, dans la vraie vie c'est pas ça quand même. Car oui si tes inliers c'est chiens-chats-hamsters et que tes outliers c'est des avions, t'arriveras probablement à les virer  

Avis ?  

EDIT : ptet c'est l'inverse en fait mais leur implémentation reste cheloue, faut je relise le papelard  

C'est bien l'inverse ils fixent 1 classe comme étant la classe normale et prennent un certain nombre d'anomalies des autres classes

EDIT2 : Le code fait bien ce qu'on veut mais la nomenclature est triso, ils devraient mettre for inlier_class in inliers_set à la place de anomaly in anomaly_set, ptn jpp  

Fig. 1  : La réalité du métier de data scientifique - nettoyer des données ou récupérer et bricoler des algos tout pétés
 
 
 
 
En fait si les salaires sont élevés en DS c’est pas pour empêcher les DS de partir à la concurrence, mais pour les dissuader d’aller plutôt élever des chèvres.  

Le head of AI qui code tout dans le même fichier python    
 
Je craque lô    
 
C'est même pas un meme, littéralement CHACUN fait sa tambouille dans son coin, je sais mm pas comment la boite tient debout là. C'est moi qui ait suggéré d'au moins dump les notebooks au même endroit  

En vrai jpeux overfit à mort mon dataset, présenter un joli 98% AUC et empocher mon bonus  

Tu vaux pas faire un blog ?    
Ou une bd ?    
Ou un blog bd ?  

Excellente idée