Reprise du message précédent :

Merci à vous, ça va dans le sens que je voyais

 
Salut!
 
C'est typiquement un problème que l'on résout avec Random Forest ou XGBoost. C'est de l'apprentissage supervisé, de la classification (puisque tes données sont labélisée fraude/non fraude) et non du clustering. Les méthodes de clustering sont des méthodes qui permettent de séparer les données de façon non-supervisée.
 
Pour appliquer Random Forest ou XGBoost ça se fait assez facilement avec scikit-learn sur Python. Néanmoins, suivant tes données tu peux avoir un très gros travail de nettoyage en amont. J'ai écris plusieurs tutoriels dans lesquels j'explique pas à pas comment appliquer ces algos. Voici les liens :
 
XGBoost et RF pour classer les accidents par ordre de gravité : https://larevueia.fr/xgboost-vs-ran [...] -la-route/
 
Introduction à RF avec le problème Kaggle sur le Titanic : https://larevueia.fr/tutoriel-kaggl [...] -disaster/
 
Fonctionnement théorique de RF : https://larevueia.fr/random-forest/ (Jérôme Milot)

Il y a quand même une part de clustering, puisqu’il souhaite former des groupes à partir de ses individus fraudeurs et que les regroupements n’ont l’air connus à l’avance  

Il faut admettre que la description du cas d’usage est faite avec les pieds    
 
Il y a une première partie de classification supervisée, puis une seconde de clustering non supervisé. Mais pour quoi faire au final ? La France veut savoir   Pour créer de nouvelles classes à partir du clustering et faire de la classification supervisée sur ces nouvelles classes ?   Le mystère reste entier  

Le type qui écrit des blogs mais confond un algorithme avec l'implémentation d'un algorithme, ça donne confiance.

Non, c'est clair.
 
Il veut faire du clustering pour déterminer les caractéristiques types des différents types de fraudeur. J'imagine qu'ensuite, les caractéristiques qui auront été déterminées pourront permettre de détecter des fraudeurs en évaluant la distance d'une observation aux différents types de fraudeurs. Ceci à condition, bien entendu, qu'on ne retrouve pas les mêmes caractéristiques types chez les non fraudeurs.
 
Un jeu de données de détection de fraude étant par nature très déséquilibré, faire du clustering sur la population complète ne donnerait des informations que sur les non fraudeurs. Et il est assez courant que, sur ce type de use case, une approche strictement supervisée ne donne aucun résultat.

Avant de lancer le bazooka du clustering (que je trouve toujours très chiant à faire perso), tu peux faire des choses très simples.
 
Des stats descriptives, des tests paramétriques/non paramétriques.
 
Je pense que c'est largement suffisant pour ton cas d'usage.

Une petite couche de Jenkins ?

- JIRA + Gitlab, avec integration de Gitlab dans JIRA, de sorte qu'une requete fermee dans JIRA ferme l'issue dans Gitlab.
- Pour Python:
-- Formatage automatique avec black ou yapf.
-- Controle qualite avec Pylint et/ou Flake8.
-- (Optionnel: force le typing de Python avec Mypy => cela permet un code plus robuste et plus clean).
-- Ajouter les controles en amont avec pre-commit et en aval avec le continuous-integration dans Gitlab.

Ça a du sens oui, si les images sont suffisamment représentatives

On évoque même pas la possibilité d’utiliser R  

Il parle de computer vision la  

Pas faux. Sinon ça serait intéressant d’ajouter ce qui vient d’être dit sur les bonnes pratiques ML en first page. Si le taulier passe par là

Si vous me faites un post bien structuré, je peux le copier/coller en FP

 
 
Saah le ML dream
 
J'ai la même chose en ce moment    
 
Mon boss veut que je prenne le code d'un ancien stagiaire pour le faire run dans une app web      
 
Je lui ai dit cash que passer d'un résultat vite fait qui marche en local pour un paper à de la prod ça marche quasi jamais, il m'a pris pour un fou    
 
 
Bonus point : le mec a littéralement appelé ses variables avec le nom des variables de maths      
j'ai la moitié de l'alphabet grec qui traine dans ses fichiers    

NowC va préparer un truc bien écrit pour sa boîte, il pourra le mettre sur le fofo
 
Merci d’avance, cordialement

Ca me choque pas tant que ca si c'est cohérent avec le papier
Apres, ca depend si la quantite représente quelque chose qui a une signification compréhensible ou pas
 

Oui alors par contre je précise tout de suite: va me falloir un truc un peu mieux rédigé que son DS de terminale  

 
je pourrais croire que c'est moi le stagiaire

non mais j'crois que t'as pas compris
y'a pas la variable

qui traine pour régulariser, ça c'est normal et j'osef

y'a

   
Du coup t'apprends les codes ASCII par coeur ou tu fais du copier/coller a chaque caractère ?  

C'est pas Julia qui fait ca, avec toute la symbolique ?

 
le mec qui a fait ça est un putain de fou furieux.

 
Les ravages des options latin/grec pour être dans les bonnes classes au collège

 
Bah j'ai du tout rechangé a la main déjà
 
Fin j'ai réécris 90% de son code donc s'est passé à la trappe    
 
 
EPFL
 

 
Le pire c'est qu'il a une belle ligne sur le CV après son passage ici    

 
ah
 
oui là non

C'est débile mais je trouve ça énorme

Fig. 1  : La réalité du métier de data scientifique - nettoyer des données ou récupérer et bricoler des algos tout pétés
 
 
 
 
En fait si les salaires sont élevés en DS c’est pas pour empêcher les DS de partir à la concurrence, mais pour les dissuader d’aller plutôt élever des chèvres.  

Tu vaux pas faire un blog ?    
Ou une bd ?    
Ou un blog bd ?  

Excellente idée