Reprise du message précédent :

 
welcome dans la problématique n°1 d'un DS et qui apportera un algo naze en prod    
Overfitting à gérer
et/ou
analyse des predictions (avec shap par exemple) pour voir pourquoi il fait de la merde sur les predictions

Non c'est pas de l'overfitting je pense ?

Il comprends pas pk il a des bons resultats en evaluant son training set mais des mauvais resultats sur ces meme elements isoles du training set

Ptet la distribution de ton training set avec certains elements qui surperforment et biaisent les resultats vers le haut quand t'evalues le set dans son ensemble

Ou ptet un bug dans ton code et dans ta logique d'evaluation (genre oublie de model.eval() en pytorch jsp)

non mais on est d'accord qu'une fois le modèle entrainé les poids sont fixés et donc quand je fais du predict sur un sous ensemble du traning, les memes poids appliqués aux memes inputs devraient donner les memes résultats ?

ca serait de l'overftting si j'étais sur un ensemble différent de mon training

ptet un bug mais je vois pas lequel  

je fais juste du
x= x1,x2
y = y1,y2
xtrain,xtest,ytrain,ytest = train_test_split(x,y)

nn.fit(xtrain,ytrain)
nn.predict(x1)

et les erreurs du predict sont bien plus grandes que sous le fit (et c'est valable pour les erreurs  sur le traning ou le test set.....)
et je vois pas comment c'est possible

 
Soyons raisonnables, l'approche la plus commune c'est d'investir du temps dans un bon powerpoint et la démo live qui donne des résultats incroyables pour que le client accepte l'algo tel quel

Non pour plusieurs raisons. Notamment parce que souvent l'entraînement se fait avec du dropout

 
Mais les paramètres de ton fit ne semblent pas bons.
Ça devrait être dans ton cas xtrain,ytrain
https://scikit-learn.org/stable/tut [...] orial.html
 
 
 

Ah oui wtf y a deux fois du x dans le train là

Ta premiere phrase est pas claire en vraie et jsp ce que tu cherches a faire

Si tu fais model.eval(training test) et que t'obtiens une accuracy de 95% ca veut pas dire que model.eval(premiers 200 exemples du training test) te donneras aussi 95%

Si tu iteres comme ca par paquet de 200 et que tu stores les paires predictions / GT et que tu computes manuellement tes metriques normalement tu devrais retomber sur tes pieds oue, si c'est pas le cas y'a un bug qq part

Si t'es surpris du fait que model.eval(premiers 200 exemples du training test) te donnes une accuracy degueulasse, t'as ptet un jeu de donnee IMBALANCED (KEYWORD HERE) et que ton modele a juste appris a predire la classe dominante etc

Vu ton code jpense t'as surtout pas fait correctement ton split de donnees, y'a pas de garanties que x1 soit entierement dans xtrain, pour ca que nn.predict(x1) te donne pas une erreur similaire a nn.predict(xtrain)

BITEEEEEEEEEEEEE

j'ai pas fait du copier/collé de mon code j'ai tapé à l'arrache et c'est une coquille
corrected

c'est pas une classification, j'essaie de prédire une variable continue ou l'erreur est continue donc
 si je calcule l'erreur maximale (ie l'erreur la plus haute obtenue sur l'ensemble des données xtrain ET xtest), mettons que j'obtiens une erreur e
maintenant si je calcule l'erreur maximale lors du predict avec x2, l'erreur maximale obtenue est e2 avec e2>>>> e
donc ya une couille dans le patée
meme avec des données imbalanced, je devrais pas avoir une erreur maximale supérieure sur un sous ensemble des données

en très gros si j'affiche le predict avec xtrain et sur xtest et que je compare avec ytrain et ytest, j'obtiens une erreur maximale e
et si je faisd un predict x1 j'obtiens une erreur maximale e2 >>>>e
ce qui me parait dafuk

x= x1,x2
y = y1,y2
xtrain,xtest,ytrain,ytest = train_test_split(x,y)

nn.fit(xtrain,ytrain)
e = max(nn.predict(xtrain) - ytrain, nn.predict(xtest) - ytest)
e2= max(nn.predict(x1)- y1)

e2>e

au passage c'est pas juste un maximum, globalement les erreurs sont en général un bon cran supérieures sur le nn.predict(x1)- y1 que sur les deux autres predict de xtrain et xtest
globalement l'erreur e est acceptable et on se dit que le réseau marche au moins sur les données d'entrainement alors qu'e2 est juste dégueulasse ....
plus clair comme ça ?

 
 
les quelques dropouts ca peut vraiment faire changer les résultats comme ça ?
ok je vais vérifier

En faisant comme ca
 
x= x1,x2
y = y1,y2
xtrain,xtest,ytrain,ytest = train_test_split(x,y)
 
Tu controles pas quel % de x1 est dans ton jeu d'entrainement et dans ton test (c'est un split aleatoire)

oui je sais MAIS je compare l'erreur de x1 avec le max de l'erreur d'à la fois du jeu d'entrainement ET du jeu test

donc je vois pas pourquoi ce serait important quel % de x1 se retrouve dans le train ou le test puisque je prends l'erreur max des deux et donc le max de l'erreur de x1 forcément incluse dans l'un de ces deux éléments : e = max(nn.predict(xtrain) - ytrain, nn.predict(xtest) - ytest)

Ton X1 il est choisi comment?
Si tu mets une valeur absolue sur ton erreur, tu enlèves ce probleme ou pas?

c'est ce que je cherche à modéliser
en gros  c'est une suite de processus similaires obtenus dans des conditions différentes, dans le code j'ai x1,x2,.....,xn, j'ai simplifié en x1,x2 pour le forum
c'est pour ça, je cherche à voir si ca marche pour prédire ce qu'il se passe lors d'un truc particulier
a terme, faudra passer en lstm car c'est un processus temporel mais déjà je commence par un nn classique
non la valeur absolue change rieng

Plop

Quelqu'un ici a de l'exp positive avec du semi-supervise pour des videos ? Mon setup c'est le plus simple qui soit, une variable continue a predire (qui peut s'estimer visuellement par un expert donc a priori faisable par un reseau, experiences preliminaires en full supervised qui vont dans ce sens), des tas de videos de bonne qualite sans annotations, quelques milliers avec les bonnes annotations

J'ai un peu fouille paperswithcode mais rien trouve de fou / qui a l'air simple a implementer

Des conseils ?

Bonjour à tous,
 
J'ai posté épisodiquement sur ce feed il y a quelques temps suite à ma réorientation en data science, et j'ai de nouveau besoin de vos services / conseils .
 
Suis data manager depuis un peu plus de deux ans maintenant, et je suis complètement passé à côté de certaines innovations depuis la fin de mon master (novembre 2019), notamment tout ce qui gravite autour des LLM / IA generative. La faute à mon job actuel (très orientés sur des cas d'usage d'analyse business / data viz qui n'ont rien à voir avec ce domaine) et par manque de temps.
 
Est-ce que vous auriez des références de mooc / cours / docs / projets kaggle pour que je puisse potasser un peu le sujet ?  
 
Merci à vous  
 

deeplearning.ai fait des trucs sympas et pas très longs

Karpathy a des cours avec code en live etc sur ce sujet : https://youtu.be/zduSFxRajkE
 
3Bleu1Marron a de bonnes videos pour l'aspect maths : https://youtu.be/eMlx5fFNoYc

Merci beaucoup je vais regarder ça !
Une amie m'a notamment conseillé "Generative AI for Everyone" sur deeplearning.ai

 
Vous connaissez d’autres chaînes d’une qualité comparable à celle-ci?
C’est une vraie mine d’or j’adore ses vidéos, merci pour le partage!

Petit quizz, qui peut me dire ce que ce modele fait et si c'est une bonne idee d'implementation. Je donne pas de contexte pour pas biaiser, je poste mon analyse apres pour discussion

Désolé j'utilise par tensorflow le boomer

Vous faites des trucs compliqués

De mon côté maintenant 80% du boulot c'est de faire des requêtes à openAI

C'est cense etre un UNET + LSTM fait par ma ((((collegue))) pour traiter des videos

Ca prends une sequence de 16 images, applique un conv+lstm dessus pour apprendre les features temporelles et spatiales et... elle detruit tout directement en appliquant un maxpooling hyper aggressif sur l'axe temporel (donc 16 images -> 1 image)

Ensuite elle applique unet pour faire la segmentation

Elle s'etonne que ca marche aussi bien et tout le monde la felicite, ui ca marche bien car tu fais juste de la segmentation classique avec une sorte de regularisation cheloue au debut mais y'a 0 apprentissage temporel

Le model doit probablement juste apprendre a mettre les pixels les plus brilliants sur la frame du milieu (celle qui colle au masque ground truth) et basta

gnieeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeee

 
T'as pas de syndrome imposteur / anxiete ? Si c'est vraiment ca ton taf c'est finito non ?

De rien
 
Edit : Je ne suis pas DS donc je serais intéressé de savoir si la réponse faite est pertinente ou pas

C'est une reponse superficielle, ca dit pas grand chose, il explique juste chaque couche et leur agencement mais fait pas de conclusion quant a la pertinence du modele
 
Chatgpt4 est pas mal et allait dans mon sens, j'ai un pote DS qui est aussi d'accord
 
Jpense que mon intuition est correcte mais feel free to correct me

bonjour
 
est ce qu'il y a une commande python pour avoir accès a sa feature list pour un réseau de neurones sklearn sauvegardé avec pickle?
 
je vous remercie

A priori non mais : https://you.com/search?q=est+ce+qu% [...] bm=youchat

 
 
dak merci

Bonjour,

Je commence a me faire une bonne reputation dans ma boite et j'ai la possibilite de passer team lead/chef d'equipe. J'ai deja un impact important sur plusieurs departements en temps qu'IC senior (ingenieur recherche) et je suis en consequence tres bien paye avec des augmentations consequentes tous les ans. On m'a fait comprendre que le passage en chef d'equipe n'aurai qu'un impact marginal sur la remuneration.

J'ai ~15ans d'xp, je suis a un niveau de salaire qui me suffirait largement si il suit environ l'inflation et je me demande si les responsabilites supplementaires justifient le changement de role. Des avis?

C'est pas des responsabilités supplémentaires, c'est des responsabilités différentes. C'est deux types de jobs différents avec des enjeux et des responsabilités différentes.
C'est l'erreur classique de passer "manager" pour penser gagner plus.

Plus d'emmerdes = up de salaire conséquent
 
Je comprends pas le délire de vouloir + de responsabilités

 
je +1 sur le "ce sont 2 jobs différents", faut bien avoir ça en tête.
 
J'ai fait le shift il y a 5 ans pour de bon, le management pur ça me saoule un peu par contre j'aime beaucoup la partie stratégie/ vision (mais tu l'as vraiment en étant directeur, pas middle manager).
 
Middle manager c'est quand même spécial comme position je trouve, et pas le + passionnant à mes yeux.

 
c'est un peu court termiste comme approche. J'ai fait plusieurs changements sans augmentation de salaire immediate mais qui m'ont permis de faire x6 sur le salaire en ~10 ans. Sur le long terme l'objectif ne serait clairement pas de rester middle manager mais de passer au dessus comme indique precedemment, ou je pense que le potentiel est probablement a x1.5/x2

Si tout le temps mais j'ai appris à vivre avec
 
Mon taff ça a jamais tellement été de faire de l'algo pur, j'ai du faire du deep learning en prod une fois en 10 ans
ça consiste plutôt à être au milieu d'ITs qui comprennent rien à la data et s'en foutent du produit et des équipes produit qui comprennent rien à la data non plus et s'en foutent de la partie IT
 
Ce qui est finito dans le métier j'ai l'impression c'est faire de l'algo pur (sauf chez Meta/Google/OpenAI et dans des domaines très niche) et savoir coder (on laisse ça aux MLops/MLeng/DataEng et on se contente d'un notebook python côté datascience)

En France il y a quand même beaucoup plus de postes bien rémunérés côté management que côté IC

dites j'ai un jeu de données

20 variables entrées, 1 sortie, 100k points

des que je mets une seconde couche l'algo diverge et le loss devient nan

alors j'ai mis une seule couche et le hic c'"est que il encaisse de mieux en mieux avec plus de neurones
le meilleur résultat que j'ai c'est avec 1000 neurones (!!), et ca fonctionne y compris sur les couches tests

des idées pour faire en sorte que ca devienne plus nan avec 2 couches?
1000 c vraiment trop ? d'hab je sais que le rule of thumb c'est d'avoir moins de neurones que tes données d'entrées...^^
 quels sont les risques a part overfitting? (que je ne constate pas ici car l'erreur sur les tests est plus faible qu'avec moins de neurones)

merci
 

Je cherche à changer de boite mais je galère (je cherche en quasi full remote, c'est plus la mode)    
 
Sur 2024 :
* Environ 15 entretien RH (quasi 100% donc mon exp donne envie)
* 13 no go pour mon salaire trop élevé et 2 go
* Les 2 go sont sur des boites très tech et "haut niveau" => 2 fails au coding live. Pas mauvais mais "trop lent", "code pas assez optimisé"
 
Bref, faut que je travaille sur ces coding live (ou que je revois ma carrière mais j'ai pas trouvé une autre voie qui paye "autant" )
 
A part potasser des exo sur leetcode, d'autres trucs ?  
Des bouquins genre "cracking the coding interview" ?
 
Question plus générale : 9 ans que je suis DS, je suis touche à tout mais pas ultra pointu dans un domaine particulier.  
Ce type de profil plait aux boites non tech (et ça m'intente) mais ils ne sont pas full remote ou n'ont pas 100k de budget (plutôt 60-70k part chez moi ...)  
Et je suis trop léger pour des boites à dominante tech (Data.dog, C.riteo par ex)  
Je peux bifurquer vers quoi?  

Baisse de salaire

Je suis dans un cas un peu similaire (mais avec moins d'xp) pour l'instant je cherche dans la COGIP mais ça penche très fort vers Paris