Reprise du message précédent :

 
welcome dans la problématique n°1 d'un DS et qui apportera un algo naze en prod    
Overfitting à gérer
et/ou
analyse des predictions (avec shap par exemple) pour voir pourquoi il fait de la merde sur les predictions

Non c'est pas de l'overfitting je pense ?

Il comprends pas pk il a des bons resultats en evaluant son training set mais des mauvais resultats sur ces meme elements isoles du training set

Ptet la distribution de ton training set avec certains elements qui surperforment et biaisent les resultats vers le haut quand t'evalues le set dans son ensemble

Ou ptet un bug dans ton code et dans ta logique d'evaluation (genre oublie de model.eval() en pytorch jsp)

non mais on est d'accord qu'une fois le modèle entrainé les poids sont fixés et donc quand je fais du predict sur un sous ensemble du traning, les memes poids appliqués aux memes inputs devraient donner les memes résultats ?

ca serait de l'overftting si j'étais sur un ensemble différent de mon training

ptet un bug mais je vois pas lequel  

je fais juste du
x= x1,x2
y = y1,y2
xtrain,xtest,ytrain,ytest = train_test_split(x,y)

nn.fit(xtrain,ytrain)
nn.predict(x1)

et les erreurs du predict sont bien plus grandes que sous le fit (et c'est valable pour les erreurs  sur le traning ou le test set.....)
et je vois pas comment c'est possible

 
Soyons raisonnables, l'approche la plus commune c'est d'investir du temps dans un bon powerpoint et la démo live qui donne des résultats incroyables pour que le client accepte l'algo tel quel

Non pour plusieurs raisons. Notamment parce que souvent l'entraînement se fait avec du dropout

 
Mais les paramètres de ton fit ne semblent pas bons.
Ça devrait être dans ton cas xtrain,ytrain
https://scikit-learn.org/stable/tut [...] orial.html
 
 
 

Ah oui wtf y a deux fois du x dans le train là

Ta premiere phrase est pas claire en vraie et jsp ce que tu cherches a faire

Si tu fais model.eval(training test) et que t'obtiens une accuracy de 95% ca veut pas dire que model.eval(premiers 200 exemples du training test) te donneras aussi 95%

Si tu iteres comme ca par paquet de 200 et que tu stores les paires predictions / GT et que tu computes manuellement tes metriques normalement tu devrais retomber sur tes pieds oue, si c'est pas le cas y'a un bug qq part

Si t'es surpris du fait que model.eval(premiers 200 exemples du training test) te donnes une accuracy degueulasse, t'as ptet un jeu de donnee IMBALANCED (KEYWORD HERE) et que ton modele a juste appris a predire la classe dominante etc

Vu ton code jpense t'as surtout pas fait correctement ton split de donnees, y'a pas de garanties que x1 soit entierement dans xtrain, pour ca que nn.predict(x1) te donne pas une erreur similaire a nn.predict(xtrain)

BITEEEEEEEEEEEEE

j'ai pas fait du copier/collé de mon code j'ai tapé à l'arrache et c'est une coquille
corrected

c'est pas une classification, j'essaie de prédire une variable continue ou l'erreur est continue donc
 si je calcule l'erreur maximale (ie l'erreur la plus haute obtenue sur l'ensemble des données xtrain ET xtest), mettons que j'obtiens une erreur e
maintenant si je calcule l'erreur maximale lors du predict avec x2, l'erreur maximale obtenue est e2 avec e2>>>> e
donc ya une couille dans le patée
meme avec des données imbalanced, je devrais pas avoir une erreur maximale supérieure sur un sous ensemble des données

en très gros si j'affiche le predict avec xtrain et sur xtest et que je compare avec ytrain et ytest, j'obtiens une erreur maximale e
et si je faisd un predict x1 j'obtiens une erreur maximale e2 >>>>e
ce qui me parait dafuk

x= x1,x2
y = y1,y2
xtrain,xtest,ytrain,ytest = train_test_split(x,y)

nn.fit(xtrain,ytrain)
e = max(nn.predict(xtrain) - ytrain, nn.predict(xtest) - ytest)
e2= max(nn.predict(x1)- y1)

e2>e

au passage c'est pas juste un maximum, globalement les erreurs sont en général un bon cran supérieures sur le nn.predict(x1)- y1 que sur les deux autres predict de xtrain et xtest
globalement l'erreur e est acceptable et on se dit que le réseau marche au moins sur les données d'entrainement alors qu'e2 est juste dégueulasse ....
plus clair comme ça ?

 
 
les quelques dropouts ca peut vraiment faire changer les résultats comme ça ?
ok je vais vérifier

En faisant comme ca
 
x= x1,x2
y = y1,y2
xtrain,xtest,ytrain,ytest = train_test_split(x,y)
 
Tu controles pas quel % de x1 est dans ton jeu d'entrainement et dans ton test (c'est un split aleatoire)

oui je sais MAIS je compare l'erreur de x1 avec le max de l'erreur d'à la fois du jeu d'entrainement ET du jeu test

donc je vois pas pourquoi ce serait important quel % de x1 se retrouve dans le train ou le test puisque je prends l'erreur max des deux et donc le max de l'erreur de x1 forcément incluse dans l'un de ces deux éléments : e = max(nn.predict(xtrain) - ytrain, nn.predict(xtest) - ytest)

Ton X1 il est choisi comment?
Si tu mets une valeur absolue sur ton erreur, tu enlèves ce probleme ou pas?

c'est ce que je cherche à modéliser
en gros  c'est une suite de processus similaires obtenus dans des conditions différentes, dans le code j'ai x1,x2,.....,xn, j'ai simplifié en x1,x2 pour le forum
c'est pour ça, je cherche à voir si ca marche pour prédire ce qu'il se passe lors d'un truc particulier
a terme, faudra passer en lstm car c'est un processus temporel mais déjà je commence par un nn classique
non la valeur absolue change rieng

Plop

Quelqu'un ici a de l'exp positive avec du semi-supervise pour des videos ? Mon setup c'est le plus simple qui soit, une variable continue a predire (qui peut s'estimer visuellement par un expert donc a priori faisable par un reseau, experiences preliminaires en full supervised qui vont dans ce sens), des tas de videos de bonne qualite sans annotations, quelques milliers avec les bonnes annotations

J'ai un peu fouille paperswithcode mais rien trouve de fou / qui a l'air simple a implementer

Des conseils ?

Bonjour à tous,
 
J'ai posté épisodiquement sur ce feed il y a quelques temps suite à ma réorientation en data science, et j'ai de nouveau besoin de vos services / conseils .
 
Suis data manager depuis un peu plus de deux ans maintenant, et je suis complètement passé à côté de certaines innovations depuis la fin de mon master (novembre 2019), notamment tout ce qui gravite autour des LLM / IA generative. La faute à mon job actuel (très orientés sur des cas d'usage d'analyse business / data viz qui n'ont rien à voir avec ce domaine) et par manque de temps.
 
Est-ce que vous auriez des références de mooc / cours / docs / projets kaggle pour que je puisse potasser un peu le sujet ?  
 
Merci à vous  
 

deeplearning.ai fait des trucs sympas et pas très longs

Karpathy a des cours avec code en live etc sur ce sujet : https://youtu.be/zduSFxRajkE
 
3Bleu1Marron a de bonnes videos pour l'aspect maths : https://youtu.be/eMlx5fFNoYc

Merci beaucoup je vais regarder ça !
Une amie m'a notamment conseillé "Generative AI for Everyone" sur deeplearning.ai

 
Vous connaissez d’autres chaînes d’une qualité comparable à celle-ci?
C’est une vraie mine d’or j’adore ses vidéos, merci pour le partage!

Petit quizz, qui peut me dire ce que ce modele fait et si c'est une bonne idee d'implementation. Je donne pas de contexte pour pas biaiser, je poste mon analyse apres pour discussion

Désolé j'utilise par tensorflow le boomer

Vous faites des trucs compliqués

De mon côté maintenant 80% du boulot c'est de faire des requêtes à openAI

C'est cense etre un UNET + LSTM fait par ma ((((collegue))) pour traiter des videos

Ca prends une sequence de 16 images, applique un conv+lstm dessus pour apprendre les features temporelles et spatiales et... elle detruit tout directement en appliquant un maxpooling hyper aggressif sur l'axe temporel (donc 16 images -> 1 image)

Ensuite elle applique unet pour faire la segmentation

Elle s'etonne que ca marche aussi bien et tout le monde la felicite, ui ca marche bien car tu fais juste de la segmentation classique avec une sorte de regularisation cheloue au debut mais y'a 0 apprentissage temporel

Le model doit probablement juste apprendre a mettre les pixels les plus brilliants sur la frame du milieu (celle qui colle au masque ground truth) et basta

gnieeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeee

 
T'as pas de syndrome imposteur / anxiete ? Si c'est vraiment ca ton taf c'est finito non ?

De rien
 
Edit : Je ne suis pas DS donc je serais intéressé de savoir si la réponse faite est pertinente ou pas

C'est une reponse superficielle, ca dit pas grand chose, il explique juste chaque couche et leur agencement mais fait pas de conclusion quant a la pertinence du modele
 
Chatgpt4 est pas mal et allait dans mon sens, j'ai un pote DS qui est aussi d'accord
 
Jpense que mon intuition est correcte mais feel free to correct me

bonjour
 
est ce qu'il y a une commande python pour avoir accès a sa feature list pour un réseau de neurones sklearn sauvegardé avec pickle?
 
je vous remercie

A priori non mais : https://you.com/search?q=est+ce+qu% [...] bm=youchat