Forum |  HardWare.fr | News | Articles | PC | S'identifier | S'inscrire | Shop Recherche
2515 connectés 

 


Utilisez-vous du machine learning dans votre job ?




Attention si vous cliquez sur "voir les résultats" vous ne pourrez plus voter

 Mot :   Pseudo :  
  Aller à la page :
 
 Page :   1  2  3  4  5  ..  36  37  38  ..  128  129  130  131  132  133
Auteur Sujet :

[Topic Unique] Machine Learning & Data Science

n°5055090
Rontgen
Posté le 23-05-2018 à 12:03:00  profilanswer
 

Reprise du message précédent :
 
La taille des kernels, c'est pas très important, notamment parce que deux filtres 3x3 enchainés sont équivalents à un filtre 5x5.
Tu as qu'à essayer 5x5 pour commencer, ca suffit pour capter les features de bases (des bords dans plusieurs directions par exemple).
Pour le nombre de channels, difficile à répondre de manière générale. Je dirais que dans ton cas, pour le premier niveau, quelque chose comme 16 devrait suffire. Pour les autres niveaux, ben ca dépend comment tu veux compresser l'info.
 
 
Oui c'est tout a fait possible, tu peux meme apprendre à faire les deux en meme temps !
Par exemple tu peux construire une architecture d'auto encoder qui essaye de reconstruire l'image d'entrée, mais tu peux aussi ajouter un autre layer qui prend en entrée ta petite représentation, et qui essaye de classifier l'image d'entrée.
 

mood
Publicité
Posté le 23-05-2018 à 12:03:00  profilanswer
 

n°5055093
Darmstadti​um
Pipoteur grotesque
Posté le 23-05-2018 à 12:34:35  profilanswer
 


Oui, mais pourquoi ne pas directement entraîner un cnn pour la classification dans ce cas ?

 

Tu proposes de train un AE, ne garder que la partie encodeur, et entraîner un classifier sur les représentations dans l'espace latent. C'est peu ou prou ce que fait un cnn, la fully connected layer à la fin est un classifier linéaire entraîné sur les représentations extraites par les couches convolutionnelles (comme un kernel) . La diff c'est que par backpropagation le classifier et les représentations sont optimisées ensemble pour maximiser la performance finale.


---------------
Vous pourriez comprendre ainsi pourquoi l'isotropie peut être détournée de son enclave de finalité dès le postulat de base choisie. surunitairedream - 09/06/2013 -- Contrepets
n°5055099
ardevr1
Posté le 23-05-2018 à 12:44:35  profilanswer
 

Bonjour à tous,
 
Je suis actuellement en M1 de maths et je vais faire le MVA l'année prochaine puis m'orienter vers une thèse potentiellement une thèse CIFRE. Est-ce que certains d'entre vous ont effectué ce type de thèse ou ont eu l'occasion de travailler avec des personnes en thèse CIFRE ?

n°5055105
Rontgen
Posté le 23-05-2018 à 12:56:27  profilanswer
 

J'ai fait MVA + CIFRE :o  
Quelles sont tes questions ?

n°5055112
ardevr1
Posté le 23-05-2018 à 13:13:41  profilanswer
 

Merci de ta réponse. Tu as travaillé sur quels sujets ? Est-ce que tu es resté dans l'industrie après et si oui est-ce tu as continué à faire de la recherche ou tu as évoluer sur des postions plus ingénieur ? Comment est-ce tu as trouvé ton contrat avec l'entreprise ? Si tu as deja fait de la recherche dans un laboratoire 'une université quelle la différence qui t'as le plus frappé entre l'industrie et l'université ?  

n°5055128
Millsap
Posté le 23-05-2018 à 14:23:07  profilanswer
 

Je redrap  [:ill nino]

n°5055130
Darmstadti​um
Pipoteur grotesque
Posté le 23-05-2018 à 14:32:18  profilanswer
 


OK dans ce cas tu fais bien :jap:


---------------
Vous pourriez comprendre ainsi pourquoi l'isotropie peut être détournée de son enclave de finalité dès le postulat de base choisie. surunitairedream - 09/06/2013 -- Contrepets
n°5055151
Rontgen
Posté le 23-05-2018 à 15:27:33  profilanswer
 

Ca vient peut-être de ton dernier layer, vire l'activation (la sigmoide) pour voir ce que ca donne  
Une autre question c'est aussi de voir comment tes kernels sont initialisés

n°5055153
Rontgen
Posté le 23-05-2018 à 15:35:06  profilanswer
 

ardevr1 a écrit :

Merci de ta réponse. Tu as travaillé sur quels sujets ? Est-ce que tu es resté dans l'industrie après et si oui est-ce tu as continué à faire de la recherche ou tu as évoluer sur des postions plus ingénieur ? Comment est-ce tu as trouvé ton contrat avec l'entreprise ? Si tu as deja fait de la recherche dans un laboratoire 'une université quelle la différence qui t'as le plus frappé entre l'industrie et l'université ?  


Alors quelques réponses en vrac:
- Je travaille dans l'analyse d'images
- Je suis resté dans l'industrie, c'est ce que j'ai toujours voulu faire (c'est d'ailleurs pour ca que j'ai fait une CIFRE). Je considère que cette expérience m'a été vraiment bénéfique pour ma carrière
Je travaille dans une toute petite boite donc j'ai plusieurs casquettes: je continue à publier des papiers scientifiques mais je suis aussi développeur, chef de projet, etc.
- J'ai trouvé la thèse via un des profs du MVA qui déjà supervisé des CIFREs et qui m'a mis en contact avec une des entreprises
- Difficile de répondre sur la différence avec l'université, car cela dépend de beaucoup de choses
Je pense que le facteur le plus important c'est de voir ou tu es basé, par exemple moi j'étais 95% du temps en entreprise donc j'étais plutot coté applications que théorie
Un autre facteur important est de voir si l'équipe entreprise fait aussi de la recherche ou si tu seras isolé, etc.

n°5055156
Rontgen
Posté le 23-05-2018 à 16:13:15  profilanswer
 


Dans ce cas là, il faut absolument que les intensités de tes images en entrée soient entre 0 et 1
Mais essaye quand meme d'autres activations genre ReLU ou leakyReLU, histoire d'avoir des gradients

mood
Publicité
Posté le 23-05-2018 à 16:13:15  profilanswer
 

n°5055161
Herazor
Posté le 23-05-2018 à 16:30:50  profilanswer
 

ardevr1 a écrit :

Bonjour à tous,
 
Je suis actuellement en M1 de maths et je vais faire le MVA l'année prochaine puis m'orienter vers une thèse potentiellement une thèse CIFRE. Est-ce que certains d'entre vous ont effectué ce type de thèse ou ont eu l'occasion de travailler avec des personnes en thèse CIFRE ?


 :hello:  
Les réponses pour le MVA sont déjà tombées ?

n°5055162
Rontgen
Posté le 23-05-2018 à 16:35:45  profilanswer
 


Très bien, tu pourras facturer mes honoraires à ta boite  [:reddie]  
 
En fait, la sigmoide a un gradient quasiment nul avec des valeurs faibles ou élevées; donc si tu es pas dans la bonne zone avec ton initialisation, c'est difficile d'en bouger
Alors certes, la ReLU elle a carrément un gradient nul pour les valeurs négatives, mais au moins son gradient est toujours 1 pour les valeurs positives donc c'est plus facile d'obtenir des gradients (il suffit d'être positif)

n°5055165
Herazor
Posté le 23-05-2018 à 17:21:43  profilanswer
 

Fido_ a écrit :

 

C'est juillet normalement  :??:

 

C'est bien ce qui me semblait mais comme il écrit sans utiliser le conditionnel je voulais en être certain :p

Message cité 1 fois
Message édité par Herazor le 23-05-2018 à 17:22:04
n°5055166
Voxinat
High Frequency Trolling
Posté le 23-05-2018 à 17:24:00  profilanswer
 

Herazor a écrit :


 
C'est bien ce qui me semblait mais comme il écrit sans utiliser le conditionnel je voulais en être certain :p


 
Pourquoi écrire au conditionnel quand on est sûr d'être admis?
 

Spoiler :


:o


---------------
Sah Quel Plaisir
n°5055167
ardevr1
Posté le 23-05-2018 à 17:31:45  profilanswer
 

Rontgen a écrit :


Alors quelques réponses en vrac:
- Je travaille dans l'analyse d'images
- Je suis resté dans l'industrie, c'est ce que j'ai toujours voulu faire (c'est d'ailleurs pour ca que j'ai fait une CIFRE). Je considère que cette expérience m'a été vraiment bénéfique pour ma carrière
Je travaille dans une toute petite boite donc j'ai plusieurs casquettes: je continue à publier des papiers scientifiques mais je suis aussi développeur, chef de projet, etc.
- J'ai trouvé la thèse via un des profs du MVA qui déjà supervisé des CIFREs et qui m'a mis en contact avec une des entreprises
- Difficile de répondre sur la différence avec l'université, car cela dépend de beaucoup de choses
Je pense que le facteur le plus important c'est de voir ou tu es basé, par exemple moi j'étais 95% du temps en entreprise donc j'étais plutot coté applications que théorie
Un autre facteur important est de voir si l'équipe entreprise fait aussi de la recherche ou si tu seras isolé, etc.


 
Merci. C'est ce que je voulais savoir.  
 
 
C'est vrai que je m'avance peut-être un peu mais quasiment tout les élèves du département de maths qui candidate sont acceptés.  

n°5055171
draculax
Posté le 23-05-2018 à 18:03:29  profilanswer
 

T'es à Orsay en maths fonda ?

 

voire même normalien, si c'est le cas ça m'étonne pas que vous soyez au courant rapidement :o

Message cité 3 fois
Message édité par draculax le 23-05-2018 à 18:04:06
n°5055172
Voxinat
High Frequency Trolling
Posté le 23-05-2018 à 18:03:59  profilanswer
 

draculax a écrit :

T'es à Orsay en maths fonda ?


norajo avec ta sous école tu l'auras pas :o
 
 [:elfe_errant:2] > Centrale confirmed


Message édité par Voxinat le 23-05-2018 à 18:04:17

---------------
Sah Quel Plaisir
n°5055173
draculax
Posté le 23-05-2018 à 18:05:19  profilanswer
 

J'ai pas candidaté, mais j'aurai ma place sans soucis dans 2 ans :o

n°5055174
dr_zaius
Simius Mathematicus
Posté le 23-05-2018 à 18:06:31  profilanswer
 

draculax a écrit :

T'es à Orsay en maths fonda ?
 
voire même normalien, si c'est le cas ça m'étonne pas que vous soyez au courant rapidement :o


 
Je pense normalien :o
 
Je l'ai déjà dit ici mais valider à Paris 6 avec 17 de moyenne et en majorant les stats, ça t'envoie sur la liste d'attente au MVA :o
 
Donc même à Orsay, prendre tous les candidats me paraît surprenant.


---------------
« Nous sommes tous des farceurs : nous survivons à nos problèmes.» Cioran
n°5055175
ardevr1
Posté le 23-05-2018 à 18:08:36  profilanswer
 

draculax a écrit :

T'es à Orsay en maths fonda ?
 
voire même normalien, si c'est le cas ça m'étonne pas que vous soyez au courant rapidement :o


 
Ouais je suis en M1 a Cachan. On a pas encore les resultats mais tout les ans ca se passe comme ca.

n°5055181
draculax
Posté le 23-05-2018 à 18:36:54  profilanswer
 

dr_zaius a écrit :

 

Je pense normalien :o

 

Je l'ai déjà dit ici mais valider à Paris 6 avec 17 de moyenne et en majorant les stats, ça t'envoie sur la liste d'attente au MVA :o

 

Donc même à Orsay, prendre tous les candidats me paraît surprenant.

 

Les écoles favorisent leur étudiants / ceux des écoles partenaires :o

 

Pour une fois que P6 n'a plus le master le plus populaire c'est dommage :o

 

Les ulmites ne prendront pas toutes les places aux cachanais :o

Message cité 1 fois
Message édité par draculax le 23-05-2018 à 18:37:51
n°5055219
dr_zaius
Simius Mathematicus
Posté le 23-05-2018 à 22:14:08  profilanswer
 

draculax a écrit :


 
Les écoles favorisent leur étudiants / ceux des écoles partenaires :o
 
Pour une fois que P6 n'a plus le master le plus populaire c'est dommage :o
 
Les ulmites ne prendront pas toutes les places aux cachanais :o


 
Pas faux, faut diversifier :o
 
Pour le coup c'est compliqué de faire du ML à P6. Tu n'en trouves pratiquement que dans le M2 Stats, pas énormément d'ailleurs, et c'est limité à 30 places (mais je pense y aller). A Saclay il y a quand même : le MVA, le Probas/stats (avec parcours machine learning en plus), le M2 Data Science de l'X, et celui de DS d'Evry.


---------------
« Nous sommes tous des farceurs : nous survivons à nos problèmes.» Cioran
n°5055257
blixow
Posté le 23-05-2018 à 23:56:50  profilanswer
 

Même à l'X il y a plein de monde qui n'a pas le mva

n°5055388
solal94
Ars longa, vita brevis
Posté le 24-05-2018 à 17:06:59  profilanswer
 

drap
 
le sujet m'intéresse :)  
Au taff, nous commençons à y toucher un peu, via stagiaire(s).

Message cité 1 fois
Message édité par solal94 le 24-05-2018 à 17:09:11
n°5055646
Bébé Yoda
Posté le 25-05-2018 à 10:52:51  profilanswer
 

Sinon perso je m'ennuie un peu depuis 2/3 semaines.
J'ai été déplacé sur un autre service, où ça fonctionne différemment :
- Un analyste m'envoie un algorithme sous forme de pdf, avec toutes les étapes d'analyse des données (quelles parties du dataset garder, comment filtrer etc)
- J'implemente l'algo sur la plateforme (pyspark) en deux étapes : 1/ Jupyter notebook pour voir si tout marche bien et proposer des améliorations 2/ tout propre sur la plateforme avec les bonnes librairies
- Output des données sur l'outil de visualisation.
- Échanges avec l'analyste pour voir si tout ça est cohérent.

 

Donc en gros je passe surtout ma journée à essayer d'implémenter du code et la partie analyse est quasi nulle.
Si on ajoute à ça le fait que la plateforme est en rade presque tout le temps, c'est pas la joie (par exemple ça fait 3 jours que j'ai lancé un pivot, j'attends toujours mon dataset...)

 

Si j'ai du temps j'ai le droit de faire un peu d'analyse et essayer d'autres modèles, sauf qu'on est toujours en retard :D

 

Paraît que ça va pas durer... J'attends de voir et surtout je guette la moindre opportunité de refaire un peu plus d'analyse.
Je dis pas que je vais/veux faire de la data science hardcore avec gros modèles/r&D mais au moins un peu de analyse pour pas avoir l'impression de travailler comme un robot toute la journée.

 

Après je prends ça pour de la formation, ça me permet de me faire les dents sur Spark et c'est très bien. Mais faudra pas que ça dure trop longtemps

n°5055661
Darmstadti​um
Pipoteur grotesque
Posté le 25-05-2018 à 11:10:48  profilanswer
 


Alors point par point :

  • C'est classique d'avoir de meilleures perfs avec de plus petits batchs
  • Bien pour la data augmentation, ça permet dans une certaine mesure d'obtenir une certaine invariance aux déformations montrées au réseau
  • Au contraire, plus il y a d'exemples moins le réseau devrait overfitter. Cela dit, si effectivement tu n'as que quelques sujets différents je pense qu'il est possible que le réseau galère à généraliser


Pour les questions d'après je suis pas sûr, mais je dirais qu'il faut un équilibre dans ce que t'as décrit pour les data. 15000 images de 6000 personnes ça va montrer une grande variété de ce à quoi une personne peut ressembler, mais avec moins de 3 images par personne en moyenne, s'il y a des personnes beaucoup plus présentes que les autres (genre une personne a 5000 photos et les 5999 autres se partagent les 10000 restantes) ça va sûrement poser problème.

 

Pour l'architecture d'autoencodeur ou d'un cnn, effectivement on construit de plus en plus de features (épaisseur) et on sous-échantillonne spatialement à chaque fois (le pooling). On pousse souvent ça jusqu'à avoir une représentation 1x1xD qui est juste un vecteur de R^D, donc une représentation D-dimensionnelle de la donnée d'entrée.

Message cité 2 fois
Message édité par Darmstadtium le 25-05-2018 à 11:12:10

---------------
Vous pourriez comprendre ainsi pourquoi l'isotropie peut être détournée de son enclave de finalité dès le postulat de base choisie. surunitairedream - 09/06/2013 -- Contrepets
n°5055666
Tidom
Posté le 25-05-2018 à 11:14:30  profilanswer
 

Bébé Yoda a écrit :

Sinon perso je m'ennuie un peu depuis 2/3 semaines.
J'ai été déplacé sur un autre service, où ça fonctionne différemment :
- Un analyste m'envoie un algorithme sous forme de pdf, avec toutes les étapes d'analyse des données (quelles parties du dataset garder, comment filtrer etc)
- J'implemente l'algo sur la plateforme (pyspark) en deux étapes : 1/ Jupyter notebook pour voir si tout marche bien et proposer des améliorations 2/ tout propre sur la plateforme avec les bonnes librairies
- Output des données sur l'outil de visualisation.
- Échanges avec l'analyste pour voir si tout ça est cohérent.
 
Donc en gros je passe surtout ma journée à essayer d'implémenter du code et la partie analyse est quasi nulle.  
Si on ajoute à ça le fait que la plateforme est en rade presque tout le temps, c'est pas la joie (par exemple ça fait 3 jours que j'ai lancé un pivot, j'attends toujours mon dataset...)
 
Si j'ai du temps j'ai le droit de faire un peu d'analyse et essayer d'autres modèles, sauf qu'on est toujours en retard :D
 
Paraît que ça va pas durer... J'attends de voir et surtout je guette la moindre opportunité de refaire un peu plus d'analyse.
Je dis pas que je vais/veux faire de la data science hardcore avec gros modèles/r&D mais au moins un peu de analyse pour pas avoir l'impression de travailler comme un robot toute la journée.
 
Après je prends ça pour de la formation, ça me permet de me faire les dents sur Spark et c'est très bien. Mais faudra pas que ça dure trop longtemps


 
 
Coucou,
 
est-ce que c'est indiscret de demander l'ordre de grandeur de la rémunération pour ce type de job ? :o

n°5055673
Bébé Yoda
Posté le 25-05-2018 à 11:20:55  profilanswer
 

Ça dépend de l'âge, pour moi c'est 45/46k selon les primes/bonus

n°5055826
korial
Posté le 25-05-2018 à 19:31:26  profilanswer
 

Darmstadtium a écrit :


Alors point par point :

  • C'est classique d'avoir de meilleures perfs avec de plus petits batchs



Ça vient d’où ça ? Dans le deep learning book j’avais compris que plus le batch size est grand plus on optimisé la véritable loss sur l’ensemble du dataset, donc mieux c’est.  
J’ai du mal à saisir pourquoi ce serait mieux des petits batchs :??:

n°5055838
nesquik69
Posté le 25-05-2018 à 20:29:31  profilanswer
 

alors je suis pas non plus un grand expert, à confirmer par d'autres:
 
grande taille de batch: plus rapide ( en général, car sur ton set de données tu vas avoir un nombre plus petit d'itérations à cause d'un pas plus grand) , mais moins précis ( tu as toujours un bruit quand tu agréges les points).
 
petite taille de batch: moins rapide ( car tu vas normalement faire plus d'itérations), mais plus précis ( moins de bruits ajoutés), et pour des batchs trop petit + pas trop grand, tu peux avoir de l'overfitting.


Message édité par nesquik69 le 25-05-2018 à 20:32:15
n°5055840
uuuugh
Posté le 25-05-2018 à 21:58:32  profilanswer
 

il me semble que c'est l'inverse nesquick, avec un petit batch size, tu vas avoir plus de bruit (moins de precision vu qu'on calcule moins de gradient), MAIS avoir un peu de bruit ça peut justement t'aider à eviter des minima locaux
en gros y'a pas vraiment d'avantage à un grand batch size, ce qui est effectivement contre intuitif puisqu'on pense calculer plus de gradients et bouger dans une meilleure direction
 
après tout ça depend evidemment de la tete de la loss function :o

n°5055841
korial
Posté le 25-05-2018 à 22:35:44  profilanswer
 

Ah j’avais pas pensé au bruit qui pourrait faire sortir d’un minimum local :jap:
 
Et en quoi ça peut dépendre de la loss function ?  
 
Du coup est-ce que ça veut dire que dans les papers les auteurs ont fait varier le batch_size et ils donnent la valeur optimale ? En lisant les papiers je me rendais pas compte que c’était un paramètre à ajuster, je pensais naïvement que il valait mieux le mettre aussi gros que possible pour maximiser l’utilisation de la mémoire gpu.

mood
Publicité
Posté le   profilanswer
 

 Page :   1  2  3  4  5  ..  36  37  38  ..  128  129  130  131  132  133

Aller à :
Ajouter une réponse
 

Sujets relatifs
Recherche d'emploi[Topik Unique] Les girls de la section E&E
Avez vous des problèmatiques sur le Big Data ?Master Finance et Stratégie de Science Po après des études de droit ?
Je veux travailler dans les Big DATAOrientation pour Data Science & Recherche Opérationnelle
[Topic Unique] Concours ingénieur ENAC/IESSA : 30 postes [Topic Unique] EIVP
[Topic Unique] L'Aylite !!! 
Plus de sujets relatifs à : [Topic Unique] Machine Learning & Data Science


Copyright © 1997-2022 Hardware.fr SARL (Signaler un contenu illicite / Données personnelles) / Groupe LDLC / Shop HFR