Forum |  HardWare.fr | News | Articles | PC | Prix | S'identifier | S'inscrire | Aide | Shop Recherche
1052 connectés 

 



Utilisez-vous du machine learning dans votre job ?




Attention si vous cliquez sur "voir les résultats" vous ne pourrez plus voter

 Mot :   Pseudo :  
  Aller à la page :
 
 Page :   1  2  3  4  5  ..  36  37  38  39  40  41
Page Suivante
Auteur Sujet :

[Topic Unique] Machine Learning & Data Science

n°5061983
zuf
AMD Fanboy
Posté le 05-07-2018 à 15:38:11  profilanswer
 

Reprise du message précédent :
Je parlais de toutes les boîtes dans tous les domaines en fait.
Je lis partout que tout le monde est mauvais et ne sait rien faire (je caricature un peu) et en pratique j'ai vu ça nulle part et on a plein de boîtes hyper compétitives

mood
Publicité
Posté le 05-07-2018 à 15:38:11  profilanswer
 

n°5061986
Alicanto
アリカント
Posté le 05-07-2018 à 15:56:48  profilanswer
 

NonCompliant a écrit :

Salut :hello:

 

Quelqu'un a une idée de comment downsampler intelligemment un data set ?

 

~ 1 demi million de lignes, 60 colonnes, 7 classes différentes unbalanced (80% des exemples étant dans les 2 premières classes)

 

J'aimerais arriver à ~15 000 lignes en respectant au mieux les proportions de chaque classe.

 

Une idée de package, méthode ? (Python)

 

Merci :jap:


Pourquoi un tirage complètement aléatoire ne convient il pas à la situation ?

n°5061988
zuf
AMD Fanboy
Posté le 05-07-2018 à 15:59:33  profilanswer
 

C'est 3 fois rien 500k lignes, pas besoin d'en enlever :o

n°5061991
-Meringue-
Posté le 05-07-2018 à 16:19:35  profilanswer
 

Avec pandas:  
 
df.groupby(‘Classe’).apply(pandas.DataFrame.sample, frac=0.03).reset_index(drop=True)
 
?

n°5062017
hadada
Posté le 05-07-2018 à 18:05:02  profilanswer
 

zuf a écrit :

Je parlais de toutes les boîtes dans tous les domaines en fait.
Je lis partout que tout le monde est mauvais et ne sait rien faire (je caricature un peu) et en pratique j'ai vu ça nulle part et on a plein de boîtes hyper compétitives


Perso j'ai vue énormément de boîte qui survendent complément leurs compétences, surtout en IA et SURTOUT les ssii.

n°5062046
NonComplia​nt
Posté le 05-07-2018 à 21:53:40  profilanswer
 

zuf a écrit :

C'est 3 fois rien 500k lignes, pas besoin d'en enlever :o


 
Non c'est pas rien, pour kernel PCA faut calculer une matrice 500k X 500 K ça explose :lol:
 

n°5062047
zuf
AMD Fanboy
Posté le 05-07-2018 à 21:57:48  profilanswer
 

NonCompliant a écrit :


 
Non c'est pas rien, pour kernel PCA faut calculer une matrice 500k X 500 K ça explose :lol:
 


 
Suffit d'avoir un vrai cluster  [:julm3]  
 
Ou alors se contenter d'algorithmes de  [:la chancla:1]  
 
Comme moi  [:acachou:7]

n°5062049
Darmstadti​um
Pipoteur grotesque
Posté le 05-07-2018 à 22:19:05  profilanswer
 

Ça dépend de la dimension de sortie du kernel :o
 
Pour un PCA classique (kernel = covariance) si tu as X la matrice d'observations, où chaque ligne est une observation de dimension 60, tu n'as pas besoin de calculer la matrice de covariance 500k x 500k complète :o
 
Déjà il est clair que X est de rang au plus 60, donc il y a au plus 60 valeurs singulières non nulles, ou de manière équivalente, au plus 60 valeurs propres non nulles de la matrice de covariance.
 
Ensuite il y a un lemme bien utile qui dit ça :o
 
Soit B = XX^T et C = X^TX alors B et C ont les mêmes valeurs propres positives L et, en supposant les dimensions compatibles (échanger les matrices au besoin), les vecteurs propres U de B et V de C satisfont U = XVL^{-1/2} :o
 
Donc en fait calculer une PCA est simple si la matrice est grande sur une seule dimension :o
 
Ça s'applique aux kernels de dimension finis aussi. Si la représentation est de dimension infinie en revanche il n'y a pas le choix et il faut utiliser le kernel trick et calculer la matrice de Gram :jap:


---------------
Vous pourriez comprendre ainsi pourquoi l'isotropie peut être détournée de son enclave de finalité dès le postulat de base choisie. surunitairedream - 09/06/2013 -- Contrepets
n°5062056
NonComplia​nt
Posté le 05-07-2018 à 22:45:41  profilanswer
 

Darmstadtium a écrit :

Ça dépend de la dimension de sortie du kernel :o

 

Pour un PCA classique (kernel = covariance) si tu as X la matrice d'observations, où chaque ligne est une observation de dimension 60, tu n'as pas besoin de calculer la matrice de covariance 500k x 500k complète :o

 

Déjà il est clair que X est de rang au plus 60, donc il y a au plus 60 valeurs singulières non nulles, ou de manière équivalente, au plus 60 valeurs propres non nulles de la matrice de covariance.

 

Ensuite il y a un lemme bien utile qui dit ça :o

 

Soit B = XX^T et C = X^TX alors B et C ont les mêmes valeurs propres positives L et, en supposant les dimensions compatibles (échanger les matrices au besoin), les vecteurs propres U de B et V de C satisfont U = XVL^{-1/2} :o

 


 

Ah stylé ! T'as une référence/ lien pour ce lemme/ sujet ? Ca m'intéresse :jap:

 

Après ça règle pas vraiment le pb, pour d'autres techniques c'est juste impossible (Isomap/LLE par exemple)...

Message cité 1 fois
Message édité par NonCompliant le 05-07-2018 à 22:46:31
n°5062063
pota
Posté le 06-07-2018 à 05:32:05  profilanswer
 


Comme le fait remarquer ton deuxième lien ça fonctionne mal si il y a trop de valeurs identiques. Et effectivement ça marche mal sur une de mes collections de données qui varie peu, avec la même valeur apparaissant à la suite pendant longtemps. Du coup je reste sur une comparaison d'un delta à la moyenne.

mood
Publicité
Posté le 06-07-2018 à 05:32:05  profilanswer
 

n°5062083
nawker
vent d'est
Posté le 06-07-2018 à 11:08:58  profilanswer
 

NonCompliant a écrit :

Ah stylé ! T'as une référence/ lien pour ce lemme/ sujet ? Ca m'intéresse :jap:


Dormalement, le fait que faire de la PCA/POD/EOF whatever, c'est juste mettre en évidence une SVD (et qu'il y a donc deux points de vue, mais un seul jeu de valeurs propres) de ton signal est généralement exposé dans tous les manuels ou articles de revue, même si c'est parfois un peu caché et pas toujours très mis en valeur*. De ce fait, l'idée qu'il vaut toujours mieux construire et diagonaliser la matrice de covariance qui a la plus petite dimension n'a pas toujours un très fort taux de pénétration dans toutes les communautés [:gingerspirit:2]
 
*(jonre, dans Berkooz, Holmes, Lumley, ARFM (1993), ça reste assez visible (§2.6), dans Wilks,  statistical methods in the atmospheric sciences, c'est une toute petite sous section que beaucoup de gens loupent)
 
Ca s'appelle Bi-Orthogonal Decomposition quand on veut prendre la limite continue (N. Aubry, TCFD (1991) et tout ce qui s'en suit [:sonken])
 
Bon après, quand la taille de ton signal c'est 3000x4 000 000, ça reste un peu longuet [:kimo]


Message édité par nawker le 06-07-2018 à 11:17:24

---------------
"genre il voulait 2 coktail avec du cidre qui valait 2€, y'en avait plus mais il restait un coktail avec du "vin" au même prix, le mec voulait pas de ce cocktail...j'ai réussi à lui faire accepter en lui donnant en plus un morceau de camembert" Gypssix
n°5062119
NonComplia​nt
Posté le 06-07-2018 à 14:15:21  profilanswer
 

J'ai absolument rien bité. Mais je vais lire tes réfs :D
 
Pour Isomap, KPCA etc. faut faire une SVD d'une matrice n x n donc en O(n^3) et O(n²) en mémoire, sans parler de la construction des graphes avec knn etc...  
 
Du coup, jvais prendre un petit subset représentatif du vrai dataset et voilà
 
Edit : ah si c'est bon j'avais mal lu, en effet en général c'est un eigen-problem


Message édité par NonCompliant le 06-07-2018 à 14:22:04
n°5062145
hadada
Posté le 06-07-2018 à 20:05:20  profilanswer
 

https://www.maddyness.com/2018/06/2 [...] s-talents/

 

Les cogips francaise en prennent pour leurs grades :o

Message cité 1 fois
Message édité par hadada le 06-07-2018 à 20:05:45
n°5062155
korial
Posté le 06-07-2018 à 23:12:41  profilanswer
 

hadada a écrit :

https://www.maddyness.com/2018/06/2 [...] s-talents/
 
Les cogips francaise en prennent pour leurs grades :o


Je suis un peu jaloux du pas encore diplômé à qui on propose 260k :lol:

n°5063075
nesquik69
Posté le 13-07-2018 à 19:24:24  profilanswer
 

coucou,
 
Quelqu'un aurait il des feedbacks sur le master AIC(apprentissage, information, contenu) de l'université paris Saclay ?
J'en ai peu entendu parler, mais il est cohabilité par beaucoup de grosses écoles (ENSTA, TPT, X, Agro paris tech )
 
Merci

n°5063077
truvaking
geub
Posté le 13-07-2018 à 19:38:08  profilanswer
 

bonjour avec un magistere d'info d'orsay vous pensez que je peux devenir data scientist avec ca?

n°5063087
Dooley-
Posté le 13-07-2018 à 21:19:20  profilanswer
 

truvaking a écrit :

bonjour avec un magistere d'info d'orsay vous pensez que je peux devenir data scientist avec ca?

 

Bien sur tout le monde peut devenir data scientist

n°5063089
zuf
AMD Fanboy
Posté le 13-07-2018 à 21:24:48  profilanswer
 

Data analyst peut-être.
Enfin cela dit data scientist ça regroupe pas mal de sous catégories, ça dépend ce que tu veux faire....

n°5063095
truvaking
geub
Posté le 13-07-2018 à 22:55:21  profilanswer
 

j'aimerais faire ingénieur R&D dans un domaine spécialisé de l'IA, comme de la génération automatique d'image / son / animation par exemple...

n°5063114
NonComplia​nt
Posté le 14-07-2018 à 00:11:38  profilanswer
 

truvaking a écrit :

bonjour avec un magistere d'info d'orsay vous pensez que je peux devenir data scientist avec ca?


 
Oui tu peux
 
Je sais pas si c possible mais essaies de prendre des UE de maths en + genre algèbre etc. Et après ton magistère tu peux toujours rempiler sur un M2 plus orienté maths/ML etc. (MVA vu que tu parlais d'images par ex)
 
Là dans ma boite y'a des data scientists avec des profils largement moins bons que ça donc tqt


Message édité par NonCompliant le 14-07-2018 à 00:13:31
n°5063131
truvaking
geub
Posté le 14-07-2018 à 01:29:27  profilanswer
 

jvais voir ca, mais a mon avis ils vont pas me laisser sauf en auditeur libre peut etre...

n°5063282
NonComplia​nt
Posté le 16-07-2018 à 10:12:23  profilanswer
 

Salut tout le monde :hello:  
 
J'ai besoin d'aide en maths, pour saisir l'idée derrière la plupart des algos comme celui-ci : http://www.math.pku.edu.cn/teacher [...] book05.pdf (MDS, 1er chapitre, le tout début du pdf, ces parties là https://imgur.com/a/bxFpEBF )
 
J'ai du mal à comprendre en quoi faire la décomposition en éléments propres de la matrice de Gram permet de récupérer les coordonnées du nouvel espace  :??:  
 
Dans le cadre de PCA, il faut maximiser la variance donc la trace de la matrice de covariance donc en déroulant les équations on voit qu'il faut prendre les vecteurs propres de la matrice de covariance et tout cela fait sens ( https://arxiv.org/pdf/1207.3538.pdf ), par contre là j'ai l'impression que cette décomposition sort du chapeau  :??:  
 
 
Tl;dr : je comprends le comment mais pas le pourquoi de l'algo
 
 
Merci d'avance :jap:

n°5063373
uuuugh
Posté le 16-07-2018 à 13:29:56  profilanswer
 

sans la decomposition tu peux pas répondre au problème, si tu restes sur ta matrice de distances tu peux rien faire. passer de matrice de distances à matrice de produit scalaire te permet de te placer dans un espace (via decomposition en elts propres) adapté.  
c'est parce que tu as une matrice de produit scalaire que tu peux te placer dans un nouvel espace euclidien, ça marche pas sinon.

n°5063391
NonComplia​nt
Posté le 16-07-2018 à 14:02:20  profilanswer
 

uuuugh a écrit :

sans la decomposition tu peux pas répondre au problème, si tu restes sur ta matrice de distances tu peux rien faire. passer de matrice de distances à matrice de produit scalaire te permet de te placer dans un espace (via decomposition en elts propres) adapté.  
c'est parce que tu as une matrice de produit scalaire que tu peux te placer dans un nouvel espace euclidien, ça marche pas sinon.


 
Justement c'est ça que je pige pas. Ça vient d'où ? Un théorème ou ???  
 
Plus particulièrement pourquoi on a ça : https://i.imgur.com/gqWJzMh.png  :??:
 
Le théorème d'Eckart Young dit que l'approximation d'une matrice par une matrice de rang k inférieur c'est la SVD en ne gardant que les k plus grandes valeurs singulières mais ici ce n'est pas cette formule qui est utilisée, je suis un peu perdu. Il me manque certaines bases (lol) en algèbre...


Message édité par NonCompliant le 16-07-2018 à 14:08:06
n°5063398
uuuugh
Posté le 16-07-2018 à 14:37:23  profilanswer
 

matrice de produit scalaire -> base orthonormale -> coordonnées euclidiennes
matrice de distances -> ??
 
et ta deuxieme question c'est parce qu'on est dans le cas matrice symétrique + bonne base que les vecteurs propres ont cette forme là

n°5063414
NonComplia​nt
Posté le 16-07-2018 à 15:47:35  profilanswer
 

Okay j'ai compris.  
 
Si C c'est la matrice de covariance alors on peut la décomposer comme ça : https://i.imgur.com/0meW8q0.png
 
Du coup, les composantes principales sont données par : XV
 
 
On peut aussi faire la SVD de X, ce qui nous donne : https://i.imgur.com/6Mw5ye2.png
 
Les colonnes de U contiennent les vecteurs propres de https://latex.codecogs.com/gif.latex?X%5ETX , S contient les valeurs singulières de X et V contient les vecteurs propres de https://latex.codecogs.com/gif.latex?XX%5ET
 
(normalement c'est le contraire mais là notre data set contient les samples en colonnes et non l'inverse)
 
Du coup, https://latex.codecogs.com/gif.latex?X%5ETX%20%3D%20VSU%5ETUSV%5ET%20%3D%20VS%5E2V%5ET
 
V contient les directions principales et les composantes principales sont données par https://latex.codecogs.com/gif.latex?XV%20%3D%20USV%5ETV%20%3D%20US
 
 
Le principe de l'algo, c'est qu'à partir d'une matrice de distances D, on arrive à construire la matrice B = https://latex.codecogs.com/gif.latex?X%5ETX
 
En faisant une décomposition en elts propre de B, on obtient https://latex.codecogs.com/gif.latex?B%20%3D%20U%5CDelta%20U%5ET et https://latex.codecogs.com/gif.latex?S%20%3D%20%5CDelta%5E%7B1/2%7D
 
 
Du coup c'est nickel, si on garde que les top k vecteurs propres on a bien https://latex.codecogs.com/gif.latex?X_k%20%3D%20U_k%20%5CDelta%20_k%5E%7B1/2%7D
 
Et ça conclue le bousin. J'ai juste ?


Message édité par NonCompliant le 16-07-2018 à 15:48:24
n°5063449
uuuugh
Posté le 16-07-2018 à 20:14:22  profilanswer
 

tu te prends la tete
 
tu transformes D en B
decomposition spectrale B = U*L*t(U) = U*L^(1/2) * t(U*L^(1/2))
=> X = U*L^(1/2) convient (on cherche X tq B = X*t(X) )
et tu prends les top k vecteurs :
Xk = Uk*Lk^(1/2)

mood
Publicité
Posté le   profilanswer
 

 Page :   1  2  3  4  5  ..  36  37  38  39  40  41
Page Suivante

Aller à :
Ajouter une réponse
 

Sujets relatifs
Recherche d'emploi[Topik Unique] Les girls de la section E&E
Avez vous des problèmatiques sur le Big Data ?Master Finance et Stratégie de Science Po après des études de droit ?
Je veux travailler dans les Big DATAOrientation pour Data Science & Recherche Opérationnelle
[Topic Unique] Concours ingénieur ENAC/IESSA : 30 postes [Topic Unique] EIVP
[Topic Unique] L'Aylite !!! 
Plus de sujets relatifs à : [Topic Unique] Machine Learning & Data Science


Copyright © 1997-2018 Hardware.fr SARL (Signaler un contenu illicite) / Groupe LDLC / Shop HFR