Reprise du message précédent :
Avec pandas:  
 
df.groupby(‘Classe’).apply(pandas.DataFrame.sample, frac=0.03).reset_index(drop=True)
 
?

Perso j'ai vue énormément de boîte qui survendent complément leurs compétences, surtout en IA et SURTOUT les ssii.

 
Non c'est pas rien, pour kernel PCA faut calculer une matrice 500k X 500 K ça explose
 

 
Suffit d'avoir un vrai cluster    
 
Ou alors se contenter d'algorithmes de    
 
Comme moi  

Ça dépend de la dimension de sortie du kernel
 
Pour un PCA classique (kernel = covariance) si tu as X la matrice d'observations, où chaque ligne est une observation de dimension 60, tu n'as pas besoin de calculer la matrice de covariance 500k x 500k complète
 
Déjà il est clair que X est de rang au plus 60, donc il y a au plus 60 valeurs singulières non nulles, ou de manière équivalente, au plus 60 valeurs propres non nulles de la matrice de covariance.
 
Ensuite il y a un lemme bien utile qui dit ça
 
Soit B = XX^T et C = X^TX alors B et C ont les mêmes valeurs propres positives L et, en supposant les dimensions compatibles (échanger les matrices au besoin), les vecteurs propres U de B et V de C satisfont U = XVL^{-1/2}
 
Donc en fait calculer une PCA est simple si la matrice est grande sur une seule dimension
 
Ça s'applique aux kernels de dimension finis aussi. Si la représentation est de dimension infinie en revanche il n'y a pas le choix et il faut utiliser le kernel trick et calculer la matrice de Gram

Ah stylé ! T'as une référence/ lien pour ce lemme/ sujet ? Ca m'intéresse

Après ça règle pas vraiment le pb, pour d'autres techniques c'est juste impossible (Isomap/LLE par exemple)...

Le contenu de ce message a été effacé par son auteur

Dormalement, le fait que faire de la PCA/POD/EOF whatever, c'est juste mettre en évidence une SVD (et qu'il y a donc deux points de vue, mais un seul jeu de valeurs propres) de ton signal est généralement exposé dans tous les manuels ou articles de revue, même si c'est parfois un peu caché et pas toujours très mis en valeur*. De ce fait, l'idée qu'il vaut toujours mieux construire et diagonaliser la matrice de covariance qui a la plus petite dimension n'a pas toujours un très fort taux de pénétration dans toutes les communautés
 
*(jonre, dans Berkooz, Holmes, Lumley, ARFM (1993), ça reste assez visible (§2.6), dans Wilks,  statistical methods in the atmospheric sciences, c'est une toute petite sous section que beaucoup de gens loupent)
 
Ca s'appelle Bi-Orthogonal Decomposition quand on veut prendre la limite continue (N. Aubry, TCFD (1991) et tout ce qui s'en suit )
 
Bon après, quand la taille de ton signal c'est 3000x4 000 000, ça reste un peu longuet

J'ai absolument rien bité. Mais je vais lire tes réfs
 
Pour Isomap, KPCA etc. faut faire une SVD d'une matrice n x n donc en O(n^3) et O(n²) en mémoire, sans parler de la construction des graphes avec knn etc...  
 
Du coup, jvais prendre un petit subset représentatif du vrai dataset et voilà
 
Edit : ah si c'est bon j'avais mal lu, en effet en général c'est un eigen-problem

https://www.maddyness.com/2018/06/2 [...] s-talents/

Les cogips francaise en prennent pour leurs grades

Je suis un peu jaloux du pas encore diplômé à qui on propose 260k

coucou,
 
Quelqu'un aurait il des feedbacks sur le master AIC(apprentissage, information, contenu) de l'université paris Saclay ?
J'en ai peu entendu parler, mais il est cohabilité par beaucoup de grosses écoles (ENSTA, TPT, X, Agro paris tech )
 
Merci

bonjour avec un magistere d'info d'orsay vous pensez que je peux devenir data scientist avec ca?

Bien sur tout le monde peut devenir data scientist

Data analyst peut-être.
Enfin cela dit data scientist ça regroupe pas mal de sous catégories, ça dépend ce que tu veux faire....

j'aimerais faire ingénieur R&D dans un domaine spécialisé de l'IA, comme de la génération automatique d'image / son / animation par exemple...

 
Oui tu peux
 
Je sais pas si c possible mais essaies de prendre des UE de maths en + genre algèbre etc. Et après ton magistère tu peux toujours rempiler sur un M2 plus orienté maths/ML etc. (MVA vu que tu parlais d'images par ex)
 
Là dans ma boite y'a des data scientists avec des profils largement moins bons que ça donc tqt

jvais voir ca, mais a mon avis ils vont pas me laisser sauf en auditeur libre peut etre...

Salut tout le monde  
 
J'ai besoin d'aide en maths, pour saisir l'idée derrière la plupart des algos comme celui-ci : http://www.math.pku.edu.cn/teacher [...] book05.pdf (MDS, 1er chapitre, le tout début du pdf, ces parties là https://imgur.com/a/bxFpEBF )
 
J'ai du mal à comprendre en quoi faire la décomposition en éléments propres de la matrice de Gram permet de récupérer les coordonnées du nouvel espace    
 
Dans le cadre de PCA, il faut maximiser la variance donc la trace de la matrice de covariance donc en déroulant les équations on voit qu'il faut prendre les vecteurs propres de la matrice de covariance et tout cela fait sens ( https://arxiv.org/pdf/1207.3538.pdf ), par contre là j'ai l'impression que cette décomposition sort du chapeau    
 
 
Tl;dr : je comprends le comment mais pas le pourquoi de l'algo
 
 
Merci d'avance

sans la decomposition tu peux pas répondre au problème, si tu restes sur ta matrice de distances tu peux rien faire. passer de matrice de distances à matrice de produit scalaire te permet de te placer dans un espace (via decomposition en elts propres) adapté.  
c'est parce que tu as une matrice de produit scalaire que tu peux te placer dans un nouvel espace euclidien, ça marche pas sinon.

 
Justement c'est ça que je pige pas. Ça vient d'où ? Un théorème ou ???  
 
Plus particulièrement pourquoi on a ça :  
 
Le théorème d'Eckart Young dit que l'approximation d'une matrice par une matrice de rang k inférieur c'est la SVD en ne gardant que les k plus grandes valeurs singulières mais ici ce n'est pas cette formule qui est utilisée, je suis un peu perdu. Il me manque certaines bases (lol) en algèbre...

matrice de produit scalaire -> base orthonormale -> coordonnées euclidiennes
matrice de distances -> ??
 
et ta deuxieme question c'est parce qu'on est dans le cas matrice symétrique + bonne base que les vecteurs propres ont cette forme là

Okay j'ai compris.  
 
Si C c'est la matrice de covariance alors on peut la décomposer comme ça :
 
Du coup, les composantes principales sont données par : XV
 
 
On peut aussi faire la SVD de X, ce qui nous donne :
 
Les colonnes de U contiennent les vecteurs propres de , S contient les valeurs singulières de X et V contient les vecteurs propres de
 
(normalement c'est le contraire mais là notre data set contient les samples en colonnes et non l'inverse)
 
Du coup,
 
V contient les directions principales et les composantes principales sont données par
 
 
Le principe de l'algo, c'est qu'à partir d'une matrice de distances D, on arrive à construire la matrice B =
 
En faisant une décomposition en elts propre de B, on obtient et
 
 
Du coup c'est nickel, si on garde que les top k vecteurs propres on a bien
 
Et ça conclue le bousin. J'ai juste ?

tu te prends la tete
 
tu transformes D en B
decomposition spectrale B = U*L*t(U) = U*L^(1/2) * t(U*L^(1/2))
=> X = U*L^(1/2) convient (on cherche X tq B = X*t(X) )
et tu prends les top k vecteurs :
Xk = Uk*Lk^(1/2)

Alors que tout peut être réglé en 2 lignes avec n'importe quel framework

 
C'est pas le soucis haha
 
Pour appliquer l'algo un appel de librairie et un peu de recherche pour les hyper paramètres suffisent amplement. Mais je trouve que c'est important de comprendre ce qu'on fait et en plus j'essaie de produire un papier assez détaillé et complet à destination de la boite donc avec les maths expliquées etc.  
 
 
Merci uuuugh pour ton aide (et Darms aussi, même si t'es TT   )

Désolé mais tout cela ne veut rien dire.

Sans déconner, si vous voulez vous mettre à l'algèbre linéaire, reprenez les concepts depuis le début : fonctions linéaires, bases et changements de base, produits scalaires, etc. N'importe quel bouquin de prépa fera l'affaire.

Ou sinon zappez complètement l'algèbre linéaire. Je vois passer des tonnes de data scientists qui ne pigent rien à l'algèbre linéaire, parfois même des bons. J'en viens même à penser qu'on peut être un "bon" data scientist en entreprise sans piger grand chose aux maths et aux stats, vu que tout se fait désormais au travers de bibliothèques / frameworks / machine à bullshit.

Le data scientist, technicien de demain...

oui c'est vrai j'ai survolé le truc j'étais au taf je me suis embrouillé en parlant de base orthonormale, mon post d'avant est pas super clair non plus. mais l'idée reste que passer à une "inner product matrix" permet de recuperer les(ou plutot des) coordonnées (xi) par decomposition spectrale.
 
pas besoin d'utiliser un ton condescendant mais tu as raison je pense aussi que ça ne me ferait pas de mal de relire mes cours de prépa, j'ai pas fait beaucoup d'algèbre linéaire depuis.

Bah c'est normal.
J'ai été physicien pendant 15 ans, j'ai fait une belle carrière plein de papiers une petite reconnaissance internationale dans mon domaine et pourtant il y a plein de notions de base que je ne maîtrisais pas (ou plus) parce que je ne les utlisais pas au quotidien.
Pour certains collègues théoriciens ça pourrait être problématique mais pas pour moi.

Ça dépend vraiment de ce que tu vas faire au quotidien mais je suis persuadé que tu peux être un excellent data scientist mème sans être doué en algèbre

Je change un peu de sujet, mais je suis en train de terminer mon stage de fin d’études. De ce fait, recherche d’un premier emploi. Et j’aurais besoin d’un peu d’aide.  
 
Je ne suis pas issu d’une grande école, j’ai une simple licence de maths suivie d’un master de maths appliquées statistiques (avec des cours en séries temp, data science et tout le tralala   ). 2 stages effectués pour une durée totale de 1 an.
 
J’ai passé des entretiens pour diverses entreprises pour des postes de data scientist. La question des prétentions salariales arrive généralement rapidement (parfois même dès le premier échange...). Le hic, je n’ai aucune idée du salaire auquel je peux prétendre.    Je recherche principalement en province, dans le Sud/Sud-Ouest.  
 
Le seul repère que j’ai est une proposition reçue pour Paris à 39K fixe sans négociation.  
 
Si en plus il serait possible d’avoir une fourchette pour les ESN et une pour les boites « classiques », cela serait parfait. Histoire que je ne me fasse pas entuber plus que de raison    
 
Merci  

Je n'ai pas de chiffre précis mais dans mon esn il me semble que les tous jeunes sortis d'école sont pris dans les 34/36 environ.

D'ailleurs on recrute si jamais tu cherches à démarrer sur Toulouse

À Paris essaie de taper du 45k

 
Merci du retour. J’essaie d’éviter la RP dans un premier temps.
 
 

 
Merci.
Je recherche justement sur Bordeaux et Toulouse, ça peut m’intéresser    
 
 
 

ESN RP : entre 36 (facqueux) et 39. Ils mettent pas au dessus même en data science

No way...

Go ssii financière au pire il demande 45 et a 42

 
en esn à paris c'est impossible en JD. 45 K en data science à paris ca se fait selon moi, mais il faut une conjonction du profil/du secteur/de la boite.
 
et avec justev un master d'une fac no name, c'est malheureusement très difficile, à moins d'avoir un stage sexy/une compétence rare et de bosser dans un secteur rémunérateur (typiquement la banque)

C’est fini la plus-value data science pour les junors, trop de monde sur le marché maintenant.
 
Si vous voulez faire un truc différenciant, il faut se diriger vers le DL, le NLP, les trucs un peu sophistiqués.

Pour l'instant je mange mon pain blanc (c'est la bonne expression ?) Dans ma SSII où j'apprends plein de choses dans un bordel pas possible.

Mais ensuite je compte bien bouger pour gagner plus de POGNON

Un pote avec un master de data science de fac (même pas un profil très matheux) a reçu une proposition à 45k à Paris il y a quelques jours
 
(ni en conseil, ni en banque, ni en startup)

Je veux bien l’astuce