Reprise du message précédent :
Avec pandas:  
 
df.groupby(‘Classe’).apply(pandas.DataFrame.sample, frac=0.03).reset_index(drop=True)
 
?

 
Suffit d'avoir un vrai cluster    
 
Ou alors se contenter d'algorithmes de    
 
Comme moi  

Ça dépend de la dimension de sortie du kernel
 
Pour un PCA classique (kernel = covariance) si tu as X la matrice d'observations, où chaque ligne est une observation de dimension 60, tu n'as pas besoin de calculer la matrice de covariance 500k x 500k complète
 
Déjà il est clair que X est de rang au plus 60, donc il y a au plus 60 valeurs singulières non nulles, ou de manière équivalente, au plus 60 valeurs propres non nulles de la matrice de covariance.
 
Ensuite il y a un lemme bien utile qui dit ça
 
Soit B = XX^T et C = X^TX alors B et C ont les mêmes valeurs propres positives L et, en supposant les dimensions compatibles (échanger les matrices au besoin), les vecteurs propres U de B et V de C satisfont U = XVL^{-1/2}
 
Donc en fait calculer une PCA est simple si la matrice est grande sur une seule dimension
 
Ça s'applique aux kernels de dimension finis aussi. Si la représentation est de dimension infinie en revanche il n'y a pas le choix et il faut utiliser le kernel trick et calculer la matrice de Gram

Le contenu de ce message a été effacé par son auteur

Dormalement, le fait que faire de la PCA/POD/EOF whatever, c'est juste mettre en évidence une SVD (et qu'il y a donc deux points de vue, mais un seul jeu de valeurs propres) de ton signal est généralement exposé dans tous les manuels ou articles de revue, même si c'est parfois un peu caché et pas toujours très mis en valeur*. De ce fait, l'idée qu'il vaut toujours mieux construire et diagonaliser la matrice de covariance qui a la plus petite dimension n'a pas toujours un très fort taux de pénétration dans toutes les communautés
 
*(jonre, dans Berkooz, Holmes, Lumley, ARFM (1993), ça reste assez visible (§2.6), dans Wilks,  statistical methods in the atmospheric sciences, c'est une toute petite sous section que beaucoup de gens loupent)
 
Ca s'appelle Bi-Orthogonal Decomposition quand on veut prendre la limite continue (N. Aubry, TCFD (1991) et tout ce qui s'en suit )
 
Bon après, quand la taille de ton signal c'est 3000x4 000 000, ça reste un peu longuet

Je suis un peu jaloux du pas encore diplômé à qui on propose 260k

coucou,
 
Quelqu'un aurait il des feedbacks sur le master AIC(apprentissage, information, contenu) de l'université paris Saclay ?
J'en ai peu entendu parler, mais il est cohabilité par beaucoup de grosses écoles (ENSTA, TPT, X, Agro paris tech )
 
Merci

bonjour avec un magistere d'info d'orsay vous pensez que je peux devenir data scientist avec ca?

Bien sur tout le monde peut devenir data scientist

Data analyst peut-être.
Enfin cela dit data scientist ça regroupe pas mal de sous catégories, ça dépend ce que tu veux faire....

j'aimerais faire ingénieur R&D dans un domaine spécialisé de l'IA, comme de la génération automatique d'image / son / animation par exemple...

jvais voir ca, mais a mon avis ils vont pas me laisser sauf en auditeur libre peut etre...

sans la decomposition tu peux pas répondre au problème, si tu restes sur ta matrice de distances tu peux rien faire. passer de matrice de distances à matrice de produit scalaire te permet de te placer dans un espace (via decomposition en elts propres) adapté.  
c'est parce que tu as une matrice de produit scalaire que tu peux te placer dans un nouvel espace euclidien, ça marche pas sinon.

matrice de produit scalaire -> base orthonormale -> coordonnées euclidiennes
matrice de distances -> ??
 
et ta deuxieme question c'est parce qu'on est dans le cas matrice symétrique + bonne base que les vecteurs propres ont cette forme là

tu te prends la tete
 
tu transformes D en B
decomposition spectrale B = U*L*t(U) = U*L^(1/2) * t(U*L^(1/2))
=> X = U*L^(1/2) convient (on cherche X tq B = X*t(X) )
et tu prends les top k vecteurs :
Xk = Uk*Lk^(1/2)

Alors que tout peut être réglé en 2 lignes avec n'importe quel framework

Désolé mais tout cela ne veut rien dire.

Sans déconner, si vous voulez vous mettre à l'algèbre linéaire, reprenez les concepts depuis le début : fonctions linéaires, bases et changements de base, produits scalaires, etc. N'importe quel bouquin de prépa fera l'affaire.

Ou sinon zappez complètement l'algèbre linéaire. Je vois passer des tonnes de data scientists qui ne pigent rien à l'algèbre linéaire, parfois même des bons. J'en viens même à penser qu'on peut être un "bon" data scientist en entreprise sans piger grand chose aux maths et aux stats, vu que tout se fait désormais au travers de bibliothèques / frameworks / machine à bullshit.

Le data scientist, technicien de demain...

oui c'est vrai j'ai survolé le truc j'étais au taf je me suis embrouillé en parlant de base orthonormale, mon post d'avant est pas super clair non plus. mais l'idée reste que passer à une "inner product matrix" permet de recuperer les(ou plutot des) coordonnées (xi) par decomposition spectrale.
 
pas besoin d'utiliser un ton condescendant mais tu as raison je pense aussi que ça ne me ferait pas de mal de relire mes cours de prépa, j'ai pas fait beaucoup d'algèbre linéaire depuis.

Bah c'est normal.
J'ai été physicien pendant 15 ans, j'ai fait une belle carrière plein de papiers une petite reconnaissance internationale dans mon domaine et pourtant il y a plein de notions de base que je ne maîtrisais pas (ou plus) parce que je ne les utlisais pas au quotidien.
Pour certains collègues théoriciens ça pourrait être problématique mais pas pour moi.

Ça dépend vraiment de ce que tu vas faire au quotidien mais je suis persuadé que tu peux être un excellent data scientist mème sans être doué en algèbre

Je change un peu de sujet, mais je suis en train de terminer mon stage de fin d’études. De ce fait, recherche d’un premier emploi. Et j’aurais besoin d’un peu d’aide.  
 
Je ne suis pas issu d’une grande école, j’ai une simple licence de maths suivie d’un master de maths appliquées statistiques (avec des cours en séries temp, data science et tout le tralala   ). 2 stages effectués pour une durée totale de 1 an.
 
J’ai passé des entretiens pour diverses entreprises pour des postes de data scientist. La question des prétentions salariales arrive généralement rapidement (parfois même dès le premier échange...). Le hic, je n’ai aucune idée du salaire auquel je peux prétendre.    Je recherche principalement en province, dans le Sud/Sud-Ouest.  
 
Le seul repère que j’ai est une proposition reçue pour Paris à 39K fixe sans négociation.  
 
Si en plus il serait possible d’avoir une fourchette pour les ESN et une pour les boites « classiques », cela serait parfait. Histoire que je ne me fasse pas entuber plus que de raison    
 
Merci  

Je n'ai pas de chiffre précis mais dans mon esn il me semble que les tous jeunes sortis d'école sont pris dans les 34/36 environ.

D'ailleurs on recrute si jamais tu cherches à démarrer sur Toulouse

À Paris essaie de taper du 45k

 
Merci du retour. J’essaie d’éviter la RP dans un premier temps.
 
 

 
Merci.
Je recherche justement sur Bordeaux et Toulouse, ça peut m’intéresser    
 
 
 

No way...

Go ssii financière au pire il demande 45 et a 42

 
en esn à paris c'est impossible en JD. 45 K en data science à paris ca se fait selon moi, mais il faut une conjonction du profil/du secteur/de la boite.
 
et avec justev un master d'une fac no name, c'est malheureusement très difficile, à moins d'avoir un stage sexy/une compétence rare et de bosser dans un secteur rémunérateur (typiquement la banque)

C’est fini la plus-value data science pour les junors, trop de monde sur le marché maintenant.
 
Si vous voulez faire un truc différenciant, il faut se diriger vers le DL, le NLP, les trucs un peu sophistiqués.

Pour l'instant je mange mon pain blanc (c'est la bonne expression ?) Dans ma SSII où j'apprends plein de choses dans un bordel pas possible.

Mais ensuite je compte bien bouger pour gagner plus de POGNON

Un pote avec un master de data science de fac (même pas un profil très matheux) a reçu une proposition à 45k à Paris il y a quelques jours
 
(ni en conseil, ni en banque, ni en startup)

Je veux bien l’astuce