Reprise du message précédent :

Question con, mais si tu leur explique 2/3 trucs ils adaptent leur comportement ou pas?
Le plus important c'est la capacité à évoluer et progresser et apprendre.

Bien sûr que non

Alors oui il y a de quoi en avoir marre

Perso je débute j'ai de mauvais réflexes mais je note absolument tout ce qu'on me dit pour pas reproduire les erreurs et faire au mieux. Du coup ils m'en veulent pas trop (enfin je crois)

Tu peux me rappeler ce qu'ils font avec les chaînes de caractères ? Tu en avais parlé j'avais trouvé ça intéressant

Salut,
 
J'ai une petite question. Comment choisir le kernel adéquat dans un classifier SVC (http://scikit-learn.org/stable/modules/generated/sklearn.svm.SVC.html) ?
 
Contexte : j'ai absolument pas vu en cours la notion de kernel etc d'où ma question
 
J'essaie de comparer diverses méthodes de réduction de dimensions sur de la classification d'images et donc j'ai besoin de classifier les images avant réduction de dim et comparer avec la classification après réduction.  
 
Je travaille sur le set d'images LFW et dans l'exemple scikit-learn ils utilisent un kernel "rbf"  
 
http://scikit-learn.org/stable/aut [...] gnition-py
 
(Ils utilisent un SVC après un PCA)
 
En utilisant aussi un kernel rbf j'obtiens un score catastrophique sur mes données brutes alors qu'avec un kernel "linear" j'obtiens un score tout à fait raisonnable (85%).  
 
 
Merci d'avance  

D'accord, merci pour ta réponse très complète, je regarde ton lien    
 
En gros, ça revient à faire ce que les gars de stack-overflow recommandent : une gridsearchCV avec les différents kernels disponibles, sauf qu'il faut aussi chercher la valeur optimale de C... et le nombre optimal de composantes principales. Et ça prends une plombe à tourner (pourtant j'utilise une Pipeline en mettant en cache les résultats et en parallélisant les calculs pendant la gridsearch...).  
 
Je vais plutôt m'orienter sur http://scikit-learn.org/stable/mod [...] ifier.html , moins de choses à optimiser, ça ira plus vite. Fin bref, merci d'avoir pris du temps pour me répondre  

Sérieux ?
Quand je vois des gens en L3 maths à Jussieu galérer (très peu réussissent) c'est HYPER chaud  

 
C'est ce que j'ai fait, avec un beau graphe en prime
 

 
Merci pour l'astuce avec la val de C, je note.
 
Le pb c'est qu'il n'y a pas que PCA à tester

Tu testes sur quoi ? Quelle taille ton set de données ?

Sur ce data set là : http://scikit-learn.org/stable/aut [...] gnition-py

et sur quelle machine?

 
Un elitebook, 16 giga de ram...

Le grid search c'est vraiment brutal comme méthode, ça prend un temps fou.
Vaut mieux privilégier du random grid search amha

 
Ouaip, c'est un bruteforce quoi, merci du conseil, je testerai au boulot  

Tu as tout ce qu'il faut dans scikit pour ça

le problème du grid search c'est quand l'influence d'un hyperparamètre à un certain endroit est beaucoup plus grande que celle des autres, du coup on fait souvent une tonne d'iterations qui servent pas à grand chose. faire un random search résout ce problème, tu peux aussi faire une optimisation bayesienne  
https://mathworks.com/help/stats/ba [...] study.html
 
après y'a des certains ordres de grandeurs qui reviennent souvent, tu peux essayer ce que propose genji ça devrait bien marcher
 
(par contre tes 85% d'accuracy sur les données brutes ça me parait beaucoup avec un SVM linéaire si t'as un truc plus compliqué que mnist   )

Incroyable, quelqu'un qui publie un lien MathWorks...

j'ai fait pas mal de matlab en école j'aime bien leur documentation matlab avec le recul c'est pas mal quand même

Tu peux louer une machine 8 cores avec 30GB de RAM pour 50ct/h sur AWS, je te conseille vraiment de passer à autre chose que ton portable si tu veux faire quelque chose de sérieux. Si c'est pour un stage/mémoire ca vaut le coup de faire pas mal d'essais et de "surdocumenter" avec des grid search. Un rapport basé sur du random search sera plus difficile à présenter selon moi - et te donnera moins d'intuition sur l'impact des différents paramètres (ce qui est important surtout quand on débute).

Si tu ne l'as pas encore ca te donnera en plus de l'expérience sur du dévelopement cloud qui a aussi de la valeur sur le marché.

 
Hum en plus la boite a l'air d'avoir pas mal de partenariats avec Microsoft etc, à voir si je peux m'amuser sur leur cloud...

N'est-ce pas

Non
Azur c'est l'équivalent de Staline qui aurait couché avec Hitler le tout croisé avec darth vader.
Azur doit être purgé par le feu

Allez je me motive à répondre à cette question du coup, d'autant que c'est un de mes sujets favoris. Merci donc de m'avoir relancé

Dans la suite, dans un souci de concision et parce que c'est fun dans certaines tournures de phrases, je remplacerai le terme "chaîne de caractère" par l'anglicisme string.

Ce qu'il faut comprendre globalement, c'est que parmi les préceptes que j'essaye de répandre telle la bonne parole, il y a le suivant :
A moins que ce ne soit absolument nécessaire, il convient d'éviter l'utilisation de données de type string dans un traitement in-memory.

Analysons pour commencer les différentes composantes de ce commandement, en débutant par la dernière partie.

• Dans un traitement in-memory (bon sang ce que je peux détester cette terminologie) : ce que je vais décliner ci-dessous ne s'applique qu'aux traitements effectués en mémoire, c'est-à-dire principalement avec des langages de programmation usuels tels que Java, Python, MATLAB, etc. En particulier, cela ne s'applique bien évidemment pas aux bases de données (relationnelles ou non) dans lesquelles il est bien naturel d'avoir de la donnée sous forme de string.
• A moins que ce ne soit absolument nécessaire : il existe des données qui sont intrinsèquement textuelles et pour lesquelles l'usage des strings ne peut être évité. On peut par exemple penser à un verbatim ou, plus globalement, à tout champ de texte libre, par exemple dans un formulaire.

Ce que je cherche à éviter, c'est l'utilisation de strings pour représenter des données qui semblent textuelles mais ne le sont pas en réalité. Je vais prendre les 3 exemples principaux que je retrouve le plus souvent.

• Les dates. Cet exemple est vraiment le pire. Normalement, ton langage de programmation favori fournit une structure de données permettant de représenter des données de manière plus efficace que des strings (j'entends en termes d'occupation mémoire) et qui permet de surcroît de réaliser des opérations mathématiques, par exemple calculer facilement la durée qui s'est écoulée entre 2 dates, ce qui est loin d'être aisé avec des dates stockées en strings.

• Les données catégorielles. C'est l'exemple le plus répandu. Il existe énormément de types de données qui semblent textuelles mais qui sont en fait catégorielles et doivent du coup être stockées de manière appropriée. On peut citer par exemple les codes postaux, des noms d'enseignes commerciales, des CSP, des professions, des variables d'état ou de statut, etc. Là encore, ton langage de programmation favori doit théoriquement te mettre à disposition une structure de données permettant de gérer efficacement et confortablement les données catégorielles. Sinon, il faut vite en changer. Note que c'est assez facile à implémenter soi-même : il suffit par exemple de remplacer la donnée par la position de ladite donnée dans la liste des modalités, ce qui permet de passer de strings à des entiers non signés. Au prix de la lisibilité, certes, mais c'est justement le genre de lacune qu'un type natif de donnée catégorielle permet d'effacer.

• Les identifiants. Assez fréquent également, et très coûteux parce que les identifiants comprennent généralement un nombre élevé de caractères. La bonne nouvelle, c'est que les identifiants sont souvent numériques, on peut donc les stocker comme tels. Si ce n'est pas le cas, on peut généralement écrire assez facilement des fonctions de transformation bijectives de string vers numérique et inversement.

Le gain en mémoire est généralement assez élevé.
Sur des dates, on va passer en règle générale de 10 caractères (puisque les séparateurs sont souvent conservés), soit 20 octets, à 8 octets pour un "vrai" type date (il s'agit la plupart du temps d'une valeur numérique déguisée, par exemple le nombre de millisecondes écoulé depuis le 1er janvier 1970).
Sur les données catégorielles, ça dépend ! Pour un code postal, on va passer de 10 octets (5 caractères) à 2 ou 4 octets, un entier 16 bits non signé permettant déjà de représenter suffisamment de valeurs différentes pour couvrir la France entière.

L'autre gros bénéfice, c'est que tous les types évoqués ci-dessus (dates, données catégorielles, valeurs numériques) peuvent être stockés dans des vecteurs, contrairement aux strings qui nécessitent l'utilisation de listes, ce qui introduit encore un overhead supplémentaire en termes d'occupation mémoire.

Généralement, on peut facilement diviser par 10 l'occupation mémoire d'un dataset en passant de strings à d'autres types de données plus adaptés.

Merci des details !
 
Y'avait aussi ce poste sur Python/Pandas et Big Data, tres informatif aussi sur les data types:
 
https://www.dataquest.io/blog/pandas-big-data/

Très bien ce post en effet, on dit grosso modo la même chose.
Attention néanmoins aux conversions de nombres flottants en entiers. Une différence majeure, outre les décimales bien entendu, est l’absence de “NaN” du côté des entiers. Du coup, les flottants sont bien mieux adaptés dès qu’il est question de représenter des valeurs manquantes.

 
 
Je me reconnais pleinement dans le profil tocard ahha
Pur stateux qui a code que sur SAS et sur R(un tout petit peu de python).  
Cependant je suis persuadé qu'une personne a minima intéressé sera pleinement capable de se mettre à niveau.  
Un stateux à des capacités, certes il a des lacunes en programmation mais cela peut s'apprendre sur le tas.  
Je trouve dommage de penser qu'un étudiant de master soit capable de tout connaître sur le bout des doigts ( programmation, stats, connaissance métier ect...) car c'est bien évidemment impossible...

Dans le même genre j'ai revu le code d'un collègue qui utilisait un string 'true' ou 'false' au lieu d'un boolean dans ses tables...

 
ça c'est chaud par contre, une explication particulière ?  

Récupération d'un export en texte (OCR)?

Joli

 
 
un fichier de données sas c'est quand meme plus proche d'une table que d'un csv    

Précisément, d’où la confusion.

Pour décrire un niveau de sévérité, j’ai vu il y a quelques temps des valeurs “JAUNE” et “ROUGE”...

Surement des biologistes....  

On peut partir de 0 et apprendre à programmer en python et apprendre le Machine Learning?

Oui:
Il y a deux livres que je recommande:
 
1) Apprendre a Programmer en Python: https://inforef.be/swi/python.htm
 
Dispo chez O'Reilly. Le PDF est aussi libre d'acces.
 
2) Introduction to Machine Learning with Python (chez O'Reilly).
 
 
Le Python est facile d'acces. Pars directement sur Python3.

Merci !

Ça dépend aussi ce que tu entends par zéro.
Si tu viens d'avoir un bac littéraire ça peut être sacrément compliqué

Ça dépend aussi de ce que t'entends par "apprendre le machine learning"

Et bien sûr ça dépend aussi de ce que vous entendez par "ça dépend" ?

Aujourd'hui c'est lundredi