Reprise du message précédent :
Y'avait d'ailleurs un article pour comment gerer des centaines de Mo dans Pandas:
https://www.dataquest.io/blog/pandas-big-data/

Une base de données, c'est pas forcément plus complexe...
Et puis ça permet de s'entraîner au SQL.

Oui s'il veut s'entraîner ça peut être intéressant aussi

 
Sqlite est disponible en python, et c'est effectivement très pratique pour pas se prendre la tete avec un server sql et faire un truc portable et partageable avec tes amis.
 
Maintenant si tu as assez de RAM charge tout, surtout si tu as un seul fichier plat et que tu n'a pas besoin d'avoir plusieurs table et de faire des jointures.  
 

 
Je dirais que c'est encore intéressant, mais c'est de moins en moins utilisé en data science.
L'explosion de la dispo de la ram y est pour beaucoup, sur ma machine perso j'ai 16Go ce qui est déjà suffisant pour 90% des projets, nos serveur atteigne 128/256 ...
et tout tourne sur du SSD et sql ne sert que de stockage multi utilisateur.
Au dessus, c'est les architecture big data qui prennent le relais
Et pour des appli plus industrielles, des ORM comme SQLAlchemy sont de plus en plus utilisé, ça permet d'avoir une abstraction (un mapping object/table) qui est indépendant de la base de donnée.
Ça permet par exemple d'avoir un sqlite en local, un postgres sur le server de dev et un ms-sql en prod chez le client, en ayant le même code.
 
SQL reste indispensable à connaitre, mais pas au point de maîtriser les requête imbriqué ou récursive avec des clauses dans tout les sens.

L'intérêt d'une base de données, c'est :
- de réaliser certaines opérations "in-database", afin d'éviter le transfert de données entre la base et le client ;
- de récupérer seulement une partie de l'information grâce à l'indexation.
 
Le traitement en mémoire sur le client, c'est bien, mais il faut tout de même charger le jeu de données à un moment donné, ce qui peut effacer tout le gain de performances sur le traitement lui-même.

 
En lien avec la question de départ et pour compléter :
Si pour réaliser tes tâches d'analyse, tu as besoin de toutes tes données (les 500Mo), il faut aussi penser à la place en mémoire qu'elles vont prendre lorsque tu les aura mises dans des structures de données. Et ça dépend de l'algorithme d'analyse que tu utilises, vu que ça dépend des structures de données utilisées par l'algo. Tu peux essayer de déterminer la complexité en espace de ton algo ... Ou alors plus simple, do it and let's see

je connais déjà sql

je veux surtout m'entraîner sur l'aspect traitement des données
donc je cherchais juste une solution de stockage qui colle avec la taille de mes données

je vais creuser du côté de panda

Bah sinon MATLAB, un fichier CSV, readtable et zou terminé

Ah voilà, je me demandais quand est-ce que tu allais parler de MATLAB

Matlab j'y suis retourné dernièrement car un papier que je lisais était implémenté en Matlab, mais je me suis rendu compte que ça n'avait plus aucun intérêt aujourd'hui avec python, julia et octave/scilab..
ALors certes la documentation est bien faite mais bon...

Je sais bien que je suis le seul à défendre cet outil mais, pour faire également un peu de Python par ailleurs, je suis toujours surpris de voir à quel point les gens sont prêts à se faire chier avec des outils pas pratiques

 
Non tu n'es pas le seul
J'ai utilisé Matlab pendant un bon moment : ça rocks (du poney fringant)
Et puis les guerres d'outils / langages de prog / OS ... c'est vieux comme le monde
Le but c'est quand même d'être efficace quel que soit ton langage de prédilection

J'ai tout appris sur MATLAB puis utilisé  pendant longtemps (1998/2013) en gros. C'est un très bon outil, et même si je suis passé à python depuis quelques temps je comprends que c'est quand même moins pratique

développe ?  
"c'est moins pratique" ça veut rien dire  

 
Disons que l'interface de matlab est vraiment très bonne. Avec python on a bien spyder qui ressemble mais, n'est pas aussi "puissante".
Si tu veux importer un fichier csv avec matlab, tu peux le faire en 2 clicks puis tracer des colonnes très rapidement par exemple. Pour faire la même chose en python, c'est pas plus compliqué mais c'est bien plus long.
Idem pour éditer tes graphes, tu peux tout customiser à la volée en cliquant sur les traces ou les axes.
C'est surtout ce genre de détails qui sont confortables à l'usage.

Avec Pandas ?

Oui j'utilise plus que ça

Salut,
 
Je suis actuellement à la recherche d'un stage en stats/data science/machine learning (école d'ingés, M1 actuellement). On est d'accord que les stages "Data analyst" c'est du pipeau qui n'a rien à voir avec ce que je voudrais faire ?  
 
Pareil pour les stages en BI, c'est bien ou pas ?

oui c'est des métiers "historique" de la data  dans lesquels il manque justement les composantes data science / machine learning... t'en feras peut être un peu ou pas du tout, si t'as le choix essaye de trouver quelque chose qui ne laisse aucune ambiguïté sur ce que tu feras
 
si c'est un stage entre M1 et M2 c'est pas si important, par contre si c'est ton stage de fin d'étude ça aura un impact considérable sur la suite de ta carrière

C'est mon stage de M1 et je suis dans une école d'ingé pas top donc je suis pas en position de faire la fine bouche haha
 
Dans l'ordre on aurait : Stage en data science/machine learning > BI > Data analyst ????  
 
 
Quant est-il des stages de "dev web big data", j'ai un peu peur qu'ils utilisent les buzzwords pour attirer pour au final pisser du code web
 
J'essaye d'envoyer des candidatures spontanées sans trop de réussites, des idées de secteurs/boites/start-ups susceptibles de prendre un M1 sans exp ?
 
Merci

Bonjour, si des personnes sont intéressées par des formations spécialisés dans le machine learning /data science.
La faculté d'Orléans ouvre une " graduate school of data science"  
Ce projet regroupe une équipe de recherche mais également une formation diplômante sous la forme d'un DU.
Ce DU peut venir compléter le master économétrie et statistiques appliqués qui possède déjà plusieurs modules en data science  
Plus d'infos ici :  
http://www.univ-orleans.fr/icon/
http://www.univ-orleans.fr/deg/masters/ESA/

 
En quoi consistait ce master ESA?

 
Le master ESA c'est la formation économétrie et statistiques appliqués dont je parle dans le précédent message ahah.
Une solide formation en stats et en économétrie.
Si tu veux plus d'infos ya la plaquette des cours sur ce site  
http://www.univ-orleans.fr/deg/masters/ESA/

Salut tout le monde !
 
Dans le cadre d'un cours, je dois implémenter un petit réseau de neurones pour un problème de classification...
 
3 couches, la couche cachée a 5 neurones.  
 
Le prof nous a donné un fichier texte qui ressemble à ça :
 
x1  x2    y
2.1 2.5   0
4.7 3.89 1
etc.  
 
J'ai tout codé à la main mais je n'obtiens pas une bonne prédiction, quelqu'un est motivé pour regarder mon code et m'expliquer où j'ai merdé ? (en R)
 
Merci

Il faut être plus précis si tu veux qu'on t'aide
À quoi ressemble la courbe de ton erreur d'apprentissage en fonction des itérations ?

EDIT : merci

Quelle méthode pour entraîner ton réseau ? Si ta méthode a des hyper paramètres, tu as essayé différents réglages?

Ça vient pas de l'initialisation des coefs?
Le fait que ça marche aléatoirement ?

C'est fort possible oui

Par contre si ton erreur c'est celle sur l'ensemble d'apprentissage, c'est pas normal qu'elle remonte dans la figure 3, le gradient doit avoir un problème
Elle peut être bruitée si c'est un gradient stochastique mais elle ne devrait pas avoir de tendance à la hausse

Merci des réponses !
 
J'initialisais mes deux matrices de coefficients via rnorm() (pour tirer des nombres aléatoires suivant une loi normale)
 
J'utilise la fonction sigmoid = 1/(1+e^-x) pour train le réseau...
 
J'ai peut être merdé sur la condition de mon while... jvais essayer de faire un for et de faire tourner l'algo 10 000 fois pour voir...
 
J'utilise le gradient normal (taux d'apprentissage fixe)

Si le pb via de l'initialisation, j'ai un gros pb de compréhension.
 
À chaque tour de boucle on update tous les élèments de la matrice des coefs avec la descente du gradient de façon à minimiser une erreur... qu'est-ce que ça peut bien changer de partir de telle ou telle matrice ????

- Attention à l'initialisation des poids, l'écart-type de la loi normale peut jouer un role important (il y a des heuristiques pour le choisir, par exemple http://philipperemy.github.io/xavier-initialization/ )
- Je te conseille de fixer la seed de ton generateur aleatoire quand tu debug, au moins tes resultats seront reproductibles
- A priori, je dirais le problème n'a pas l'air relié à la condition d'arrêt
Peut-être que ton pas d'apprentissage est trop grand par contre

Ca ne changerait rien si le problème était convexe (une belle courbe lisse avec un seul minimum), mais la fonction que tu minimises ne l'est pas du tout
Une descente de gradient, si elle est bien réglée, te fait converger vers un minimum local (le minimum local le plus proche); changer d'init peut donc changer le minimum local le plus proche

Les coefs doivent être aléatoires mais aussi à la bonne échelle, sinon tu peux avoir des problèmes de convergence.
Tu peux essayer de les réduire ou les augmenter (0.001, 0.01) pour voir si ça change quelque chose.

C'est dommage je connais pas du tout R sinon j'aurais bien jeté un coup d'œil au code.

Putain merci Rontgen (et Zuf), je suis archi stupide de pas y avoir pensé...
 
Du coup question : comment je dois les initialiser ? Il y a une méthode ? Je suis débutant, je connais pas toute la littérature

Tu as plein de ressources en ligne sur ca, je t'en ai donné une deja dans mon message précédent
Tu peux aussi lire ca:
https://stats.stackexchange.com/que [...] al-network

Pour un exercice de classification tout simple, j'ai fait comme ça :  
 

 
Ca fonctionnait bien.
 
Input layer/ 1 hidden layer / output layer.
 
W c'est les poids pour tes coefficients, b c'est tes bias vectors qui peuvent être nuls dans ce cas là.
 
 
Avec plus de couches, j'ai fait ça (désolé c'est du python)
 

Merci beaucoup à tous les deux. Je me penche dessus et je reviens vers vous si ça marche (ou si je recoince sur qq chose )

Salut les gars, j'essaye de coder l'algorithme Stochastic variance reduced gradient sur python, et je n'y arrive, il ne converge pas du tout ...
 

 

 
 
En fait il existe un moyen de coder ça avec une seule boucle, mais je suis incapable de voir comment  ...

Le code a pas l'air faux, par rapport a la slide; mais leur ligne avec le premier bullet point m'étonne, j'aurais plutot vu un truc genre  
w_0^k <- \tilde{w}_k
(je connaissais pas cet algo, c'est juste que ca me parait bizarre de recommencer de w_1 à chaque fois)
 
Sinon, est-ce que tu as essayé de diminuer fortement la variable step ?