Reprise du message précédent :
What is the Difference Between R-squared and Adjusted R-squared?
https://www.investopedia.com/ask/an [...] quared.asp

C'est pas très dur pourtant.

Sinon du moment que tu modifies ton nombre de features, tu vas forcément modifier le nombre d'itérations pour que ton réseau de neurone trouve des solutions, c'est pas inhérent aux réseaux de neurones, c'est pareil pour tous les algorithmes où l'on passe par des processus itératifs pour estimer des coefficients.

Avant même de calculer ton R carré ajusté ou non, dans le cadre d'un modèle de régression linéaire, tu as des critères d'information que tu peux calculer directement sur ta matrice d'observations  afin d'identifier le nombre « optimal » de variables explicatives censées expliquer tes données. Des résultats évidemment asymptotiques, mais pour un nombre N de données pas nécessairement dépendant de la taille T de tes échantillons. Voir par exemple le papier de Jushan Bai et Serena Ng (2002).

Pour ceux qui hésitaient encore, y a encore de la place en Big Data
https://www.franceinter.fr/emission [...] -mars-2019

Un peu faiblard pour le coup, c'est dommage. J'aurais préféré qu'il tombe sur des gars qui te pipotent à mort avec du jargon bidon.
Avec le raccourci data center = fin du monde.

Après j'avoue que le versant marketing du domaine ne m'a jamais attiré. Et j'essaie de modérer les clients dans leur folie de.stockage, en général quand ils démarrent ils ne réalisent pas et veulent juste tout stocker avec des fréquences d'acquisition délirantes et on se retrouve avec des volumes de données complètement surdimensionnés

Bonjour à tous  

On est dans la catégorie "étude / Orientations", alors je pense être au bon endroit pour poser des questions sur l'orientation.

J'ai moins de 30 ans suis analyste-développeur BI depuis 6 ans dans un grand groupe, et ai une formation informatique (DUT + L3-M1-M2 MIAGE).

Mon entreprise fait actuellement un plan de départ volontaire, donc ce serait une opportunité pour moi d'orienter ma carrière vers un domaine porteur et intéressant, tout en ayant la formation payée par mon entreprise (quand je vois que le Mastère spécialisé à Paris tech vaut 18 500 EUR, cette opportunité est la bienvenue).

Si des personnes ont des avis sur les certificats/master/master spécialisés intéressants pour quelqu'un comme moi qui est dans le monde professionnel depuis 6 ans, ils sont les bienvenus Qu'est-ce qui vaut le coût ?

Ben ça dépend, tu veux t'orienter vers quoi ?

Je souhaite m'orienter vers les projets de data science

J'aime bien :
- programmer
- être au contact du métier et comprendre ce qu'ils font
- comprendre les données que je manipule
- travailler dans les projets

En gros j'aimerais m'orienter vers des positions de data scientist, data engineer

Là comme ça, ça n'a pas l'air spécifique à la data science

Tes souhaits sont bien plus orientés data science que data engineering.
Le data engineering, c'est du code, du code et du code.

 
Ce n'est pas spécifique à la data science, mais j'aimerais faire ce type d'activités dans le domaine de la data science  

Ce que tu décris, peut décrire plus ou moins n'improte quel poste en cogip. A part la partie "programmer", tout le reste : "travailler en équipe" "comprendre ce que tu fais" et "être au contact du métier" c'est pas vraiment restrictif comme fiche de poste

"Comprendre les données", c'est assez rare en COGIP de mon expérience

Probablement, effectivement j'aimerais à la fois avoir un côté technique, mais aussi un côté ouvert, curieux sur le métier et apporteur de solutions :-)

Des avis par rapport à une reprise d'études ?

 
Je pense que dans ton cas la reprise d'études est en effet la meilleure option, surtout avec le financement.
 
Ton expérience pro + un bon diplome "data science" en poche, tu auras des portes ouvertes et c'est encore le moment de se convertir assez facilement dans le monde pro de la data on va dire. Après d'ici 5 ans, je pense que la concurrence sera plus rude, avec la recrudescence de diplomes un peu partout mention "big data" sur les plaquettes etc.
 
Après ce que tu décris comme boulot, c'est le BABA du data scientist.
 
Pour te donner une idée, je suis data scientist pour un gros nom français, mon quotidien c'est:
- Mettre à jour un reporting tous les mois (en 2-3 jours c'est plié)
- Réaliser des études ad-hoc avec les métiers (analyse exploratoire des données et carte blanche pour choisir si je veux faire de la modélisation ou des choses simples)
- Modélisation sur des projets de fond (prévisions, scoring, etc.)
 
Clairement le grand fantasme de tout ceux qui veulent data sciencer c'est faire la modélisation au quotidien, limite un côté R&D mais c'est honnetement plutôt chiant (autant faire un PHD en fait) et puis surtout le contact avec les métiers, les analyses adhoc, c'est ce qui permet vraiment de devenir un vrai expert au niveau des données.
 
L'apprentissage des données, c'est pas savoir comment fonctionne un réseau de neurones pour faire mon modèle, c'est comprendre tout ce qui entoure la donnée, qui la construit, comment, pourquoi et ensuite à partir du domaine dans lequel tu es, quelles sont les spécificités, les patterns etc. c'est hyper dense et c'est finalement le plus intéressant.

Et surtout au final expliquer pourquoi ça marche pas comme prévu.

C'est exactement ça

 
Ouais mais ça c'est la base

 
 
Merci pour ta réponse    quel a été ton parcours pour être data scientist ?

licence eco gestion spé econometrics et master machine learning / econométrie / stats

Vise un master de stats avec un langage de programmation (SAS, R ou Python), c'est les 3 langages les plus cités en moyenne, quitte à passer une petite certification.

Avec ton exp + ça, si tu peux bosser en RP, tu te feras embaucher à l'aise

Si t'es de nature à vouloir découvrir plein de domaines, les boites de conseil data scientist style avisia par exemple sont des bonnes porte d'entrée ou sinon tu peux viser en interne et là les domaines les plus propices c'est les télécom, l'énergie, le secteur bancaire (mais qui va devenir moins intéressant pour les stateux avec le nouveau bale 3), l'assurance, le retail, les médias, bon en fait y'a un peu tout ahah

Hello

Vous connaissez des formations (pas forcément diplomante) en ML, data science, data en général à Lyon ?
En cours de soir plutôt vu que je bosse déjà (dans le domaine mais j'aimerais bien mettre de la théorie sur la pratique acquise)

Objectif à moyen terme : passer freelance

Bonjour
 
La realite du metier de data scientist : que font-ils de leurs journee ? Le data scientist est-il un autre developpeur, ou bien existe-t-il en entreprise des activites/sujets plutot mathematiques ?  
J'ai une formation maths appliquees, vous pouvez me parler dans le jargon. Mais lorsque j'ai eu mon diplome il y a fort longtemps, on disait statistiques appliquees et R&D - pas data science.  

Deux axes et demi dans mon travail personnel de data scientist que je retrouve chez mes collègues:

- Répondre aux besoins métiers, typiquement le service marketing vient te voir et a poussé un type de produit et veut une analyse. Tu vas donc devoir aller chercher des données de ventes, des données des profils clients, de canaux, etc. et tu vas fournir une segmentation par exemple. Généralement ce genre d'études, tu essaies d'avoir une certaine nomenclature (consolidation, clean, stats desc, segmentation) et au fur et à mesure que tu vas peut-être les répéter ou faire des variantes, tu vas les améliorer et les complexifier tout en restant dans la vulgarisation bien sur.

- Un sujet de fond plus poussé statistiquement. Là typiquement, c'est généralement un sujet de modélisation (prévisions, scoring) ou de segmentation poussé. Donc là c'est plus conséquent, limite c'est un peu R&D au début mais ça doit quand même entrer en production.

- Gérer des reportings de temps en temps pour dépanner les data analyst submergés.

En termes de répartition de travail, au mois, le reporting c'est 1 à 2 jours, le reste c'est assez variable mais évidemment je priorise les études ad-hoc et une fois qu'elle est bouclée, je repasse sur mon sujet de fond, généralement à la semaine c'est du 3 jours l'étude et 2 jours le sujet de fond mais ça peut varier, des fois l'étude me gave et j'avance pas donc j'passe sur le sujet de fond pour me changer les idées.

D'ailleurs j'ai vu personne le poster:
 
https://www.agorize.com/fr/challeng [...] th=sign_in
 
Bon c'est trop tard mais j'ai pu potasser le sujet (et livrer un truc) mais je conseille aux gens de le faire quand même, c'est un super sujet, bonne qualité de données.

Hello
 
J'ai un entretien pour un poste de Data Engineer avec une partie technique.
Vous poseriez quoi comme type de question (c'est au telephone pour l'instant)?
A part raconter mes expériences avec les technologies utilisées, je vois pas sur quoi on peut aller?!
 

 
65 exemples de questions à préparer par ici
https://www.edureka.co/blog/intervi [...] questions/
 
Tu as plein d'articles dans ce style

 
Les data scientist seront au ceour de l'usine de demain
https://www.usinenouvelle.com/edito [...] cg.N682259

Mon précédent message ayant fait un four, je retente.
Je cherche à démarrer un projet de segmentation d'image (Keras/TF) autour d'un tuto pour débutant. Il y a tellement de projet/tutos sur github que je ne sais pas par où démarrer. Avez-vous des conseils pour newbies ?

Regarde là dedans y'a des notebooks sur ce sujet  
 
https://github.com/m2dsupsdlclass/lectures-labs

La segmentation c'est pas loin d'être le plus dur
Sagemaker peut aider a démarrer

Bonjour à tous,
Des personnes ayant testé des logiciels studio data science (Dataiku, SAS Viya...), ca vaut quoi ?

J’ai longuement expérimenté Dataiku.
Tu veux savoir quoi ?

+1 Dataiku, du mal au début car en le maîtrisant moyennement il  apparaît peu flexible mais a l'usage je dois avouer que leur système de préparation de données et bien efficace.

Un peu joué avec Tibco spotfire datascience, j'ai trouvé ça très bien

Pour de la segmentation d'image, cherche un tutorial ou un repo sur U-Net, c'est l'architecture considérée comme état de l'art dans pas mal de problèmes, et c'est facile à entrainer

 
C'est facile d'apprentissage ? Quid niveau performances ?  
En fait j'envisage de passer la certif Dataiku, je me demandais si ça avait un quelconque intérêt sur un CV

Salut tout le monde,
 
Petite question en Deep Learning / Keras
 
J'ai 60 gb de pseudo images format PGM et deux GPU à ma disposition. J'utilise multi_gpu_model et un generator de données et donc fit_generator pour train, vous avez des tips sur comment entraîner efficacement, je trouve le training incroyablement lent ? Jdois utiliser le multiprocessing de fit_generator ? Pareil pour cpu_merge / relocation ?  
 
Merci d'avance

C'est ce que j'utilise aussi
Le bottleneck peut venir soit des GPUs, soit du CPU, soit de la lecture du disque
Monitor ces trois trucs quand tu entraines, et ca te donnera une idée des choses à faire

Ptite question de noob :

Si la mémoire des GPU est remplie à 23 / 24 gb, osef ou ça peut empiéter sur les perfs ?

Sous entendu il reste 1 gb de libre sur chaque gpu, je peux ptet faire un batch size un peu plus gros pour éviter au max les lectures sur le disque

Dataiku est assez facile à maîtriser. Ce qui est assez piégeux avec l'outil, c'est la pléthore de petites options cachées qu'il convient généralement de connaître pour travailler proprement. D'apparence, l'outil semble archi simple à utiliser mais en pratique, il faut un peu d'expérience (et souvent quelques échanges avec le support ou les équipes Dataiku) pour travailler efficacement.
 
Sur un CV, ça peut avoir de l'intérêt mais la réponse à cette question dépend principalement du type de poste visé.
 
Niveau performances, je suis plus partagé. Il y a grosso modo deux modes de fonctionnement dans Dataiku : une partie des tâches sont offloadées sur des systèmes tiers (bases de données, clusters Hadoop, etc.), le reste s'exécute généralement en Python sur le serveur Dataiku (ou sur des instances Docker dédiées, dans la version la plus récente il me semble). De manière générale, tout ce qui s'exécute en Python est affreusement lent pour des raisons diverses : la nécessité de charger les données dans la mémoire de l'instance d'exécution est la principale, s'y ajoute le fait que Python est n'est pas un langage performant par essence. Sur ce volet-là, une plateforme comme H2O m'avait semblé meilleure. En ce qui concerne les opérations offloadées, la performance dépend nécessairement des capacités du système tiers en question. Là aussi, je n'avais pas trouvé Dataiku folichon. Dans mon équipe, nous utilisions par exemple une base Vertica et l'optimisation était extrêmement pauvre (pour ne pas dire absente) alors que Dataiku et Vertica communiquaient beaucoup en commun sur les bénéfices de la plateforme.
 
Dernier point sur le volet performances : un gros défaut à mon sens est que chaque opération dans Dataiku (chaque étape dans le workflow) se solde par l'écriture d'un dataset sur un système de stockage. Lors de l'exécution complète d'un workflow, on perd énormément de temps à lire/écrire/relire/réécrire des données.

En France, Dataiku commence à faire son trou et sur un CV en Data Science, ça fait son petit effet, des grosses boîtes comme Sephora par exemple font une transition sur Dataiku.
 
Tu as parlé de SAS Viya, c'est vraiment un grand écart à faire. Pour un total débutant, je donnerais Dataiku qui est plus accessible.