Reprise du message précédent :
Merci je vais tester tout ça

Tensorflow-GPU ça fonctionne sur windows 10.
 
Bon faut s’accrocher hein, il faut :
- vérifier sur le site nvidia CUDA que la carte est compatible
- desinstaller tensorflow et tensorflow-GPU
- installer CUDA 10.0 (pas la 10.1, pas compatible tensorflow encore) en prenant bien la version windows 10
- installer cuDNN pour CUDA 10.0 (y’a juste à décompresser et glisser les 3 dossiers au bon endroit)
- installer Tensorflow-GPU
- si ça foire faire conda update -All puis retenter l’installation Tensorflow-GPU
 
Ce tuto m’a bien aidé (les versions CUDA, tf, et cuDNN ont changé) :
https://penseeartificielle.fr/insta [...] s-windows/

Ou tu go Pytorch comme tout le monde
 
Sinon qui connait FastAi ici ? Vous en pensez quoi ?

J'avais passé 3 jours avant de bien faire fonctionner tout ça sous win 10
Tous les problèmes de config cuda....  

Enfin c'était quand même plus simple que du côté AMD, j'avais galéré des jours et revendu mon gpu pour une NVIDIA

 
Globalement ça poutre bien parce qu’il mettes pleins de tweak récent et d'optimisation sous le capot par défaut qui sont bien chant à implémenter toi même notamment pour les GAN, style transfer, super-resolution, NLP etc. Ils ont aussi pas mal d'optimisation niveau ressource computationnel.
 
Après c'est vraiment fait dans l'idée d'être près à l'emploi et ça marche super bien, mais ça veut aussi dire que si tu veux changer des trucs faut apprendre leurs approches au niveau du code qui sont différentes de PyTorch ou Tensorflow. Si tu suis pas les videos tu vas galérer. Ce qui peut être un problème surtout qu'ils travailles sur la V3 et que pas mal de truc change entre les versions.
 
C'est pas un truc qui va être utile en entreprise car tu vas pas l'utiliser mais leurs videos et le code sous le capots t'expose à des papiers et technique qui sont super importantes, utiles et pas forcement des réflexes pour tous le monde. Une fois que tu les a comprises tu peux les implémenter sur PyTorch sans trop de soucis.
 
Donc pour apprendre les astuces des SOTA dans différents domaines c'est bien si tu combine les vidéos/papier/code ou pour le prototypage rapide, mais pour l'entreprise plonger dans la maitrise du module sera pas utile c'est juste savoir implémenter leurs astuces qui l'est.
 
Je m'en sert comme une collection de bonnes pratiques et j'implémente celles qui me sont utiles suivant le projet que j'ai.
 
EDIT: Même dans leurs vidéos ils expliques pas forcement tout ce qu'il change sous le capot, par exemple l’architecture UNET qu'ils implémentent est bien plus garnis que le papier d'origine donc sans regarder le code tu vas pas forcement comprendre pourquoi leur implémentation donne de meilleurs résultats.

Mon manager m'a proposé hier une promotion pour un rôle senior dans notre équipe suite au départ d'un collègue.

Choix difficile, nos seniors sont équivalents à des manager et passent d'un focus technique  à la coordination, planning, gestion des resources et management des clients. En général ils définissent entièrement une ligne de produits, incluant également la technique.

A environ 10 ans d experience, choix très difficile entre la passion pour la technique et l'attrait pour une carrière plus riche en décisionnel... Je suis en ce moment le plus pointu dans mon equipe ce qui me permet de faire un peu ce que je veux.

J'ai envie de tenter le coup, mais vu la vitesse à laquelle la technique évolue j'ai un peu peur de devenir obsolète au bout de 6 mois.

Niveau rémunération probablement pas de gros changement, 10-15% max je pense.

Si le job de manager ne te rebute pas trop je te conseil de prendre le poste :
- refuser une promotion est souvent mal perçu
- c'est l'occasion d'explorer d'autres aspects d'une équipe produit datascience et gagner en expérience auprès de nouveaux interlocuteurs (métier où direction)
- au pire si ça ne fonctionne pas tu peux demander à repasser sur ton ancien taffe voir trouver une autre boîte qui accueillera un datascientist avec de l'xp en gestion d'équipe / produit

Et pis plus d'argent, c'est toujours bon a prendre.

C'est le bonus ca

 
Quelque soit ton métier tu deviendras pas obsolète en 6 mois, et quand tu as un poste de manageur ca ne veut pas dire se couper de la technique au contraire, ca te laisse plus de temps pour faire de la veille scientifique et technique plutot qu'être la tête dans le guidon

En fait je suis pris entre deux peurs de perdre en employabilité. A court terme la peur de perdre l expertise technique en passant sur un rôle de management. A long terme la peur de ne plus pouvoir suivre... La compétition avec les jeunes qui sortent de Phd je tiens encore à la mi trentaine, mais dans 10 ans ?

Je pense accepter aussi pour tester, mais essayer de rester hands-on pour au moins ne pas trop perdre en technique si ça ne ne plaît pas.

Jpense tu flippes pour rien, prends la thunes  

De toute manière à un moment les jeunes sortis d’école en grand nombre vont accepter des salaires deux fois plus faibles que le tien et tu seras de facto obsolète d’un point de vue coût dans la technique. Alors qu’en management la concurrence ne sera pas la même.

Non, il sera juste en concurrence avec des jeunes de 30 ans qui ont deja une experience en management et gerent XX millions de contrat.

Tu es bien le premier qui a peur de perdre en employabilité en prenant des responsabilités.

Je pense que c'est surtout si tu ne passes pas à un poste à + forte responsabilité que tu vas perdre en employabilité, car à 40 ans il faut quand même pouvoir idéalement justifier pas seulement des compétences techniques (ca comme tu le dis, n'importe qui en sorti de PhD aura des compétences pas très loin des tiennes) mais des compétences un peu transverses : gestion de projet, gestion de la propriété intellectuelle, gestion de budget, présentation client, collaborations, gestion de ressources humaines, appel à projets et tout un tas de compétences qui sont pas directement techniques mais qui feront que tu auras un large panel de compétences et tu vaudra plus de thunes que le petit jeunot qui sait aussi faire tourner ses réseaux sur tensorflow

C'est clair.
 
Et c'est un pey chiant pour les gens introvertis. Les extravertis s'en sortent bien a ce jeu.

J'ai eu les mêmes questionnements et j'ai franchi le cap mais côté expertise stratégique plus que management (Expert transfo data en gros), j'ai été étonnée d'à quel point je kiffe, le technique pure me saoule de plus en plus

Mais sinon, y'a des gens qui font de la vraie data science ici ?

Je parle de faire de l'argent, pas de s'amuser à tune des hyper paramètres

Blague à part, pour ceux qui s'intéressent un peu à la data engineer un peu, je suis en train d'expérimenter docker + conda, c'est un vrai petit bijou de coupler les deux, surtout que conda c'est évidemment pour python mais ça commence à bien marcher avec R aussi, quand tu veux développer en mode bac à sable ou balancer tes algos ds en production, c'est juste le feu, les mecs de la DSI t'accueillent les bras ouverts

Petit lien d'intro: https://medium.com/@patrickmichelbe [...] 0a2c482139

C'est pas très dur à mettre en place et c'est vraiment efficace.

Les types qui font du data engineering en pandas, faut les pendre.
 
Je déconne pas.

Tu peux développer ?

- C'est in-memory.
- Ça consomme une quantité de mémoire de dingue dès qu'on y stocke de la chaîne de caractères. Le fameux memory overhead des listes d'objets...
- Ça a beau être in-memory, c'est lent.
- Il manque des types de données de base, du genre les nombres décimaux à longueur fixe.
- Il n'y a absolument aucune création ou gestion de méta-données.
- La structure de données n'est pas distribuée.

Parce que les mec en pandas c’est bien vénère ?
 
https://youtu.be/BoIJUApLKOg

Ok, tu recommandes quoi a la place ?
 
Et y'avait un article pour optimiser l'utilisation de la memoire en Pandas:
Tutorial: Using Pandas with Large Data Sets in Python
https://www.dataquest.io/blog/pandas-big-data/

Je connais cet article, j'aurais pu l'écrire moi-même... Il se base quasi exclusivement sur le fait de remplacer les strings par des valeurs catégorielles, ce qui effectivement convient dans beaucoup de cas. Mais si ta donnée n'est pas catégorielle (des adresses par exemple), il n'y a tout simplement pas de solution en Python, tu te retrouves avec une conso mémoire déraisonnable.
 
Pour le data engineering, il existe des outils qui sont faits pour ça. C'est bête à dire mais le langage SQL est un bon exemple, il n'a aucun des inconvénients que j'ai cités ci-dessus. Sinon il y a une palanquée d'outils ETL, souvent propriétaires. Pour les gens sans le sou, la meilleure option reste sans doute Talend. Entendons-nous bien, de mon point de vue Talend est une sombre merde... Mais toujours est-il que le code Java généré par Talend défonce du pandas dans les grandes largeurs tout en ne présentant pas la plupart de ses inconvénients.

Ouais, ca depend de la taille du dataset bien sur.
 
Pandas a l'avantage de l'integration dans Python, donc accessible a toutes les transformations possibles et imaginables. (SQL aussi bien sur, meme si les requêtes sont plus complexe). C'est pas le meme usage je pense.

Honnêtement je pige pas trop l'intérêt de docker + conda tu mets tous en pip, conda, binaire  watever.. Dans tes requirements et hop roulez jeunesse. Pourquoi spécifiquement conda ? Ensuite docker+notebook =

 
Bah conda c'est plutôt bien foutu et très simple d'utilisation, pourquoi s'en priver ? L'avantage de docker + conda c'est que tu te sers de la gestion de l'environnement conda et l'encapsulement de docker pour créer des environnements super flexibles.
 
Quand tu dois mettre en production des trucs en entreprise, c'est juste life change.
 
C'est pour ça que je parlais de vraie data science car on se pignole beaucoup sur les algos etc. mais la DS en grande entreprise, c'est avant tout un combat de tous les jours contre l'enfer qu'est la DSI
 
Tu peux faire le meilleur modèle du monde, si la DSI te dis non, qu'elle peut pas upgrade ta version de python ou ton package car y'a déjà 100 applications qui tournent sur des versions antérieures, tu es fucked.
 
Ces solutions docker + conda donnent plus de pouvoir au data scientist, certes ça demande une montée en compétence mais c'est worth.
 
Là où je travaille, ils sont encore à Python 2.x ...

Bah perso Tensorbide 2.0 ça marche toujours pas, avant j'avais cette erreur https://github.com/tensorflow/tensorflow/issues/33666, j'ai réinstallé cudnn, maintenant le noyau plante juste après qu'il m'ait dit que le gradient existait pas pour telles opérations

En fait en lisant ton poste tu utilise docker comme un '' environnement de dev''. C'est un peut simplifier docker. C'est pas mal de faire ça mais en fait la puissance de docker c'est vraiment d'en faire des applications. Sinon c'est juste VMware 2.0.
En gros le truc casher c' est de faire de ton app d'ia un docker. Tu te sers de docker pour builder l' app avec le réseau une fois entraîné, avec les dépendances et tous et c'est là où tu vois la puissance du truc.

 
Bah non c'est pour faire les 2 tout en utilisant très peu de ressources en fait.
 
C'est pensé prod mais faire du dev' bac à sable c'est bien aussi, et je reste dans un contexte entreprise, quand le server principal de dev' est surchargé car la plupart des gens n'optimisent pas et bourrine la RAM dispo.
 
Mais surtout ce genre d'outil permet de donner plus de pouvoir au data scientist si tu le formes à ce genre de techno et devient moins dépendant de l'IT quand il veut mettre en production. Un must have.

Oui enfin les data scientist qui déploient des docker à la sauvage voilà l'environnement de prod quoi  

D'où l'intérêt de pas passer par des notebook. Nous on a du framework de code de deep standard et quand un nouveau réseau est entrainé avec ce code avec des bonnes perfo, une ci crée le docker pour la prod.

Si un data scientists veut rajouter une feature dans le code pour un nouveau entraînement soit le mec est assez fort en code pour passer la pr et les test auto soit un ml engineer intégre à sa place.

Je suis pas pour le dev bac a sable hors de la recherche. Ça va jamais en prod des trucs comme ça

 
Non mais j'ai pas dis non plus que c'était eux qui push sur le server de prod, fais un effort
 
Juste tu testes en pre-prod, tu encapsules et tu envoies, c'est un grand bond en avant, perso j'étais très impressionné par la presentation qu'on a eu du truc et en effet sur mon premier push prod, ça a roulé comme sur des roulettes alors que j'utilise des versions qui sont pas dispo sur le prod.

 
Quand je dis dev bac à sable, c'est quand tu es sur un projet et que au lieu de développer sur le server où tout le monde est et qui est un environnement commun, tu te créais ton propre petit environnement à toi où tu peux mettre la version des packages que tu veux, la version de R/Python que tu veux, l'OS que tu veux etc...
 
C'est juste du pur bonheur pour un DS d'être dans ces conditions là

Des gens ont des retours par rapport à l'institut louis bachelier ?

Hello,
 
Une connaissance, jeune diplômé d'une Ecole Centrale (hors Paris) affirme toucher 45k brut annuel de fixe sur Paris pour son tout premier CDI (Data Scientist en assurance) + environ 3500 de primes I/P brut. Tout ça sans compter les participation employeur, 50% pour le transport et 70% pour la mutuelle.
Apparemment il est cadre forfait 212 jours et fais aux alentours de 40h/semaine. Il est également sous la convention collectives des assurances, il a également quelques avantages niveau congés et retraite supplémentaire.  
 
Tout ça me parait beaucoup, d'autant plus qu'il prétend ne pas avoir négocié du tout. Il aurait donné une fourchette entre 40k et 45k et il a reçu une offre à 45k directement ;je pensais que ce genre de salaire était plutôt réservé aux X/Mines/ECP, et encore.  
 
Est-ce que j'ai tort de croire qu'un ingé d'une école non top 10 soit plutôt dans du 38k-42k (fixe+variable) pour du 50h/semaine, en général en conseil ? Est-ce qu'il aurait "un peu" exagéré sa situation ? Si on suppose que non, à quelle niveau se place t il sur l'attractivité de l'offre par rapport au marché pour un profil comme le sien ?

Tu comptes copier tes pleurnicheries sur toute la categorie ?

Rien d'extraordinaire ... surtout en assurance.

Pas besoin de faire X/Mines/ECP pour se faire 45k en interne La plupart des gens de ma promotion partis en banque/assurance qui viennent d'une simple fac de province se font tout autant.

Par contre si c'est du conseil, à moins qu'il soit chez un truc comme EY mais ça me parait beaucoup, ils font commencer leur junior à 42k max. Après y'a souvent de la mythomanie de la part de certains, ce que je n'ai jamais compris d'ailleurs.

 
Ah, pourquoi une telle différence entre conseil et interne ? On m'a toujours donné l'image que les consultants travaillent beaucoup plus longtemps et ont bien plus de désavantage; devoir faire la masse de ppt, l'incertitude entre les contrats ... Est-ce que du coup c'est plus dur, plus compétitif de rentrer en interne dans les banques/assurances ? Les gens de ta promo qui ont trouvé un truc en banque assurance sont plutôt bons ou mauvais ?