Reprise du message précédent :
Drapal

Avez vous un livre complet à conseiller pour avoir une bonne base en ML qui explique bien avec des exemples concrets mais avec les fonctions mathématiques.

J'ai une formation d'ingénieur donc les maths ne me font pas peur si bien expliquer.

Merci.

Comment recruter des data scientists ?
Le point de vue des recruteurs : https://dataanalyticspost.com/data- [...] ur-mesure/
 
Ce qui peut être utile aux futurs recrutés

J'ai un job d'ingénieur chez un gros industriel de l'aérospatiale à Montréal.

Je songe sérieusement à quitter cette merde et redevenir étudiant à temps plein (j'ai 29 ans). Les avancées en IA me parlent et y a pas un jour où je me dis pas que mon temps serait meilleur investi à développer des compétences dans le domaine.

McGill a lancé récemment deux certifications en Data Science mais je sais pas ce qu'elles valent. Je vais essayer de me pointer à un cours.

Quelqu'un d'autre à quitté le monde pro pour suivre une formation en profondeur dans le domaine ? Montréal est d'autant plus plus adaptée à ce genre de poursuites vu la présence de Joshua et l'IVADO mais je suis pas sûr de la qualité des formations disponibles.

Le livre de François Chollet, développeur de Keras, est excellent.

A-t-on du HFRien en adtech / martech sur le fil que je pourrais MP pour des questions ? J'ai une ouverture en R&D dans le secteur mais du mal à naviguer le maquis des startups qui se font slam dunk par le RGPD.
 

 
Du côté plus stat pour rentrer dans le sujet, car je ne suis pas tout à fait convaincu de la pertinence de se lancer dans du deep learning sans savoir faire une régression logistique :

• ISLR assez complet et accessible pour débuter avec des TP guidés
• ESL la version un peu plus théorique et complète du premier
• R4DS la référence moderne pour le langage R si tu as un doute sur le langage

Pour Python / sklearn je laisse s'exprimer des personnes plus compétentes que moi

Merci à tous les deux

Il y a aussi quelques infos et références dans le premier post

 
C'est un ingénieur, il comprend ce qu'est une régression.
 
Il va perdre son temps avec des livres de stats au lieu d'aller directement au vif du sujet et au plus proche de l'IA.

Plutôt que lire des livres je conseil vraiment de mettre les mains dedans. Déjà ca apprend à coder et au moins 50% du taf de data science c'est coder, et ensuite ca permet de se faire la main sur les vraies problème. Ca veut pas dire qu'il faut pas comprendre ce que tu fais, mais si t'as un temps limiter il sera mieux utilisé a apprendre python, docker et tensorflow qu'a lire la théorie des statistiques de 1910 à nos jourss.

50% c'est pas de débug sa plateforme/ses outils ? Et 30% attendre que des trucs veuillent bien tourner ?
On m'aurait menti ?

 
Le livre de Cholet est justement très axé sur la pratique. Un ami sans formation informatique (mais ingénieur quand même) est en train de store une application qui se sert de DL et il a quasiment tout appris avec ce livre.

J'ai précisé que j'étais ingénieur pour dire que les maths ne me font pas peur mais ma formation est un peu loin et j'ai une grosse pratique en développement.

Non il faut des gens pour les faire les outils. Quand tu veux tester une nouvelle architecture dans ton framework tu peux prendre un github dégueulasse et lancer un train mais si tu veux en faire un vrai produits faut le modifier a ton use case, l'intégrer dans un processus de production, le parametrisé et rendre paramétrisable etc...
Tout ça c'est du boulot.
Tu peux vouloir automatisé des cycles d'apprentissage avec différentes loss, modifier un réseau pour prendre des box orienté ou intégrer un couche PsP etc...etc.. tout ca c'est de la théorie, des xp, mais aussi du code.
Si les outils sont bons ils buggent pas

Bonjour,
 
Petit question "recherche le job de tes rêves". Quand tu sors de ton PhD en optimisation multi objectifs, tu peux viser quoi comme poste dans la data science ? Quel type d'entreprise ?  
Et d'ailleurs, autour de vous, vous connaissez des gens avec ce profil ? des gens qui aimerait en recruter ?
 
Merci d'avance
dd

C'est quoi l'optimisation multi-objectif?

C'est bcp d'optimisation le ML. Si tu sais coder je pense que tu peux à peu près tout viser

Dis comme ça sans contexte, ça ne veut pas dire grand chose.

 
Alors j'ai des outils vraiment dégueulasses
C'est assez fréquent pour moi d'être bloqué des heures, voire des jours à cause d'outils défectueux

Du coup, c'est peut-etre pas les outils le probleme....
 

 
     
 
Y'a quand même des jours où j'ai envie de balancer mon ordinateur par la fenêtre    
 
Les journées où tu passes ton temps à essayer de comprendre des messages d'erreurs, à croire que t'as raté un truc dans ton code et à 18h tu reçois un mail du support qui t'explique qu'ils ont fait une mise à jour qui a pu éventuellement impacter la plateforme    
 
Un jour ça sera stable ! J'y crois

T'as des outils tierce? Vous avez pas votre propre framework ?

A l'intérieur de la multitude d'outils on a notre framework qui marche plutôt bien.
Mais on est dans un écosystème qui est bien foireux malheureusement.
Problèmes de ressources, lenteur de toutes les opérations, bugs permanents, etc...

C'est tellement vrai et tellement frustrant
Quand je repense à ce que j'ai dû bosser pour essayer de piper quelque chose en physique quantique et ce que je sais faire aujourd'hui....

Un truc qui risque de porter dans le futur, c'est d'etre capable de programmer un ordianteur quantique. C'est en plein boum, et il y a tres peu de personnes qui savent faire ca.

 
C'est déprimant de me dire que j'ai perdu toutes mes compétences en algèbre. Les trucs de tarés qu'on faisait.
 
Y a pas à chier, je préfèrais résoudre des DMs de prépa que le "business as usual".

Putain, je me mets a Keras (+Tensorflow). Du coup je me mets aussi a Numpy et Pandas. Les fonctions qui font la meme chose mais qui sont appellees differement selon qu'on bosse sur un np array ou un pd df, c'est pas vraiment pratique.
 
Sinon y a quelqu'un qui maitrise decemment les neural net, j'aurais une question/besoin d'un coup d'oeil sur mon code (mon reseau fait 10 lignes de code, c'est pas bien complexe ), par MP.
Merci.

Envoie

Un truc a a savoir est que les data frames de Pandas sont des ensembles de Series/ndaarry, qui sont eux même des sur-couches de Numpy.

Est ce qu'il y a des gens qui ont réussi a faire marcher des trainings keras/tf en fp16 ?

J'ai été accepté en financement par l'opca pour la formation cegefos en e-learning. Pour ceux qui ont déjà utilisé le cpf, est-ce que j'ai donc le droit de candidater à l'opca pour la formation starter de polytechnique ou pas ? Sachant que l'une k. Opca va financer 4k euros et l'autre 10k

Oui, mais il faut faire attention à ce que les poids et les gradients restent dans l'intervalle représentable en fp16.

Le problème en général quand tu prends un code fp32 et le run en fp16 sans rien changer c'est que les gradients sont trop petits et se retrouvent arrondis à zéro (genre valeurs dénormales, celles inférieures au machine epsilon fp16 etc). Pas de gradient, pas de backprop, donc pas d'apprentissage.

Faut scaler le gradient et scaler inversement les updates des poids.

Il faut aussi souvent ajuster les hyperparamètres du modèle.

Ba là le truc c'est que déjà tf me met que les conf2D ne sont pas compatibles hors float 32? T'as utilisé quel version de tf/cuda/cudnn pour ça ?
T'as vu un vrai gain de perfo sur les carte pro?

Ça dépend de l'architecture que tu utilises mais sur une génération récente oui

D'après la doc : https://www.tensorflow.org/api_docs/python/tf/nn/conv2d

Le "b" n'est pas une typo : https://en.wikipedia.org/wiki/Bfloa [...] int_format
 
Avec des cartes professionnelles du genre Tesla tu devrais avoir un gain de performances important en inférence ou en training, la P100 a une performance rapportée de 18.7 TFLOPS en fp16 vs 9.3 TFLOPS en fp32.
 
Sur une carte Volta ou Turing avec des Tensor Cores, tu peux avoir un gain encore plus grand si tes matrices ont le bon format (je crois qu'ils recommandent que les dimensions soient des multiples de 8) et que tu utilises une version récente de CUDA et cuDNN (qui utilisera les Tensor Core ops automatiquement si possible). Sur un Tesla V100 les performances rapportées en fp16 optimisé Tensor Cores montent au dessus des 120 TFLOPS.

J'attends d'ailleurs les bfloat avec impatience sur pytorch

Effectivement, pas de gain en fp16 sur des cartes Kepler ou Maxwell.

Paraît que les Vega sont performantes en fp16 mais j'ai pas pu tester