Reprise du message précédent :

 

Le mot clé qui a le plus explosé de tous les temps

Matlab (pardon)

Sinon j'ai look viteuf sur CNAM, j'ai vu que ça qui s'en rapproche: http://formation.cnam.fr/recherche [...] cat_themes

Puisque tu me relances...
 
Quelqu'un se demandait récemment s'il y avait une concurrence à Shiny. MathWorks vient de lancer son WebApp Server (qui existait déjà auparavant mais dans une version moins sophistiquée) qui à mon sens va plus loin que Shiny.
https://www.mathworks.com/products/ [...] erver.html
 
Le WebApp Server permet de mettre en production des interfaces graphiques créées avec l'App Designer. Un superbe outil, jamais rien vu d'aussi pratique pour créer un peu de temps des interfaces graphiques avec de nombreuses possibilités de visualisation et de contrôle.
https://www.mathworks.com/products/ [...] igner.html
 
La nouveauté, de ce que je semble en percevoir, c'est que le WebApp Server est maintenant intégré avec des mécanismes tiers d'authentification et de gestion des habilitations.

 
Je l'ai invoqué
 
https://fr.mathworks.com/help/matla [...] igner.html
 
Bon ça a l'air quand même très moche
 
Y'a toujours des alternatives à Shiny, notamment tu peux développer toi-même l'app mais bon vlà le temps qu'il faut mettre.
 
Pour moi les gros plus de Shiny:
- Facile à développer pour un DS
- Grosse flexibilité dans l'architecture
- Front-end sexy avec la pléthore de package
- Déploiement avec docker qui fait que tu deviens les meilleurs copains du monde avec l'IT
 
Pour moi y'a 0 côtés négatifs à Shiny, ça veut pas dire qu'il y a pas mieux mais c'est dur de lui préférer une alternative tant la solution est propre.
 
La seule motivation de pas utiliser Shiny, c'est que tu as un environnement différent évidemment. Par exemple j'ai bossé pour des boîtes qui lachent vlà d'oseille pour des Power BI Premium et veulent pas s'en séparer, ça sert à rien de faire un Shiny, autant laisser les applications dans le même environnement pour éviter de perdre les métiers

Dans l'App Designer, tu crées ton interface en faisant du drag & drop de contrôles et de fenêtres. C'est tout à fait à la portée d'un data scientist. Le gros problème des interfaces, c'est toujours le même et ce n'est pas spécifique à un outil : il faut bien définir la cible dès le début et décorréler autant que possible le volet affichage du volet traitement (le design pattern le plus courant étant le MVC, Model View Controller).
 
Le déploiement avec docker, ce n'est plus un différentiateur. On peut déployer à peu près tout et n'importe quoi via docker, sauf des merdes comme Alteryx qui ne tournent que sous Windows Server (et encore).
 
Le volet authentification et autorisation de Shiny a l'air bien dégueulasse quand même... Tu vas peut-être devenir pote avec l'IT mais pas avec le CISO
https://rstudio.com/products/shinya [...] orization/

 
Pour l'authentification et autorisation, je conseille plutôt shinyproxy qui est excellent.
 
https://www.shinyproxy.io/
 
Sinon j'ai pas dis que c'était pas à la portée d'un DS le déploiement app matlab mais je trouve ça très moche  
 
J'aime bien cette petite application Shiny: http://shinyapps.dreamrs.fr/ratp-traffic/
 
Rien d'extraordinnaire mais ça donne une idée d'un truc faisable en quelques heures pour un dev shiny confirmé.

Rien d'extraordinaire, en effet... C'est complètement bidon, y a quasiment aucun contrôle à la main de l'utilisateur  
 
En théorie, ce genre de plateforme doit pouvoir être utilisé pour faire des applis de pilotage/reporting du même niveau que QlikView, PowerBI et consorts. Et c'est là que ça prend de la valeur à mon sens, parce que des langages de programmation tels que Python et MATLAB (et R dans une moindre mesure) donnent accès à un niveau de flexibilité bien supérieur aux plateformes BI. Le champ des possibles est énorme : on peut exécuter des modèles de ML, invoquer des routines de calcul complexes, déclencher à peu près n'importe quel traitement sur un serveur distant de manière asynchrone, interagir avec des schedulers, appeler des web services, alimenter des bases de données, etc. Autant de choses qui sont sans doute faisables avec un QlikView (pour ne citer que lui) mais au prix d'une complexité très élevée et de beaucoup de bricolage.

 
 
Ma boite m'a offert une formation Tableau, le premier au test remportait un bon pour un examen "DASCA Associate Big Data Analyst". Vendu $520 sur leur site.  
Je n'ai pas de connaissances particulières dans le domaine (juste auto-formation sur Tableau, pas de programmation à part bricolage VBA sur Excel).
Ça se bachote une certification comme ça? Faisable d'apprendre les bases de R en vidéo? (Je suis chimiste hein pas dev'   )

Hello
 
Drapal et pave incoming.
 
Ça fait environ 15 ans que je bosse dans en tant qu’ingé R&D dans l’industrie et j’ai suivi l’évolution classique traitement d’images → vision par ordinateur → deep learning.
 
Au début de carrière, je me suis tourne vers ce domaine parce qu’il y avait ce cote créatif ou tu peux faire des choses sympas sans pour autant avoir besoin d’être un génie en maths. En gros, comme disait un de mes anciens responsables: “Le traitement d’images, c’est sympa, tu appliques un tas d’algos bien fancy, ça marche moyen mais voila que tu rajoutes un magic number et pouf, ça cartonne”.
 
Arrive vers 2012, l’ère Deep Learning et la vision par ordinateur se retrouve du coup en premier ligne (ImageNet…). A l’époque, c’est nouveau pour pas mal de gens dont moi (y’avait pas grand monde qui faisait des CNNs avant a part pour certaines applications bien particulières) donc je m’y engouffre avec enthousiasme.
 
C’est cool, les maths sont simples, les perfs algos sont impressionnantes et pas mal de problèmes de l’époque passent du statut de pure recherche a quasi résolus en quelques sessions de GPUs.
A ce moment la, ça sent encore bien la sueur des labos, ça reste très artisanal et ceux qui se souviennent des premiers jours de Caffe, Cxxnet ou qui ont bataille avec Torch7 pourront témoigner
 
Pour moi, le tournant est vers fin 2015, quand TensorFlow arrive en open-source avec toute la puissance marketing/com de Google derrière. Il y avait eu un article dans Le Monde pour couvrir ça, pour donner une idée de la puissance de frappe. Ça ouvre la porte à la démocratisation du truc, on commence à voir fleurir les buzzwords de tous les cotés, bon pourquoi pas, ça va amener des gens et de l’argent, et donc du taf après tout.
 
Mais: 5 ans après, je trouve que les choses ont bien changées mais pas pour le mieux.
 
Déjà, sur le travail en lui-même. Oui, j'ai un modèle qui déchire tout mais entraîné avec des données qui sont pas les miennes, par un algo qui n’est pas le mien, implémenté avec un framework qui n’est pas le mien non plus. Quelle est la valeur ajoutée sérieusement ?
 
Aussi au passage, j’en peux plus de la starification du domaine ou tu te retrouves avec des geeks faire les paons sur Twitter a coup de grandes phrases pseudo-philosophiques sur l’avenir de l’humanité sauvée par l’IA.
Les problèmes d'ego dans la recherche, c'est pas nouveau mais j'ai l'impression qu'on a encore passé un cap.
 
Mon impression dominante, c’est qu’on est passé d’un domaine où chacun pouvait, avec un peu de créativité, créer son petit algo certes artisanal, mais qui faisait le taf, à un domaine complètement codifié et contrôlé de bout en bout par des GAFA qui me disent comment et avec quoi faire mon boulot.
 
Surtout le plus grave, c’est qu’on se retrouve avec un écosystème littéralement phagocyté par les GAFA, FANG … On va me dire que, oui mais Matlab, ils avaient aussi une position bien dominante pour le calcul scientifique, et eux, ils font payer en plus.
Sauf que la différence, c’est que Mathworks n’a jamais phagocyté la recherche aussi, ils se sont toujours cantonnés à leur rôle d’éditeur logiciel.
Google et Facebook, eux ont récupéré quasi tous les cerveaux des meilleurs labos, à un point où quand on regarde les papiers scientifiques ou les confs du domaine, les meilleurs travaux sont régulièrement issus des Google Brain, DeepMind et Cie.
 
Aussi, dernier point, en tant que Français et européen, ça me fait bien rager de voir à quel point on se retrouve à la ramasse par rapport aux GAFA. Je pense que 95 % des boites françaises dans le domaine utilisent des stacks basées sur Tensorflow / Pytorch / Mxnet. Probablement rien fait maison.
 
Aucun effort au niveau européen (je ne parle même pas au niveau français) pour créer des stacks technos qui proviennent pas des US.
On peut me rétorquer que ce ne sont que des outils certes mais pour moi, ce sont des outils qui ont une influence massive sur les directions que tu donnes à ta recherche. Et pas besoin d’expliquer que la recherche a une influence massive sur ta domination technologique et donc économique.
Pour prendre une analogie (peut-être pas super pertinente mais bon), ça me fait un peu penser au cancre qui va recopier le devoir du bon élève pour décrocher une bonne note au prochain DS. Ça marche sur le court terme c’est sur mais...
 
On peut dire ce que l’on veut des Chinois mais au moins eux, ils ont l'air d’avoir compris ça et ont font des efforts pour développer leurs propres stacks. Même les Japonais en font plus j’ai l’impression.
 
Je dis pas que c’est facile de lutter contre cet état de fait, mais au moins, j’aimerais entendre plus souvent un discours un peu plus nuancé que le : « We are living exciting times, Tensorflow / Pytorch, ça dépote sévère et c’est open-source, merci Google / Facebook ».
 
Just my 2 cents.
 
TL ;DR : c’était mieux avant

Tellement d'accord.

 

 
Incroyable ce passage mas tellement vrai
 
T'as juste envie de leur mettre une baffe derrière la nuque assortie d'un "tg et retourne coder"  

Petit instant drama, vous pensez quoi de Jürgen Schmidhuber qui régularise Hinton le faussaire ?    
 
https://www.reddit.com/r/deeplearni [...] _he_didnt/
 
http://people.idsia.ch/~juergen/cr [...] ton.html#I
 
https://medium.com/syncedreview/who [...] 854504d6d1

 
Question con mais ça demanderait combien d'effort de développer un framework de ce genre from scratch ?
Parce que sinon, effectivement on a rien en DL mais scikitlearn par exemple est beaucoup développé en France...

Le problème, c'est pas tant l'effort que le simple fait d'avoir des gens pour le faire.
 
L'effort n'est pas gigantesque (toutes proportions gardées), à moins que tu ne recherches le dernier pouillème de gain dans tous les domaines. C'est toujours la même histoire, le concept du 80/20 : parvenir à 80% des fonctionnalités te demande 20% de ton investissement alors qu'il t'en faudra 80% pour les 20% des fonctionnalités restantes. Surtout, les stacks en question, faut bien avoir en tête que ce n'est que du back-end et de l'API, ce qui réduit considérablement l'effort. Dans n'importe quel produit logiciel, la partie la plus consommatrice en ressources, c'est le front-end. Pour donner un ordre d'idée, MapR, feu éditeur d'une stack Hadoop propriétaire avant de faire faillite, n'a à ma connaissance jamais dépassé un effectif de 300 personnes dont une bonne moitié devait être sur des fonctions commerciales ou support.
 
Le gros problème, c'est que les quelques gugusses dont tu as besoin, on les a tous fait fuir depuis bien longtemps avec des perspectives de carrière et de rémunération dignes d'un poste en assistance de direction (j'exagère à peine). C'est surtout vrai dans la recherche publique mais ça l'est à peine moins dans les grands groupes.

Sur tf et co il y a quand même une communauté open source qui aide. Perso je vois pas trop l'intérêt de redev un framework from scratch, honnêtement ça sera sûrement pourri surtout si c'est drivé par les institutions.
Par contre travailler a des surcouche carrément. Nous on a toute une codebase au dessus de tf/keras qui permet d'industrialiser, fiabiliser et automatiser toute la chaîne par exemple.

Complètement d'accord. Sachant que ces frameworks sont 100% open source et basées sur du C++ derrière, ça limite la casse. Je préfère ça à du propriétaire type matlab.

Les arguments pour:
1) tout le monde en profite gratuitement, tant au niveau individuel que du point de vue des entreprises (et comme tout le monde sait, le prix des enterprise software n'est pas négligeable). Re-développer de rien prendrait un temps fou.
2) ça ne pose pas trop de problème de développer autour vu que c'est open source
3) Si qqun a à un truc mieux à proposer, qu'il n'hésite pas, je pense que la communauté s'y tournera si c'est 10x plus performant.
4) Le jour où ils commencent à mettre des parties propriétaires ou la direction qui est prise n'est plus la bonne la communauté forkera immédiatement

Le seul point négatif, c'est qu'effectivement la direction générale de ces librairies est forcément étroitement liée aux intérêts de Google/Facebook mais sur cet argument à mon avis la critique devrait être d'un point de vue bcp plus général sur le financement de la recherche par et pour des intérêts purement privés, économiques & industriels (voir Eric Sadin et son bouquin ou son interview sur thinkerview - https://www.thinkerview.com/eric-sa [...] ficielle/)

De toute façon le propriétaire n'a pas d'avenir sur ce secteur, c'est évident. Après la core team Keras c'est bien fourni en français
Après le problème de l'OS c'est que c'est non plus pas toujours très fiable mais ca permet d'aller vite pour redev sa couche.

Comment voyez vous le marché du travail en data science avec la crise qui se profile ? Est-ce qu'on est relativement épargné ou bien assez touché en général ? Selon les secteurs etc ...
 
Je suis en poste (depuis moins d'un an, JD), mais j'avais déjà en tête de changer de boîte tous les 2 voire 1 an et voire à l'étranger, pour des raisons salariales mais surtout pour changer d'environnement. Seulement là on entend tous parler de chômage en masse etc, du coup j'ai bien moins envie de me lancer si c'est pour me taper les 3 mois de période d'essai et de me faire jarter parce que les boîtes sont en galère économique.

La hype a toujours l'air d'être là, pas trop inquiet

Si tu veux aller aux USA, la thématique "Machine Learning for job assignment" va être porteuse

Laisse passer 6 mois au moins je dirai il reste beaucoup d'incertitudes et dans certains domaines les fins de période d'essai ont déjà commencé (pas de la faute du candidat).

Sinon, ton approche de changements fréquents est bonne mais je mettrai le curseur sur 2 à 4 ans plutôt (sauf travail chiant) :
La première année tu as un gros morceau d'apprentissage de l'environnement de la boîte et des subtilités du legacy
La seconde année te laisse plus de temps pour optimiser ta manière de travailler, affiner tes connaissances des outils et voir sur le moyen terme en prod comment se comportent les outils que tu as créé
La troisième année c'est souvent l'occasion de se poser la question de quoi faire (et où) après et de commencer à former des personnes sur ton poste ...

En plus ça évitera de devoir expliquer pourquoi tu as autant la bougeotte à des boîtes qui investissent beaucoup sur la formation et sur leurs employés  

Entièrement d'accord et investir sur la formation / l'éducation des jeunes qui développeront de nouveaux domaines de l'IT tout en rendant les salaires de la recherche dans la fonction publique plus attractifs. C'est juste pas possible de former les jeunes et de les voir partir à l'étranger pour bouffer correctement.

Sinon plus généralement je comprend le désarroi concernant l'état de la R&D sur le Deep Learning en France mais redeveloper d'autres outils juste pour ne pas faire de l'Open Source américain est contre productif : qui va utiliser ces outils et comment maintenir l'écosystème sur le long terme avec une communauté spécialisée et active sur les outils étrangers cités ?

Il est plutôt temps de former et d'aider les nouvelles générations sur de nouveaux fronts (Quantique, opérations in memory, chiffrement homomorphique et pleins d'autres nouveaux domaines) et d'aider des boîtes à se créer et à trouver des débouchés en France et à l'étranger.

On va pas rattraper 10 ans et plus de retard dans les domaines bien couverts déjà et dont les ressources existantes sont ultra limitées  

Je trouve pas l'état de la R&D si mauvais, le problème est l'adoption et les peur des grandes administration, groupes etc... Encore pas mal de gens qui te disent 'on faisait déjà de l'ia en 1970 etc... ' très peu de gens qui ont compris que le deep c'est pas entrainé des CNN sur coco....mais il y des belles boites qui font des trucs sympa. Le tous étant de les scaller et arrêter de se reposer sur les thales, capgemini, atos etc... en esperant qu'ils vont sortir des trucs dans le sujet.

 
Ça dépend nettement du secteur. Ça coupe sévère la R&D chez certains.

Springer has released 65 Machine Learning and Data books for free
https://towardsdatascience.com/spri [...] 1f8181f189

 
France ou en général ?

 
France en aéro donc cas particulier. Ce n’est que ce que je vois, et clairement pas une généralité. Toutefois pas mal de projets gelés, des collègues qui bouclent des petits projets et ne savent pas encore ce qu’il en sera dans quelques semaines, etc. Ça limite les frais au max.

Hello tout le monde,
 
Je cherche a me former rigoureusement afin d'atteindre un niveau intermediaire en machine learning deep learning. Est ce que vous auriez des cours/ tutoriaux / projets a me conseiller. Il y a tellement de contenu mais peu sont complets et j'ai peur d'avoir l'impression de maitriser les bases alors que j'ai perdu du temps sur une ressource qui ne couvre rien.... Merci d'avance.
 

Pour la partie théorique, un bouquin français qui date de 2019 : http://cazencott.info/dotclear/pub [...] encott.pdf

Milles merci !

Gros +1, je pense que j'aurais pu écrire exactement le même texte
 
Je m'en sors car je suis spécialisé dans un domaine de niche (imagerie médicale) et surtout qu'on utilise le deep learning comme brique de base pour faire des trucs plus complexes, enfin que notre boulot ne s'arrête pas à juste entrainer et déployer un réseau de neurones
Aussi, en suivant l'adage "pendant la ruée vers l'or, il faut vendre des pelles", je m'oriente aussi de plus en plus sur l'annotation des données, par exemple je bosse pas mal sur de la segmentation interactive (donc intelligente/assistée, mais justement sans machine learning)

@rontgen : de la segmentation, mais toujours en imagerie médicale je suppose ?

Bah c'est des méthodes génériques, mais je me focalise forcément sur la spécialité de ma boîte
Y'a beaucoup d'algos qui s'appliquent pas dans mon cas car trop lents pour fonctionner en 3d en temps réel par exemple, donc faut ruser. En tout cas, au moins ça laisse quand même du challenge
Pareil pour les réseaux de neurones, c'est un peu plus dur que pour de la computer vision classique ou on peut télécharger facilement des réseaux pré entraînés sur des bases de données immenses

Ça marche chez qui ça en vrai ?

Tu fais quoi pour faire du Deep en temps réel ?  
 
On a une problématique similaire sur les temps d'inférence

Génération de code C++/CUDA

Ouaip jpense c'est le meilleur moyen.
Quantization, pruning ça marche pas dans notre cas. MobileNets c'était pas mal mais on y perds trop en perf

Hello,
 
Quelle ressource en ligne vous me conseillez pour me mettre au python en partant de 0? Sachant que j'ai de l'exp sur R et quelques connaissances de base en prog en général (un peu de C/un peu de java).
 
De préférence ressource gratuite mais ça peut se discuter si y'a un certificat reconnu qui va avec.

Gérard Swinnen - Apprentissage de la programmation  
https://inforef.be/swi/python.htm
 
Le PDF (en Creative Commons):
https://inforef.be/swi/download/apprendre_python3_5.pdf

Bonjour,
 
J'ai un client expert en statistique, en ML et en DL qui m'assure que le dataset qu'il me donne est suffisant pour prédire le churn chez lui.
Cependant, j'ai beau faire de mon mieux, je reste persuadé que les données (leur qualité en faite) fournis ne sont pas suffisante (les exemples identiques qui ne sont pas dans la même classe ...).
J'ai beau lui montrer que les variables n'ont que très peu de corrélation (X²) avec la variable cible, je suis un peu bouche bé devant ses arguments:  
"Non mais si je met un réseau de neurone avec 100 couches, je vais te trouver un truc" ...  
 
Une idée de comment je peux lui montrer que le dataset fournit n'est pas adapté ?
 
Merci !
dd