Reprise du message précédent :
Des gens utilisent Microsoft Azur ML Studio ? C'est tellement bien  

ça parait pas si délirant que ça, ian goodfellow c'est quand meme le mec qui a inventé les GAN, l'autre pareil il a écrit des papiers repris par tout le monde. perso ça me choque moins que les start up qui lèvent des budgets incroyables juste parce qu'elles utilisent quelques buzzwords qui font baver les investisseurs.

Désolé on utilise que des vrais outils

(C'est quoi en vrai ?)

Justement c'est ce que ma boite utilise, un environnement pour déployer facilement des modèles de ML... Y'a dataiku dans le même genre aussi, vraiment cool

C'est Dataiku chez nous, parce que le cloud c'est niet

Ils sont sur dataiku aussi. Mais là c'était pas une tâche sensible (préparer un kaggle interne à la boite) donc ML studio ça allait

Chez vous aussi y a des Kaggle internes... C'est désespérant.

C'est la première fois que j'entends parler de ça
Ca marche comment, comme des hackhatons ?

 
Oui mais on se sent DATA SCIENTIST  
 

 
Je sais pas encore comment ça va se passer, si c'est pour que nos data scientists puissent s'amuser ou si c'est dans un autre but...

Moi je trouve ça amusant. J'ai plus trop le temps de le faire chez moi ça pourrait être fun au bureau.

Question honnête :
C'est quoi la plus value de ces systèmes vs développer un truc adapté a son besoin en quelques mois? J'ai du mal a visualiser comment un outil généraliste pourrait s'adapter à mes besoins et surtout, mes données...par contre en keras, python, scikylearn etc... C'est franchement accessible pour un bon ingé python de faire un pipe ml correct en un temps relativement cours.

Ca marche vraiment ces framework ? Ca fait quoi exactement ?

Sinon azur c'est le mal

 
T'as déjà bossé avec ou pas ?
 
C'est très intuitif et ergonomique, ça permet de développer des modèles facilement et c'est beaucoup plus lisible que du code brut. Et ça permet à plusieurs personnes de bosser ensemble facilement, franchement c'est top  

Non c'est pour ça que je demande

Chez nous on utilise la solution Palantir. Il y a plein d'outils assez pratiques pour explorer et visualiser rapidement les données. Un outil assez complet pour faire des visualisations interactives.
Par contre niveau ML c'est limité pour l'instant, en gros on fait de temps en temps des random forest et c'est tout. Les volumes de données sont relativement importants faut qu'on trouve des algos simples et efficaces.
Avec Spark ML on est de toute manière limités dans les algos disponibles (faut que ça soit facilement distribuable).

Déjà, y a un principe de base dans une boîte : on ne développe pas en interne un outil que l'on peut trouver sur étagère si le développement n'est pas le coeur de métier de l'entreprise.
Quand je vois le nombre de développements internes que l'on se coltine chez nous, je me dis que cette règle a bien peu été respectée par le passé et qu'il est temps de changer de braquet.
 
Sur le fond, je considère pour ma part que toutes les tâches d'exploration/visualisation/préparation ne doivent PAS être faites avec un outil type langage de programmation, en-dehors d'un besoin spécifique bien entendu. Utiliser Python ou R pour ces tâches-là, c'est 1) une perte de productivité (tu as beau être un développeur hors pair, l'utilisation d'un outil tiers sera toujours plus efficace) et 2) terriblement peu efficace puisque tu passes ton temps à déplacer de la donnée de ton data warehouse / data lake / data cequetuveux à ton serveur de traitement.
 
Il y a un autre intérêt à utiliser des plateformes type Dataiku, c'est de mettre à disposition de profils non techniques des outils évolués. Typiquement, un analyste a souvent de bonnes compétences métiers mais des compétences techniques assez limitées : un outil comme Dataiku permet à ce type de personne de se mettre au ML.
 

On en a fait un en interne sur le format d'un vrai Kaggle.
Le challenge a duré 6 semaines et a rassemblé une quarantaine de personnes. Bonjour l'efficacité
Tout ça pour résoudre un problème qui était en plus assez mal posé...

Ok

D'ailleurs, tu devrais essayer Dataiku par exemple pour résoudre le challenge Titanic de Kaggle, tu vas vite comprendre pourquoi on l'utilise, c'est vraiment un outil sympa

 
Le challenge Titanic de kaggle est un probleme de classif à deux classes (donc une toute petite partie de ce qu'on peut/doit faire en datascience) : n'importe quel soft de ml devrait faire l'affaire ; weka, scikit learn, ... Du coup je ne vois pas ce que dataiku apporterait de plus ?!

Je disais ça pour avoir un prétexte d'utilisation. Histoire de pouvoir tester ce que Dataiku propose en terme de manipulation de donnée, de déploiement de modèles...

bon je me remets a checher ailleurs ... changement de direction au boulot on bosse/va bosser sur des trucs franchement pas interessants. Dommage c'est vraiment tot pour bouger...

Ha c'est dommage. Ça fait longtemps que t'es là ?

Ca fait juste 9 mois - donc vraiment court à mon goût mais on évolue vers des activités types BI et c'est clairement pas ce qui a été vendu à l'interviez. C'est dommage ca avait bien commencé

Ah oui 9 mois c'est un peu juste, c'est en gros la période à passer pour être bien dans la boîte et dans le poste et pour commencer à capitaliser en termes d'XP.
BI, Il y a différentes façons de faire selon les boîtes ça peut-être intéressant si on est vraiment dans l'analyse et vraiment très chiant si on organise des réunions

Salut tout le monde    
 
Je recherche des techniques de réduction de dimensions, quelqu'un aurait un papier ou un site en tête recensant les algos à la mode et qui marchent bien ? L'idée serait d'en implémenter une dizaine et de comparer les performances sur plusieurs sets de données    
 
J'en ai déjà repéré quelques uns : kernel pca, t-sne, autoencoder PCA ..
 
Merci    

 
Est-ce que c'est pour faire de la classif supervisée / prédiction ou pas ?
Sinon quels seront tes critères de performance pour la comparaison de méthodes ?

 
Très bonne remarque justement... c'est encore un peu flou dans ma tête. Autant faire un benchmark d'algo de classification.. je vois comment les départager (F1 score, % accuracy etc. ) mais des algos de réduction de dimension... Faudrait que je me renseigne plus précisément, pour l'instant j'en suis à l'état de l'art.
 
Pour ta première question, je te cite mon sujet :  
 

Ben la réponse est dans ton sujet de stage

Pour le benchmark j'imagine que l'idée c'est de comparer la rapidité de l'opération de réduction puis le score obtenu derrière sur la classification/régression ?

J'avais fait des petits test comme ça chez moi. Un pipeline avec une PCA avec différents paramètres/algos puis en sortie toujours le même algo et je regardais le score.
Mais j'ai pas trop poussé, j'ai fait avec scikit learn.

 
 
Merci des réponses
 
Ce n'est pas mon sujet de stage, j'ai c/c un sujet de la sogé (je crois) qui ressemblait à ce qu'il m'avait dit histoire d'illustrer mon pb Mais ouaip effectivement je pense que c'est ça que mon tuteur attends donc très bien.  
 
Je suppose que mes métriques seront : complexité en temps/espace, temps d’exécution, % d'improvement sur un panel d'algos...  

 
Pour commencer et structurer/ordonner les méthodes existantes et celles que tu pourrais trouver dans ta recherche de biblio : www.jmlr.org/papers/volume3/guyon03a/guyon03a.pdf (ça date de 2003, c'est vieux mais ça mérite d'être lu ). Tu pourras identifier les différents "types" de méthodes : filters, wrappers et embedded ...
 

Merci bcp pour vos réponses, merci pour ton lien TiDom, je potasse ça

(je ne sais plus si c'est passe ici):
 
Why so many data scientists are leaving their jobs
https://www.kdnuggets.com/2018/04/w [...] -jobs.html

Je m'éclate pas des masses au boulot depuis une semaine.
On a refait notre librairie maison il faut transposer tous les modèles vers cette nouvelle librairie.... Pas de doc, juste un pauvre exemple j'arrive à rien (en plus d'être un boulot à la con).
À priori c'est qu'un mauvais mm moment à passer (enfin j'espère parce que là j'apprends pas grand chose)

C'est à dire ? Tu dois recoder from scratch un algo d'un langage vers un autre ?
 
Sinon auj conférences toute la journée avec des experts deep learning et resto gastronomique, stage sympa
 
 
Par contre dans une prez, " [...] on a deux façons de faire, soit on a une problématique business et on créer un modèle pour y répondre, soit on créer un modèle et on identifie les opportunités business derrière"  
 
C'est pas un peu faire du machine learning juste pour en faire ça ?

Non c'est du "push", ça se fait dans pas mal de domaines et c'est souvent quelque chose qui manque pour gagner beaucoup d'argent.
C'est pour ça que dans les grands groupes tu as des gens qui passent beaucoup de temps chez les gros clients (KAM par exemple), ils ont une bonne connaissance métier du client et de la boîte. Donc dès qu'ils vont voir une nouvelle techno émerger, si un lien est possible ils vont pouvoir le faire plus vite et le proposer au client.
C'est un peu du Steve Jobs: regardez ce produit, vous ne le connaissiez pas hier mais vous allez en vouloir un tout de suite

Sinon pour mon boulot, non je reste heureusement en python, ouf
C'est un peu l'équivalent de vouloir passer de Theano à Tensorflow. Sauf que la library est "maison" donc sans doc ni rien c'est chaud. Il y a plein de dépendances et de fichiers partout, je sais jamais où il faut les mettre.
Le pire c'est que même les collègues qui sont là depuis longtemps ont du mal ça me rassure (mais ça donne une idée de la galère dans laquelle je suis).
Enfin cet après midi j'ai réussi à laisser un collègue reprendre le truc et j'ai pu m'amuser un peu avec un notebook sur un jeu de données:
- Première étape, encoder l'algo que j'ai sur pdf en pyspark
- Voir si ça fonctionne  
- Si ça fonctionne et que j'ai du temps (c'est pas gagné) je peux tester autre chose pour voir si je peux améliorer ça.
 
L'algo est assez basique, un peu de régression en gros.
Heureusement on a une activité deep learning qui démarre, ça pourrait être intéressant. Je suis en embuscade et à la première réunion où on demande un volontaire je me précipite

Ah ça a l'air bien galère. Oui tu as raison, savoir saisir les opportunités c'est ce qui fait la dif dans une carrière

Yo all
 
Je viens vous voir parce que vous êtes surement la partie la plus active du forum qui pourrait m'aider.
 
J'ai récupéré du code en R sur un Github que j'aimerai faire tourner avec mon dataset. C'est la première fois que je fais ça et j'ai aucune idée de comment faire tourner le code. Dans ce que j'ai importé, y a tous les codes sources (du R et du C++ pour faire tourner plus rapidement certains trucs) ainsi qu'un fichier Rproj.
 
Quelqu'un aurait-il une idée de comment je dois m'y prendre pour réussir à faire tourner tout ça? Sachant que lorsque j'essaye de faire source("CodesSource.R" ) et de lancer la fonction principale, le code plante au moment d'appeler la partie en C++
 
Merci d'avance

T'aurais le lien pour le github? Ou en mp si c'est trop prive.

Merci d'y jeter un oeil Rasthor  
 
https://github.com/Waleem/MSM