Reprise du message précédent :

 
 
C'est une comparaison entre le y_test et le yp qui sort du modèle.

C'est pas ca la question, la question c'est quelles données tu as utilisées pour tracer ce graph: est-ce que c'est les mêmes que tu as utilisées pour fitter ton modèle?

non, j'ai mis 20% de coté pour valider mon modèle.

Tu enchaines des layers dense avec plusieurs miliers de neurons, rien qu'entre tes deux premières chouches tu as 5000x8000 = 30 millions de paramètres. Comment tu veux faire pour fitter ce genre de modèle à moins d'avoir un dataset énorme ?

J'ai pas trop le temps de regarder en détail tes résultats, mais déjà la ya un prob. T'as l'air d'avoir des (trops) bons résultats sur ton test de validation, je pense qu'il a été probablement construit n'importe comment et qu'il y a des grosses corrélations entre ton validation et training donc même si ils sont séparés c'est comme si tu entrainais dessus.

Merci de ce premier retour.
Je vais réduire le nombre de neurones et jeter un oeil à cet histoire de jeu de test.
 

Drap

Hello
 
Je suis ponctuellement le topic ; ça parle un peu trop de salaire de jeune dip et pas assez de ML&DS à mon gout par contre
 
Un peu de contexte pour introduire mes réactions aux posts précédents
 
Je travaille dans une boite qui a ouvert un département Innovation en parallèle de l'IT classique.  
Je suis côté IT, manager de plusieurs équipes (compétences mixtes: orga/process, moa, moe), je me retrouve donc confronté à
1/ le fait que ce sujet soit pris en chare par eux et pas par moi    
2/ pris en care par des profils qui ont une expérience limitée et ne se projettent pas dans le futur mode RUN/maintenance qui les concernera ; ils essaient de livrer tout azimuths
3/ pas de vision archi ; ils font des trucs dans leurs coin mal intérés avec  
 
Dans ce contexte je remarque beaucoup de "repackaging" de concepts classiques (datawarehouse>datalake ; bi>analytics; ETL>panda,frame & co) pour vendre des suites d'outils dont beaucoup des fonctions s'avèrent en doublon avec des solutions existantes, mais dénigrés car libellées "IT" traditionnelle
 
Et parallèlement on s'adresse à une population différente de profils, qui fait de l'IT sans le savoir ( ) et qui représente donc l'opportunité de leur vendre ces concepts repackagés pour banker $$$
 

 
Je m'étonne d'un avis si tranché
Qu'est-ce qui t'amène à cette conclusion ? Pour quel besoin ? Sur quels aspect ?  
On peut supposer de ton commentaire qu'il y a un ou plusieurs autres outils payant que tu trouves meilleurs ?
 
Ca m'intéresse car en interne, faute de gouvernance on a mixte de SSIS, Talend (version free), et deux outils .NET qui sont des sur-couches au moteur SSIS. Suite au rachat d'une société on va hériter de leur Talend version Entreprise  
 
De mon point de vue Talend offre la meilleure versatilité, ergonomie/efficacité de dev, lisibilité. Le point noir est la performance à l'écriture dans nos bases SQL Server (en comparaison avec SSIS)
 
 

 
 
Sur le dataprocessing, je ne vois pas la +value de faire du code (python ou autre langage) alors que cela fait des années que le problème a été "résolu" par l'industrie par la mise au point d'outils ETL dont la vocation est précisemment d'optimiser/faciliter/accélérer ce type de travaux, compatibles avec tous types de format, prise en main très rapide, etc
 
De fait l'intégration avec Python peut tout simplement passer par une couche de donnée persistée (base SQL ou graph ou autre) pour laquelle python dispose  
 
D'un point de vue architecture cela fait aussi plus de sens de séparer les enjeux de la préparation et de l'application des algo et que l'ensemble soit maintenable par + qu'une seule personne
 
 
Pour le quote : pourquoi les transformations seraient plus complexes en SQL ?

je plussoie

 
Tu parles de quel type de transformation ? Le SQL a ses limites quand même...

Ah ben tiens donc, j'ai l'impression de revoir ce que j'ai vécu

Je trouve justement Talend très peu ergonomique et la productivité des consultants que j'ai vu travailler avec cet outil semble me donner raison
Ceci étant dit, je ne te cacherai pas que je travaille pour un éditeur dont Talend est un concurrent sur le volet ETL, j'ai donc une opinion un peu biaisée... Je trouve néanmoins que notre outil, bien qu'un peu old school, est bien plus ergonomique que Talend. Et je ne parle même pas des performances...  
 
Talend devient aussi extrêmement cher dès qu'on doit utiliser la version payante à grande échelle.

Tout à fait d'accord là-dessus, Python pour du "data engineering", c'est une connerie sans nom. C'est lent, l'architecture laisse à désirer (y a pas d'architecture en fait) et il n'y a aucune gestion des méta-données. Python doit son succès au fait qu'il donne accès "gratuitement" et de manière plus ou moins facilitée à des fonctions qui s'apparentent à de l'ETL à une population vaste mais au final, le résultat est souvent peu convaincant.

Tu verrais quoi comme solution valable pour faire de l'etl à grande échelle ?

Il y a à mon sens :
- Talend
- Informatica ETL
- IBM InfoSphere DataStage
- et la plateforme développée par l'éditeur pour qui je travaille (que je ne citerai pas ici) qui est évidemment la meilleure des 4
 
MP si tu veux des détails

les classiques: transco, filtre ligne, filtre colonne, mapping 1-1, 1-n, calculs, aggrégation (fonctions à fenêtre )
 
par contre pour manipuler des matrices mathématiques, là je dis pas  
 

je suis sûr que ça arrive partout    
 
alors qu'ils suffisait d'augmenter le budget de l'IT pour une solution innovante et pérenne
 

ils étaient tout simplement pas bon
balance le nom de ta boite en MP    
 

quel ordre de grandeur pour quel dimensionnement ?
 

Sinon pour du ML facile à prendre en main, avec une démarche pédagogique, KNIME Analytics (https://www.knime.com/knime-analytics-platform) est bien pensé je trouve
 
L'approche éditeur ETL graphique a tout son sens, parfait pour éduquer sur la conception/archi d'un traitement
 
(sans considération de perfs ou autre enjeux de la "vraie vie", je n'ai pas encore eu l'occasion de tester)
 
 
 
Pour les puristes parmi vous, est-ce qu'assembler des briques restent de la data science à vos yeux ?

Putain de toute les platforme Deep qu'on a testé j'ai rien vue de mature perso

Dataiku ?

A ma connaissance, il faut compter 10 k€ par an et par développeur.
 
C'est un point sur lequel Talend se différencie des autres éditeurs. Talend ne licencie que l'environnement de développement et non celui d'exécution (forcément puisque Talend génère du code Java ou Spark) alors que les autres éditeurs licencient la puissance de l'environnement d'exécution (les outils de développement aussi mais dans une bien moindre mesure).
 
En fonction de la cible (sizing et nombre de développeurs), l'une des deux approches peut s'avérer complètement déraisonnable sur le plan financier.
 
Pour info, dans de grosses organisations, les développeurs ETL se comptent par milliers.

Non, Dataiku n'est pas un ETL. Dataiku, à l'instar d'outils tels que Alteryx ou KNIME, est un outil de préparation de données. C'est adapté à des populations métiers d'analystes ou de data scientists qui exécutent des traitements de préparation de données de petite envergure pour répondre à leurs besoins propres à l'extrémité du pipeline de transformation.
 
En matière de pur ETL, Dataiku est catastrophique. C'est extrêmement lent et la méta-donnée est traitée par-dessus la jambe, quand elle n'est pas détruite (!).

MATLAB

Y a des gens qui font l'Advent of Code cette année ?
https://adventofcode.com/

Je serais curieux de voir si c'est à la portée d'un data scientist

Eu.... Encore une fois personne ne fais de deep learning avec matlab

Encore une fois, tu te trompes lourdement.
 
Il y a peu de gens qui entraînent des réseaux sous MATLAB, là-dessus je suis d'accord. Mais MATLAB a depuis belle lurette un support étendu du standard ONNX et peut donc importer la plupart des modèles créés via d'autres frameworks. Après, j'ignore quel est le domaine d'activité de ta boîte. Dans l'industrie, là où les modèles de DL doivent faire de l'inférence sur de l'embarqué, MATLAB est utilisé massivement. En revanche, si le but est de faire du NLP sur une instance AWS pour faire un chatbot, là oui OK, c'est pas l'outil que tu rencontreras le plus souvent.

J'ai une question de gros noob qui galère.
Je bidouille Skorch, je cherche à trouver les images sur lesquelles il y a des avions.
 
J'ai entraîné un réseau de neurones sur un train dataset de (45000,64,64,3), je l'ai testé sur un test dataset de (15000,64,64,3) et j'aimerais maintenant le tester sur un dataset de (30,512,512,3).
 
Du coup j'ai chopé une fonction sliding_window avec laquelle je divise une image en mini-images de 64*64, mais je n'arrive pas à trouver le moyen d'appliquer la méthode model.predict sur ce nouveau set de 30 images chacune divisée en 64 images.
J'ai l'impression que c'est très con mais je bug complètement
 
Le code de sliding_window :

 
Le code avec lequel j'affiche l'image divisée en 64 images :

 
J'ai pensé à appliquer model.predict à chaque image de 64 dans ma boucle for mais la méthode attend un argument de taille (size_set,64,64,3) et pas seulement une image de taille (64,64,3)

Question con:
T’as testé avec (1, 64, 64, 3)?  

Ok pour l'inférence je savais pas
Mais bon du coup si tu train pas de modèles c'c'est pas très marrant

 
Merde, question con. Et c'est ainsi qu'il découvra np.exapnd_dims
Merci !

Tu peux aussi entraîner des modèles, c'est juste que MATLAB n'est effectivement pas la plateforme la plus utilisée pour ça (encore qu'elle semble avoir refait son retard en termes de fonctionnalités par rapport aux frameworks concurrents, d'après ce que j'ai lu récemment).
 
Et puis au fond, l'entraînement c'est cool mais c'est a priori quelque chose de ponctuel. Le volet inférence est plus sexy, c'est là qu'arrivent tous les problèmes d'industrialisation et de mise en conditions opérationnelles.

Hello les copains.
 
Ca vous parle, une méthode qui consiste à ajouter des neurones dans un ANN, en cours d'apprentissage ?
 
Je cite :  
"The idea is that when you are stuck at a local minimum, you add a small bubble of additional neurons to the network, keeping the benefit of the calibration and relaunching the optimization hoping that the additional freedom brought by the bubble will change the gradient structure enough. The structure of the bubble can be analyzed in term of a resolution spectrum. It is therefore a good idea take profit of the past results of the bubble additions to orient the bubble generation. It is also a good idea to start with a small initial network to profit of the bubble mechanism"

Tiens, ca parlait justement de Dataiku ici il y a quelques posts
https://www.lemonde.fr/economie/art [...] _3234.html

 
 
Pas exactement mais dans le même esprit: Progressive Growing of GANs for Improved Quality, Stability, and Variation https://arxiv.org/abs/1710.10196

 
C'est mérité
 
J'ai pu la tester pour un projet et je trouve ça vraiment bien foutu.
 
Outre l'interface léchée, les outils mise à disposition notamment pour le data management est juste un bonheur.
 
Le seul hic c'est que je trouve ça plutôt lent dans l'éxécution et y'a quelques trucs qui sont quand meme très très énervants ... comme le fait que la construction des flux est trop rigide et puis la récursivité des actions très relou.

Je serais un peu plus mesuré. Je suis d'accord sur l'interface, très bien fichue avec notamment beaucoup de possibilités en termes de visualisation.
 
En pratique cependant, j'ai fait le constat suivant.

• Les data scientists se lassent rapidement du côté clicodrome de l'outil et veulent revenir à du code, a fortiori s'ils ont rencontré une limitation de l'interface.
• Les analystes ou les utilisateurs métiers ne sont quant à eux jamais parvenus à s'approprier l'outil, trop complexe pour eux.

Je pondère ce constat par le fait que j'ai travaillé avec des équipes de bras cassés, ceci explique sans doute cela.
 
Au niveau du moteur d'exécution, je suis d'accord avec toi également, il y a de grosses lacunes et les performances s'en ressentent nettement. La solution a peut-être progressé depuis que je l'ai utilisée ceci dit.

 
Bah tu peux coder en Python et en R sous Dataiku sans problème, c'est ça que j'aime, c'est les solutions hybrides qui offrent le meilleur des 2 mondes, pouvoir gérer le data management en clic bouton ou faire l'exploration des data visuellement tout en pouvant basculer sur du code pour des opérations plus complexes.
 
Après oui ça demande un certain niveau d'expertise pour être pris en main, ça fait très usine à gaz par moment mais l'idée d'avoir tout un pipe de l'import des data jusqu'à la restitution de celles-ci sous dashboard, c'est parfait
 
D'ailleurs tout l'aspect machine learning est vraiment incroyablement bien foutu.
 
Le dernier défaut, c'est la fin de chaîne où le dashboard est plutôt limité et fait vraiment ajouté de dernière minute mais dès qu'ils auront corrigé ça, ça en fera vraiment une solution puissante.
 
J'ai pu benchmarker IBM Watson qui est pas mal aussi et SAS Viya qui est un produit de luxe bien foutu mais les dashboard sont puants.

Par curiosité, ça vaut combien environ (ordre de grandeur) une licence d'un logiciel comme ça?

Sur le volet ML, c’est très bien mais je garde une petite préférence pour H2O.

Dataiku, c’est 80k par an pour le serveur + 3k par an et par utilisateur profil data scientist de mémoire.
En prix liste, après ça se négocie...

 
Ah ouais quand même, si t'as pas une très grosse équipe data-science ca fait super cher non ?  
 
C'est bizarre car j'aurai plutot tendance à penser que ce genre d'outils serviraient surtout aux petites équipes qui ont pas les ressources ou compétences ou développer leurs outils in-house ?

C'est un outil grosse boite. Ca reste en plus pour faire des trucs simple (données tabulée et co...).

Tout est relatif... C'est pas donné mais c'est dans les mêmes ordres de grandeur que les concurrents.
 
D'un autre côté, si une boîte est capable de claquer 200 à 300k par an pour quelques data scientists (salaires + charges) mais se refuse à investir une fraction de ce montant pour outiller l'équipe, il y a comme un problème à mon sens.
 
Sinon, si tu veux un outil professionnel, supporté et pas cher, MATLAB c'est 2500 balles par an et par tête de pipe + 5000 balles par an pour les outils de compilation
 
Faut pas exagérer non plus, on peut faire des choses relativement complexes avec Dataiku...
 
Et perso, je n'ai jamais vu le moindre exemple de donnée non tabulée dans toutes les boîtes avec lesquelles j'ai travaillé

Déjà simplement les images

Typiquement l'exemple que j'attendais
 
Les images dont on extrait généralement... des features, qui sont au format tabulaire, badaboum.

Et t'extrais comment tous ca
Nous on passe images puis sur des données vecteur (format géographique) puis donné tabulaire. Le truc complexe c'est de passer sur image => vecteur. Detecter des objets, des contextes etc... C'est là où on fait de l'ia. Après c'est des plots