Reprise du message précédent :

Tu utilises Jenkins pour les pipelines ?

Si il y a des données propres pour travailler et qu’il n’y a aucune industrialisation ou intégration un faire (normal pour un PoC) ça peut se faire en 1 journée. Si les données sont indisponibles, puis disponibles mais ignobles, beaucoup plus de temps.  

Les données sont bien évidemment présentes

Un peu de nettoyage cependant est nécessaire

Non au début d'un projet, quand je recois les données, il y a toujours une phase d'exploration un peu manuelle  
Ce que je voulais dire, c'est qu'on a mis en place des outils efficaces pour annoter et organiser les données, puis les exporter dans un format immédiatement consommable par nos scripts d'entrainement de modèle, qui produisent des fichiers directement intégrables dans notre framework (je fais du software, pas du déploiement dans le cloud)

C’est pour ça que je parle de données propres, on sait tous que c’est 90+% du boulot de les mettre au carré  
Après tu lances ta routine qui fait passer tous les algos les uns après les autres et tu vas te chercher un café (ou tu reviens le lendemain si tu as mis des réseaux de neurones)  

entretien lundi avec tests sur les données en temps réel

ils me demandent pas de faire un algo mais de tester la présentation des données

en gros ils vont menvoyer un fichier excel avec une problématique et me demander de trouver une histoire a raconter, faire parler les données

quelqu'un a déjà passé ca ?
si oui un bon truc pr se préparer ?
vidéo youtube ? bouquin ? nawak ?

cimer

je dirai de regarder des compet kaggle et de voir les meilleurs notebook.
 
C'est souvent similaire.
 
1/ tu commences tjrs par comprendre en gros les variables et regarder leur distribution (genre si > 50% de NaN autant dégager direct)
 
2/ tu les mets au propre
 
3/ XGBoost

 
 
je pense justement que yaura pas d'algorithmiques
 
c'est vraiment juste le storytelling qu'ils veulent évaluer et la mise en forme
 

Regarde des notebooks Kaggle d’EDA, généralement c’est spécifié dans le nom et il y a beaucoup d’up-votes  

J’ai eu un entretien et étude de cas assez étrange… ou je me fais des idées?!

1) L’entreprise a toujours très peu d’images parce que ce sont les cas très particuliers (genre 50-200 images). Et on ne peut pas trouver ce type d’images sur internet (ils ont exploré déjà cette piste)
2) Ils ne veulent pas trop embêter le client pour les annotations (il faut une connaissance métier pour le faire). Donc le minimum d’annotations possible.
3) C’est un post-doc… mais a l’aire être plus un CDD déguisé en post-doc (j’ai demandé pour les publies, ils ne veulent pas publier dans les revues de ML)
4) Et au final l’étude de cas c’est une 50 d’images dans le train et 10 dans test. Le comble: les images ne sont pas annotées! En soit les images sont denses, beaucoup d’objets bien en claire et séparés. Mais je me demande si on peut faire quoique ce soit avec si peu d’images. Jamais vu ce genre de cas. Pour les modèles classiques c’est clairement pas assez.

Tout cela me laisse penser qu’in aura toujours un gros manque des données. Et le fait que c’est un CDD… Le fait que les résultats ne seront pas publiables… Vous en pensez quoi de tout ça?

P.S. petite précision: je ne suis pas aux abois. Ce qui m'a initialement séduit dans l'offre: 10km de chez moi et la possibilité de faire un postdoc (donc plus court que la thèse). Je me suis dit au début que si je fait un bon post-doc, c'est bien vendable. Mais il faut du contenu à montrer...

Je suis pas spécialiste de computer vision (mon domaine c’est la nlp) je peux tromper, mais 50 images pour entraîner ça me parait beaucoup trop peu pour qu’un modèle puisse généraliser au mieux pour une utilisation réelle.  
Et 10 images pour valider ??    
 
Et le fait que ce soit un post doc, avec aucune publi… ça fait penser qu’ils veulent te flexer et surtout profiter de ton CIR pour avoir ta main d’œuvre à pas cher

 
Run, fool

En computer vision, le coup du "il faut beaucoup d'images pour que le deep learning marche" est un mythe
Ca dépend énormément du type de problème: la classification c'est plus facile que la régression, la segmentation pixel par pixel c'est plus facile que la classification d'image, et évidemment y'a des problèmes plus faciles que d'autres

J'ai déjà bossé sur des projets ou ça marchait deja bien avec 10 images, et d'autres ou ça marchait pas du tout en dessous de 10k images

Bon après, je dis pas que la proposition est pas louche: le truc c'est qu'avec si peu d'images t'as pas grand chose à faire, soit ça marche direct, soit ça marchera pas

3e round entretien lundi

on me dit de rien préparer, ce sera une etude de cas en live mais je pense pas d'un point de vue strictement technique

genre on me dit de bosser

- aptitude a réfléchir et a proposer des solutions au client
- aptitude a structurer un projet  et voir si je peux mener operationnellement le projet etc

quelqu'un a déjà eu ce genre d'entretiens ? ca se prepare comment ?

j'ai pas de doute sur la viabilité de la boite c'est une tres bonne boite au niveau européen par contre

Hello, est-ce que vous avez déjà fait appel à des services d'étiquetage de données?  
 
Lesquels? Qu'est-ce que vous en avez pensé?  
 

No quote please
 
 
Une idée d'un salaire de Lead DS (purement technique) dans une scale up?
Levée de fond récente d'un peu moins de 100M€, 200 salariés aujourd'hui et 250 à la fin de l'année
Equipe de 4-5 DS
 
 
NB : localisation peu importante, c'est du full TT

C'est quoi "lead DS" ? Le manageur de l'équipe de 4/5 personnes ou juste un espèce de leader technique sur un projet spécifique ?
 
Et même si t'es en TT, le salaire dépendra de où se situe la boite et ou tu te situe toi (car la boite et toi payeront plus ou moins de charges sociales)

Meme questions + C'est pour bosser dans le coeur de métier, ou c'est plutot genre Business Intelligence?

Bonjour bonjour,
 
J'envisage une reconversion pour devenir data analyst et j'aurai plusieurs questions pour ceux travaillant dans le domaine qui pourraient m'aider. Me concernant, j'ai 32 ans, un bac+5 en marketing et j'occupais dernièrement un poste de business developer. Mes questions :
 
- J'ai pu voir qu'un certain niveau de mathématiques était requis (stats, probas, etc.), mon niveau actuel en maths n'est franchement pas ouf et je me demandais s'il existait des cours en ligne couvrant l'intégralité des fondamentaux requis pour occuper le poste de data analyst ?  
 
- J'ai appris le SQL, Python et l'utilisation de certaines librairies (Pandas,Numpy,Matplotlib, Seaborn, etc.), mais selon vous, quelles sont les (autres) compétences/outils qu'il faut absolument avoir/maîtriser pour un "entry job" de data analyst ?
 
- Enfin, est-il réaliste d'espérer obtenir un poste dans le domaine sans faire de formation diplomante (à base de cours en ligne qui n'ont pas franchement de "valeur" ), uniquement avec un portfolio que je me serais créé ?
 
(Ha et j'insiste, je parle bien du poste de "Data Analyst", d'après ce que j'ai pu lire le poste de Data Scientist requiert des compétences bien plus élevées en mathématiques notamment)
 
Merci d'avance  

 
Data scientist / data analyst c’est des titres qui veulent rien dire. Le vrai nom c’est statisticien
 
1. Oui bien sûr il y en a des dizaines, certains sont meilleurs que d’autres. Le plus connu étant celui d’Andrew sur Coursera.
Tu pourras aussi trouver des livres (pdf) qui couvrent tout, et des cheatsheets.
 
2. En plus de ce que tu as énoncé je dirai que les compétences les plus importantes seront humaine.
Pour la technique c’est déjà bien, peut-être que d’autres pourront te lister plus de choses mais sinon tu apprendras sur le tas car le domaine évolue vite. Tu peux mettre les mains dans le machine learning si ça t’intéresse.
 
3. Oui c’est réaliste.
Je pense qu’on bascule doucement vers une évolution des « formations », amplifié par le covid. Les formations en ligne sont de plus en plus reconnues, certaines en particulier. Beaucoup de personnes en reconversion ont pu en profiter pour atteindre leur objectif. D’autres sur ce topic te diront sûrement que dans leur boites certains DS ont été recrutés sans diplôme mais par leur moocs + compétences.

Bon autrement il se passe plus rien ici, personnes pour réanimer ce topic ?
Now Compliant a finit head of ai ou au fond de la marina de Singapour ?
 
Allez je relance une discussion, vous avez touchés aux transformers linéaires ? (Fast transformer, performer, linformer…)
Si oui pour quelle utilisation et les résultats étaient concluants ?

Oui, la disparitation de Now Compliant a laissé un vide...
 
C'est quand même dommage d'avoir supprimé son compte ainsi que tous ses postes (je ne savais même pas que la modocratie acceptait de faire ça sauf dans un cadre judiciaire, ce qui ne doit pas être le cas ici)...

Concernant le poste dont j'ai parlé plus haut, je leur ai dit "non" (j'ai parlé avec deux anciens de la boite et les retours ne sont pas bons). Mais Rontgen a raison, c'était le cas où le peu d'images a suffit.... en faisant juste le traitement d'image (pas de ML).

L'août est le temps mort. Je compte d'ajouter d'autres projets sur mon GitHub. A votre avis, sur quoi faut-il se focaliser? Montrer un peu de tout, ou faire focus sur 1-2 techniques (genre DL computer vision/NLP, programmation et traitement des données)?

Pour le job cela avance plutôt bien, même en France.

Oui, il y avait des discussions intéressantes

 
Merci de ta réponse !
 
Pour les titres, c'est ce que j'ai pu lire ici et là sur internet (par exemple ICI) mais en effet la nuance parait assez floue parfois.
 
1. J'ai jeté un oeil et j'ai trouvé le cours sur le Machine Learning (qui doit être celui dont tu parles j'imagine ?) qui correspondrait apparemment à ce que devrait savoir faire un data scientist, qu'en est-il pour les compétences mathématiques d'un data analyst ? (je suis obligé d'utiliser ces termes pour être bien sûr qu'on parle de la même chose, désolé )  
 
2. Tu penses à quoi en particulier quand tu dis compétences humaines ?
 
3. Ha parfait ! C'est motivant

WTF ?

Des data scientists qui n'ont quasiment aucune notion de statistiques (au-delà du test du χ²), j'en ai vu passer un paquet. Et d'ailleurs il est souvent inutile d'avoir des connaissances poussées en statistiques quand on fait de la data science...

D'ailleurs, si tu mets un data scientist devant un vrai outil de statisticien comme Stata, il sera perdu la plupart du temps.

Drapal

 
Absolument pas indispensable pour être data analyst de faire une formation en machine learning
 
Blinde plutôt les connaissances côté bases de données, ton python/SQL pour la manipulation, et bonnes pratiques de data viz saupoudrées d'un peu de storytelling.  
En tout cas c'est ce que je demande en priorité à ceux que je recrute, et ça me semble assez général vu les dernières boites où je suis passée et ma veille sur les annonces de recrutement / le métier en général.

Marrant ça se rapproche beaucoup de l'image que je me fais du data analyst "junior".

Dans vos boîtes, avec l'explosion des candidats, vous n'avez pas largement relevé la barre pendant les recrutements ?

De mon côté, je me suis dit que les temps avaient changé dans pas mal de secteurs quand j'ai entendu un sucrier français dire à quel point la DS l'aidait d'ores et déjà à faire des économies d'énergie importantes dans ses usines en faisant, à l'échelle, une optimisation qu'un spécialiste "lambda" mettait relativement longtemps à mettre en place à chaque nouvelle saison de transformation.

Ça me changeait des slidewares "IA, Blockchain, casser les silots, la data est le nouveau pétrole ..." Sans use case métier précis derrière car, "vous comprenez, on en est encore au stade d'expérimentation du coup on fait des dashboards et pis c'est tout"

Une petite anecdote, pour appuyer le propos...
 
J'ai travaillé à un moment donné en avant-vente avec un grand groupe industriel français qui fabrique des turbines. Ils étaient confrontés au problème suivant. Les pales montées sur les turbines n'avaient pas toutes exactement les mêmes caractéristiques (masse, forme) en raison de leur taille d'une part et du process industriel de fabrication d'autre part. Du coup, pour fabriquer une turbine aussi équilibrée que possible, les pales (une cinquantaine par turbine) devaient être placées d'une manière bien précise en fonction de leurs caractéristiques intrinsèques.
 
Le mode opératoire était le suivant. Un ingénieur disposait d'un fichier Excel avec la liste des pales et leurs caractéristiques. Dans le fichier Excel était automatiquement calculé un indice d'équilibre (je ne me souviens plus du nom exact) et l'objectif pour l'ingénieur était d'obtenir une valeur proche de 1. Pour cela, il déplaçait manuellement dans son fichier Excel les pales pour faire varier l'indice d'équilibre, se servant de son expérience pour essayer de converger aussi rapidement que possible vers une solution optimale. Le traitement d'un fichier prenait environ une heure d'expérimentation.
 
L'entreprise en question nous avait contacté à l'époque pour optimiser ce processus. Un algo d'optimisation et 5 minutes de temps d'exécution plus tard, on parvenait à indice d'équilibre de l'ordre de 0,05. Inutile de dire que les ingénieurs en face de nous se sentaient un peu idiots. Et aujourd'hui, on en parlerait volontiers comme un cas d'application de l'IA.

Bordel

French engineering at its best

L'indice d'equilibre évoluait entre 0 et 1 j'imagine? Ton client était vraiment satisfait en ayant 0.05?

Non, il n'y avait pas de limite supérieure. Généralement, un placement aléatoire des pales donnait un indice entre 50 et 100.

 
 
Pas besoin de stats poussées pour faire data analyst dans beaucoup de boites. Les outils que tu peux apprendre et qui t'aideront beaucoup sont Tableau et Power Bi. Si tu te fais un joli portfolio de graphs, tu auras un bon point de départ.
 
Je ne sais pas ce que racontent certains posteurs ici, je vais éclaircir quelques points :
 
- Data analyst et Data Scientist sont deux postes très distincts d'un point de vue responsabilité.
Certaines boites se mélangent les pinceaux et appelent leur data analyst des data scientist et vis versa mais ça c'est aussi et surtout dû à la nouveauté des metiers.  
- Stata est un outil d'économie, pas de statistiques.
- Statisticien c'est un terme de super vague. Un type qui fait des moyennes peut se prétendre statisticien (data analyste), pareil pour celui qui fait des modèles de ML simple (Regression tree, logit), pareil pour celui qui fait du R&D et qui va surtout étudier l'aspect methodo. T'as même beaucoup de "data engineer" (la personne qui met en place l'infrastructure informatique) qui ont souvent des formations poussées en statistiques (ça aide à comprendre le besoin et l'utilisation)
 
 

 
Bha le Mr qui pose la question est justement junior
Pour un senior les compétences de base restent les mêmes, j'attends juste quelqu'un d'autonome pour gérer ses projets de A à Z, collecter besoins et feedbacks du métier etc, voir encadrement et recrutement de stagiaires.
Après on passe sur des postes de leads, techniques ou managers.

Vous vous souvenez que j'avais dit que certaines entreprises s'intéressent un peu trop au parcours des candidats? (prépa ou non, quelle prépa). Et bah voilà la preuve :

Une RH m'envoie le questionnaire en disant il faut y répondre 3pour qu'on puisse étudier votre dossier". Le questionnaire demande aussi l'âge des candidats.

Les amis m'ont conseillé de contourner les RH autant que possible. Et du coup cela se passe beaucoup mieux. J'ai eu deux propositions venant des boites où j'ai postulé d'abord sur le site et où j'ai eu la réponse automatique "vous n'avez pas assez d'expérience blabla". Les RH français ne savent pas gérer les profils atypiques. Et ne comprennent pas forcement ce que c'est une thèse, un postdoc. Une m'a dit par exemple qu'en doctorat/postdoc on ne travaille jamais avec les données  

Oui, mais certains boites de conseil qui font du BI demandent de connaitre le secteur et de comprendre les données. Cela leur permet de mettre immédiatement la personne chez le client.

Tu es allé un peu fort   Si on suit ta logique, R est aussi un outil d'économie. L'analyse en composantes principales est un outil d'agronomie?! INSEE ne fait pas les statistiques... Depuis quand le maximum de vraisemblance, EM, logit, clusterint, ACP/ACM, ARMA etc ne sont pas les statistiques? Cela me rappelle une connaissance qui a dit une fois: l'apprentissage automatique ce n'est pas la même chose que machin learning  

Oui, le programme est assez prisé par les économistes, mais c'est parce que jusqu'à le buzz autour du machine learning c'est en économie et finance qu'il y avait la quasi totalité de la demande pour faire les stats. Les modèles et les approches se sont adoptés à ce genre de données.

Si STATA est toujours intéressant c'est parce que:
1) Toutes les choses sont bien documentés, beaucoup mieux que dans scikit-learn. Et certaines choses sont gérées de façon plus intelligente (du point de vu mathématique).
2) C'est très peu connu, mais on peut tout programmer et faire des packages comme dans R. Mais il faut bien décrire le package crée.
3) Les graphiques sont sympa et faciles à faire.
4) Et surtout la fouille des données est très facile et rapide. Cela économise un temps fou pour toutes les données quantitatives/qualitatives. J'aime beaucoup approche par dataframe dans R/pandas, mais ce n'est pas aussi rapide.
5) Beaucoup moins cher que SAS.

D'ailleurs je ne comprends pas pourquoi certaines entreprises sont si accrochées à SAS qui est juste H-O-R-R-I-B-L-E.

Ah bon? Je n'ai jamais croisé des personnes qui se disent statisticiens alors qu'ils ne l'ont pas. Mêmes les MIAGE n'osent pas se prétendre "statisticien". Un statisticien est un mathématicien qui développe des modèles théoriques en statistiques, c'est-à-dire des modèles qui peuvent être utilisés peu importe le secteur. Tu n'es pas mathématicien <=> tu n'es pas statisticien. C'est assez facile.

Les algébristes apprécieront  

Le mépris  

 Toutafait    

Oula...
 
Le fait que la notion d'équivalence t'échappe (alors que c'est une notion étudiée dès l'entrée dans l'enseignement supérieur, parfois même en Terminale) explique bien des choses, si tu veux mon avis

Et cela ne t’est pas venu à l’esprit que je sais ce que c’est et que je l’ai utilisé exprès? Bon, mais c’est logique pour toi. Rien qu’en regardant mon pseudo tu sais que je code mal et je ne sais pas ce que c'est une équivalence.    
 
Plus sérieusement: c'est assez révélateur que tu réponds à moi et non au message d’Arraz qui ne te choque pas. Dans la réalité il n’y a aucune difficulté à savoir qui est géomètre, statisticien, algébriste, etc. Mais pour cela il faut arrêter de regarder le nom du diplôme et de l’école. Mais tu penses par les clichés, on l’a vu sur la page précédente.

Tu me fais rire tellement tu transpires la frustration
 
Ta dernière lubie semble être le diplôme, j'en déduis donc que tu ne sors pas d'une école cotée et que tu te considères aussi compétente que les dizaines de gugusses qui sortent d'écoles mieux cotées que la tienne Désolé de te décevoir mais si le diplôme et l'école ne permettent pas de préjuger des compétences d'une personne en particulier, ils déterminent bien en moyenne le niveau de compétence. En gros, si tu embauches un EPITA, tu as plus de chances de tomber sur un tocard que si tu embauches un X. Toutes les entreprises dans le monde entier appliquent ce genre de filtre, même si ça te défrise.
 
PS : c'est un type sorti de la belle et grande université française qui te dit ça