Forum |  HardWare.fr | News | Articles | PC | S'identifier | S'inscrire | Shop Recherche
3334 connectés 

 


Utilisez-vous du machine learning dans votre job ?




Attention si vous cliquez sur "voir les résultats" vous ne pourrez plus voter

 Mot :   Pseudo :  
  Aller à la page :
 
 Page :   1  2  3  4  5  ..  83  84  85  ..  133  134  135  136  137  138
Auteur Sujet :

[Topic Unique] Machine Learning & Data Science

n°33305
Profil sup​primé
Posté le 28-05-2020 à 10:53:32  answer
 

Reprise du message précédent :

o_BlastaaMoof_o a écrit :


Tu réfléchis comme si le mécanisme d'inférence se faisait tout seul dans son coin. En pratique c'est pas le cas. Le résultat du traitement déclenche des actions, entraîne d'autres composants, et c'est le système dans sa globalité qu'il faut pouvoir simuler et tester. Pas juste ton modèle.
 


On dit la même chose :D
Mais du coup je comprend pas comment tu peux écrire ça et dire ensuite "c'est simple facile, et matlab le fait" [:mr marron derriere]

n°33306
Profil sup​primé
Posté le 28-05-2020 à 10:57:29  answer
 

o_BlastaaMoof_o a écrit :


En ce qui me concerne, j'ai rien à vendre dans ce domaine. J'ai gardé des contacts dans certains de ces domaines et je constate simplement que ce qui d'après toi est infaisable sans tout redévelopper en interne fonctionne en fait sans aucun problème en pratique, parfois depuis des années. Mais compte tenu de la propension des gens à réinventer la roue en data science, je ne suis pas surpris que cette dérive se poursuive.


Ba écoute j'ai benchmarké 35 plateforme, personnellement testé une demi douzaine j'ai absolument rien vue qui était
1) était assez flexible pour notre utilisation  
2) assez mature pour faire plus de 2 composants sur la chaine annotation=>dev=>train=>test=>production...ce qui veut dire au moins brancher 2 ou 3 platforme ensemble ce qui est un enfer très souvent
3) assez complet pour être suffisant sur son périmètre
4) assez validé pour que j'ai confiance dans ce qui est dedans
 
Du coup on a refait beaucoup de chose, ça me fait chier mais j'ai pas trop le choix :o
 
Après j'ai pas testé Matlab :D
 
je vais te donner un cas d'usage simple qu'on fait nous:
- on fait de la détection d'objet pour compter des trucs, ça peut être fait aussi bien avec un détecteur d'objet (yolo, retinanet) qu'en segmentation. Pour choisir le meilleur je vais donc vouloir comparer en prod les perfo , sur un cas d'usage métier, de plusieurs (dizaine) d'algo de seg et d'instanciation. Sauf qu'il faut, comme tu le dis très bien ( :jap: ), comparer tous le process, et dans un contexte de production (que ce soit sur une machine clou, durci edge...on s'en fou en fait, ce qu'il faut c'est que le test se fasse dans le contexte logiciel et hardware de la prod):  

  • en seg on fait pas mal de postpro, on passe un watershed derrière et on fait de la séparation de pâté en fitant des formes dessus. Pour que ca marche bien on utilise aussi une brique de "squeeze and excitation" qui va mieux séparer les objets.
  • en objet on fait du retina orienté et de l'ensembling en pred


Donc déjà 80% des plateforme ne permettent pas de faire ces technos (retina orienté, scse, ensembling) ensuite 80% ne permettent tous simplement pas de faire des "test" business, la perfo c'est la val [:rofl] ensuite aucune plateforme a ma connaissance ne permet de tester avec des outils de visu quanti et quali, non pas un modèle, mais une chaîne de différent processing et une prédiction complète.
Franchement si t'as je prend direct :o
Et là dedans j'ai pas parler de la détection auto de point de fonctionnement en plus :o


Message édité par Profil supprimé le 28-05-2020 à 11:10:20
n°33307
o_BlastaaM​oof_o
Posté le 28-05-2020 à 11:14:47  profilanswer
 


Ce n'est pas "juste" MATLAB qui n'est au fond rien de plus qu'un Python en mieux :o Ou alors c'est Python qui est un MATLAB en moins bien... je ne sais plus. Anyway.

 

Ce qui fait fonctionner le bousin, c'est MATLAB + Simulink + Stateflow + les générateurs de code qui vont bien (C, vHDL ou GPU).  Y en a pour 20-25k de licences pour un développeur, c'est un budget, je ne le nie pas... Mais le gain en productivité est faramineux, même des PME investissent sur ces outils malgré leur prix parce que ça coûte toujours beaucoup moins cher que des développeurs. Dans la chaîne, MATLAB ne sert que pour l'inférence dans les phases préliminaires du développement. Eventuellement pour l'entraînement mais ce n'est même pas nécessaire puisque MATLAB te permet d'importer un modèle entraîné avec à peu près n'importe quel outil. La plateforme complète te permet de faire du développement et de la simulation sur ton poste de développement en code MATLAB, puis toujours sur ton poste de développement avec le code généré (software in the loop - SiL) et enfin directement sur la cible avec le code généré (hardware in the loop - HiL).

 


Faut que je lise tout ça en détail quand j'aurai le temps.


Message édité par o_BlastaaMoof_o le 28-05-2020 à 11:15:00
n°33308
Profil sup​primé
Posté le 28-05-2020 à 11:19:11  answer
 

o_BlastaaMoof_o a écrit :


Ce n'est pas "juste" MATLAB qui n'est au fond rien de plus qu'un Python en mieux :o Ou alors c'est Python qui est un MATLAB en moins bien... je ne sais plus. Anyway.
 
Ce qui fait fonctionner le bousin, c'est MATLAB + Simulink + Stateflow + les générateurs de code qui vont bien (C, vHDL ou GPU).  Y en a pour 20-25k de licences pour un développeur, c'est un budget, je ne le nie pas... Mais le gain en productivité est faramineux, même des PME investissent sur ces outils malgré leur prix parce que ça coûte toujours beaucoup moins cher que des développeurs. Dans la chaîne, MATLAB ne sert que pour l'inférence dans les phases préliminaires du développement. Eventuellement pour l'entraînement mais ce n'est même pas nécessaire puisque MATLAB te permet d'importer un modèle entraîné avec à peu près n'importe quel outil. La plateforme complète te permet de faire du développement et de la simulation sur ton poste de développement en code MATLAB, puis toujours sur ton poste de développement avec le code généré (software in the loop - SiL) et enfin directement sur la cible avec le code généré (hardware in the loop - HiL).
 


Je pense que pour des cas d'usages bien spécifique en effet avoir tout ces outils branchés ensemble doit être très utile  :jap: Mais avoue que c'est pas non plus tout le monde.
 
Après là je connais pas trop ce domaine. Enfin si, en VHDL les générateur de code j'avais vue que c'était pas loin de l'équivalent d'un générateur de bloat aléatoire (celui des constructeur en tout cas)... mais le VHDL de toute façon reste une espèce de magie noire satanique que j'espère ne plus jamais avoir à approcher de ma vie :o


Message édité par Profil supprimé le 28-05-2020 à 11:20:03
n°33309
o_BlastaaM​oof_o
Posté le 28-05-2020 à 11:21:32  profilanswer
 


Tout le secteur auto et aéro en fait :o La quasi totalité des lignes de code qui font fonctionner une Tesla, une Volvo, une BMW, une Toyota, une Renault, etc. sont générées par ce moyen.

n°33310
Profil sup​primé
Posté le 02-06-2020 à 06:38:34  answer
 

Ca sert à quelque chose de feed du background à un réseau qui fait de la segmentation ?
 
Genre entre avoir des images qui ont entre 5% et 95% de background ou des images ayant toutes max 30% de background c'est quoi le mieux ?
 
Instinctivement j'aurais dit moins y'a de background mieux c'est  [:tigrou0007:4]

n°33311
Profil sup​primé
Posté le 02-06-2020 à 11:50:35  answer
 


Ça dépend :o

n°33312
Profil sup​primé
Posté le 02-06-2020 à 11:59:50  answer
 


 
Ya pas un expert dans le coin ?  [:tigrou0007:4]

n°33313
Profil sup​primé
Posté le 02-06-2020 à 12:26:03  answer
 


Non mais en vrai ça dépend. Nous on met 10-30% de tuile negative en fonction si c'est de la seg, de l'instance, le type des objets etc...

n°33314
Profil sup​primé
Posté le 02-06-2020 à 12:48:45  answer
 


 
Mais y'a une raison théorique ou c'est juste empirique ?

n°33315
Profil sup​primé
Posté le 02-06-2020 à 12:55:07  answer
 


C'est du deep mac... Tout est empirique :D

n°33316
Profil sup​primé
Posté le 02-06-2020 à 13:13:12  answer
 


 
Si le contexte est important, laisser plein de background ça peut se justifier. Faudrait que je teste tout ça  [:filoufillon:9]

n°33317
Koro1
Posté le 02-06-2020 à 19:00:40  profilanswer
 

Bonjour à tous,
 
J’ai une petite question, est ce que vous sauriez comment on peut scraper des images provenant de Twitter, par exemple si je veux scrapper 100 tweet lié au covid 19 qui contiennent une photo. Au niveau des textes j’ai pas de soucis mais images je ne sais pas comment m’y prendre.
 
Merci beaucoup

n°33318
neo world
Posté le 03-06-2020 à 04:55:40  profilanswer
 

Koro1 a écrit :

Bonjour à tous,

 

J’ai une petite question, est ce que vous sauriez comment on peut scraper des images provenant de Twitter, par exemple si je veux scrapper 100 tweet lié au covid 19 qui contiennent une photo. Au niveau des textes j’ai pas de soucis mais images je ne sais pas comment m’y prendre.

 

Merci beaucoup


Tu as des exemples de photos ? Si c'est du texte OCR sinon il faut voir ce que tu cherches à récupérer ...

n°33319
Profil sup​primé
Posté le 03-06-2020 à 09:01:01  answer
 

En utilisant l'API ça te file pas l'image et/ou l'url de l'image ? Tu bloques sur quoi ?

n°33320
Koro1
Posté le 03-06-2020 à 11:50:31  profilanswer
 

J’ai pas d’exemple de photos en particulier, mais si le tweet contient une image quelconque, j’aimerais pouvoir la stocker par exemple.
Pour l’URL de l’image en utilisant l’API, j’ai pas d’url dans les tweet que j’ai récupéré dans une centaine de tweet, donc soit j’ai pas d’image dedans soit ça ne récupère peut être pas l’url (ce qui est étrange).
 
J’ai utilisé tweepy et l’API Twitter pour récupérer les tweets.
 
Je vous cache pas qu’à la base je voulais faire ça sur Instagram, en gros récupérer les publications instagram (le texte et l’image) qui sont liés à un Hashtag mais j’ai rien trouvé à ce sujet. Je me suis donc tourné vers Twitter car j’avais déjà scrapper des tweets auparavant.


Message édité par Koro1 le 03-06-2020 à 11:54:28
n°33321
Profil sup​primé
Posté le 03-06-2020 à 11:55:16  answer
 

Tu peux pas utiliser tweepy pour query un tweet en particuler où t'es sûr d'avoir 1 image ? Je suis quasi certain que la photo est dans le truc json retourné

n°33322
Koro1
Posté le 03-06-2020 à 11:57:30  profilanswer
 


 
Tu as probablement raison, j’ai probablement pas eu de chance sur les quelques tweet que j’ai pu récupérer. Je vais voir ça merci !

n°33323
Profil sup​primé
Posté le 03-06-2020 à 12:02:20  answer
 

Koro1 a écrit :


 
Tu as probablement raison, j’ai probablement pas eu de chance sur les quelques tweet que j’ai pu récupérer. Je vais voir ça merci !


 
Pas de soucis, je t'envoie la facture en MP pour pas polluer le topic :jap:

n°33324
Koro1
Posté le 03-06-2020 à 12:07:05  profilanswer
 

Haha en attendant que je trouve mon premier CDI elle sera en attente avec toutes les autres.  :na:


Message édité par Koro1 le 03-06-2020 à 12:07:42
n°33325
neo world
Posté le 03-06-2020 à 13:15:41  profilanswer
 


Sur la pause déjeuner (11h -15h) c'est pas double tarif ?  [:zoukoufxxx]

n°33326
Koro1
Posté le 03-06-2020 à 16:31:08  profilanswer
 


 
C’est sympa comme outil, je connaissais pas. Merci je garde ça sous le coude !


Message édité par Koro1 le 03-06-2020 à 16:31:31
n°33327
alkin31
Posté le 17-06-2020 à 20:40:52  profilanswer
 

Bonjour, suite à ma licence MASS j'ai été pris pour l'instant aux master suivants :  
- ESA
- Maths appliquées, Stats parcours Data Science à Aix-Marseille
- Maths appliquées, Statistiques à Claude Bernard
 
Vous me conseillerez de faire lequel entre les 3 sachant que je veux faire du machine learning (data scientist toussa...) ? J'attends encore les résultats de Dauphine d'ailleurs (IDD et Maths apps que je pense prendre si je l'ai)

n°33328
o_BlastaaM​oof_o
Posté le 17-06-2020 à 21:39:19  profilanswer
 

alkin31 a écrit :

Bonjour, suite à ma licence MASS j'ai été pris pour l'instant aux master suivants :  
- ESA
- Maths appliquées, Stats parcours Data Science à Aix-Marseille
- Maths appliquées, Statistiques à Claude Bernard
 
Vous me conseillerez de faire lequel entre les 3 sachant que je veux faire du machine learning (data scientist toussa...) ? J'attends encore les résultats de Dauphine d'ailleurs (IDD et Maths apps que je pense prendre si je l'ai)


Peu importe, tout le monde s'en fout :spamafote:

n°33329
alkin31
Posté le 17-06-2020 à 21:54:31  profilanswer
 

o_BlastaaMoof_o a écrit :


Peu importe, tout le monde s'en fout :spamafote:


 
Mais encore ? en vrai j'ai du mal à savoir si ces masters sont bien. J'ai aucun retour sur aix-marseille et Claude Bernard

n°33330
Profil sup​primé
Posté le 18-06-2020 à 08:06:46  answer
 

Yo,
 
J'ai un entretien technique bientôt. Le mec a dit qu'il y aurait de l'algèbre linéaire (wtf). Vous avez des ressources pour taffer ça dans ce contexte ? :jap:

n°33331
flyingchai​r
Posté le 18-06-2020 à 10:23:05  profilanswer
 

C’est pas juste du calcul matriciel ? Jore être capable de reprogrammer la rétropropagation du gradient ?  [:dks]


Message édité par flyingchair le 18-06-2020 à 10:23:20
n°33332
TiDom
Posté le 18-06-2020 à 10:25:54  profilanswer
 

C'est le terme mathématique qui se réduit le plus souvent en 'outils pour les matrices" en data science ...  j'exagère un peu :o
 
https://fr.wikipedia.org/wiki/Matri [...] 9matiques)
En mathématiques, les matrices sont des tableaux de nombres qui servent à interpréter en termes calculatoires, et donc opérationnels, les résultats théoriques de l'algèbre linéaire et même de l'algèbre bilinéaire.

n°33333
Profil sup​primé
Posté le 18-06-2020 à 10:35:32  answer
 

flyingchair a écrit :

C’est pas juste du calcul matriciel ? Jore être capable de reprogrammer la rétropropagation du gradient ?  [:dks]


 

TiDom a écrit :

C'est le terme mathématique qui se réduit le plus souvent en 'outils pour les matrices" en data science ...  j'exagère un peu :o
 
https://fr.wikipedia.org/wiki/Matri [...] 9matiques)
En mathématiques, les matrices sont des tableaux de nombres qui servent à interpréter en termes calculatoires, et donc opérationnels, les résultats théoriques de l'algèbre linéaire et même de l'algèbre bilinéaire.


 
AH BON ?????????????????????
 
Je savais pas, jamais entendu parler, cimer [:inick:2] [:inick:2] [:inick:2] [:inick:2]  
 
Non, en vrai c'était plus si vous aviez des exemples d'exos susceptibles de tomber, c'est tellement vaste comme sujet  [:tigrou0007:4]  

n°33334
flyingchai​r
Posté le 18-06-2020 à 11:10:04  profilanswer
 

Tu fais le premier MOOC de machine learning de Andrew Ng sur Coursera, où tu recodes une partie des algos de ML sur Matlab, don’t speak the name or you will summon the demon Octave qui date de l’époque d’avant tensorflow, keras et scikit. Pas mal foutu, tu envoies tes réponses dans les internets et ça te dit si c’est bon ou non.

n°33335
Rasthor
Posté le 18-06-2020 à 11:16:10  profilanswer
 

flyingchair a écrit :

... Matlab, don’t speak the name or you will summon the demon ...


 
 :lol:

n°33336
o_BlastaaM​oof_o
Posté le 18-06-2020 à 11:24:35  profilanswer
 

[:o_blastaamoof_o:1]

n°33337
Profil sup​primé
Posté le 18-06-2020 à 11:49:12  answer
 

Citation :

Hi NC,
 
Good news, we would like to proceed with the next round in the interview process. Are you available on Wed (24th Jun 2pm SGT) for an online presentation interview.
 
You will need to prepare a set of presentation slides beforehand and present to the interview panel for about 45 minutes. The topic can be a recent project of your Masters degree or current job, something related to computer vision and deep learning. You may also include your skillset and tasks that you are interested to pursue and you think could contribute to STARTUP. After your presentation, there will be an Q&A session with the interview panel. Please kindly send in your presentation slides to me 1 working day before the interview date.
 
We will be conducting this interview via Skype, where you will be required to present by sharing your screen. Please also ensure your computer is connected to a webcam for video call and plan to be online for about 1.5 hours.
If another time works better for you, pls feel free to let me know and we can work around it.
 
Looking forward!!
 
Cheers,
RH


 
Ca se précise, quelqu'un a déjà eu à faire ça ? Comment faut aborder le bousin ?  [:theo_le_patron]

n°33338
draculax
Posté le 18-06-2020 à 11:55:52  profilanswer
 

90% des questions d'alg lin en ML ça sera :
 
Conditions pour avoir un coef de regression lineaire unique ?
 
Formule de ce coef et condition pour qu'il existe

n°33339
Profil sup​primé
Posté le 18-06-2020 à 11:58:15  answer
 

draculax a écrit :

90% des questions d'alg lin en ML ça sera :
 
Conditions pour avoir un coef de regression lineaire unique ?
 
Formule de ce coef et condition pour qu'il existe


 
J'en sais rien  [:theo_le_patron]  
 
C'est pour un poste en Vision / Deep Learning  [:theo_le_patron]

n°33340
flyingchai​r
Posté le 18-06-2020 à 12:10:01  profilanswer
 

draculax a écrit :

90% des questions d'alg lin en ML ça sera :
 
Conditions pour avoir un coef de regression lineaire unique ?
 
Formule de ce coef et condition pour qu'il existe


Vous pouvez répéter la question ? [:coccynelleuh:3]

n°33341
Filob
Posté le 18-06-2020 à 12:52:22  profilanswer
 


 
Ca se précise, quelqu'un a déjà eu à faire ça ? Comment faut aborder le bousin ?  [:theo_le_patron] [/quotemsg]
 
Non mais what c'est quoi ces process de malade !


---------------
Ma capacité de concentration est si courte que... Oh, regarde, un pigeon!
n°33342
Profil sup​primé
Posté le 18-06-2020 à 12:59:30  answer
 

Filob a écrit :


 
Non mais what c'est quoi ces process de malade !


 
C'est ironique ou pas ? Jprefere ça plutôt que de me faire charcuter pendant 1h sur des questions tricky en maths / ml / prog  [:theo_le_patron]  
 
Là au moins je parle de ce que je connais et les questions tourneront autours  [:theo_le_patron]
 
Par contre 45 minutes ptn ils ont craqués  [:theo_le_patron]


Message édité par Profil supprimé le 18-06-2020 à 13:00:14
n°33343
draculax
Posté le 18-06-2020 à 13:01:03  profilanswer
 

flyingchair a écrit :


Vous pouvez répéter la question ? [:coccynelleuh:3]


 
ça me semble assez clair non ?
 

Spoiler :


on cherche le coef optimal classique d'une regression linéaire via minimisation des carrés :
 
condition d'unicité d'un minimum pour le coef beta :
Faut que la matrice XX^T soient inversible <=> full rank, dans ce cas formule (XX^T)^(-1)XY
 
mais un coef optimal existe toujours même si la matrice n'est pas inversible (preuve via coercivité de la loss)


 
Je dis ça parce que c'est une question qui est revenue dans 15+ entretiens pour des job en DS / ML pour les gens autour de moi


Message édité par draculax le 18-06-2020 à 13:02:35
n°33344
Profil sup​primé
Posté le 18-06-2020 à 13:02:54  answer
 

draculax a écrit :


 
ça me semble assez clair non ?
 

Spoiler :


on cherche le coef optimal classique d'une regression linéaire via minimisation des carrés :
 
condition d'unicité d'un minimum pour le coef beta :
Faut que la matrice XX^T soient inversible <=> full rank, dans ce cas formule (XX^T)^(-1)XY
 
mais un coef optimal existe toujours même si la matrice n'est pas inversible (preuve via coercivité de la loss)



 
Aué cimer c trivial ça  
 
Sauf la dernière phrase jsp si je l'ai vu ça

n°33345
draculax
Posté le 18-06-2020 à 13:07:16  profilanswer
 

45min ils abusent de ouf
 
en cours on nous présentait des papers AAA (ICML et consort) en 20min max  :o  
 
Donc présenter un projet lambda de 45min  [:theo_le_patron]


Message édité par draculax le 18-06-2020 à 13:07:25
 Page :   1  2  3  4  5  ..  83  84  85  ..  133  134  135  136  137  138

Aller à :
Ajouter une réponse
 

Sujets relatifs
[Topic unique] Veille IA - Actu, lectures, podcasts & documentaires[Topic Unique] Claude by Anthropic
[Topic unique] IA générative de texte, ChatGPT, Copilot, Gemini & co 
Plus de sujets relatifs à : [Topic Unique] Machine Learning & Data Science


Copyright © 1997-2025 Groupe LDLC (Signaler un contenu illicite / Données personnelles)