Reprise du message précédent :

 
Je sais pas trop moi même, je pensais à une espèce de container pour pas à avoir à tout uploader justement    

ça va te prendre 50x plus longtemps de faire un container et c'est 50x plus lourd, là ta juste à copier un dossier dans ton drive et 3 lignes pour installer les modules qu'ils faut.
 
Si tu taffes sur des modèles complexes et que t’arrive pas a le faire tourner sur une autre machine que la tiennes t'as d'autre problèmes que les perfs ^^

 
Ouaip effectivement c'est plus simple, ça marche nickel. Plus qu'à valider le modèle sur Kaggle / imagenet    
 
Merci pour ton aide
 

 
 
Tain mais je découvre Colab que maintenant  
 
360 GB offerts  
 
Le DL du dataset super ergonomique et rapide  
 
GPU de qualité  
 
Cimer google putain

Pense juste a faire des sauvegardes pendant l'entrainement, google te déconnectes quand t'es inactif trop longtemps ou après 12h d'utilisation, et c'est pas le truc le plus stable du monde.

 
Oui mon navigateur a planté pendant le dezippage, c'est reparti pour 200 GB de DL  
 
D'ailleurs si on est déco, on perds tous les fichiers de la session ? Ca va être tendu s'il faut dl 200 gb d'archive puis la décompresser à chaque fois

Upload sur Google cloud Storage ? Il y a genre 50go de stockage gratuit (en plus des 300$ de départ donc) et une fois uploadé chaque fichier (objet) a une URL propre accessible en wget / rest API / Google cloud SDK pour tous tes futurs projets sans nécessiter de redéposer les données

 
Ouaip jvais faire ça, merci
 
J'ai l'impression qu'il y a une certaine persistence des données avec le mount du google drive, pas encore cerné le truc    
 
Jvais bien voir, ça m'emmerde de mettre ma CB  
 

Bon en fait ça me pète les couilles, y'a pas assez de place sur le cloud pour tout dézipper et ça prends un siècle. Dommage car j'aurais très certainement gagné la compet Kaggle (le mec ranké numéro 5 utilise un truc un peu similaire à ce que j'ai fait mais en moins ambitieux)  
 
Osef, jvais faire les tests sur CIFAR-10(0)  

Gcloud
AWS

Voilà bonne nuit

Sur la partie 100% gratuite sans CB ?  

lol au début tu savais pas sur quoi tester et maintenant tu veux tester sur un dataset de 200 Go en visant la première place d'un Kaggle oklm
 
Colab est pas fait pour ça oui, prend GCP avec les 300 de crédits dans ce cas, tu peux mettre des alertes pour pas dépasser les crédits gratuits mais même avec du multi gpu tu peux aller dans les 100h. Sur colab si tu travailles dans ton google drive même si t'a session plante les données reste accessible, si elle le sont pas t'as fait une connerie, mais oui t'as pas assez de place si t'as un compte google normal. Au pire un compte étudiant te donneras 1To d'espace oklm mais colab est pas fait pour ça encore une fois.  
 
Y'as beaucoup de dataset qui pèse bien moins que 200Go et qui te permettes de mieux évaluer ton model que CIFAR-10.

C'est vrai que dit comme ça c'est bizarre mais le modèle que j'ai dev c'est le résultat de 6 mois de stage sur de la classif d'images bio un peu compliquées, je suis parti d'un certain backbone que j'ai amélioré avec des idées que je trouvais intéressantes de papiers SOTA etc. Mes tuteurs étaient contents et ça marchait vraiment mieux que le backbone vanilla, là le mec classé 5ème de la compète utilise le backbone classique donc oui j'ai des raisons de penser que je ferais mieux    
 
Merci pour ta réponse jvais checker tout ça  

Fais péter la CB chez AWS.
Si t'es sûr de finir mieux que la 5eme place, déjà t'as une chance de te rembourser si tu gagne un prix.
Et ensuite c'est un super investissement pour l'avenir. Ca va te couter peut-être quelques dizaines d'€ (centaines ?), mais en rapport investissement/carrière ça me semble pas mal non ?

En vrai ça casse un peu les couilles de payer  
 
Et je comprends pas, les mecs font une compète avec une archive qui pèse 200 gb, ils pouvaient pas mettre les fichiers dézippés sur des buckets google cloud ? Ils abusent on a pas tous la fibre ultra performante et 15 To de stockage (sans compter le CPU qui crame car faut dézipper tout ça ) ou un compte payant sur le cloudent

Encore une fois tu n'as pas besoin de payer, GCP te donne $300 gratuit, soit quelque centaine d'heures.
 
Tu peux travailler dans les kernels de Kaggle normalement, comme google colab mais tout est préchargé.
 
Si t'as assez de ressource pour développer un modèle de la mort qui tue, l'entrainer etc, normalement c'est pas dezipper des images qui est censé te poser problème .

Ps: Si tu gagnes faut leur donner le code et le passer en open-source, et si tu l'a développer pendant ton stage je sais pas si ça va plaire a tous le monde ...

 
Mon code est déjà en open source sur github        
 

 
Trop bien, jvais tester  

Quelqu’un aurait un lien qui marche vers le même sur les frameworks de ML ?  
 
 
 
Édit : c’est bon je l’ai :
https://www.linkedin.com/posts/mund [...] 91424-SorA

Tu peux avoir écrit tout le code seul il appartient à l'entreprise, et pas à toi. J'espère que tu as vérifié que c'était OK de mettre le code sur guthub. Le code de deep learning c'est sûrement le plus critique niveau ip, surtout si comme tu sembles l'indiquer ça marche mieux que les modèles standards.

Si tu as déjà eu l'accord pour open source sur github, dans ce cas aucun problème pour réutiliser sur kaggle. Sinon tu as d'autres soucis plus important que cette compte kaggle

Bof https://www.mapreuve.com/blog/la-pr [...] ntreprise/
 
Et imagine je fais un réseau A qui utilise relu et que j'upload le réseau A' qui utilise Swish, techniquement c'est pas le même donc c'est bon non ?  
 
Je suppose que ce qui est protégable c'est l'utilisation qu'on en fait, les données etc. Pas le réseau en lui même qui est juste un empilement de trucs open-source  

Pour moi, si tu as réécrit après ton stage le code de la méthode que tu as utilisée pendant ton stage, c'est ok
Si tu es parti du stage avec le code source et qu'ensuite tu as juste retiré quelques trucs, c'est déjà plus discutable

Plus discutable d'un point de vue légal ou moral ?

Les deux

 
Mouaip
Ce que j'ai fait c'est correct pour ces deux aspects jusqu'à preuve du contraire, si c'est pas le cas j'assumerai les conséquences.

OK bonne chance

J'ai déjà signal.gouv NC pour vol de propriété intellectuelle
 
Demain j'envoie un mail à ta boîte

A quoi bon prendre un risque inutile ? Pourquoi ne pas tout dégager de ce qui est accessible au public ?

Voxinat le collabo  

Et ce n'est pas possible de collaborer avec tes ex collègues du stage sur ce challenge kaggle ?
Comme ça plus de problèmes  
 
Sinon on attend la fin de la compet' pour savoir si tu es 1er ou 1000è au leaderboard ...

J'ai tout fait intégralement de A à Z hein
C'est pas une exagération
 
Le seul truc où j'ai reçu une aide importante c'est sur l'extraction et le processing des données mais ca osef pour le cas présent

A la base j'aurais dit les deux, mais peut être qu'il y a des subtilités liées au statut de stagiaire que je ne connais pas

Ce qui est sur c'est qu'en tant que salarié, c'est vraiment à ne pas faire, même si c'est toi qui a écrit de A à Z
Alors peut être tu es safe pour ce cas là, mais au moins on te conseille d'éviter de faire ça lors de ton prochain job

 
gneugneugneu      

 
J'avais eu un cours de droit par des avocats spécialisés sur ça et de ce que je me souviens la dévolution automatique des droits à l'entreprise ne s'applique pas pour les stagiaires si c'est un projet personnel qui est pas considéré comme une œuvre collective (fait avec d'autre personnes de l'entreprise et qu'on peut pas identifier qui a fait quoi).
 
Après ils nous ont aussi dit que certaines entreprises glissés des clauses de cessions dans la convention mais qu'ils n'avaient jamais vue une seule convention de stage en France qui était conforme au niveau de la loi donc ça marche jamais devant les juges. Je crois que y'a même une jurisprudence maintenant disant que si t'as pas signé une cessions à part la convention sert a rien mais à vérifier.
 
Par contre ouais en tant que salarié c'est mort ^^'
 
 
Edit: Ouais en gros c'est ça
- https://www.app.asso.fr/centre-info [...] -stagiaire
- https://www.avocats-mathias.com/pat [...] e-creation

Oui donc légalement c'est bon, ce qui était assez prévisible. Surtout qu'en Deep Learning ça doit être assez flou ce qui est protégable ou non. "Ah non désolé, utiliser une succession de conv et de batch norm c'est interdit"  

Maintenant y'a l'aspect moral, vu que c'est intégralement mon taf, je vois pas le soucis de le continuer et de lui donner une orientation différente de celle du stage, y'a aucune référence aux données ou à la problématique sous-jacente et l'implémentation est suffisamment générale pour que ça soit impossible de la déduire. Là c'est juste un nième ImageNet-NN. C'est pas comme si je m'étais accaparé un travail d'équipe pour faire de la thunes  

 
Hmm tu parles sûrement dans le cas où le stage est pas rémunéré ? Car je pense qu'à partir du moment où tu es rémunéré plus ou moins les mêmes règles d'IP s'applique

 
Non, rémunéré ou pas, pour un stage ça s'applique pas, voir les 2 liens.

De toute façon un stage n'est pas rémunéré, il est gratifié

Tiens il y avait eu pas mal de discussion sur les skills d'un "data scientist"

Je suis entrain de faire une grille avec justement les skills qu'on a besoin vs le niveau (noob, basic, intermediate, expert, guru) pour créer des track dans la boite (ML engineer, Deep Learning scientist, manager etc....) et des niveau en fonction des skills, genre un Senior Machine Learning Engineer à besoin d'etre X, en tel skills Y en tel skills etc....

Bref, juste voilà la liste des skills que j'ai mis:

general dev: python
deep learning dev: tf, keras
devops (docker, cloud etc..)
Deep Learning
Computer vision (classic not DL)
project management
people management
commercial offer writing
Data(not images) processing (not DL)
client need <> tech adequation
scientific communication
Tech toward clients and ecosystem

Ca rien que dans notre team IA, donc un expert python dev en IA c'est pas la même qu'un expert python dev dans l'équipe software, et dans la team IA on a probablement pas besoin d'un Guru en devops, par contre des mecs intermediate en devops c'est utiles.. .Bref je vous partagerais sûrement le truc finalisé vue que je me vois bien en faire un blog post, ça aidera les étudiant!

T’as oublié la maîtrise de Matlab