Reprise du message précédent :
coucou jovalise !

J'ai prié des vacance et j'ai été inspirer pour poursuivre le projet.
Le plus délicat est de lier connexionism et cogntivisme appliqué dans le monde des objet élémentaire commun.
J'ai établie une petite liste d'un 100ene de mot à développé comme terme, concepteur et classifiable, en relation les un à d'autres.
Le projet en ébauche nommé level10 devrai sortir une première version dans 1 an.

L'homme est un alién
N'ayez pas peur.
Bien que son âme soit conçu de celles des autres animaux, elle en présente une de plus. C'est tout.

Mais pourquoi?

Visiblement les bots ne sont pas autorisés, même sur le topic intelligence artificielle

Hello    
 
Est-ce qu'il y a un topic sur HFR où on peut poser des questions assez techniques sur des modèles deep learning (CNN, tensorflow/keras) ?
J'ai l'impression que celui-ci est assez général.
 
J'ai la flemme de demander sur stackoverflow et je trouve pas de pistes via google

J'ai envie de dire, si c'est TF ou Keras et que tu as une question qui a pas déjà été déjà posée sur Stackoverflow, c'est probablement trop technique mais ça coûte rien d'essayer

c'est pas une question de code ou de syntaxe, c'est plus conceptuel.  
 
En gros, sans rentrer trop dans les détails, on bosse sur un problème de classification binaire d'images.
 
Quand on a appliqué notre modèle sur un grand ensemble de données (19 millions d'images), on a remarqué qu'un nombre assez important d'images obtenaient exactement le même score (0.412385...  par exemple). Ca produit un pic très distinct dans l'histogramme des scores qui semble inhabituel. C'était passé inaperçu  lors de l'entrainement et de la phase de test car leur nombre reste relativement faible et n'a pas un gros impact sur la loss function.
 
J'ai d'abord cru à un bug mais en creusant un peu, je me suis aperçu qu'il y avait eu comme une ségrégation dans l'activation des unités de l'avant-dernier layer (un FC Dense de 16 unités avec une ReLU comme fonction d'activation). Le dernier layer est composé d'une seule unité avec une fonction d'activation sigmoid.
En gros, pour certaines images, seules certaines unités s'activent et se combinent pour produire un score final < 0.412385, et pour d'autres images, ce sont les autres unités qui s'activent et donnent un score > 0.412385. Et pour les images du bin problématique, aucune unité ne s'active et donc c'est seulement la valeur du biais de l'unité en output qui détermine la valeur du score.
Après inspection visuelle, ces images n'ont apparemment rien de particulier. Quand on réentraine le réseau sans rien changer, cette ségrégation entre unités persiste mais la valeur change et les images qui obtiennent cette valeur spécifique aussi. Et plus étrange encore, ce comportement persiste quand on change de dataset (images de nature similaire mais avec des propriétés différentes (dimensions, résolution, etc.))
 
C'est la première fois que j'observe ça et je n'ai pas réussi à reproduire ce comportement avec des modèles et datasets beaucoup plus simples comme MNIST. Et même si j'entraine notre architecture complexe sur MNIST (ce qui est complètement overkill), cette ségrégation ne se produit pas et toutes les unités réagissent à toutes les images.
 
Avant de me lancer dans pleins de tests en changeant l'architecture, les fonctions d'activation, les régularisations, les initialisations, etc. je voudrais juste savoir si c'est un problème classique et s'il y a des pistes à privilégier.
 
En pratique, ce n'est pas un très gros problème car le modèle semble produire des résultats assez satisfaisant mais ça m'intrigue et je me demande s'il n'y a pas un loup quelque part
 
 
 

C'est intéressant ton truc
 
La première chose que je ferais, c'est regarder quelle accuracy ton modèle a sur ce subset qui n'active rien sur la dernière layer. Si le score est élevé, c'est intéressant mais peut-être que ça vaut pas le coût de se casser la tête.
 
Si c'est pas le cas, je suis pas du tout expert mais intuitivement, j'aurais tendance à dire que si aucun neuron s'active sur un subset du dataset à la dernière layer, et si la taille de ce subset est pas négligeable, ya peut-être moyen d'améliorer les résultats. Toujours intuitivement, ça voudrait dire qu'en cherchant à optimiser pour tout le dataset, ton modèle arrive à la conclusion qu'il est plus efficace de laisser tomber une petite partie du dataset.
 
Moi en tout cas, j'essayerais de changer l'architecture pour voir si le problème persiste:
- en remplaçant RELU par leaky RELU sur la dernière layer pour forcer à avoir des valeur différentes
- remplacer la dernière FC layer par deux FC layers, peut-être même en ajoutant du drop-out
- augmenter la taille de tout ce qui est avant la dernière FC layer pour voir.
 
Problème intéressant en tout cas, merci de partager

C'est de la classification à une seule classe, c'est ça ?

Face à un pb comme ça, j'essaierais de faire une carte d'activation associée à ce score spécifique, pour voir les régions de l'image impliquées : en gros appliquer la technique de la heatmap pour visualiser quelles zones de l'image contribuent principalement à la classification d'une image, mais en modifiant le principe pour que ça montre la carte de chaleur associée à ce score précis plutôt qu'à une classe particulière.

Tu verras ptet juste quelques pixels allumés et tu comprendras peut-être leur spécificité en visualisant plusieurs images comme ça

Edit : Ah bah non, si toutes tes activations sont nulles dans l'avant dernier layer, ça ne marchera pas

 
Merci pour l'avis, je vais dormir sur tout ça. Je pense aussi que les activations sont probablement au noeud du problème.
J'ai pas voulu donner trop de détails mais on est parti sur une base de EfficientNetB0 et oui il y a du dropout dans notre architecture.
Ce que j'ai pas dit non plus c'est qu'on bosse sur un problème avec une prévalence extremement faible. On a très peu d'images réelles labelisées pour la classe positive alors on est obligé de construire un training set sur la base de simulations même si on sait que ça marchera beaucoup moins bien sur les données réelles. On n'a donc malheureusement pas beaucoup confiance dans les métriques qu'on peut mesurer sur un validation set ou un test set (eux aussi simulés du coup).  
 

 
oui avant de trouver cette histoire de ségrégation dont je parle, j'ai essayé différentes façons de visualiser les pixels d'intérêt sur l'image d'input en calculant les gradients du score par rapport à l'input (méthode smoothgrad ou integrated gradients) mais ça a soulevé d'autres problèmes car on n'est pas sûr de comment interpreter ce qu'on voit
En tout cas rien de particulier ne se démarque de ces images par rapport à d'autres faux positifs.
 
 
 
 
Au fond, je crois comprendre que le réseau ne reconnait pas ces images-là pour une raison quelconque. Il n'est pas capable de les classer dans une des deux catégories, alors il semble les mettre "au milieu".
Quelque part c'est peut-être bon signe mais comme j'ai encore jamais vu ce comportement mentionné dans la littérature j'ai comme un doute
 
En terme de nombres, sur 19M d'images, ~150000 obtiennent un score > 0.01, ~40 000 se retrouvent à cette valeur précise (~0.4) tandis que ~70 000 obtiennent un score > 0.9, le reste se répartit plus ou moins uniformément entre 0 et 1. Et parmi ces 70k, seule quelques centaines sont des vrais positifs après inspection visuelle. On est vraiment dominé par les faux positifs, on s'y attendait vu la prévalence estimée de 1/10000 à 1/100000.  
On s'est déjà tapé l'inspection visuelle complète des 70k alors on est en train de se demander s'il va falloir se taper celle des 40k au cas où  

Ah je viens de penser à un autre truc à checker c'est essayer diverses méthodes de batch normalization sur ta dernière layer.  
 
Après l'inspection visuelle, on y coupe pas

Bonsoir !
J'eu ainé demander à un modèle de calcule avancé si la visse est une dérivation du clou.
Merci pour vos réponses !

 
visiblement cette IA n'est pas encore au point.

http://oclock-ia.net/dialog.html

salut Jovalise  

Je comprendrai jamais ce mec. Comment c’est possible ?

sample set : https://oclock--ia-net.translate.go [...] r_pto=wapp
 
dialog fr : https://oclock--ia-net.translate.go [...] r_pto=wapp

 
Ca jette hein ?

 
Dans la catégorie psychiatrie lourde tu as Mikhail, et au-dessus    c'est Jojo  

C'est gentil !

Mon I. A. dit que j'i trouvé la requête idéale !
 

Oh ! fatche de !
 
La question !
 

Toi ! La modération et ton chapeau chinois !
 
Vous êtes spycho rigide !

Ok, quelques jours de repos pour laisser souffler le topic

les ensembles de bruits assemblés s'appellent les premiers bruits de conversation la sensibilité ne s'exprime-t-elle pas ?

Mais il recommence l'effronté  

Il fait mumuse avec gpt-3 ?

 
Quand c'est moi qui crée le topic tu le ferme, quand je participe je dois partir.
 
 
Modération de cacaouette ?

Amendement Cracotte ?

 
Le problème, c’est que tu ne participes pas. Pour « participer », il faut au minimum avoir une notion de « groupe » avec qui tu interagis. Or, ce n’est pas le cas. Tu ne fais aucun effort pour être compréhensible, tu ne fais que des messages isolés et personne n’échange avec toi.
Tu ne participes donc pas au forum, tu ne fais que le parasiter, le flooder de messages qui n’apportent rien à la discussion.
 
Si j’écrivais en langue yoruba sur tous les topics sans faire d’effort, moi aussi, je me ferai TT à raison. C’est normal. Je dois faire l’effort d’être compréhensible auprès des autres.

Non, il a commencé bien avant que gpt-3 ne soit même conceptualisée par ses créateurs

Pendant un temps j'ai cru que c'était une IA et je trouvait ca marrant, mais j'ai du me tromper vu que ca n'as pas beaucoup évolué en ~10ans.

 
Je t'ai pas causé !