Reprise du message précédent :
Pas beaucoup d'humains dans ta foule En tout cas la chose en blanc en bas à droite semble chauve.

 
Je ne comprends pas ton post, ce qui est observable dans la réalité ne peut pas être biaisé, c'est comme ça que tu vois les choses

Non, tu ne peux pas généraliser, ce n'est pas vrai pour tout, car dans de nombreux cas l'observation elle-même peut être biaisée et ne pas traduire correctement la réalité qui est derrière, mais c'est vrai dans cet exemple là précis des nurses (dans ce cas, ce qui est observable, ce sont les chiffres officiels, ça correspond donc forcément à la réalité du terrain, moyennant quelques erreurs a priori négligeables).

Par exemple, dire que "A vue de nez, 70% des animaux sont des mammifères ou oiseaux", parce que c'est ce qu'on observe quand on regarde dehors, c'est une observation biaisée, car les animaux plus petits, sous-terrains, microscopiques ou plus discrets n'étant pas vus, ne sont pas pris en compte dans cette évaluation. Une IA entrainée sur des données similaires à ce qui est facilement observable par un humain, et qui sortirait 70% de mammifères ou oiseaux quand on lui demande une image d'un animal, elle serait bien sûr biaisée.

Mais ce n'est vrai que pour les cas où notre information est parcellaire/incomplète. Là pour les nurses, on a les chiffres officiels, c'est exhaustif (il n'y a pas de nurses microscopiques ou inobservables non prises en compte qui changeraient drastiquement le résultat) et ça correspond à l'évaluation implicite de l'IA.

 
Ok, je vais essayer de reformuler, tout ce qui est observable de manière exacte et complète dans la réalité ne peut pas être biaisé, ça correspond à ce que tu veux dire

Bah oui, par définition : dans le cadre qui nous intéresse ici, un biais, c'est quand il y a un écart entre la réalité et la représentation qu'on en a (que ce soit une représentation mentale interne, un modèle, ou un échantillon servant de base d'apprentissage, ici, par exemple). Dans les cas où il n'y a pas d'écart entre la réalité et la représentation qu'on en a, par exemple un échantillon avec le même pourcentage de femmes que dans la population générale, bah il n'y a pas de biais dans notre échantillon : il est représentatif de la population générale.

Pour ce qui nous intéresse là, modéliser correctement quelque chose grâce à une base d'exemple, il faut que l'on ait une base d'exemple non biaisée, c'est à dire représentative de la réalité. Dans le cas général où on a plein de paramètres pas forcément tous connus à notre échantillon, c'est très difficile, il y a plein de biais statistiques possibles (biais de sélection, biais de perception, biais du survivant... etc) qui peuvent rendre notre base d'exemple non représentative, sans même qu'on s'en rende compte (surtout si on cherche à capturer toute la diversité du truc mais sans connaitre tous les paramètres qui varient). Mais dans le cas où on a directement un chiffre fiable qui donne la valeur exacte du paramètre en question (ici le taux de femmes dans cette profession dans la population générale) : là, oui, sur ce point, on a une mesure directe de la réalité, notre échantillon ne sera pas biaisé sur ce paramètre là : il suffira de lui donner le même taux de femmes et il sera conforme à la réalité.

 
On arrive au coeur du problème, est-ce qu'on modélise pour avoir une représentation exacte du réel ou bien est-ce que l'on modélise pour réaliser d'autres objectifs. Pour moi il faut faire la différence et donc savoir débiaiser quand le besoin s'en fait sentir.

Hein ? Comment ça "on en arrive" ? Mais on y était déjà arrivé dés le début. J'y avais répondu et anticipé avant justement pour éviter cette discussion.

Ne me dis pas qu'on a eu toute cette discussion pour rien, juste parce que tu n'avais pas lu le deuxième paragraphe du post que tu quotes (paragraphe que tu quotes aussi), juste après ma phrase que tu as mise en gras

Par contre, ton utilisation du mot "débiaiser" ici, n'a pas beaucoup de sens, "débiaiser le réel", ça ne veut pas dire grand chose. Tu vas au contraire "biaiser" ton échantillon pour aller dans le sens que tu veux (ce qui peut avoir du sens et être positif), mais tu ne peux pas parler de "débiaiser" ici, quand on part d'une représentation exacte du réel. Ca voudrait dire "Débiaiser la réalité", ça supposerait une référence "plus vraie que la réalité"
 
En revanche, je peux tout à fait comprendre ta phrase si c'est "Pour moi, il faut faire la différence et donc savoir biaiser quand le besoin s'en fait sentir", pour des raisons politiques par exemple, et ça peut être très bien (dans le cadre des nurses par exemple, biaiser ton échantillon par rapport à la réalité pour aller vers un 50/50 hommes/femmes "pourrait" avoir du sens si le but est d'essayer de modifier l'idée selon laquelle "c'est un métier de femme" ).

Mais il faut réserver "débiaiser" au cas où il y a un problème dans l'échantillon, sinon, ça va être tout embrouillé : "débiaiser", ça porte un sens de "absolu", et pas "relatif à ce qu'on veut en faire". Quand on modifie un échantillon pour qu'il aille dans le sens que l'on souhaite, on le "biaise", on ne le "débiaise" pas.

 
Quand on tape "nurse" dans un générateur d'image, on ne sait pas quelle est l'intention de celui qui tape cette requête, c'est le problème auquel on arrive. On ne sait pas si la personne qui tape ça veut une représentation fidèle de ce qu'est un infirmier ou une infirmière ou bien si il a une autre idée en tête. C'est là qu'est la difficulté.

 
Le sens que je donne à débiaser dans l'exemple qui nous concerne ici, c'est retirer la corrélation qui existe entre la catégorie (nurse) et par exemple le genre ou l'ethnicité des sujets, quand celà est utile.

Donc c'est "biaiser" le mot que tu cherches, pas "débiaiser". Et "quand cela est utile", c'est par rapport à un certain but, qui peut être variable, et suivant le but, tu vas biaiser ton échantillon dans un sens ou dans un autre.

Alors que "débiaiser", c'est absolu, ça veut dire "enlever les biais", "enlever les écarts entre ton échantillon et la réalité", ça ne va que dans un seul sens, celui de "plus près de réel" (en revanche, la plupart du temps, c'est très difficile à faire car très difficile de connaitre suffisamment bien le réel en question).

Il n'a qu'à être précis et faire une requête exhaustive pour se voir retourner un résultat dans le sens de ce qu'il avait en tête  

Google nous a trop mal habitué à nous donner les bons résultats même en écrivant 2 pauvres mots-clés mal orthographiés… avec les LLM, les gens vont (peut-être) devoir apprendre à ordonner leurs idées et être plus précis/rigoureux sur leur prompt… peut-être  

Si il tape "nurse" sans faire un prompt, comme un mot tout seul, sans aucune précision ou demande additionnelle, il faut lui donner le truc le plus neutre possible, donc un truc à l'image de la réalité, sans biais, a priori, ça semble pas débile. C'est à dire une image exactement comme s'il avait tiré au hasard dans la population générale.

Enfin ça n'a pas trop de sens ce que tu dis, pour moi, c'est un faux problème, c'est un peu comme dire :

Bah oui, bah le problème, c'est pas le resto ou le serveur, c'est le mec qui vient dans un resto sans même savoir comment ça marche

Je ne pense pas qu'il faille réfléchir à comment adapter les restos à ces gens là, faut qu'ils apprennent comment ça marche, c'est tout.

 
Biaiser par rapport à la réalité telle qu'on la perçoit, débiaser par rapport à des catégories statistiques

 
Je pense que la relation que tu fais entre neutre et à l'image de la réalité est discutable

Bah c'est la définition de neutre. Une représentation d'une chose telle qu'elle est réellement, sans modification, est par définition neutre (la plupart du temps, c'est très dur à obtenir, mais pas dans un cas comme celui là, où cette réalité tient en un seul chiffre connu). Une représentation modifiée pour aller dans le sens que l'on souhaite (ce que tu dis toi-même) ne l'est forcément pas, ne serait-ce que simplement parce que le modification sera différente suivant le sens dans lequel tu souhaites aller.

 
La définition de neutre, c'est sans parti pris, c'est pas la même chose que fidèle à la réalité.
 
Si on considère qu'il existe un bias entre la réalité et l'intention que l'on a au moment d'exprimer une requête à un modèle, la représentation modifiée peut tout à fait être plus neutre, même si moins fidèle au réel. Toute la difficulté est de capturer cette intention et les outils que l'on a ne le font pas toujours bien.
 
J'ai tapé nurse dans google image par exemple, j'ai eu beaucoup de femmes (ce qui est conforme à la réalité) mais pas beaucoup de femmes asiatiques (ce qui est pourtant conforme au réel) pourquoi, comment, je ne sais pas.

Justement "sans parti pris" quand on parle de représentations de la réalité (puisque c'est de ça qu'il s'agit), ça conduit nécessairement à une représentation de la réalité telle qu'elle est de façon brute, sans le modifier par rapport à un parti pris (un sens, un but particulier, comme tu le disais toi-même). Je ne vois pas sur quoi tu butes là. Si tu cherches à faire croire que la réalité est autre que ce qu'elle est (peu importe dans quel sens), c'est là que tu injectes un parti pris.

Ca, ça n'a pas de sens pour moi, donc je ne peux pas comprendre la suite. Je ne vois pas ce que tu veux dire. L'intention que l'on a, c'est justement exactement ça que l'on précise quand on fait un prompt, une requête, il n'y a pas à la deviner. Le mec l'a écrite. Tu n'as plus en tête l'exemple du resto ?

Je suis perplexe aussi sur le "il existe un biais entre la réalité et l'intention" : un biais entre la réalité et une intention, ça ne veut pas dire grand chose

 
Je pense que la réalité peut aussi être ce qu'elle est (peu importe dans quel sens) suite à un parti pris que l'on ne souhaite pas nécessairement prendre en compte quand on fait une requête.
 

 
J'ai donné un exemple plus haut sur l'impact que peut (doit) avoir l'intention:
 

Et si tu tapes le bon mot clé, comme par magie ça répond à ton attente  : https://www.google.com/search?q=%E8 [...] 1041&dpr=2  

C'est d'ailleurs là-dessus que vont jouer tous les anti-ceci ou les wok-cela… ils trouveront toujours un prompt particulier qui donne le résultat critiquable qu'ils souhaitaient haïr…

 
Bah nan la du coup elles sont toutes asiatiques. Je fais comment pour accéder à une réponse sans biais du coup

On en reviens toujours au même problème : l'universel et l'étendue de notre liberté d'actions. Après les Woke ne sont que sur des dogmes qui s'interessent à la représentation exacerbé des cas particuliers. Mais les dogmes sont néfastes pour l'universel, qui doit juste être une base neutre.
En vrai à un moment il faut arrêter de tout calculer, ce que l'IA qui se nourrie du corpus comme dit précédemment ne peux pas faire.

en d'autres termes, tout ne peut pas être data driven, il va falloir trouver d'autres méthodes et outils.

Bah, non.

Ce n'est pas parce que ça ne correspond pas à tes attentes que ce n'est pas la réalité.

Il y a différentes échelles de réalités, ce monde n'est majoritairement qu'une version de suites possibilités parce que l'humain quand il pense que il n'a pas assez de personnalité se restreins et donc font un groupe de ceci ou cela, comme adopter une marque. Mais la vrai réalité est perceptible que par chacun, et dire ce chacun je ne le met pas dans une case. Quel est mon but, que me procure les sensations de travailler à atteindre ce but ? Suis-je en train de construire une des bonnes versions de moi même ? Tout en continuant d'apprécier ceux qui sont différents de moi, parce que je les respect en tant que entité humaine vivante ? La détestation ne peux que être le résultat d'une agression personnelle, et un cas particulier ne fait pas une vision globale. Les gens sont très différents des uns et des autres et c'est tant mieux. Le plus gros problèmes c'est le fait de tout construire avec des groupes, religieux, politiques. Cela peux mettre des barrières invisibles. Si encore untel dit je me passionne pour une religion mais je sais que c'est ma sphère privée, et j'adhère à un groupe politique mais je comprend que c'est une opinion et non pas un dogme.

En utilisant ton intellect et en améliorant ton prompt, par exemple "nurses of the world"

Après, personne n'est tenu d'avoir photographié, représenté ou documenté l'intégralité des situations de la réalité, il y aura donc toujours des facettes de la réalité qui seront absentes ou sous-représentées (et/ou noyées au milieu de représentations fausses, mensongères, orientées etc.)

Mais c'est ce n'est pas propres aux IA, c'est pareil dans les medias, dans les livres etc.

Sans rentrer dans les considérations que l'on peut rencontrer en Science ou en Histoire : la vérité du moment n'est peut-être pas celle de demain… on trouve donc des bouquins qui donnent des versions différentes de la réalité, et qui étaient "vrais" au temps de leur sortie" (avant d'être réfutés, invalidés, corrigés etc.)

 
Personne n'est tenu de créer un modèle parfait non plus donc perso, moi ça ne me choque pas que l'on réfléchisse et développe des méthodes et outils pour corriger, annuler ou simplement gérer des biais, je ne comprends pas pourquoi ça bloque autant avec toujours ce concept de réalité érigé comme justification du non besoin de ces outils en mode c'est soit ça soit le wokistan

Toujours est il truelash que ton usage du terme « biais » n’est pas conforme à l’usage statistique dont il est issue d’où la difficulté que tu as dans cette discussion.

La meilleure manière d’avoir un résultat qui correspond à ce que l’on souhaite est de simplement préciser ce que l’on souhaite… Ce n’est pas plus compliqué que ça.
Si vous êtes profs et que pour des besoins de représentations, vous avez d’infirmiers homme et femme à 50%, il faut le préciser.

L’autre solution, sinon, c’est d’embaucher encore plus de contrôleurs manuel payé au lance-pierre qui s’occupent de corriger l’I.A. quand elle comprend mal ce qu’on signifie implicitement. Et comme chaque culture est différente et qu’il y a des catégories sociales aussi qui ont des volontés implicites différentes, il faudrait des échantillons représentatifs de la planète pour ce job. Autant dire que ça coûte trop cher.

Bref, partons du principe que lorsque vous faites votre requête, vous parlez à quelqu’un qui peut mal interpréter vos propos et d’une culture différente de la vôtre, et réessayez plusieurs fois s’il faut.

+1 c'est que je disais. Il y un prompt, autant s'en servir. Attendre la vérité/réalité d'une IA pour l'instant, come on  

 
Je veux bien ne pas utiliser les termes biaiser et debiaiser mais alors du coup lesquels devrais-je utiliser à la place ?
 
Et perso je ne crois pas que la précision du prompt soit la solution parce que l'IA a aussi vocation à être utilisée sans prompt, sans humain dans la boucle même  

 
Mais ça ne veut rien dire, la réalité est ce qu'elle est peu importe dans quel sens. Ce qui fait aller les choses dans un sens, c'est le parti pris qu'on prend, la réalité brute, surtout quand elle est donnée par un unique chiffre, ne va pas "dans un sens ou dans l'autre", elle est unique.  
 

 
Dans tout ce discours, il faut que tu intervertisses l'utilisation des mots "biaiser" et "débiaiser".

->

D'ailleurs, c'est bien toi qui disait que la neutralité, c'est l'absence de parti pris, là, tu dis toi même que pour faire ça, il faut "prendre le parti de dire que ...", et donc modifier notre échantillonnage pour qu'il ne soit plus représentatif de la population réelle (neutre), mais représentatif d'une population imaginée (en fonction du parti pris qu'on a choisi).
 

 ->

->

Évidemment que non, puisqu'il faut préciser dans quel sens on veut biaiser le truc. Mais par contre, tu peux faire des prompts adaptés à ta demande, ça marchera tout aussi bien, genre "Génère moi des images de nurses avec une proportion de 50% de nurses de chaque sexe".
 
En fait, c'est l'utilisation même du terme "biaiser" qui est inadéquat ici. Autant parler de "modification des données dans un sens pour un but".

 
C'est vrai que ça n'est pas adéquat, mais si tu tiens vraiment à les utiliser, il faut que tu intervertisses tes utilisations de "biaiser" et "débiaiser" parce que tu les utilises à l'envers. Quand tu modifies volontairement des données que tu sais représentatives de la réalité, dans un but particulier (qui donne une direction à cette modification), on ne peut vraiment pas dire que tu "débiaises", même si c'est pas tout à fait le sens de ce mot, ce serait plus adéquat de dire que tu "biaises" ton échantillon (dans le sens qui va dans la direction que tu veux).
 

Bah non, ça ne veut rien dire ça. Chaque type d'IA a un type d'entrée particulière, et un type de sortie.
 
Les IA de reconnaissance de chat dans des images, par exemple, l'entrée, c'est une photo qui montre (ou pas) un ou des chats, et la sortie, c'est les coordonnées d'une (ou plusieurs) boite qui indique dans l'image où est le chat (ou encore qui indique les pixels de chat). Si on lui donne comme entrée un son ou un texte, ça ne va rien donner, ça attend une image en entrée.
 
Les IA qui génèrent des textes ou des images dont on est en train de parler, à destination d'une utilisation par des humains, ce qu'elles attendent en entrée, c'est un prompt (qui peut être constitué de texte, de texte et d'images...), c'est leur fonctionnement. Je ne vois pas ce que tu veux dire quand tu dis que ces IAs sont utilisées sans prompt, il faut bien donner une entrée à ton IA si tu veux une sortie. Et cette entrée c'est un prompt, il sera éventuellement implicite (généré par une autre IA par exemple), mais dans ce cas, il sera également adapté.

ça ne me dérange pas de changer le sens de l'usage, je n'avais pas conscience que ça pouvait bloquer autant

J'ai pensé à "decorréler" aussi qui me parait plus adapté

edit: ou découpler

Tu voudrais décorréler quoi?
 
Une IA c'est juste des statistiques. Pour les LLM (Large Language Model) comme ChatGPT il va juste enregistrer des trucs comme ça (pour simplifier):
* je suis 80% (contexte: comment ça va?)
* je blog 01%  (contexte: skyblog)
* suis content 76% (contexte: comment ça va?)
* suis bleu "30%  (contexte: foot)
* content aujourd'hui 80%  (contexte: comment ça va?)
* content pas 05% (contexte: comment ça va?)
 
En réalité le contexte est beaucoup plus complexe, et la façon de générer les stats est le résultat des réseaux de neurones. Si tu demandes, "comment ça va?" il va suivre ses paramètres et te répondre "je suis content aujourd'hui". C'est très difficile de réellement contrôler le modèle et comprendre ce qu'il contient. Actuellement, pour débiaiser un modèle on l'initialise (de manière cachée) avec des prompts du genre "il faut être gentil", "il ne faut pas dire ceci/cela", ...
 
Il a d'ailleurs été possible de trouver les premiers prompts d'init de Bing:
https://arstechnica.com/information [...] on-attack/

 
L'ethnie, le genre, la catégorie socio-profesionelle, la géographie, l'époque, le domaine d'application, la saison, la marque, etc.

 
Et comment tu voudrais faire? Tu pourrais remplacer ces termes dans les textes?, mais par quoi? Tu n'aurais enlevé que le biais de premier niveau, mais il restera les autres niveaux. Si tu "enlèves" l'ethnie, mais pas le pays, ça sera la même chose. Même sans le pays, il reste les villes, les lieus, la langue, les expressions, etc. Si c'est au niveau du modèle, c'est presque impossible car on ne sait pas quel sont les paramètres que le réseau a créé et tu peux casser le modèle en intervenant dessus. Reste les prompts d'init, mais le biais est toujours la, il est juste caché.
 
Le débiaisage de modèle est toute une science assez compliqué qui demande des compétences en info, linguistique, social, géographie, etc. C'est un domaine de recherche intéressante mais peu dotée en moyens...
 
La vrai façon de le faire, c'est de bien contrôler la qualité des textes sur lesquels on va faire du training. Mais c'est chère et ça rapporte pas gros => https://time.com/6247678/openai-chatgpt-kenya-workers/

Je pense qu'il y aura de plus en plus de recherche sur le sujet à base de trustworthy AI et explainable AI. En gros quand une AI va faire un caca, la justification en mode "on y est pour rien, les données de training étaient ainsi distribuées" ne sera pas toujours convaincante.

Oui, ça serait bien. Mais j'ai des doutes que ça intéresse tant que ça ceux qui ont le pognon...

La recherche se fera, par contre est-ce que ce sera industrialisé, à mon avis, pas sans cadre légal qui force un peu la main

Mais le décoreller de quoi ? La couleur de peau (dans ce contexte, je préfère à "l'ethnie", qui est quelque chose de culturel, qui ne se voit pas sur une image), le sexe (pareil, le genre est subjectif, ça ne se voit pas sur une image), décorrélé des métiers par exemple ?

Tu ne peux pas reprocher à une IA de montrer une femme dans 90% des cas quand on demande "une nurse typique en France", ni de montrer un noir ou arabe dans 90% des cas quand tu demandes "un éboueur typique de Paris", parce que c'est ça la réalité des choses (= même résultat que s'il avait tiré un individu au hasard faisant ce métier et pris une vraie photo).

Tu voudrais faire des IAs qui "mentent" quand on leur pose ces questions ? Pire que ça, OBLIGER par la loi, les développeurs d'IAs à ajouter cette couche de mensonge systématique (cf. ton dernier post) ?

Je ne suis pas sûr que ce soit bien pertinent, parce que ça ne peut pas être fait secrètement. Les gens sauront que les IAs sont "trafiquées" (ou le verront bien en posant ce genre de questions), et du coup, ne leur feront pas confiance sur ce genre de sujets, pour lesquels il sera connu que les réponses sont trafiquées.

Du coup, dans le même esprit, est-ce qu'il faut également censurer ou interdire au grand public l'accès aux statistiques du taux de nurses hommes en France, idem pour les autres métiers ? Parce que ça donne exactement la même info.

 
C'est pas grave que tu ne comprennes pas ou que tu ne vois pas l'intérêt, l'essentiel est que la recherche se fasse, je pense avoir donné assez d'exemples à ce stade. Tu as l'air d'être bloqué sur les prompts où on demande une représentation 100% précise de la réalité, ce n'est pas vraiment le cas où on a besoin de décoreller / biaser / découpler les résultats donc ça ne marche pas vraiment.