Les usages de l’IA se répandent au sein de notre société. De nombreuses discussions ont lieu quant à l’utilisation éthique de cette technologie, en particulier autour des technologies de la reconnaissance faciale et du deep fake.
Au-delà de ces aspects, il existe des pièges dans l’utilisation de l’IA qui peuvent se retourner contre une tentative d’utilisation bienveillante. L’un des objectifs principaux de l’IA pour la prise de décision automatisée est sa capacité à être objective, à ne pas subir les préjugés inhérents aux décisionnaires humains. Les évolutions techniques ainsi que la popularisation des solutions IA, ont permis d’identifier plusieurs mécanismes par lesquelles des biais peuvent apparaître dans ces systèmes.
La compréhension des biais comme enjeu vital
La compréhension de ces biais est essentielle pour les data scientists qui construisent ces systèmes. Cependant, les experts métiers se doivent également d’être sensibilisés à ces problématiques.
En effet, les retours d’expérience de déploiement de solutions d’IA reconnaissent le rôle essentiel de métier pour la réussite du projet. Les experts métiers sont garants non pas seulement de vérifier que les résultats de l’algorithme soient cohérents mais ils doivent également s’assurer que les “raisons” pour lesquelles un résultat a été donné soient cohérentes avec l’expérience.
Dans le cas d’un algorithme d’octroi de crédit, il serait aberrant qu’un client ait un bon score grâce à de nombreux impayés. De par son expertise, le métier peut anticiper et identifier les biais qui vont être présentés, et contribuer à rendre les systèmes plus surs, voire plus justes.
Ce n’est pas parce que vous n’utilisez pas une certaine donnée qu’elle n’est pas prise en compte
Lorsque l’on parle de rendre les systèmes plus justes, on pense généralement à ne pas intégrer directement certaines variables dans le modèle. Cependant, la notion que l’on ne souhaite pas intégrer dans notre modèle peut apparaître sous des formes plus ou moins subtiles et contribuer à biaiser une décision.
Conceptuellement, ce phénomène n’est pas étonnant. Une solution IA cherche par définition à prédire une cible à partir d’autres données. Il n’est donc pas surprenant que certaines données nous apportent plus d’information qu’il n’y paraît.
Plaçons-nous dans la situation d’un assureur automobile qui cherche à proposer un tarif personnalisé à ses clients. Jusqu’en 2013, l’assureur pouvait facturer les femmes moins chères que les hommes du fait de leur moindre sinistralité. Depuis la loi européenne sur la non-discrimination entre les sexes, l’assureur doit retirer le sexe de son modèle.
Que se passerait-il si l’assureur intégrait le prénom de la personne dans son modèle ? L’ensemble des « Sabrina » auraient un prix plus faible que les « Jean », toute autre donnée égale par ailleurs. Les seuls gagnants seraient les hommes appelés Camille.
Au-delà de cet aspect caricatural, intégrer la présence d’un temps partiel dans l’activité de la personne peut avoir tendance à cibler les femmes, puisque celles-ci sont largement majoritaires en temps partiel.
De manière générale, s’il existe une très forte disparité entre deux populations sur une variable donnée, intégrer la variable ou directement la catégorie de population reviennent au même.
Les données ne reflètent pas toujours ce que l’on pense
L’IA fonctionne sur le principe du « Bullshit In – Bullshit Out », ou dans un langage moins outrancier : on ne peut pas s’attendre à un système pertinent si les données desquelles il est nourri sont de mauvaise qualité.
Ainsi, on peut difficilement s’attendre à un système non biaisé s’il est basé sur des données elles-mêmes biaisées. La question que l’on peut se poser dans ce cas est alors : sommes-nous capables d’identifier un biais dans les données d’entrées ? L’histoire nous a montré que non.
Le cas Amazon et son IA de recrutement
Prenons un cas simplifié, basé sur l’échec d’un système de recrutement automatique d’Amazon. L’entreprise utilise les CV reçus des candidats et cherche à prédire ceux ayant la plus forte probabilité de passer les entretiens. L’entreprise utilise l’historique des candidatures reçues, ainsi que les choix effectués par son unique recruteur.
Les choix de ce recruteur ayant toujours satisfait l’entreprise, celle-ci considère qu’entraîner son modèle à suivre son avis est une bonne idée. Ce que l’entreprise n’a pas considéré, c’est que ce recruteur est un inconditionnel de l’équipe de football locale, et profondément opposé à l’équipe voisine. Ainsi il rejette strictement toutes les candidatures de la commune voisine, mais est parfaitement capable d’identifier des profils de qualité parmi les autres dossiers.
Lors de la création du modèle, il a été proposé d’intégrer l’adresse des candidats, pour estimer la durée de trajet jusqu’à l’entreprise. Grâce à cette donnée, le modèle a pu apprendre à reproduire le comportement du recruteur de discriminer les candidats de la ville voisine. Par ailleurs on peut supposer que le modèle a également appris à sélectionner de bons candidats parmi les autres.
Ainsi, nous pouvons obtenir un modèle qui est performant d’un point de vue métier, mais qui demeure très biaisé contre une population. Le modèle a donc reproduit le biais présent dans ses données d’entrainement.
La reconnaissance faciale au centre des biais
Un autre exemple célèbre est le biais dans la reconnaissance faciale entre homme et femme, et entre les personnes de couleur et les personnes blanches. La plupart des banques d’images contiennent une plus grande représentation d’hommes blancs. De ce fait, un algorithme a à la fois plus de données d’homme blanc pour lui permettre de mieux apprendre, mais il est également incité à être meilleur sur cette population.
Regardons ce second point avec un exemple naïf. Prenons par exemple une base de données contenant 90 images de personnes blanches et 10 images de personnes de couleur. Supposons dans un premier temps que peu importe la couleur de peau de la personne, l’algorithme de trompe à 50%. S’il l’on fait progresser l’algorithme pour identifier parfaitement les personnes de couleur, la performance globale sera seulement de 55%.
À l’inverse, si on l’entraîne on le fait progresser à identifier parfaitement les personnes blanches, la précision globale sera de 95%. Ainsi, si l’algorithme doit faire des compromis pour améliorer la performance globale, ceux-ci vont fatalement privilégier la catégorie la plus représentée. Des biais de représentation peuvent alors induire des biais de performances de la solution.
La réalité n’est peut-être pas toujours bonne à modéliser
Au–delà des biais de sélection des données utilisées pour la modélisation, il est possible d’obtenir des biais inhérents au phénomène que l’on étudie. Google en a fait l’expérience suite à leur invention de la technique Word2Vect pour l’analyse du langage naturel.
Cette technique, publiée en 2013, permet d’attribuer à un mot une position dans un espace abstrait. On peut alors par la suite utiliser cette représentation des différents mots d’un texte pour différentes taches telles que l’analyse de sentiment ou la traduction automatique de texte.
Une grande découverte de cette technique a été l’équation « king – man + woman = queen ». Celle-ci signifie que si l’on remplace la composante « homme » par la composante « femme » dans la représentation du mot « roi », on obtient la représentation du mot « reine ». Ce résultat fascinant signifie que l’on peut, dans une certaine mesure, appliquer des relations algébriques sur les mots de notre langage. La représentation a donc identifié des aspects fondamentaux du langage.
Suite à cette première découverte, une seconde a rapidement suivi : « doctor – man + woman = nurse ». Autrement dit, la représentation comprend que l’équivalent féminin d’un docteur est une infirmière. À travers l’étude de textes, le modèle a compris que, dans notre société, le monde médical était constitué d’hommes médecin et de femmes infirmières. Contrairement au cas précédent, on peut rejeter l’idée que le modèle soit biaisé à cause d’un biais de corpus.
Ce deuxième résultat représente une réalité historique et, dans une certaine mesure, contemporaine. On peut donc conclure que le modèle fonctionne « correctement » et qu’il modélise bien notre langage.
Ce biais rejoint en partie le cas précédent. Ce n’est plus seulement la sélection des données qui est biaisée, mais l’ensemble du domaine d’étude. Cependant la question à se poser demeure la même question que doivent se poser les différents acteurs travaillant autour de la solution IA. Mon modèle doit-il reproduire au plus proche les comportements passés ou dois-je l’orienter pour corriger certaines erreurs passées ?
À force d’utilisation, la bulle se resserre
Un autre type de biais peut apparaître lorsque l’action prise suite à la recommandation du modèle impacte la décision suivante du modèle. Ces biais font régulièrement la une des journaux sous le terme de bulles sociales. En pratique, suivre de manière successive les recommandations de l’IA peut entraîner vers des dérives qui ne sont pas souhaitables.
« Dis-moi ce que tu regardes et je te dirais qui tu es »
Dans le cas des systèmes de recommandation, nous avons tous observé que lorsque l’on commence à s’intéresser à un type de contenu sur les plateformes telles que Netflix ou YouTube, les recommandations s’adaptent et nous proposent très rapidement uniquement du contenu similaire à ce nouveau gout.
On s’enferme alors progressivement dans une bulle uniforme de contenu. En extrapolant vers des sujets plus critiques, cet ancien employé de YouTube explique comment les objectifs de YouTube incitent l’algorithme à se biaiser en faveur des contenus conspirationnistes.
La police prédictive
Une situation moins connue est présente aux États-Unis. Certaines villes utilisent des systèmes automatisés pour répartir les forces de police dans les différents quartiers. Dans cet article, l’auteur démontre que ces systèmes se biaisent au cours du temps.
Plus la police suit les recommandations et observe de délits dans un quartier, plus l’algorithme aura tendance à surestimer la dangerosité du quartier et à renforcer la présence policière. Il se crée alors une boucle auto entretenue qui biaise toujours plus l’algorithme.
La notion de biais dans une solution IA n’est donc pas statique. Une solution neuve non biaisée peut, au cours du temps, se biaiser naturellement selon sa définition et l’utilisation qui en est faite.
Qu’en conclure ?
L’image de boite noire magique de l’intelligence artificielle continue de lui coller à la peau, même si de nombreux acteurs commencent à se poser des questions sur son fonctionnement, particulièrement pour des considérations éthiques. Les biais sont inhérents à ce genre de systèmes et peuvent avoir des conséquences éthiques et business.
La sensibilisation à ces biais est une première étape essentielle pour les experts métiers, pour qu’ils puissent accompagner les data scientists dans la création de modèles pertinents et justes.
