Contexte et enjeux
L’article précédent présentait comment l’explicabilité de l’IA était une piste majeure pour gagner la confiance des utilisateurs. Lorsque l’explicabilité n’est pas déployée, les utilisateurs sont moins enclins à s’approprier la technologie. Cela peut alors engendrer de la méfiance.
La confiance dans une technologie est primordiale pour qu’elle soit acceptée dans la société. Hors du cadre de l’IA, les OGM sont un exemple flagrant. Bien que les études scientifiques ne démontrent à ce jour aucun risque lié à leur utilisation, une grande partie de la population ne souhaite pas leur utilisation.
Les biais, source de méfiance
Nous avons déjà abordé la notion de biais précédemment, à travers les différentes manières dont ils apparaissent dans les systèmes d’IA. Ainsi, la découverte de biais jugés comme « immoraux » peut impacter la confiance dans le produit voire la technologie elle-même.
Le système bancaire est un des exemples les plus cités concernant les cas d’application de l’IA. Cependant, il est particulièrement sensible à la perte de confiance comme la crise connue par la Grèce l’a rappelé. L’apport de l’IA doit donc se faire dans un contexte qui maintient la confiance créée au cours des derniers siècles.
Le cas Apple Card
Étudions le cas du récent scandale de l’Apple Card. Cette carte de crédit digitale utilise un système de notation de crédit personnel créé par une banque majeure américaine. De nombreux utilisateurs se sont rendu compte qu’il existait des biais massifs entre les limites de crédit attribuées aux femmes et aux hommes.
The @AppleCard is such a fucking sexist program. My wife and I filed joint tax returns, live in a community-property state, and have been married for a long time. Yet Apple’s black box algorithm thinks I deserve 20x the credit limit she does. No appeals work.
— DHH (@dhh) November 7, 2019
Les cas identifiés sont d’autant plus choquants puisqu’ils concernent des couples mariés ayant mis en commun leurs actifs financiers. D’un point de vue légal, chaque membre du couple est donc engagé dans les dettes de l’autre. Il n’y a donc, sur ces exemples, que des cas flagrants de discrimination qui ne peuvent pas être justifiés par des biais intrinsèques dans la société.
Une résistance sociétale comme garde-fou
Face au tôlé observé sur les réseaux sociaux, la découverte de ce biais a fortement impacté la confiance que les utilisateurs, en particulier les femmes, peuvent attribuer au produit. Le manque de confiance peut s’étendre à l’ensemble des scores de crédit puisque dans ce cas, c’est bien une banque, et non Apple, qui a généré le modèle biaisé.
Ici, le secteur bancaire a réussi à limiter le risque de confiance en faisant intervenir rapidement un régulateur. Ce dernier se pose en tant que défenseur des utilisateurs et a pour mission d’investiguer -a posteriori- les possibles biais du modèle.
IA et explicabilité : des attentes à la hauteur des enjeux
Un algorithme n’a pas besoin d’avoir de biais immoraux pour perdre l’adhésion de ses utilisateurs. Certaines décisions impliquent des conséquences suffisamment grandes pour qu’ils ne puissent pas se contenter des performances annoncées de la solution. Une explication cohérente est donc nécessaire. Cette situation n’est d’ailleurs pas spécifique aux systèmes d’IA et peut s’appliquer à tous les domaines ayant un impact significatif sur la vie de ses utilisateurs.
IA et santé, une confiance aveugle ?
Prenons le cas de la médecine. Les patients acceptent volontiers le jugement expert de leur médecin lorsqu’il concerne une maladie bénigne. Cependant, dans des cas plus complexes, le manque de communication et d’explication de la part du médecin peut être une source d’inquiétude pour le patient. Ainsi, même une opération considérée comme simple par la communauté médicale peut être perçue de manière très différente par le patient, en fonction du niveau de communication du praticien.
L’explicabilité comme moteur de la pédagogie
L’utilisation des systèmes d’IA par un expert de santé peut amplifier la méfiance vis-à-vis de ce dernier. En effet, si le médecin lui-même ne comprend pas les raisons pour lequel un diagnostic a été établi, comment pourra-t-il communiquer auprès de son patient ?
À l’heure où tout a chacun peut s’improviser médecin en lisant des blogs/forums sur internet, l’explication « la machine l’a dit » n’est clairement pas la meilleure manière d’instaurer une relation de confiance, essentielle, entre le médecin et son patient.
IA et explicabilité : un besoin de savoir pour agir
Une volonté de comprendre
La partie précédente peut faire croire qu’une solution d’IA peut ne pas être explicable si son impact est mineur. En pratique, les utilisateurs souhaitent comprendre les systèmes d’IA, même pour les applications de moindre importance.
Si les explications ne sont pas nativement intégrées, les utilisateurs vont alors définir leurs propres heuristiques, en fonction de leur interaction avec le système. C’est la création de ces heuristiques qui entraîne le plus souvent les découvertes de biais.
Les utilisateurs ne cherchent pas à comprendre le système par curiosité scientifique, mais parce qu’ils veulent interagir de manière active avec lui. En effet, ils ne se contentent pas d’accepter une décision, ils cherchent à manipuler l’IA afin de maximiser les gains qu’elle leur apporte.
Un rapport quotidien aux systèmes d’IA
Cette tentative de comprendre des boîtes noires est même le fondement d’un nouveau domaine : le Search Engine Optimisation (SEO). Ce nouveau métier se propose de découvrir des heuristiques qui gouvernent l’ordre des recommandations des moteurs de recherche (Google principalement), pour les exploiter et améliorer la visibilité de certains contenus.
Nous appliquons tous un tel processus lors de notre interaction avec les systèmes d’IA : optimisation de profil LinkedIn, ligne éditoriale d’une chaîne YouTube, photo ou non de son chat sur son profil Tinder. On cherche toujours à identifier les choix qui augmentent notre visibilité sur ces plateformes. Dans ce cadre, l’apport de l’explicabilité permettrait d’interagir beaucoup plus sereinement avec ces plateformes.
Vers une régulation plus importante ?
L’actualité fait souvent mention de l’explicabilité de l’IA pour des domaines à fort impact (banque, vie privée…) et les instances de régulation commencent à s’emparer du sujet. La Commission Européenne est même déjà en train de travailler à un « RGPD de l’IA ».
Cependant, la notion de « confiance » mentionnée dans tous les documents ne doit pas s’arrêter à ces grands thèmes, mais se répandre dans tous les secteurs. Lorsque les utilisateurs pourront appréhender sereinement le fonctionnement des solutions et interagir avec celles-ci, alors l’IA pourra apporter tout son potentiel à la société.
