L'outil qui avait appris le passé#
L'histoire a fait le tour du monde. En octobre 2018, l'agence Reuters révèle qu'Amazon a abandonné un outil expérimental de tri de candidatures fondé sur l'apprentissage automatique. Entraîné sur les CV reçus pendant dix ans, majoritairement masculins pour des postes techniques, il avait appris à pénaliser les candidatures qui contenaient le mot « women's », comme dans « capitaine du club d'échecs féminin ».
Personne n'avait programmé cette règle. L'outil l'avait déduite, seul, des données qu'on lui avait données. C'est la définition même d'un biais d'IA.
D'où viennent les biais de l'IA#
Des données d'apprentissage#
Un modèle apprend des régularités dans les données. Si ces données reflètent une situation déséquilibrée, il reproduit le déséquilibre, et parfois l'amplifie. Il ne fait pas la différence entre ce qui a été et ce qui devrait être.
De la façon de poser la question#
Un biais peut aussi naître de l'usage. Demander à une IA de « trouver les meilleurs profils » sans définir « meilleur », c'est la laisser choisir ses critères, c'est-à-dire ceux de ses données.
De la confiance qu'on lui accorde#
Le biais le plus courant n'est pas dans la machine, mais chez l'utilisateur : c'est la tendance à croire une réponse parce qu'elle est bien écrite et qu'elle vient d'un outil. Une IA qui se trompe avec aplomb, c'est le sujet de notre article sur les hallucinations.
L'éthique de l'IA se joue dans les usages#
Les grands principes d'une IA éthique font l'objet d'un large consensus : équité, transparence, respect de la vie privée, responsabilité humaine. Le règlement européen sur l'IA les traduit en obligations, plus ou moins lourdes selon le niveau de risque de l'usage. Notre article sur l'IA Act en détaille le calendrier.
Mais pour une entreprise, la question éthique se pose surtout de façon très concrète, tâche par tâche :
| Usage | Question à se poser |
|---|---|
| résumer un document interne | risque faible : relire ce qui sera diffusé |
| rédiger un courrier à un client | qui relit avant l'envoi ? |
| trier des demandes ou des dossiers | sur quels critères, et qui vérifie les écartés ? |
| aider à une décision sur une personne | la décision reste-t-elle humaine, et motivée ? |
Plus l'usage touche une personne, plus la part humaine doit être nette.
Six règles pour une IA responsable en entreprise#
1. Décider où l'IA décide#
Listez les usages autorisés, et surtout ceux où l'IA propose sans décider. Toute décision qui touche une personne reste humaine, motivée, et contestable.
2. Donner la matière plutôt que laisser deviner#
Une IA qui répond à partir de vos documents et de règles écrites dépend moins de ses biais d'apprentissage qu'une IA qui répond de mémoire. Fournir les sources est déjà un geste d'équité.
3. Protéger les personnes dont on parle#
Les données personnelles des clients, des collègues ou des candidats n'ont pas à partir telles quelles chez un fournisseur. Dans AIKeep, AIGuard les remplace par des leurres de même nature avant l'envoi, et rétablit les vraies valeurs dans la réponse.
4. Rendre visibles les règles données à l'IA#
Une consigne cachée est une règle que personne ne peut discuter. Dans AIKeep, la consigne qui pilote chaque rôle de l'IA se lit et se modifie dans les Paramètres, et ce que l'IA retient se trouve dans une mémoire visible et modifiable.
5. Garder une trace#
Pouvoir dire ce que l'IA a fait, quand et sur quel dossier, c'est la base de toute responsabilité. Le journal d'audit d'AIKeep conserve qui a fait quoi, et celui des protections ne peut pas être effacé par la personne qu'il documente.
6. Former et écrire la règle#
Les bons réflexes se transmettent. Une charte courte, comprise de tous, vaut mieux qu'un long document que personne ne lit : notre modèle de charte d'utilisation de l'IA vous donne une base en dix points.
Et chez vous ?#
Prenez vos trois usages de l'IA les plus fréquents et placez-les dans le tableau ci-dessus. Pour chacun, répondez à une seule question : si l'IA se trompe, qui s'en aperçoit, et quand ? S'il n'y a pas de réponse claire, vous avez trouvé votre prochaine règle. C'est aussi le cœur de notre accompagnement en gouvernance IA.