L'Impératif d'Auditabilité — Pourquoi les Systèmes qui vous Gouvernent Doivent Pouvoir se Lire
Ouvrez un terminal et tapez une commande que vous n’avez jamais exécutée. Vous pouvez lire son code source, tracer sa sortie, l’enchaîner à une autre commande, défaire ce qu’elle a fait. Essayez maintenant de découvrir pourquoi votre demande de crédit a été refusée, pourquoi votre prime d’assurance a augmenté, pourquoi un algorithme de recrutement vous a classé derrière un inconnu. Vous ne pouvez pas. Non pas parce que le raisonnement est trop complexe à expliquer, mais parce que personne, en construisant le système, n’avait l’intention que vous le voyiez. Mettez les deux situations côte à côte et une question surgit qui n’a rien à voir avec l’informatique en particulier : que doit un système aux gens qu’il gouverne, et pourquoi certains systèmes honorent-ils cette dette pendant que d’autres traitent l’opacité comme une qualité ? …