Ouvrez un terminal et tapez une commande que vous n’avez jamais exécutée. Vous pouvez lire son code source, tracer sa sortie, l’enchaîner à une autre commande, défaire ce qu’elle a fait. Essayez maintenant de découvrir pourquoi votre demande de crédit a été refusée, pourquoi votre prime d’assurance a augmenté, pourquoi un algorithme de recrutement vous a classé derrière un inconnu. Vous ne pouvez pas. Non pas parce que le raisonnement est trop complexe à expliquer, mais parce que personne, en construisant le système, n’avait l’intention que vous le voyiez. Mettez les deux situations côte à côte et une question surgit qui n’a rien à voir avec l’informatique en particulier : que doit un système aux gens qu’il gouverne, et pourquoi certains systèmes honorent-ils cette dette pendant que d’autres traitent l’opacité comme une qualité ?

I. Une Exigence Cachée en Pleine Vue

Un billet précédent sur le terminal Unix le louait comme l’interface la plus durable de l’histoire de l’informatique, et elle est durable pour une raison précise : chaque commande est du texte, chaque script est inspectable, chaque tube relie deux processus transparents plutôt que deux boîtes noires. Cet éloge ne portait pas vraiment sur l’élégance. Il portait sur une propriété que le terminal possède et que la plupart des systèmes modernes n’ont pas : celle de pouvoir être lu par ceux qui l’utilisent. Une fois qu’on remarque cette propriété, on commence à voir son absence partout — dans l’algorithme qui fixe votre score de crédit, dans le réseau de neurones qui signale votre examen médical, dans le classeur de règles non écrites qui décide si votre recours sera entendu. Ces problèmes semblent sans rapport entre eux — finance, médecine, bureaucratie — mais ils partagent un seul défaut. Appelons-le l’impératif d’auditabilité : un système qui gouverne des gens doit pouvoir être lu par ces gens, et un système qui ne peut pas se lire finira par servir des intérêts autres que les leurs.

II. Ce que “Lisible” Signifie Vraiment

Lisible n’est pas une impression, ce sont quatre conditions, et un système les remplit ou ne les remplit pas. Les règles doivent être publiées — pas seulement leur existence, mais leur contenu intégral, sous une forme qu’un non-spécialiste peut comprendre, ce qui écarte “l’algorithme est propriétaire” comme réponse acceptable à “pourquoi ai-je été refusé ?”. L’application des règles doit être traçable : pour toute décision précise, on doit pouvoir reconstituer les données d’entrée, le processus et le raisonnement qui l’ont produite, pas seulement recevoir le résultat. Le système doit être modifiable : quand les règles produisent de mauvais résultats, il existe un mécanisme pour les changer qui ne requiert pas la permission de ceux qui bénéficient des règles actuelles. Et la sortie doit être réelle : si le système ne peut pas être rendu lisible, les gens qui y sont soumis peuvent partir sans perte catastrophique. Qu’une seule de ces conditions manque, et ce n’est pas une version légèrement dégradée d’un système auditable que l’on obtient. C’est un système qui échappe à toute redevabilité, parce que les quatre conditions ne sont pas une liste de souhaits — elles sont le mécanisme même par lequel le pouvoir finit par être contrôlé.

III. Le Mécanisme d’Audit Originel

Le plus ancien exemple fonctionnel précède l’informatique de cinq siècles. Un billet précédent sur la comptabilité retraçait comment la partie double oblige chaque transaction à entrer dans deux registres indépendants qui doivent concorder — débit ici, crédit là — et s’ils ne concordent pas, quelque chose cloche et l’écart ne peut pas se cacher. C’est l’impératif d’auditabilité sous sa forme mécanique la plus pure : non pas une promesse d’honnêteté, mais une structure qui rend la malhonnêteté visible par construction. Luca Pacioli n’a pas inventé la partie double pour rendre les marchands vertueux. Il l’a inventée pour rendre leurs comptes lisibles par quiconque savait lire un grand livre — un associé, un héritier, un percepteur, le marchand lui-même essayant plus tard de se souvenir de ce qui s’était passé. Le système n’avait pas besoin que le marchand soit digne de confiance. Il avait besoin que ses registres soient vérifiables, une exigence catégoriquement plus faible et bien plus durable.

IV. Quand le Grand Livre n’a Pas de Seconde Colonne

La plupart des systèmes de gouvernance modernes échouent à ce test de la même manière précise : ils ont une première colonne et aucune seconde. Un algorithme de score de crédit, une évaluation du risque de récidive, un modèle de tarification d’assurance — chacun produit un nombre, et ce nombre est traité comme le registre. Il n’y a pas d’entrée indépendante avec laquelle il devrait concorder, aucun écart ne peut faire surface, parce qu’il n’y a rien à quoi le comparer, sinon à lui-même. Un billet précédent sur l’IA neuro-symbolique posait la version architecturale de cet argument : le raisonnement symbolique est traçable étape par étape, de la même façon qu’une écriture comptable peut être remontée jusqu’à une transaction, tandis que la décision d’un réseau de neurones est une somme pondérée sur des millions de paramètres que personne, pas même ceux qui l’ont entraîné, ne peut redérouler jusqu’à une raison. Le problème n’est pas que ces systèmes se trompent plus souvent que les humains — dans des domaines restreints, ils se trompent souvent moins. Le problème est que lorsqu’ils se trompent, l’erreur n’a pas d’adresse. Personne ne peut désigner l’écriture qui ne balance pas, parce qu’il n’y a jamais eu de seconde colonne pour la vérifier.

V. Le Précédent Symbolique

Un billet précédent sur Nefasto décrivait un programme Prolog de 1989 conçu pour parodier l’opacité du discours académique — un langage ampoulé et évasif engendré par des règles que l’auteur du programme pouvait pointer du doigt et nommer. La blague fonctionnait parce que Prolog est un système où chaque inférence est traçable jusqu’à une prémisse : on lui demande pourquoi il a conclu quelque chose, et il peut montrer la chaîne. La cible de la satire, ce jargon académique conçu pour sonner autorisé sans jamais s’engager sur une affirmation vérifiable, était la boîte noire bureaucratique déguisée en veste de tweed. Trente-sept ans plus tard, la forme du problème n’a pas changé, seulement son instrument — un modèle de langage peut désormais produire cette même plausibilité évasive à une échelle qu’aucun comité humain n’a jamais atteinte, et contrairement au programme Prolog, il ne peut pas montrer la chaîne, parce qu’il n’y en a aucune à montrer.

VI. Le Fusible qui a Disparu

Un billet précédent sur les conseils médicaux et les modèles de langage nommait le préjudice précis qui apparaît quand un système aussi opaque s’insère dans une décision qui exigeait autrefois un humain agréé et redevable : le fusible entre la suggestion et la conséquence disparaît. Un médecin qui se trompe peut être sommé d’expliquer son raisonnement, peut perdre son agrément, peut être poursuivi, peut se tromper d’une façon qui laisse une trace et un nom attaché à elle. Un modèle qui se trompe a produit une phrase qui sonnait plausible, et la chaîne de responsabilité se termine dans une clause d’exonération des conditions d’utilisation. C’est la quatrième condition de l’impératif d’auditabilité qui échoue en silence : ici, le problème n’est pas la sortie, c’est la traçabilité — il n’existe aucun mécanisme par lequel la personne lésée pourrait reconstituer pourquoi le préjudice s’est produit, seulement un paragraphe sûr de lui-même et personne tenu d’en répondre.

VII. Pourquoi “Propriétaire” N’est Pas une Réponse

La défense standard contre tout cela consiste à dire que l’algorithme est propriétaire, un secret commercial, sensible sur le plan concurrentiel — et il y a, à l’intérieur de cette défense, une distinction réelle qui mérite d’être préservée plutôt qu’écartée. Qu’une entreprise garde sa recette secrète vis-à-vis de ses concurrents n’est pas la même affirmation qu’une entreprise gardant sa logique de décision secrète vis-à-vis de la personne concernée par cette décision. La première est de la concurrence ordinaire. La seconde consiste à priver les sujets d’un système de la seule chose qui leur permettrait de vérifier s’il les traite équitablement, et habiller ce refus du langage de la propriété intellectuelle ne change rien à ce qu’il est. Un test utile : l’explication, si elle était publiée, aiderait-elle un concurrent à copier l’entreprise, ou aiderait-elle seulement la personne concernée à comprendre son propre cas ? Les pondérations d’un score de crédit relèvent parfois du premier type de secret, et toujours du second — et une règle qui ne survit pas à être expliquée à la personne à qui elle a été appliquée n’a probablement jamais été une règle légitime.

VIII. La Forme Générale

Rien de tout cela ne concerne vraiment les algorithmes. Les algorithmes ne sont que l’instance la plus récente, et la plus rapide à se déployer, d’une défaillance ancienne — la bureaucratie opaque a fait cela en premier : des règles qui existent techniquement mais ne sont jamais publiées, des décisions prises mais jamais expliquées, des recours théoriquement possibles mais pratiquement inaccessibles à quiconque n’a pas d’avocat sous la main. Le mécanisme est identique, que la boîte noire soit faite de silicium ou de paperasse : l’opacité protège celui qui décide de la discipline d’être vérifié, et un système n’a pas besoin d’une intention malveillante pour dériver vers le service de ses opérateurs plutôt que de ses sujets — il lui suffit de l’absence d’un mécanisme qui rattraperait cette dérive. Le terminal est resté honnête pendant cinquante ans non parce que ses concepteurs étaient exceptionnellement vertueux, mais parce que chaque commande est restée visible pour ceux qui en dépendaient. La partie double a débusqué des fraudes pendant cinq siècles non parce que les marchands sont devenus plus honnêtes, mais parce que le grand livre avait deux colonnes au lieu d’une. L’impératif d’auditabilité n’est pas une supplique pour le bon comportement. C’est le constat que le bon comportement n’est pas ce pour quoi il faut concevoir un système — c’est la vérifiabilité, parce que la vérifiabilité est la seule propriété qui survit au contact d’un opérateur qui n’a pas envie de bien se comporter.

Pour aller plus loin