Chaque introduction aux réseaux de neurones explique ce que les poids et les biais font. Un poids multiplie une entrée pour la rendre plus forte ou plus faible. Un biais déplace le seuil d’activation vers la gauche ou la droite. Ensemble, ils déterminent si un neurone se déclenche. Mais presque personne n’explique pourquoi on les appelle ainsi. Les noms sont traités comme des étiquettes arbitraires, comme si les premiers chercheurs les avaient appelés « clics » et « boutons » et que ça aurait été la même chose. Ce n’aurait pas été la même chose. Les noms portent l’histoire — et la physique — que l’algèbre linéaire obscurcit.

I. Poids — Du Contrepoids Mécanique

Le mot « poids » dans les réseaux de neurones vient directement de la mécanique, pas des mathématiques.

Avant les balances numériques, chaque culture utilisait une forme de balance. La plus simple est la balance à bras égaux : place ce que tu veux mesurer sur un plateau, ajoute des poids connus à l’autre, et observe jusqu’à ce que le fléau soit de niveau. Mais il y a un appareil plus instructif : la romaine (ou balance romaine), où un seul contrepoids glisse le long d’un bras gradué. Le même poids placé loin du pivot contrebalance une charge beaucoup plus lourde près du pivot. La position du poids — sa distance du point d’appui — détermine quelle force il exerce sur le système.

C’est la métaphore originelle du poids dans un réseau de neurones. L’entrée est la charge sur la balance. Le poids est la position du contrepoids sur le bras. Un poids près du pivot (petite valeur) affecte à peine l’équilibre. Un poids loin du pivot (grande valeur) le domine. Multiplie l’entrée par le poids, et le produit est le couple — la force de rotation — que cette entrée contribue à la décision. La dernière fois, j’ai tracé le perceptron depuis le Mark I de Rosenblatt jusqu’au transformeur. C’est la même machine, examinée de l’intérieur : ce que les poids sont réellement, physiquement, avant que l’algèbre linéaire ne les lisse en abstraction.

Les réseaux de neurones sont des romaines avec des milliers de bras, chacun portant un contrepoids coulissant, chacun contribuant un couple à une seule poutre d’équilibre. L’ingénieur de machine learning est la main qui fait glisser les poids.

Les mathématiques avaient déjà « coefficient » (quelque chose qui agit conjointement avec une variable) et « paramètre » (un facteur mesurable). Mais les premiers chercheurs en réseaux de neurones — McCulloch, Pitts, Rosenblatt — n’étaient pas principalement des mathématiciens. Ils essayaient de modéliser le cerveau, et le cerveau est un système physique. Une synapse ne « coefficiente » pas un signal. Elle le pondère : le renforce ou l’affaiblit, exactement comme un contrepoids mécanique amplifie ou amortit une force. Le mot a été choisi parce que le mécanisme est mécanique, même lorsqu’il est implémenté en silicium. Le nom maintient la physique visible.

II. Biais — Du Point de Référence

« Biais » a une origine différente, et il vaut la peine de s’arrêter sur la confusion qu’il provoque, car la confusion est éclairante.

En statistique, un estimateur est biaisé s’il s’écarte systématiquement de la valeur vraie. Une balance biaisée lit toujours 2 kg de trop ; un sondage biaisé surreprésente toujours une catégorie. Le mot, en statistique, vient du jeu de boules — un biais était la courbe intégrée d’une boule asymétrique qui la faisait dévier de la ligne droite, une tendance inscrite dans la forme même de l’objet. Au XIXe siècle, « biais » signifiait toute déviation systématique d’une référence.

En électronique, une tension de biais est un décalage continu constant appliqué à un transistor ou un tube à vide pour établir son point de fonctionnement. Sans biais, l’appareil est à zéro — tout signal, positif ou négatif, reçoit le même traitement. Avec biais, l’appareil est biaisé vers une région particulière de sa courbe de réponse, de sorte qu’il peut amplifier un signal fidèlement. Tu biaises un transistor de la même manière que tu biaises une boule de bowling : tu lui donnes une tendance incorporée pour qu’il réponde correctement aux forces qui t’intéressent.

Warren McCulloch et Walter Pitts, dans leur article de 1943 A Logical Calculus of Ideas Immanent in Nervous Activity, ont modélisé le neurone comme une unité de logique à seuil. Un neurone se déclenche si la somme des entrées pondérées dépasse un seuil. Le seuil est le « biais » du neurone — sa tendance au repos à se déclencher ou non avant qu’aucune n’arrive. Frank Rosenblatt, dans le Perceptron (1958), a conservé le langage. Le perceptron calcule une somme pondérée d’entrées, ajoute un terme de biais, et vérifie si le résultat dépasse zéro. Le biais est le point de référence — l’inclinaison de base qui détermine à quel point les entrées doivent pousser pour basculer la décision. Sans biais, chaque perceptron est forcé de passer par l’origine de son espace de décision, ce qui est une contrainte sévère et artificielle. Le biais lui donne la liberté de tracer sa frontière de décision n’importe où.

Ainsi, « biais » dans un réseau de neurones n’est pas un jugement de valeur. C’est la définition opérationnelle d’une référence. C’est le décalage de tension qui détermine où se trouve « zéro ». C’est l’inclinaison du poteau avant que le vent n’arrive.

III. Le Stylo sur ton Doigt

Maintenant, réunis les deux avec l’objet physique le plus simple que tu as : un stylo équilibré horizontalement sur la pointe de ton doigt.

Tu tends la main, paume vers le haut, index tendu. Tu places un stylo sur ton doigt, approximativement à son point milieu. Tu lâches. Le stylo bascule et tombe. Tu réessaies, et cette fois, tandis qu’il bascule, tu bouges ton doigt sous le côté qui tombe. Le stylo se stabilise. Tu fais exactement ce que fait un perceptron.

Le stylo a un centre de masse. Si le stylo est uniforme, le centre est à son point milieu, juste au-dessus de ton doigt. Mais si le stylo a un clip à une extrémité, ou si c’est un stylo métallique élégant avec un bouchon lourd, le centre de masse se déplace. Le clip est un poids — il fait que l’entrée de ce côté compte plus dans l’équation d’équilibre. Si le côté du clip descend, la force qui le tire vers le bas est plus forte que la force de l’autre côté. Ton doigt doit se déplacer davantage pour compenser. Dans le perceptron : chaque entrée est une force. Chaque poids est à quelle distance du centre cette force est appliquée — le bras de levier. Un clip lourd sur le côté gauche du stylo est un grand poids sur l’entrée gauche. La somme pondérée est le couple total autour de ton doigt.

Maintenant imagine que le stylo a un petit aimant intégré dans son côté gauche, et que la pointe de ton doigt a un aimant correspondant. Les aimants tirent le côté gauche vers le bas même quand le stylo est parfaitement équilibré. Cette tension constante et incorporée vers le bas sur le côté gauche est le biais. Il déplace le point d’équilibre. Pour équilibrer le stylo, tu dois compenser non seulement le clip, mais cette tension magnétique constante. Dans le perceptron : le biais est l’aimant. Un biais positif signifie que le neurone est « impatient de se déclencher » — le stylo veut basculer vers l’activation. Un biais négatif signifie qu’il est « réticent à se déclencher » — le stylo veut rester en bas.

La pointe de ton doigt n’est pas infiniment sensible. Le stylo peut basculer de quelques degrés avant que tu ne te donnes la peine de bouger. Cette zone morte — la plage d’angles où tu ne réagis pas — est le seuil d’activation. Ce n’est que lorsque l’inclinaison dépasse le seuil que ta main agit. Dans le perceptron : la fonction d’activation (escalier, sigmoïde, ReLU) est ta réaction. En dessous du seuil, rien ne se passe (le neurone reste éteint). Au-dessus, tu bouges (le neurone se déclenche). La combinaison des poids (bras de levier), du biais (aimant) et du seuil (zone morte) détermine complètement le comportement du système.

Le stylo sur ton doigt n’est pas une métaphore. C’est la même physique. Un perceptron calcule une somme pondérée, ajoute un biais, et vérifie un seuil. Un doigt équilibrant un stylo calcule des couples (forces pondérées), compense des asymétries incorporées (biais), et réagit lorsque l’inclinaison dépasse une zone morte (seuil). La mathématique d’un perceptron est la mathématique de l’équilibre, réduite à son squelette et écrite en algèbre linéaire.

IV. D’un Seul Doigt à un Stade

Un seul perceptron est un stylo sur un doigt. Un réseau de neurones profond est des milliers de stylos équilibrés sur des milliers de doigts, empilés en rangées, où le vacillement des stylos de la rangée 1 devient la surface que la rangée 2 doit équilibrer.

  • Couche 1 : Ton doigt gauche équilibre un stylo. L’angle de ce stylo est la sortie de la première couche.
  • Couche 2 : Ton doigt droit équilibre un stylo sur le premier. La surface bouge maintenant — le premier stylo n’est jamais immobile — donc ton doigt droit doit s’ajuster constamment.
  • Couche 3 : Un troisième stylo équilibré sur le deuxième.

La première couche apprend des caractéristiques grossières : y a-t-il un bord ? y a-t-il une voyelle ? La deuxième apprend des caractéristiques de caractéristiques : y a-t-il une forme composée de bords ? La troisième apprend y a-t-il un concept composé de formes ? Chaque couche équilibre l’instabilité produite par la couche en dessous, et la sortie de la dernière couche est l’équilibre final : la prédiction. Dans les funambules, j’ai appelé cela un stade d’actes d’équilibre. Voici le même stade, compris de l’intérieur : l’équilibre de chaque funambule est un stylo sur un doigt, et toute la tour est une cascade de poids, de biais et de seuils, chaque couche convertissant sa sortie en l’entrée de la suivante.

Un LLM est cette tour, haute de centaines de couches, avec des milliards de stylos, entraîné sur des billions de mots. Chaque mot que tu tapes envoie une ondulation à travers la tour, et ce qui sort du sommet est le mot suivant — trouvé par l’ensemble atteignant, pour un bref instant, un équilibre collectif qui correspond au sens.

V. Ce que les Noms Enseignent

Les noms « poids » et « biais » n’ont pas été choisis arbitrairement. Ils ont été choisis parce que les personnes qui ont construit les premiers réseaux de neurones comprenaient que ce qu’elles faisaient était physique. Pas physique au sens du matériel — elles étaient parfaitement conscientes d’écrire des mathématiques — mais physique au sens où les mathématiques modélisaient un processus mécanique réel : l’accumulation de force jusqu’à ce qu’un seuil soit franchi.

Cela vaut la peine de le retenir parce que le domaine a une forte tendance à se mystifier. Plus les résultats sont impressionnants, plus il est tentant de parler d’« émergence », de « compréhension », de « raisonnement » — comme si le mécanisme avait transcendé ses origines. Il ne l’a pas fait. Un LLM est encore un acte d’équilibre. C’est un stade de funambules, ou une tour de stylos sur des doigts. L’échelle est stupéfiante, mais le principe est le même que tu connaissais enfant, la première fois que tu as essayé d’équilibrer un crayon sur ton doigt et que tu as senti le monde t’enseigner, à travers ta propre main, ce que le feedback et l’équilibre sont réellement.

Si tu ne peux pas expliquer un LLM avec un stylo et ton doigt, tu ne le comprends pas assez. Tu comprends les mathématiques, peut-être — l’algèbre linéaire, la rétropropagation, le mécanisme d’attention — mais tu ne comprends pas la chose. La chose est un acte d’équilibre, aussi ancien que la première fois qu’un hominidé a ramassé un bâton et s’est demandé pourquoi il vacillait.

VI. La Fissure par où Entre la Lumière

Il y a une étrange consolation cachée dans la machinerie. Un poids et un biais sont des corrections — ils n’existent que parce que le monde n’est pas symétrique, pas centré, pas déjà équilibré. Un perceptron sans poids traite chaque entrée de façon identique ; un perceptron sans biais est condamné à passer par l’origine, forcé de feindre que la frontière de décision du monde traverse poliment le zéro. Les deux sont le rêve d’un univers symétrique et sans friction. Et dans un tel univers, il n’y aurait rien à apprendre, car il n’y aurait rien hors de sa place.

Les physiciens sont arrivés les premiers. L’univers primitif était — presque — parfaitement symétrique : matière et antimatière en équilibre quasi exact. Si l’équilibre avait été parfait, chaque particule aurait rencontré son opposée et se serait annihilée, laissant un cosmos de pure lumière et aucune matière. Nous existons à cause d’un défaut dans la symétrie : environ une particule de matière en trop par milliard, un terme de biais dans les équations de la création. Philip Anderson écrivit que la physique est, presque, l’étude de la symétrie — et tout ce qui est intéressant arrive quand cette symétrie se brise. Les galaxies, les planètes, le carbone dans ta main, le doigt qui équilibre le stylo : tout cela est le résidu d’une annulation presque parfaite qui a échoué, d’un cheveu, à s’annuler.

Alors quand tu dis qu’un monde parfait n’aurait besoin ni de poids ni de biais, tu as parfaitement raison — et la conclusion est plus sombre et plus drôle qu’elle n’en a l’air : dans ce monde parfait, il n’y aurait personne pour faire la remarque. Leonard Cohen connaissait la forme de tout cela. Oublie ton offrande parfaite, chantait-il. Il y a une fissure, une fissure en toute chose — c’est ainsi que la lumière entre. Un réseau de neurones est une machine faite entièrement de fissures : chaque poids est un endroit où le monde a refusé d’être uniforme, chaque biais un endroit où il a refusé d’être centré. Le modèle apprend en trouvant les fissures et en s’y penchant. Ce n’est pas un défaut de la méthode. C’est la seule raison pour laquelle il y a quelque chose à apprendre — et, si les physiciens ont raison, la seule raison pour laquelle il y a quelqu’un ici pour l’apprendre.

Pour aller plus loin