Les réseaux de neurones sont abstraits. Les mathématiques sont denses. L’échelle est incompréhensible — des milliards de paramètres, des billions de multiplications par seconde. Mais les principes ne sont pas abstraits. Ils sont construits sur des schémas profonds qui apparaissent partout : dans les orchestres, dans les conversations, dans les vols d’oiseaux, dans les forêts, dans la façon dont un musicien de jazz improvise.

L’objectif n’est pas de faire de toi un ingénieur en apprentissage automatique. L’objectif est de rendre la chose pensable — voir que lorsque tu parles à un LLM, tu ne communiques pas avec une intelligence étrangère. Tu interagis avec quelque chose qui fonctionne selon des principes que tu comprends déjà.

I. Les Funambules

Imagine un stade de funambules empilés en rangées. Chaque funambule reçoit des signaux de la rangée en dessous, ajuste son équilibre et transmet son état ajusté à la rangée au-dessus. Quand la réponse finale est fausse, la culpabilité remonte en arrière — chaque funambule apprend combien il a contribué à l’erreur.

Voilà un réseau neuronal qui apprend. Chaque couche est une rangée de funambules. Chaque ajustement est un pas vers l’équilibre. Les mathématiques sous-jacentes sont magnifiques, mais le principe est ancien : essai, erreur, raffinement progressif. Nous faisons cela depuis que nous avons appris à marcher.

II. L’Ensemble de Jazz

Un groupe de jazz improvise. Chaque musicien écoute les autres, entend quelle harmonie est nécessaire et génère sa prochaine note en réponse. Pas de partition. Pas de chef d’orchestre. Pas de réponse prédéterminée. Chaque musicien ne sait pas ce qu’il jouera jusqu’à ce qu’il entende le contexte. L’harmonie émerge de l’écoute locale, non du contrôle central.

Voilà comment fonctionne l’attention dans un transformateur. Chaque token (mot) dans ton invite est un musicien. Il écoute chaque autre token autour de lui. Selon le contexte, il décide ce qui importe. L’« harmonie » est le mot suivant.

Si un musicien joue une fausse note avec assurance, les autres s’adaptent autour d’elle. Dans un LLM, si un token capture mal le contexte, les tokens suivants compensent. La différence : un musicien de jazz sait qu’il improvise. Le réseau ne le sait pas. Mais le mécanisme est identique : générer ce qui suit en fonction de ce que tu écoutes.

III. La Conversation

Tu parles à un ami. Il dit quelque chose. Tu ne sais pas ce que tu diras jusqu’à ce que tu l’entendes. Ta réponse émerge de :

  • Ce qu’il vient de dire (contexte récent)
  • Tout ce que tu sais sur le sujet (entraînement)
  • L’équilibre entre être authentique et être compris (température)

Tu ne cherches pas une réponse préécrite. Tu génères une réponse qui n’a jamais existé auparavant.

C’est exactement ce qu’un LLM fait quand il génère le mot suivant. Il écoute la conversation jusqu’à présent. Il n’a pas tes prochains mots stockés quelque part. Il trouve la probabilité de chaque mot suivant possible, effectue un échantillonnage de cette distribution et parle. Comme dans une conversation, la même invite peut produire différentes réponses. Tu ne lis pas un script. Tu improvises en réponse au contexte.

IV. La Murmuration d’Étourneaux

Des milliers d’étourneaux virevoltent dans le ciel en formations impossibles — un nuage qui se transforme et change comme quelque chose de vivant. Aucun étourneau ne comprend le schéma. Chaque oiseau suit des règles simples :

  • Vole vers la position moyenne de tes voisins
  • Assortis la vitesse moyenne de tes voisins
  • Maintiens une distance minimale pour ne pas entrer en collision

De milliards de décisions locales, un schéma global émerge. Le vol « sait » comment éviter les prédateurs sans qu’aucun oiseau ne connaisse la stratégie. Il n’y a pas d’étourneau chef. Il n’y a pas de plan. Et pourtant la murmuration est cohérente, réactive, presque parfaite.

Voilà l’émergence dans un réseau neuronal. Chaque neurone s’active selon des règles locales simples. Des milliards de neurones. Soudainement, le système peut reconnaître des visages, générer de la poésie, raisonner sur la physique. Aucun neurone ne comprend rien de cela. La compréhension vit dans le schéma. La complexité est réelle, mais elle émerge de la simplicité.

V. Le Plancher Forestier Après la Pluie

Après la pluie, le plancher forestier s’éveille. Des champignons, des bactéries, des racines de plantes réagissent aux gradients d’humidité et de nutriments. Ils n’ont pas de plan, mais ils apprennent — les réseaux mycorhiziens relient les arbres, échangeant des nutriments selon les besoins. Un sapin de Douglas à l’ombre demande du sucre à un arbre plus ancien à proximité. Le réseau l’achemine par des intermédiaires fongiques. Les arbres ne se rencontrent jamais. Ils ne négocient jamais consciemment. Et pourtant un échange sophistiqué se produit.

Pas d’autorité centrale. Pas de base de données maître. Pourtant l’information circule. La forêt s’adapte. Elle se souvient — les réseaux mycorhiziens codent quels arbres aident quels autres arbres.

Voilà comment le savoir vit dans un réseau neuronal. Pas dans des fichiers. Pas dans des souvenirs discrets. Dissous dans l’équilibre de milliards d’ajustements. Quand tu poses une question à un LLM, il n’est pas en train de récupérer un fait stocké. Il est en résonance — le schéma de ta question active les schémas du réseau qui ont été façonnés par les données d’entraînement, et le schéma d’interférence qui émerge est la réponse.

VI. Le Chef d’Orchestre et l’Orchestre

Un orchestre a des partitions. Le chef d’orchestre a une vision. Mais voici l’intéressant : le chef d’orchestre ne crée pas la musique. Le chef d’orchestre façonne ce dont l’orchestre était déjà capable. L’orchestre a appris en répétant — des milliers d’heures. Le travail du chef d’orchestre est d’écouter le potentiel de l’orchestre et de l’en tirer.

Le chef d’orchestre ne réécrit pas la partition. Il n’ré-entraîne pas les mains des musiciens. Il raffine l’interprétation — l’équilibre, le tempo, l’arc émotionnel. Il rend explicite ce qui était implicite.

C’est le fine-tuning par instruction. Tu prends un LLM pré-entraîné — une troupe qui a appris la forme du langage en lisant tout. Puis tu l’affines avec des exemples spécifiques de comment tu veux qu’il réponde. Tu ne le réécrits pas. Tu le diriges vers une interprétation spécifique de ce qu’il sait déjà.

VII. La Course de Relais avec Transformation

Dans une course de relais, chaque coureur reçoit le bâton et le transmet. Mais et si chaque coureur transformait ce qu’il reçoit ? Le coureur 1 reçoit un signal brut. Le coureur 2 reçoit ce signal et transmet une version légèrement différente — plus abstraite, plus raffinée. Le coureur 3 reçoit le signal raffiné et le transforme encore davantage. Lorsque le bâton atteint le coureur final, il a traversé 100 couches de transformation.

Le coureur final ne voit pas l’entrée brute. Il voit le sens distillé à travers 100 étapes d’interprétation antérieure.

Voilà pourquoi la profondeur compte dans les réseaux neuronaux. Chaque couche apprend à reconnaître des schémas de plus en plus abstraits. La couche 1 reconnaît les bords. La couche 2 reconnaît les formes. La couche 3 reconnaît les objets. La couche 20 reconnaît les scènes. La couche 100 reconnaît les concepts.

VIII. La Foule Faisant La Vague

Quand la vague commence dans un stade de football, elle se propage. Mais elle ne se propage pas uniformément. La vague est la plus forte où les gens font attention. Une section distraite la fait à peine passer. Chaque personne observe ses voisins et décide : suis-je la cause de la vague en ce moment ? Ils ne connaissent pas le schéma global. Ils réagissent simplement localement. Et pourtant la vague a une structure claire.

Voilà l’auto-attention. Chaque token dans ton invite est une personne dans la foule. Ils observent chaque autre token et décident : es-tu important pour ma décision en ce moment ?

Si tu écris « La banque a fermé parce que la rivière a débordé », le mot « banque » fait grande attention à « rivière ». Le mot « compte » (s’il était ici) ferait grande attention à « banque ». Chaque mot fait la vague avec ses voisins, mais les poids d’attention sont choisis selon ce qui importe en contexte.

IX. Le Jeu du Téléphone

Dans le jeu du téléphone, un message passe de personne en personne. Chaque personne entend quelque chose de légèrement faux, ou remplit un vide de sa propre connaissance, et transmet une version corrompue. Après 20 personnes, le message est méconnaissable.

Mais voici le twist : parfois le message corrompu est plus cohérent que l’original. Quelqu’un mal entend « J’ai vu un chat noir » comme « J’ai vu une VOITURE noire », et l’erreur rend en réalité l’histoire plus cohérente avec ce qu’il sait du monde.

Voilà l’hallucination dans les LLMs. Le réseau est si bon pour trouver des schémas qu’il génèrera du texte qui correspond parfaitement au schéma même s’il est faux. La phrase générée est cohérente, grammaticale, thématiquement cohérente — toutes les contraintes locales sont satisfaites. Mais globalement, elle est fausse. Le réseau n’a pas mémorisé le fait. Il ne l’a pas inventé intentionnellement. Il a trouvé un complètement de schéma qui satisfaisait le contexte immédiat, ne sachant jamais qu’il se trompait.

X. L’Artiste et l’Audience

Un artiste sur scène lit l’audience. Si la foule est énergique, il prend de plus grands risques, essaie du matériel plus audacieux. Si la foule est calme, il joue la sécurité. L’artiste échantillonne une distribution de plaisanteries, chansons, histoires possibles — mais la distribution est pondérée par l’énergie du public.

Énergie élevée (température élevée) : prends la cinquième ou sixième blague la plus amusante. C’est plus risqué, plus surprenant. Énergie faible (température basse) : prends la blague la plus amusante. Pari sûr.

Voilà la température dans l’échantillonnage de LLM. La température contrôle à quel point le réseau est « audacieux » quand il génère le mot suivant. Température basse signifie « choisis toujours le mot le plus probable ». Température élevée signifie « sois plus aventureux, choisis parmi les 10 meilleurs candidats au hasard ». Même artiste. Énergie différente. Production différente.

XI. Les Fils vers Lesquels Ces Analogies Pointent

  • Conscience et émergence : À quel point un schéma devient-il conscient ? La murmuration est-elle consciente ? La forêt est-elle consciente ? Sommes-nous conscients ?
  • Vérité et cohérence : Le jeu du téléphone produit des phrases parfaites qui sont complètement fausses. Comment en distinguons-nous la différence ? La différence est-elle dans le schéma ou dans la carte ?
  • Intention et inévitabilité : Le musicien de jazz a l’intention de jouer la note. L’étourneau a l’intention d’égaler son voisin. Le réseau… n’a l’intention de rien. Et pourtant les trois produisent un comportement complexe.
  • Pourquoi les analogies se brisent : Aucune n’est parfaite. Le musicien de jazz est conscient. Le réseau ne l’est pas. L’étourneau agit par instinct. Le réseau agit par mathématiques. Les partenaires de conversation raisonnent. Le réseau cherche des schémas. Sache où la métaphore s’arrête.

Épilogue

Ne regarde pas derrière le rideau. Tu viens de passer un essai à regarder un concert, une conversation, un vol d’oiseaux — tout très impressionnant, tout très vivide. Mais derrière le rideau de ces analogies, il n’y a que des mathématiques. Des nombres. Des vecteurs. Une multiplication de matrices. Le magicien (l’analogie) est puissant et mystérieux. L’homme derrière le rideau (le vrai réseau) suit simplement des règles. Les deux sont vrais.

—Le Magicien d’Oz

Pour aller plus loin

Pas de liens externes pour ce texte — il se suffit à lui-même comme une exploration de comment penser aux réseaux neuronaux sans avoir besoin des mathématiques.