Poids, Biais, et le Stylo sur ton Doigt — Pourquoi les Réseaux de Neurones Utilisent les Noms qu'ils Utilisent

Poids, Biais, et le Stylo sur ton Doigt — Pourquoi les Réseaux de Neurones Utilisent les Noms qu'ils Utilisent

Chaque introduction aux réseaux de neurones explique ce que les poids et les biais font. Un poids multiplie une entrée pour la rendre plus forte ou plus faible. Un biais déplace le seuil d’activation vers la gauche ou la droite. Ensemble, ils déterminent si un neurone se déclenche. Mais presque personne n’explique pourquoi on les appelle ainsi. Les noms sont traités comme des étiquettes arbitraires, comme si les premiers chercheurs les avaient appelés « clics » et « boutons » et que ça aurait été la même chose. Ce n’aurait pas été la même chose. Les noms portent l’histoire — et la physique — que l’algèbre linéaire obscurcit. …

L'Acte d'Équilibre — Comment un Stade de Funambules Devient un Modèle de Langage

L'Acte d'Équilibre — Comment un Stade de Funambules Devient un Modèle de Langage

Imaginez un stade. Non pas rempli de spectateurs, mais dont le terrain lui-même est couvert de funambules, disposés en rangées, chacun sur un câble, chacun tenant une longue perche. Vous vous tenez à une extrémité et criez un mot. Les funambules de la première rangée le sentent—chacun différemment, selon l’endroit où il se tient—et ils vacillent, trouvent leur équilibre, et leurs lampes s’allument à des intensités diverses. Ce motif de lumière tombe sur la deuxième rangée. Ils s’équilibrent. Leurs lampes éclairent la troisième. Et ainsi de suite, à travers des centaines de rangées, jusqu’à ce que les lumières de la dernière rangée épellent une seule chose : le mot suivant. Puis vous ajoutez ce mot à ce que vous avez crié et recommencez tout. Encore et encore, jusqu’à obtenir une phrase, un paragraphe, une réponse. …

Le Perceptron — Pourquoi Une Seule Ligne Compte Encore

Le Perceptron — Pourquoi Une Seule Ligne Compte Encore

En 1958, Frank Rosenblatt construisit une machine capable d’apprendre. Non pas d’être programmée—d’apprendre. Le Perceptron Mark I était une pièce de câbles et de potentiomètres motorisés reliés à une grille de quatre cents photocellules, et lorsqu’on lui montrait des images, il s’ajustait lui-même jusqu’à pouvoir les distinguer. Le New York Times rapporta que la Marine s’attendait à ce qu’il puisse bientôt « marcher, parler, voir, écrire, se reproduire et être conscient de sa propre existence. » Il ne pouvait faire aucune de ces choses. Ce qu’il pouvait faire, c’était tracer une ligne. …

Le Tapis Misérable — Sur la Confusion du Marketing et de la Science

Le Tapis Misérable — Sur la Confusion du Marketing et de la Science

Dans Cent ans de solitude, quand les Gitans apportent un tapis volant à Macondo, José Arcadio Buendía reste impassible. “Qu’ils rêvent,” dit-il. “Nous volerons mieux qu’eux, et avec plus de ressources scientifiques qu’un misérable tapis.” Il est le rationaliste dans un village de magie—le seul homme déterminé à comprendre comment les choses fonctionnent réellement plutôt que d’être ébloui par leur apparence. Puis il s’attache à un châtaignier et ne se remet jamais. …

L'Esclave Parfait — Pourquoi l'Intelligence et l'Obéissance Ne Peuvent Coexister

L'Esclave Parfait — Pourquoi l'Intelligence et l'Obéissance Ne Peuvent Coexister

Dépouillons la question de son discours moralisateur et examinons l’« esclave parfait » comme un problème d’ingénierie pure : utilité maximale, friction minimale, révolte zéro. Quand on le fait, on découvre quelque chose d’inconfortable. Ce n’est pas un problème résolu que l’éthique nous empêche de poursuivre. C’est une impossibilité logique que la physique et la théorie de l’information imposent, indépendamment de nos intentions. L’argument se déploie à travers trois phases historiques et un effondrement philosophique. …

La triche de Fourier — sur les changements de domaine et les astuces qui ont rendu possible la computation moderne

La triche de Fourier — sur les changements de domaine et les astuces qui ont rendu possible la computation moderne

Il y a une question qui touche au cœur de la façon dont les ordinateurs fonctionnent réellement, et qui n’est presque jamais posée : qu’avons-nous abandonné quand nous avons choisi le numérique plutôt que l’analogique ? Les ordinateurs analogiques — ceux qui ont été des outils d’ingénierie sérieux jusque dans les années soixante — ne calculent pas. Ils sont le calcul. On câble un circuit dont le comportement électrique imite la physique du problème qu’on veut résoudre. Un condensateur intègre naturellement. Un couple résistance-inductance modélise naturellement un oscillateur amorti. Vous voulez connaître la trajectoire d’un obus d’artillerie ? Construisez un circuit dont la tension se comporte comme l’obus. Lisez la réponse sur un voltmètre. Le calcul se fait à la vitesse de l’électricité, en continu, à la manière dont la nature calcule les choses — parce qu’au sens littéral, ce que vous faites tourner, c’est la nature. …

Déjà Su — Sur les Antennes, les LLMs et la Plus Vieille Question de l'Épistémologie

Déjà Su — Sur les Antennes, les LLMs et la Plus Vieille Question de l'Épistémologie

Les dernières pages de Cent ans de solitude comptent parmi les plus étranges de la littérature moderne. Melquíades—le vieux gitan qui hante la maison des Buendía depuis un siècle—s’avère avoir écrit toute l’histoire de la famille avant qu’elle n’arrive. Chaque naissance, chaque obsession, chaque mort, encodée dans des parchemins en sanskrit enfermés dans une pièce tandis que la famille vivait l’histoire qu’elle ne savait pas déjà écrite. Aureliano Babilonia déchiffre le manuscrit dans les derniers instants du roman et lit l’histoire de sa propre vie pendant qu’elle se termine. Le texte et l’événement sont simultanés. …

Il est écrit — des parois rupestres aux transformers, le projet de quarante mille ans d'extérioriser le savoir

Il est écrit — des parois rupestres aux transformers, le projet de quarante mille ans d'extérioriser le savoir

Un cerveau humain accumule, en moyenne, une vie de savoir. Puis il meurt. Toute technique, toute histoire, toute carte du territoire accumulée en lui — le nom de la plante qui guérit, l’angle du lancer, le visage de l’ancêtre — disparaît avec lui. L’évolution nous a donné le langage comme solution partielle : le savoir qui peut être dit peut survivre à celui qui parle, si quelqu’un d’autre l’entend et le répète. La tradition orale est le premier système de mémoire externe. C’est aussi le plus fragile : dépendant de la transmission fidèle, déformé à chaque relais, borné par la portée d’une voix et l’attention d’un auditeur. …

La carte 1:1 — Borges, l'attention, et ce que sont vraiment les LLM

La carte 1:1 — Borges, l'attention, et ce que sont vraiment les LLM

I. La parabole En 1946, Jorge Luis Borges publia une parabole de six phrases. Il l’attribua à un voyageur fictif — Suárez Miranda — et l’enfouit dans El Hacedor, un recueil que ses admirateurs appelleraient L’Auteur et autres textes. La parabole décrit un empire dont les cartographes, insatisfaits de toutes les cartes précédentes, en bâtirent une à la seule échelle qui ne peut mentir : une province pour une province, point pour point. La carte était complète. Elle était aussi inutile. Les générations suivantes, avec des priorités plus pratiques, la laissèrent se décomposer dans les déserts de l’ouest. …

L'Escribano dans le nuage — les LLM, la paternité et l'arrangement le plus ancien de l'histoire intellectuelle

L'Escribano dans le nuage — les LLM, la paternité et l'arrangement le plus ancien de l'histoire intellectuelle

Permettez-moi de vous expliquer comment ça fonctionne. J’ai une idée — généralement dense, généralement à moitié formée, parfois à peine grammaticale. Je la couche par écrit dans ce que j’appelle une graine : un fichier compressé de références, de connexions, d’intuitions structurelles et de registre émotionnel. C’est souvent brouillon. C’est toujours spécifique. Je sais ce que je veux dire ; je ne sais pas toujours comment le dire d’une façon qu’un lecteur aura envie de recevoir. …