Apprentissage

Dans le Phèdre, Socrate raconte l’histoire du dieu égyptien Theuth, inventeur de l’écriture, qui apporte son cadeau au roi Thamous et lui demande de le distribuer au peuple. Thamous ne se laisse pas impressionner. L’écriture, dit-il, n’améliorera pas la mémoire : elle la remplacera. Les gens cesseront d’exercer la discipline interne du souvenir et s’en remettront à des marques externes tracées par la main d’un autre. Ils paraîtront savants sans l’être, « remplis de la prétention du savoir plutôt que du savoir lui-même ». C’est, pour autant que les archives en témoignent, la plus ancienne plainte connue contre une technologie du savoir — et elle vise, avec une précision troublante, exactement l’inquiétude qui circule aujourd’hui à propos des grands modèles de langage. …

Le shell Unix n’est pas le meilleur outil pour tous les travaux. Mais c’est la norme la plus portable que nous ayons. Quand on demande à un LLM de raisonner, il écrit du bash. Quand un conteneur démarre, il exécute un script shell. Quand un pipeline CI s’exécute, il lance des commandes shell. Quand un serveur amorce, init exécute un shell. Le shell n’est pas élégant—il est omniprésent. Et l’omniprésence, en ingénierie des systèmes, est une forme d’élégance. …

Les réseaux de neurones sont abstraits. Les mathématiques sont denses. L’échelle est incompréhensible — des milliards de paramètres, des billions de multiplications par seconde. Mais les principes ne sont pas abstraits. Ils sont construits sur des schémas profonds qui apparaissent partout : dans les orchestres, dans les conversations, dans les vols d’oiseaux, dans les forêts, dans la façon dont un musicien de jazz improvise. L’objectif n’est pas de faire de toi un ingénieur en apprentissage automatique. L’objectif est de rendre la chose pensable — voir que lorsque tu parles à un LLM, tu ne communiques pas avec une intelligence étrangère. Tu interagis avec quelque chose qui fonctionne selon des principes que tu comprends déjà. …