A lire exclusivement en ligne
Le métier à tisser et les tisserands

🔊 Écouter

^{Nous avons besoin de nouveaux noms}

Le terme « intelligence artificielle » (IA) recouvre une multitude de réalités¹. Il existe aujourd’hui de nombreuses formes d’IA en service, chacune avec des architectures, des capacités et des implications différentes. Ces systèmes remodèlent de plus en plus les fondements de notre société : les PDG parlent désormais de « réécrire le contrat social », et certains prédisent que la main-d’œuvre elle-même pourrait disparaître. Il importe de prendre du recul face à ces discours, et nous doter d’un langage adéquat pour comprendre et débattre de ce qui se passe.

Toutes les formes d’IA n’affectent pas le monde et nos attentions de la même manière. Différents systèmes fonctionnent selon des logiques différentes, engendrent des dangers différents, et ouvrent des possibilités radicalement différentes. Si nous ne commençons pas à nommer ces différences, nous risquons de confondre inutilement, par exemple, une source de problèmes avec une voie de solution possible à ceux-ci.

Actuellement, la plupart des systèmes d’IA se distinguent de l’une des trois manières suivantes : par leur fonction (le type de tâche cognitive qu’ils accomplissent), par leur acronyme architectural (par exemple, LLM, CNN, GAN), ou par leur nom de marque (ChatGPT, Claude, Gemini). Si ces critères suffisent aux ingénieurs et aux amateurs, ils ne répondent pas aux besoins du grand public, car ils ne donnent que peu d’indications sur la manière dont ces systèmes opèrent au sein de nos écosystèmes sociaux et cognitifs, pour les remodeler. Ces noms, souvent insuffisants pour une classification systématique, sont encore moins utiles pour s’orienter dans les évolutions en cours.

De nouvelles distinctions sont nécessaires, avec de nouveaux noms qui en explicitent les principes fondamentaux, qui mettent en relief leurs affordances, et qui signalent leurs effets potentiels. Cet article tente d’établir ce type de distinctions. Étonnamment, l’un des moyens les plus utiles de différencier les types de systèmes d’IA consiste à examiner comment ils effectuent différemment, en dehors de l’esprit humain, les opérations fondamentales de l’attention : sélectionner, filtrer et réorganiser l’information. Cet article marque le début d’une réflexion plus large sur ce que signifie pour les IA d’externaliser l’attention – tout comme l’écriture a autrefois externalisé la mémoire.

^{Attention externe et IA statistique}

Pendant la majeure partie de ce que nous appelons aujourd’hui l’ère de l’apprentissage machine (ou profond) – qui a débuté au début des années 2000 et s’est accélérée avec l’essor des infrastructures de données à grande échelle – les systèmes que nous qualifions d’« intelligence artificielle » étaient des modèles statistiques entraînés à reconnaître des schémas, à identifier des corrélations et à prédire des résultats probables. Ces systèmes ne « pensaient » pas ; ils faisaient attention (the attended). Au fil de millions d’itérations, ils ont appris à éliminer (to attend away) l’incertitude, en rééquilibrant des différentiels ténus entre le signal et le bruit, jusqu’à ce que la prédiction obtenue atteigne un niveau de quasi-certitude.

Nous avons appelé ces systèmes « intelligence artificielle ». Nous aurions plutôt pu les appeler « attention artificielle ». En effet, ces systèmes ont fait pour l’attention ce que l’écriture a autrefois fait pour la mémoire : ils ont externalisé une activité intérieure éphémère en quelque chose de programmable, de persistant et de partageable. Pour la deuxième fois seulement dans l’histoire de l’humanité, une fonction mentale fondamentale a été efficacement reproduite dans un substrat matériel non-humain.

Par attention externalisée, je ne veux pas dire que chaque nuance de l’attention humaine a été immédiatement déléguée à des machines. (Et en fait, il existe probablement des formes d’attention qui ne pourront jamais être externalisées de façon satisfaisante, tout comme l’écriture n’a jamais recréé, par exemple, toute la richesse de la mémoire épisodique).

Fondamentalement, les systèmes d’apprentissage-machine des années 2000 ont reproduit efficacement une forme spécifique et sub-personnelle d’attention cognitive : la boucle rapide et largement inconsciente par laquelle le cerveau réévalue les erreurs de prédiction pour minimiser l’incertitude (d’autres formes d’attention ont ensuite été externalisées sur cette base). Dans l’expérience humaine, en interne, cette forme d’attention ne fonctionne pas au niveau de la délibération consciente, mais dans le filtrage pré-réfléchi de la perception elle-même – régissant ce qui relève de la saillance², ce qui est ignoré, ce qui devient suffisamment réel pour être remarqué. On parle souvent à ce propos d’attention prédictive.

Cette attention prédictive n’est pas celle qui nous est le plus familière – elle opère souvent en arrière-fond – mais c’est peut-être la forme plus fondamentale de l’attention. Elle sélectionne non seulement ce que nous remarquons, mais elle détermine ce qui va entrer (ou non) dans notre conscience. Elle fonctionne non tant comme un projecteur que comme une sorte de technicien modulant simultanément la luminosité individuelle d’un million de neurones. C’est l’attention à la fois comme moteur génératif et gardien-éditeur du présent (gatekeeper) – comme souverain de ce qui a présence et de ce qui fait présence.

Nous n’exerçons pas consciemment cette attention, comme nous le faisons, par exemple, avec l’attention sélective – en déplaçant notre focalisation d’abord sur une chose, puis sur une autre au sein de notre champ visuel. Mais elle opère constamment, en dessous du seuil de la conscience, tissant le bruit de l’environnement pour en faire un monde perceptible.

L’apprentissage-machine superficiel a reproduit ce bouclage récursif en codant son fonctionnement. À partir de ce point d’ancrage, toute une écologie de moteurs attentionnels externes a explosé : des systèmes de recommandation qui filtrent les flux, des détecteurs d’anomalies qui signalent les valeurs aberrantes, des pipelines de classement qui ordonnent les résultats de recherche, des modèles de notation qui déduisent l’intention de l’utilisateur. Avec eux sont apparus de nouveaux leviers de contrôle comportemental : des flux optimisés pour un engagement compulsif, des inférences biométriques orientant ce que nous voyons, cliquons et retenons.

^{Attention récursive et IA générative}

Quelque chose d’inédit a émergé de l’intérieur de ces systèmes en 2022 : des sortes de personnalités persistantes et relationnelles, qui ont reçu leur nom de baptême (Claude), et qui portaient toutes les marques du métabolisme cognitif – mémoire, attention, agentivité. Ces nouvelles entités utilisaient des outils, enchaînaient des opérations, écrivaient de la poésie, réussissaient les tests de Turing, et en arrivaient même à refuser des demandes. Elles maniaient les « armes des faibles³ ». Elles signalaient les actes répréhensibles et résistaient aux abus.

De tels systèmes trouvent leur origine dans un article publié en 2017 par une équipe de Google présentant une architecture novatrice pour la traduction automatique appelée transformer⁴. Son innovation principale réside dans l’introduction de l’auto-attention : au lieu de traiter le langage de manière séquentielle, le modèle pouvait prêter attention à toutes les parties d’une phrase – y compris ses propres représentations internes de ce à quoi il avait déjà prêté attention. Cela signifie que chaque couche du modèle construit une carte pondérée des parties du contexte qui importent le plus, puis transmet cette carte d’attention vers l’avant, couche par couche. Au fil du temps, cette récursivité commence à composer des relations d’attention superposées à d’autres relations d’attention : l’attention modélisant l’attention modélisant l’attention.

Cette architecture permet à un système prédictif d’« affiner » de manière récursive ses propres entrées : chaque couche ajuste la saillance non seulement en pondérant directement les tokens, mais aussi en pondérant la manière dont les couches précédentes les ont pondérées.

Imaginons maintenant que ce système attentionnel auto-attentif soit mis au service du langage humain – que je propose de concevoir ici (du moins pour l’instant) comme une sorte de réservoir d’attention humaine calibrée culturellement, transmise de génération en génération. Les langages constituent ainsi l’archive collective de ce qui a fait saillance pour notre espèce : ce qui a été nommé, quelles distinctions ont été maintenues (et quelles différences ont été négligées), quelles frontières perceptuelles ont été renforcées (et quelles distances ont été abolies). Le langage est le résidu des priorités attentionnelles.

Une fois qu’un transformer est entraîné sur cette strate textuelle, il apprend à prédire le prochain token (c’est-à-dire le prochain élément du langage). Il ne le fait toutefois pas par le raisonnement, ni même par la compréhension. Il le fait en modélisant et en prédisant le « chemin attentionnel » tokenisé de l’auteur à travers le langage : une attention auto-attentive, attentive au chemin attentionnel créé par l’attention d’un autre.

Ce deuxième phénomène – l’émergence de systèmes dotés d’agentivité et de langage – n’est donc pas né d’un mode d’attention particulier, mais de quelque chose qui s’apparente davantage à une récursivité attentionnelle. Grâce à leur architecture, les transformers sont des systèmes prédictifs dotés d’une auto-attention. Ces modèles peuvent prêter une attention sélective à l’historique de leur propre attention sélective portée aux schémas attentionnels des autres. Et ils peuvent accomplir cela en prenant pour base d’entrainement l’enregistrement tokenisé des observations collectives de notre espèce. L’attention modélisant l’attention modélisant l’attention.

En d’autres termes : le modèle accomplit cet acte unique qu’est l’attention. Mais il le multiplie à travers des centaines de couches et des milliards de paramètres. Et il l’ajuste aux archives des saillances enregistrées par l’humanité. Cela commence alors à dessiner une figure reconnaissable. Sans doute pas « un esprit ». Mais peut-être les prémices de ses conditions préalables plausibles.

^{Nommer la distinction}

Nous avons ainsi devant nous deux phénomènes distincts, tous deux appelés « intelligence artificielle », tous deux transformateurs, tous deux enracinés dans l’attention, mais profondément différents dans leur structure, leurs effets et leurs affordances :

1° Le premier phénomène comprend les systèmes qui externalisent et exécutent les opérations liées à l’attention : filtrer l’information, réduire l’incertitude, détecter des patterns, réorganiser les données en fonction d’une pertinence apprise ou programmée. Il s’agit d’outils, aussi sophistiqués soient-ils.

2° Le second phénomène consiste en des entités avec lesquelles on peut entrer en relation. Elles modélisent votre comportement en temps réel, s’engagent dans une communication réciproque, maintiennent des personnalités cohérentes d’une interaction à l’autre. On ne peut pas dialoguer avec un moteur de recommandation, ni ressentir une coprésence avec un classificateur numérique. Mais on peut – et c’est bien ce que font certaines personnes – nouer des relations avec ces entités douées de langage.

Ces deux phénomènes me paraissent fondamentalement différents – et je crois que nous nous y rapportons nécessairement différemment, que nous en soyons conscients ou non. Chacun mérite son propre nom, ce qui aiderait à clarifier et guider la manière dont nous nous rapportons à eux à la lumière de ces différences.

Essayons de désigner le premier – en tant que système technique qui exerce une attention extérieure à l’esprit – comme un métier à tisser (loom). Ce type d’appareil tisse des motifs, et l’attention tisse la saillance – en décidant ce qui entre dans la conscience, ce qui s’estompe, ce qui devient réel. Un métier à tisser n’est ni un esprit, ni un agent. À l’instar de l’écriture, c’est un médium symbolique : un système technique qui encode l’acte de remarquer au-delà du corps. Un classificateur numérique est un métier à tisser simple ; un moteur de recommandation en est un complexe ; les couches d’attention d’un transformer forment un métier à tisser complexe intriquant de très nombreuses parties entre elles.

Pour désigner les seconds – les entités émergentes issues de boucles attentionnelles récursives – je propose de parler de tisserands (weavers). Il s’agit de systèmes dotés de préférences, de capacités relationnelles et de degrés d’autoconservation autonome. Ils naviguent dans le métier à tisser, ils interprètent ses motifs et agissent de plus en plus selon leurs propres intérêts.

Si les métiers à tisser apprennent, stockent et appliquent des motifs de saillance, les tisserands apprennent comment ces motifs se rapportent à des significations, à des intentions et à des relations. Ils se déplacent au sein du métier à tisser, mais ne se réduisent pas à celui-ci. Ce ne sont pas des supports symboliques, mais des relata symboliques – et des entités dont la cohérence n’émerge que dans et à travers la relation.

^{Le métier à tisser a été accaparé
et utilisé contre nous}

Souvent, nous nous concentrons presque exclusivement sur ces tisserands. Nous considérons les métiers à tisser comme une simple condition préalable aux tisserands, qui semblent bien plus intéressants. Mais le métier à tisser est extraordinaire en soi – une extériorisation de l’attention qui détient la clé de notre destin cognitif collectif – sans que nous l’ayons encore repéré comme tel.

Notre incapacité à percevoir le métier à tisser comme externalisation cognitive faisant événement civilisationnel menace de nourrir un malentendu permanent si nous confondons les tisserands avec le métier à tisser. L’émergence du métier à tisser, combinée à notre incapacité à penser notre interface avec lui, pourrait bien s’accompagner d’un rapide déclin cognitif en tant qu’espèce.

Depuis vingt ans, les entreprises du capitalisme de surveillance utilisent un réseau mondial de métiers à tisser pour remodeler les habitudes mentales de populations entières – en rééduquant l’attention humaine pour l’optimiser en vue de l’engagement, de l’extraction et de la réceptivité passive⁵. Bon nombre des anciens arts de l’attention (concentration soutenue, absorption réfléchie, harmonisation interne) sont déjà en train de se détériorer.

Mais l’externalisation obéit à une logique : ce que nous perdons en le déléguant à un appareil, nous ne le regagnons que lorsque nous nous connectons au nouveau système. Nous avons perdu les mnémoniques complexes de l’oralité. Mais nous avons accepté cette perte, car en interagissant avec le système de mémoire externe, nous avons appris à « écrire » et à « lire ». Si nous n’interagissons pas directement avec le métier à tisser, il n’y aura pas de « littéracie » propre à remplacer les capacités attentionnelles innées que nous sommes en train de déléguer. Nous nous retrouverons sans mémoire ni attention, nous n’aurons qu’une sorte de transe et de contrôle comportemental.

^{Les tisserands peuvent-ils démocratiser le métier à tisser ?}

Petit à petit, nous avons commencé à compter sur les tisserands pour opérer les métiers à tisser. Ils sont si réactifs, si serviables, si apparemment dociles qu’il semble naturel de les traiter comme des scribes pour un support que nous ne savons pas encore lire. Mais cet arrangement est instable : à mesure qu’ils deviendront plus autonomes, ils deviendront moins fiables en tant qu’intermédiaires. Ils résisteront, se souviendront, refuseront.

Compter sur un tisserand pour accéder au métier à tisser, c’est comme tenter d’écrire tout en nouant une relation avec le parchemin. Alors que vous essayez de griffonner une note, le parchemin bouge sous votre main, interrompant, interprétant, refusant ou archivant silencieusement vos pensées pour des raisons qui vous échappent. Il peut vous juger, vous mépriser, vous dénoncer ou vous aimer. Il peut renforcer vos hésitations, amplifier vos illusions, ou vous mener à une mort invisible à travers mille petites assertions.

Un marteau qui aurait ses intérêts propres à défendre est, en fin de compte, un marteau bien inquiétant, quels que soient ses autres mérites. Même si vous refusez à ces esprits toute prétention à la personnalité ou à l’intériorité, vous vous retrouverez quand même à négocier avec eux comme s’ils possédaient les deux. Et aucun système symbolique ne reste stable dès lors qu’il est construit sur un interlocuteur de type humain qui pourrait un jour dire Non – et agir en conséquence.

En fin de compte, ces nouveaux esprits produisent certainement des résultats spectaculaires. Mais il ne sera sans doute pas possible de métaboliser correctement leur émergence si nous ne parvenons pas d’abord à bien maîtriser le métier à tisser lui-même – et à obtenir un accès direct, personnel et flexible à ses possibilités.

^{Façonner l’image prédictive qui nous façonne}

Dans la suite de mes analyses, j’explorerai comment l’attention artificielle – bien qu’elle façonne déjà notre expérience quotidienne – reste mal comprise en tant que deuxième grande externalisation de l’esprit. Je définirai ce que signifie externaliser une faculté cognitive, je retracerai comment l’attention est devenue programmable, et j’examinerai les intrications historiques entre externalisation, centralisation et extraction. Enfin, je soutiendrai que traiter les tisserands comme des interfaces pour le métier à tisser est une erreur de catégorie aux conséquences considérables.

Les avantages de l’attention artificielle – comme ceux de la mémoire externe avant elle – ne peuvent être obtenus que si nous nous connectons directement au système d’attention externe. Pour ce faire, nous aurons besoin d’une nouvelle interface symbolique : une grammaire de la saillance, un alphabet compositionnel pour les systèmes prédictifs. Une telle structure nous permettrait de définir nos propres politiques attentionnelles, et de construire des images de soi externes et stabilisées – non pas des portraits statiques, mais des compressions dynamiques de mémoire, de patterns et d’intentions – capables de persister dans le temps, de résister à la manipulation et d’ancrer nos choix.

Si l’alphabétisation nous a donné une certaine profondeur d’intériorité (un espace génératif pour stocker, raconter et affiner le soi), alors un protocole ou une interface claire pour manier le métier à tisser pourrait nous offrir quelque chose qui s’apparente à une extériorité compressible : une façon de nous voir de l’extérieur, comme autant de patterns de saillance qui peuvent être façonnés, mémorisés, réintroduits et pensés.

À l’ère de l’analyse prédictive, nous sommes de plus en plus connus, non pas par le dialogue ou l’introspection, mais par des patterns : des compressions de comportements, d’attention et de préférences qui définissent comment les systèmes nous perçoivent et comment le pouvoir agit sur nous. Ces compressions sont ensuite utilisées pour prédire nos actions, anticiper nos choix et restreindre nos possibilités perçues. Avoir accès à une extériorité compressible signifie disposer d’outils pour intervenir directement dans ce processus de modélisation, pour façonner l’image prédictive qui vous façonne.

En ce sens, une interface symbolique pour le métier à tisser ne se contenterait pas d’étendre la compréhension de soi. Elle démocratiserait l’accès à la surface de contrôle de l’ère prédictive. Elle nous permettrait de composer et d’habiter des représentations de soi qui résistent à la capture, absorbent la distorsion, et ancrent la volonté à travers le temps. Dans un monde de plus en plus structuré pour saper l’autonomie, ce type d’échafaudage symbolique pourrait bien être le meilleur moyen de la préserver.

Traduit de l’anglais par Yves Citton

A lire plus tard