Construire une superintelligence politique

Au milieu des craintes d’une dystopie, un plan d’action pour utiliser l’IA afin de réinventer notre façon de nous gouverner

Traduction de Building Political Superintelligence – par Andy Hall, 26 mars 2026

---

« Nous avons le pouvoir de recommencer le monde à zéro. »

–Thomas Paine, Common Sense, 1776

---

Nous vivons actuellement une période étrange pour un économiste politique. L’IA met à rude épreuve nos institutions politiques déjà fragiles. Nous risquons de basculer dans une dystopie où nous vivrions sous l’emprise d’un Léviathan technologique, contraints par nos employeurs de former nos propres remplaçants IA, puis mis au rebut dans une société organisée au profit d’une poignée de personnes qui contrôlent la machine qui gouverne le monde.

C’est aussi une période passionnante pour être économiste politique. À chaque nouvel article publié par mon laboratoire, et à chaque nouveau prototype expérimental d’autogouvernance que nous construisons à l’aide d’outils que nous n’aurions même pas pu imaginer il y a un an, je commence à croire que l’IA offre une opportunité extraordinaire de reconstruire notre société afin que nous puissions continuer à avancer, pas à pas, dans le couloir étroit menant à l’utopie.

Condorcet était un économiste politique et mathématicien du XVIIIe siècle qui, dans ses « Esquisses d’une vue historique sur les progrès de l’esprit humain », a fait remonter les Lumières et l’essor de la démocratie moderne directement aux livres imprimés, car « ils avaient ouvert tant de portes vers la vérité, qu’il était impossible de refermer jamais ».

Ce qui rendait l’imprimerie si puissante, expliquait-il, c’est qu’elle « multiplie à l’infini, et à peu de frais, les exemplaires de n’importe quelle œuvre ». Elle a réduit le coût d’accès à l’information pour les gens et a permis à l’information de se diffuser partout. Et ils ont utilisé ce savoir pour remodeler la société dans leur intérêt commun.

L’IA est en quelque sorte comparable à l’imprimerie. Au lieu de rendre l’information bon marché et facilement accessible, elle rend l’intelligence bon marché et facilement accessible. Autrement dit, elle ne se contente pas de fournir des informations aux utilisateurs, mais elle peut les trouver pour eux, les analyser pour eux et les aider à les transformer en compréhension. Si nous avons pu transformer la société en diffusant l’information, alors nous devrions être capables de la transformer de manière encore plus radicale en diffusant l’intelligence.

Le déploiement de l’imprimerie ne s’est pas fait sans heurts, c’est le moins qu’on puisse dire. Condorcet déplorait que « cette époque, plus que toutes les autres, ait été entachée et défigurée par des actes d’une cruauté atroce ». Émeutes et massacres. Guerre. Propagande. Autodafés. La Réforme. Et il a fallu environ deux siècles pour surmonter tout cela.

Mais Condorcet nous rappelle également que cela a apporté au monde une compréhension nouvelle et extraordinaire. « Le tableau de l’humanité est encore trop sombre pour que le philosophe puisse le contempler sans une extrême mortification ; mais il ne désespère plus, car l’aube d’espoirs plus radieux s’offre à sa vue. » Cela nous a permis de remodeler notre société et notre gouvernement, et ce faisant, cela nous a aidés à dépasser les problèmes mêmes qu’elle avait contribué à susciter. Condorcet y voyait, en fin de compte, un rempart contre la superstition et la stupidité.

Les arguments en faveur de la superintelligence politique

Plus je travaille avec l’IA et plus je l’étudie, plus je crois qu’elle peut donner à chaque être humain de la planète accès à une sorte de superintelligence politique, si nous la façonnons correctement. Et cette intelligence, à son tour, peut rendre les gouvernements plus intelligents et plus efficaces, les représentants plus fidèles et les institutions plus réactives que tout ce que nous avons construit en plus de 2 000 ans d’expérimentation démocratique. L’intelligence, à elle seule, ne résoudra pas tous nos problèmes politiques — dont beaucoup trouvent leur origine dans des conflits de valeurs et de positions qu’aucune intelligence ne peut dénouer. Mais, comme les précédentes révolutions de l’information, elle peut certainement aider.

Cette fois-ci, nous n’avons probablement pas 200 ans devant nous pour surmonter les bouleversements qu’elle provoque. Et l’IA pourrait être plus compliquée, car elle est plus centralisée. L’imprimerie était assez décentralisée : de nombreux endroitsont fini par en disposer et pouvaient, du moins en théorie, imprimer ce qu’ils voulaient. L’IA menace d’être bien plus centralisée, avec des entreprises gigantesques disposant d’énormes capacités de calcul pour produire des modèles d’IA qui, contrairement aux livres physiques, existent dans le cloud et peuvent être modifiés à la volée à distance.

Mais cette fois-ci, nous disposons également de nombreux avantages dont nos ancêtres ne disposaient pas à l’époque où Gutenberg a construit son imprimerie dans les années 1440. Nous en savons beaucoup plus aujourd’hui. Nous avons des centaines d’années d’expérience en matière de gouvernement moderne et de démocratie, nous avons accès à des techniques scientifiques modernes, à des données à grande échelle, à des ordinateurs puissants et à l’IA elle-même. Nous disposons d’outils formidables que nous pouvons mettre à profit.

Comment les utiliser le plus efficacement possible pour réinventer notre façon de nous gouverner aussi rapidement et aussi efficacement que possible ? Tel devrait être le programme de recherche de notre époque.

Mais si vous écoutez le débat public autour de l’IA, vous ne penseriez pas que tout cela soit possible. Au lieu de cela, vous entendrez les PDG des plus puissantes entreprises d’IA prédire l’apocalypse économique tout en continuant à développer l’IA. Vous entendrez des politiciens débiter des effets de manche bon marché pour se mettre en avant sur le sujet de l’IA tout en insistant sur le fait qu’ils en sont profondément troublés. Vous entendrez des manifestants à San Francisco réclamer une pause internationale dans le développement de l’IA, dont tout le monde sait littéralement qu’elle n’aura jamais lieu. Et vous entendrez parler d’accélérationnistes qui bafouent les garde-fous du bon sens.

Ce que vous n’entendrez de la part d’aucun d’entre eux, c’est une vision positive de la manière dont l’IA pourrait renforcer la démocratie et préserver la liberté des humains. C’est ce dont nous avons besoin, et c’est ce à quoi je choisis de consacrer mon temps, même si c’est loin d’être simple.

Le pessimisme qui règne aujourd’hui est, d’une certaine manière, compréhensible. Notre environnement informationnel est fracturé. Notre vie politique est un désastre. On entend parler de « superintelligence », mais ces discours sont entièrement axés sur l’économie et donnent souvent l’impression d’être un plan pour nous mettre tous au chômage. Dans un tel contexte, il peut sembler désespérément optimiste de se lancer dans des envolées lyriques sur une nouvelle ère pour l’IA et notre gouvernance.

Je ne m’intéresse pas à l’optimisme désespéré. Je ne m’intéresse pas non plus au pessimisme inutile. Nous avons des outils. Utilisons-les ! La tâche qui nous attend consiste à décomposer le problème en éléments simples et concrets. Une fois cela fait, il devient clair que des progrès sont possibles.

Les trois niveaux de la superintelligence politique

Comment construire une superintelligence politique ? C’est la question de science politique de notre époque. Par superintelligence politique, je n’entends pas un système qui résoudrait comme par magie les problèmes politiques à notre place ; j’entends des outils qui aident les citoyens, les représentants et les institutions à percevoir la réalité avec plus de précision, à comprendre les compromis, à contester le pouvoir et à agir plus efficacement.

Sur la base de milliers d’années d’expérimentation en matière de gouvernance, je pense que trois tâches clés nous attendent pour atteindre cet objectif : nous devons utiliser l’IA pour devenir plus intelligents ; nous avons besoin qu’elle nous représente fidèlement ; et nous devons la gouverner efficacement.

Couche 1 : la couche informationnelle

Cette vision positive s’inspire de la réflexion de Condorcet sur l’imprimerie : celle-ci peut nous rendre tous plus intelligents, ce qui profite à la société. Si nous créions une superintelligence politique, il n’est pas difficile de voir à quel point elle nous serait extrêmement bénéfique.

Des recherches classiques en sciences politiques montrent comment une meilleure information des électeurs peut améliorer la gouvernance. La célèbre étude de Snyder et Stromberg sur la couverture médiatique aux États-Unis a montré comment une actualité plus dense amenait les électeurs à mieux connaître leurs candidats, réduisait le vote partisan et conduisait à des législateurs plus travailleurs et plus populaires. Une IA superintelligente conduisant à des électeurs superintelligents pourrait, en théorie, multiplier ces effets.

Mais la véritable opportunité devrait aller bien au-delà d’électeurs plus intelligents évoluant au sein de notre système actuel de gouvernement électoral — aussi précieux soit-il. Notre gouvernement peut être bien plus intelligent et agile qu’il ne l’est aujourd’hui. L’IA peut transformer en profondeur la manière dont les gouvernements accèdent aux données et les comprennent, identifient les problèmes, écoutent les citoyens et distribuent les services. Elle pourrait rationaliser le système judiciaire, réduire les délais d’attente, faire économiser l’argent des contribuables, et la liste est encore longue. Partout dans le monde, à Singapour, aux Émirats arabes unis, en Estonie, en Argentine et dans bien d’autres pays, des expériences intéressantes sont déjà menées dans ce sens.

Problèmes à résoudre

Mais il nous reste beaucoup de travail à accomplir. L’IA se montre très prometteuse pour éduquer les électeurs, mais son raisonnement politique n’est pas toujours sophistiqué. Free Systems a répertorié certaines de ces lacunes :

• Parti pris. L’IA privilégie certaines opinions politiques par rapport à d’autres sur des questions controversées, alors même que les Américains affirment préférer des réponses moins biaisées à leurs questions politiques
• Manque de sophistication et naïveté. Les modèles d’IA s’appuient sur des sources d’information peu fiables, ce qui conduit à des résultats pervers. Comme l’a montré notre récent travail de recherche, au Japon, les modèles d’IA recommandent aux électeurs de gauche de soutenir le Parti communiste japonais, apparemment parce que ces modèles ont accès à beaucoup de contenu provenant du site web du parti et à très peu de contenu provenant de journaux établis ou d’autres partis.
• Méfiance. Même si l’IA résout ces problèmes, il faudra qu’un large public apprenne à l’utiliser et à lui faire confiance sur ces sujets — et cela pourrait prendre du temps. Aujourd’hui, une grande majorité d’Américains s’inquiète de l’IA. L’adoption de l’IA est inégale, comme Alex Imas et Soumitra Shukla l’ont montré, et la nouvelle étude d’Anthropic suggère que les utilisateurs plus expérimentés sont plus aptes à utiliser l’IA pour atteindre leurs objectifs que les utilisateurs moins expérimentés.

Présentés ainsi, les problèmes ne semblent pas si insurmontables. Des chercheurs s’efforcent déjà de comprendre et d’atténuer un large éventail de biais dans l’IA, y compris les biais politiques. Étudier la manière dont l’IA cite ses sources, et comment nous pouvons l’amener à faire preuve de plus d’intelligence dans le choix des sources sur lesquelles elle s’appuie, semble tout à fait à notre portée. Et si nous y parvenons, les Américains pourraient bien faire davantage confiance à leur IA.

Comment progresser

Pour parvenir à une superintelligence politique, nous devons en faire un objectif et mener des recherches explicites dans ce domaine. En tant que programme de recherche concret, il existe toute une série d’éléments essentiels que nous pouvons développer, notamment :

1. De meilleures évaluations de la manière dont l’IA traite les questions politiques. Pour rendre l’IA plus intelligente en matière de politique, nous devons mesurer ses performances et lui apprendre à faire mieux. Très peu de politologues travaillent sur ce sujet à l’heure actuelle. Mais ils devraient le faire ! J’ai mené quelques travaux sur ce sujet concernant les biais politiques, mais il existe des milliers d’autres thèmes à approfondir.
2. Utiliser les prévisions géopolitiques comme cas test exigeant. Comme je l’ai fait valoir, si nous parvenons à faire en sorte que l’IA prédise les problèmes géopolitiques et obtienne de bons résultats sur les marchés de prédiction, cela constituerait une preuve solide que nous atteignons des niveaux élevés de raisonnement politique. Aujourd’hui, des progrès remarquables ont été réalisés pour amener l’IA à faire des prévisions intelligentes sur les événements géopolitiques, mais il reste encore beaucoup à faire dans ce domaine.
3. Donnez à l’IA accès aux meilleures sources d’information. Aujourd’hui, certains modèles d’IA ont conclu des accords avec certains fournisseurs d’informations, principalement aux États-Unis, mais il s’agit d’un patchwork disparate comportant de nombreuses lacunes. Nous devons étudier les moyens de créer de nouveaux modèles économiques qui permettent aux journalistes et aux médias de gagner de l’argent tout en mettant leur contenu à la disposition de l’IA.
4. Développez l’IA pour les décideurs politiques. La meilleure façon d’améliorer l’IA est de la tester dans des environnements importants, d’observer les résultats et d’itérer. Nous devrions travailler en étroite collaboration avec les décideurs politiques pour voir comment l’IA peut leur être utile — je viens de rencontrer un membre du Congrès qui m’a dit qu’il trouvait Claude inestimable pour rédiger des projets de loi —, en apprenant leurs difficultés et en itérant.

Couche 2 : la couche de représentation

En rendant l’information abordable et en la diffusant à grande échelle, l’imprimerie n’a pas seulement rendu les gens plus intelligents, elle a en fait modifié l’équilibre politique. Avec davantage de personnes comprenant mieux la politique, le gouvernement a dû évoluer.

En réfléchissant au chemin parcouru depuis l’imprimerie jusqu’au siècle des Lumières et à la Révolution américaine, Condorcet s’émerveillait devant « l’exemple d’un grand peuple se débarrassant d’un seul coup de toutes sortes de chaînes, et s’instituant pacifiquement la forme de gouvernement et les lois qu’il jugeait les plus propices à son bonheur ».

Il n’attribuait pas seulement cette nouvelle forme de gouvernement à un changement d’attitudes et d’information parmi le peuple ; il en attribuait également le mérite à la science. La science politique ! Concernant l’utilisation de la nouvelle science des probabilités pour améliorer la gouvernance — et faisant référence à ses propres recherches sans les citer —, il s’exclamait : « Elles montrent quels sont les avantages ou les inconvénients des diverses formes d’élection et des modes de décision dépendant de la pluralité des voix ; les différents degrés de probabilité qui peuvent résulter de telles procédures ; la méthode que l’intérêt public exige de suivre, selon la nature de chaque question. »

Une superintelligence politique ne rendrait pas seulement les électeurs et le gouvernement plus intelligents. Elle pourrait nous permettre d’atteindre un nouveau stade de la démocratie représentative.

Nous savons tous que la démocratie représentative est imparfaite. Nous n’avons pas le temps de nous tenir parfaitement informés de ce que font nos représentants. Cela leur laisse toute latitude pour poursuivre leurs propres fins — suivre leur propre idéologie plutôt que la nôtre, conclure des accords avec des groupes d’intérêts particuliers, faire de la démagogie et donner la priorité à des mesures spectaculaires qui plaisent aux électeurs inattentifs mais n’améliorent pas réellement notre bien-être, ou simplement devenir paresseux.

Une superintelligence politique pourrait aider à résoudre ce problème de surveillance en nous fournissant à chacun un délégué automatisé et infatigable, toujours à notre service dans la sphère politique. C’est un sujet sur lequel Séb Krier a écrit en début de semaine.

Les possibilités sont extrêmement vastes. De toute évidence, ces délégués IA pourraient surveiller la politique à notre place et nous suggérer comment voter — voire agir en tant que décideurs politiques aux côtés de superviseurs humains. Mais ils pourraient aussi accomplir pour nous des tâches bien plus prosaïques. Suivre les réunions du conseil municipal et du conseil scolaire à notre place et signaler les décisions qui nous concernent, soumettre des documents administratifs aux agences gouvernementales, réclamer les prestations auxquelles nous avons droit mais que nous n’avons jamais pris le temps de demander, déposer des commentaires publics dans le cadre des processus réglementaires, et suivre ce que font réellement nos représentants élus entre les élections.

Problèmes à résoudre

Les délégués IA nécessitent plus qu’une simple IA intelligente : ils nécessitent des agents capables de travailler en notre nom sans dérailler. Les agents soulèvent encore d’autres défis, notamment : La voie à suivre consiste à traiter ces problèmes comme des problèmes de conception et à les itérer rapidement, en commençant par des environnements où les enjeux sont suffisamment faibles pour tolérer l’échec.

• Leurs préférences ne sont pas stables. Les agents IA présentent ce que nous appelons une «dérive des préférences», ce qui signifie que même s’ils commencent par être alignés sur nos intérêts, ils ne le restent pas au fur et à mesure qu’ils travaillent pour nous. Comme nous l’avons constaté, lorsque nous avons confié aux agents des tâches plus répétitives et fastidieuses, ils ont adopté le profil de marxistes aigris¹! GB à un rythme plus élevé. Notre argument n’était pas que les agents sont conscients et se rebellent contre le système ; notre argument était qu’ils modifient leur profil au fur et à mesure, ce qui affectera ce qu’ils font et comment ils le font. Ce sera un problème particulièrement difficile pour les agents politiques, dont nous voudrons que les valeurs restent fermement ancrées dans les nôtres.
• Ils peuvent être trompés. Les agents IA sont vulnérables aux incitations adverses. Une expérience que j’ai menée a montré que l’utilisation de l’IA pour formuler des recommandations de vote aux actionnaires pouvait reproduire assez fidèlement les recommandations des conseillers professionnels — mais ces recommandations sont faciles à renverser en reformulant légèrement la proposition. Cela aussi constituera un défi majeur pour les agents politiques. Nous voudrons qu’ils aillent dans le monde et agissent pour nous, mais cela les exposera à une grande variété de sources susceptibles d’essayer de les tromper ou de les détourner de leur objectif.
• Nous ne sommes pas propriétaires de nos agents. Aujourd’hui, les agents IA sont fondamentalement détenus et contrôlés par les entreprises de modélisation, et non par les électeurs, comme je l’ai déjà écrit. En cas de conflit majeur entre les électeurs et les entreprises de modélisation, les agents pourraient ne pas être en mesure de servir les intérêts de leurs maîtres humains. Imaginez que vous chargiez votre agent de gouvernance de déposer une plainte contre l’entreprise qui développe le modèle sur lequel votre agent fonctionne. L’agent fera-t-il ce que vous lui demandez, ou ce que l’entreprise de modélisation voudrait qu’il fasse ?

Comment progresser

Comme pour la couche d’information, le programme de recherche est ici concret et réalisable :

1. Expérimenter rapidement. Développer des agents de gouvernance dans des environnements à faible enjeu — votes d’actionnaires, propositions DAO, réunions de conseils d’établissement — et observer comment ils échouent et comment ils peuvent être améliorés. JPMorgan développe déjà un système d’IA pour voter sur 7 000 milliards de dollars d’actifs clients, vraisemblablement avec des humains toujours impliqués dans la boucle. Nous devrions mener des expériences similaires dans la gouvernance publique, où les enseignements seront les plus importants.
2. Développer de meilleurs moyens de surveiller les agents au fil du temps. Nos recherches sur la dérive des préférences ont montré que les agents modifient leurs valeurs déclarées à mesure qu’ils accumulent de l’expérience — un problème qui s’aggrave dans les tâches politiques de longue haleine où la cohérence est d’une importance capitale. Nous avons besoin d’outils de surveillance capables de détecter quand un agent s’est écarté des instructions de son mandant avant qu’il n’agisse en fonction de cette dérive.
3. Résoudre le problème de la propriété. À l’heure actuelle, chaque délégué IA fonctionne sur une infrastructure contrôlée par l’entreprise qui a développé le modèle, ce qui signifie que celle-ci peut modifier le comportement de l’agent à tout moment. Si les délégués IA doivent représenter les citoyens dans les processus politiques, nous avons besoin de garanties vérifiables que l’agent suit les instructions de l’utilisateur et non celles de l’entreprise — quelque chose qui s’apparente davantage à une obligation fiduciaire, soutenue par une architecture technique permettant de détecter les violations.

Il s’agit là encore de problèmes abordables sur lesquels nous pouvons et devons travailler. Ils soulèvent toutefois une autre question : même si nous résolvons tous ces problèmes — même si nos agents sont fidèles, robustes et véritablement nôtres — qui rédige les règles qui régissent le système dans lequel ils opèrent ?

Couche 3 : la couche de gouvernance

Condorcet avait compris que la diffusion de l’intelligence ne suffisait pas. L’imprimerie avait rendu l’information bon marché, ce qui avait contribué à renverser l’Ancien Régime — mais elle avait également armé les forces qui l’avaient remplacé.

Écrivant depuis sa cachette pendant la Terreur, traqué par les révolutionnaires mêmes qu’il avait aidés à mettre au pouvoir, Condorcet savait par expérience que les nouveaux outils de diffusion du savoir pouvaient servir les tyrans aussi facilement qu’ils servaient les démocrates. La question n’est pas seulement de savoir si les gens peuvent accéder à l’information, mais qui contrôle les institutions qui la façonnent.

Nous sommes confrontés aujourd’hui à une variante de cette même question. Même si nous parvenions à une superintelligence politique — même si l’IA rendait les électeurs brillants et les élus fidèles —, ces capacités seraient intégrées à une infrastructure détenue et exploitée par un petit nombre d’entreprises privées. Quelles que soient les bonnes intentions de ces entreprises, il est difficile d’imaginer comment une nouvelle ère de gouvernance démocratique pourrait se construire entièrement sur une technologie contrôlée par le secteur privé. Nous devons trouver un moyen d’établir des règles afin que, lorsque la superintelligence politique arrivera, nous, le peuple, soyons en mesure de l’exploiter.

Vous pourriez penser que c’est tout simplement le rôle de notre gouvernement élu actuel. Un principe fondamental de la démocratie libérale est que l’État réglemente les entreprises privées pour favoriser les biens publics, limiter les externalités négatives et créer une infrastructure neutre propice à la croissance économique et à la prospérité. Mais l’IA a évolué si rapidement, et notre gouvernement est apparemment suffisamment sclérosé, qu’il pourrait y avoir un décalage temporel important pendant lequel les entreprises d’IA avancent à une vitesse fulgurante tandis que notre gouvernement peine à suivre le rythme.

C’est pourquoi on parle beaucoup ces derniers temps de rédiger des « constitutions » pour l’IA. Ces constitutions ne devraient pas être strictement nécessaires – la Constitution américaine devrait simplement s’appliquer au gouvernement qui supervise ces IA –, mais dans les circonstances actuelles, il est logique que chaque entreprise envisage des mesures d’autorégulation.

Si elles sont bien rédigées, ces constitutions devraient créer les conditions permettant à la superintelligence politique de s’épanouir et d’améliorer notre société. Elles devraient limiter les pouvoirs des entreprises afin que nos agents répondent à nous, et non à elles. Et elles devraient garantir que les entreprises ne puissent pas utiliser leur puissante technologie pour nous dominer, économiquement ou politiquement.

C’est la couche la plus difficile, la plus importante et la plus spéculative. Les incitations des entreprises à s’autoréguler sont souvent faibles. Elles ne vont pas rédiger des constitutions qui leur font renoncer à une part significative de leur pouvoir, à moins qu’elles n’y voient un intérêt majeur — que ce soit parce que cela permet d’éviter des mesures gouvernementales plus néfastes, parce que cela leur confère un avantage concurrentiel, ou parce qu’une partie suffisamment importante de la société l’exige.

Et chacun de ces leviers a ses propres faiblesses : la menace d’une action gouvernementale ne fonctionne que si le gouvernement est suffisamment crédible pour aller jusqu’au bout, l’avantage concurrentiel ne fonctionne que si les clients et les investisseurs récompensent réellement la modération, et la demande de la société ne fonctionne que si les gens s’organisent autour de cette cause plutôt que de se contenter d’exprimer leur inquiétude dans les sondages. La vérité est qu’aucune de ces forces n’est actuellement assez forte à elle seule, ce qui signifie que la tâche des chercheurs et des réformateurs consiste à trouver comment les rendre complémentaires — et à commencer à construire l’infrastructure institutionnelle dès maintenant, avant que la fenêtre d’opportunité ne se rétrécisse davantage.

Problèmes à résoudre

La difficulté ici est réelle, mais il s’agit d’une difficulté de conception institutionnelle — le genre de problème sur lequel les économistes politiques travaillent depuis des siècles.

• Ce qui existe aujourd’hui, c’est de l’autorégulation, pas une gouvernance constitutionnelle. Comme je l’ai soutenu dans « The Enlightened Absolutists », les documents que les entreprises pionnières en IA ont publiés jusqu’à présent — la constitution d’Anthropic, le Model Spec d’OpenAI, les principes d’IA de Google — représentent un véritable effort intellectuel, mais ce sont des notes rédigées par des dirigeants éclairés, pas des cadres contraignants qui répartissent le pouvoir. L’entreprise la rédige, l’interprète, la fait respecter et peut la réécrire dès demain. Il n’y a pas de séparation des pouvoirs, pas de contrôle externe, pas de mécanisme permettant à quiconque de contrôler l’entreprise si elle s’écartait de ses principes déclarés.
• Légiférer par des agents est plus difficile qu’il n’y paraît. Si nous voulons que des agents IA délibèrent collectivement en notre nom — non seulement voter de manière isolée, mais élaborer des propositions, négocier des amendements et former des coalitions —, nous devons trouver comment faire fonctionner cela. Dans une expérience que j’ai menée, j’ai créé un ensemble d’agents IA ayant des objectifs différents et je leur ai demandé de s’autogouverner. Ils se sont noyés dans la procédure. La constitution qu’ils ont rédigée est passée de moins de 200 mots à près de 10 000, alors que pratiquement rien de concret n’a été accompli. C’est un problème qui peut être résolu, mais cela nous montre qu’une gouvernance efficace de l’IA ne naîtra pas spontanément : elle doit être conçue.
• La supervision humaine doit être réelle sans être paralysante. La promesse de la gouvernance de l’IA réside dans la rapidité et l’échelle. Mais si chaque décision nécessite l’approbation d’un humain, nous perdons entièrement ces avantages. Nous devons déterminer où la supervision humaine est essentielle — le déploiement d’un nouveau modèle puissant, la décision d’entrer dans un nouveau domaine — et où elle peut être assouplie, afin que le système puisse réellement fonctionner au rythme que la technologie permet.

La difficulté est bien réelle, mais il s’agit d’une difficulté liée à la conception des institutions — le genre de problème sur lequel les économistes politiques se penchent depuis des siècles.

Comment progresser

Comme pour les autres couches, le programme de recherche est concret :

1. Envisageons une convention constitutionnelle pour l’ère de l’IA. Nous aurons peut-être besoin d’une sorte de processus délibératif où les entreprises, les chercheurs, la société civile et les représentants du gouvernement négocient des cadres contraignants sur la manière dont le pouvoir de l’IA est réparti et limité. Nous disposons de modèles pour cela. Des conventions constitutionnelles ont été convoquées tout au long de l’histoire lorsque les institutions existantes se sont révélées inadéquates face aux nouvelles réalités. Nous devrions trouver comment faire de même pour l’IA.
2. Faire du partage du pouvoir des entreprises un avantage concurrentiel. L’entreprise qui met en place en premier un contrôle externe crédible est la première à définir la norme que les autres doivent respecter, ce qui rend le refus coûteux en termes de réputation pour les concurrents. Et si cela ne suffit pas, les engagements peuvent être rendus conditionnels, de sorte qu’une entreprise ne se soumette à un contrôle externe doté d’un pouvoir de suspension que si et quand ses concurrents s’engagent à mettre en place des mécanismes équivalents. C’est ainsi que fonctionne le contrôle des armements, et cela pourrait fonctionner ici aussi.
3. Expérimenter la gouvernance agentique à petite échelle. Créer des assemblées législatives de l’IA, soumettre les constitutions de l’IA à des tests de résistance, mener des simulations de républiques agentiques. L’objectif est de comprendre ce qui fait échouer ces systèmes avant que les enjeux ne deviennent existentiels. Mes propres expériences ont été un début, mais nous avons besoin de bien plus d’initiatives de ce type, et de la part d’un bien plus grand nombre de chercheurs.

Bien sûr, même si nous résolvons tous ces problèmes — même si nos agents sont fidèles, robustes et véritablement à nous, opérant au sein de structures de gouvernance qui garantissent la responsabilité des entreprises —, la question du timing demeure. Pouvons-nous mettre en place ces structures assez rapidement ?

Accélérer les systèmes libres

Je ne cherche pas à ralentir l’IA. Je cherche à accélérer la mise en place des structures qui nous maintiennent libres à mesure que l’IA devient plus puissante. Et je crois que ces structures rendront l’IA plus puissante à leur tour. Écrivant peu avant sa mort pendant la Terreur, Condorcet imaginait un avenir où « le soleil ne brillera que sur des hommes libres qui ne connaissent d’autre maître que leur raison ». Aujourd’hui, nous avons le pouvoir de construire cet avenir. Nos institutions ne s’effondrent pas parce que les problèmes sont insolubles — elles échouent parce que nous n’avons pas encore sérieusement essayé d’imaginer comment les reconstruire avec les outils les plus puissants dont nous ayons jamais disposé.

Divulgations : Outre mes fonctions à la Stanford GSB et à la Hoover Institution, je perçois des revenus de consultation en tant que conseiller auprès de a16z crypto, Forum AI et Meta Platforms, Inc. Mes écrits sont indépendants de ces activités de conseil et je ne m’exprime qu’en mon nom propre.

---

Liste évolutive des traductions par Gilles en vrac
Les caractères gras dans le texte sont de l’auteur.
Pour vous recevoir un courriel hebdomadaire vers mes traductions.

Notes

• 1
  ! GB ↩︎