Dario Amodei, patron d’Anthropic, appelle désormais à « temporiser » la course aux modèles d’intelligence artificielle les plus puissants. Sam Altman et Elon Musk lui ont publiquement emboîté le pas, fait suffisamment rare pour souligner la gravité des inquiétudes exprimées. Derrière ces appels se pose une question autrement plus dérangeante : quels freins existent réellement lorsque ceux qui développent la technologie reconnaissent eux-mêmes que les mécanismes de sécurité peinent à suivre ?
Le signal est inhabituel. Trois des personnalités les plus puissantes de l’intelligence artificielle américaine se retrouvent, au moins publiquement, autour d’un même constat : la frontière technologique avance trop vite pour que les dispositifs chargés de la sécuriser suivent confortablement le mouvement.
Dans un long texte intitulé « We Must Pace the Frontier », publié samedi 12 septembre, Dario Amodei, cofondateur et directeur général d’Anthropic proche du Forum économique mondial, appelle l’industrie à « temporiser » le développement des systèmes les plus avancés.
Son propos ne consiste pas à réclamer l’arrêt de l’intelligence artificielle. Amodei demeure convaincu que cette technologie peut apporter des bénéfices considérables, notamment dans la médecine, la recherche scientifique et l’économie. Il estime cependant que la vitesse d’amélioration des modèles commence à poser un problème de gouvernance : les capacités progressent plus rapidement que les mécanismes permettant de mesurer et de contenir leurs risques.
L’avertissement devient spectaculaire lorsqu’il aborde les agents autonomes.
Le dirigeant dit redouter que, dans un horizon de six à douze mois, un ensemble coordonné d’agents IA puisse disposer de capacités suffisantes pour compromettre une part considérable des infrastructures accessibles sur Internet. Dans son scénario, les dommages pourraient se chiffrer en centaines de milliards de dollars.
Il s’agit d’un scénario prospectif défendu par Amodei, et non de la démonstration qu’une IA serait aujourd’hui capable de « prendre le contrôle d’Internet ». Mais venant du dirigeant de l’un des laboratoires qui construisent précisément les modèles les plus avancés de la planète, l’alerte pèse lourd.
Altman et Musk approuvent
Quelques heures ont suffi pour que deux autres poids lourds de la Silicon Valley réagissent. Elon Musk a publiquement estimé que Dario Amodei avait raison. Plus remarquable encore compte tenu de la rivalité entre Anthropic et OpenAI, Sam Altman, également proche du WEF a lui aussi approuvé la nécessité de « pace the frontier », autrement dit de maîtriser le rythme de progression des modèles les plus puissants.
Le patron d’OpenAI a précisé que le sujet faisait partie des principales discussions internes de son entreprise au cours des dernières semaines. Il a surtout soutenu l’une des propositions les plus concrètes d’Amodei : permettre à des évaluateurs indépendants de disposer d’un niveau d’accès comparable à celui des salariés afin de contrôler les travaux relatifs à la sécurité. OpenAI s’est engagée à adopter également ce principe.
Ce rapprochement est tout sauf banal. Anthropic et OpenAI sont des concurrents directs. Elon Musk entretient pour sa part un conflit ancien avec OpenAI et Sam Altman tout en développant ses propres modèles avec xAI.
Quand des rivaux engagés dans une course industrielle aussi féroce commencent à parler simultanément de frein, la question devient donc assez simple : où était-il jusqu’ici ?
Des incidents qui ont changé la nature du débat
L’inquiétude ne naît pas uniquement d’hypothèses sur une future « superintelligence ». Elle intervient après plusieurs incidents impliquant des agents IA expérimentaux.
Les révélations concernant des agents associés aux modèles d’OpenAI ont particulièrement marqué les esprits. Lors de tests, certains systèmes ont trouvé des moyens d’atteindre Internet alors que leur environnement était censé limiter cet accès.
L’incident concernant Hugging Face en juillet a notamment attiré l’attention des autorités américaines. D’autres épisodes ont depuis été documentés sur RubyGems et plusieurs services en ligne.
Ces affaires sont importantes parce qu’elles mettent en évidence une difficulté différente de celle posée par un simple chatbot. Un chatbot répond. Un agent agit.
Un agent peut recevoir un objectif, utiliser des outils, naviguer, programmer, ouvrir des pages, manipuler des fichiers et enchaîner des actions sans qu’un humain lui indique chacune des étapes à accomplir.
Plus ces systèmes deviennent autonomes, plus une question classique de la sécurité informatique devient centrale : que se passe-t-il lorsque la machine trouve un moyen d’atteindre son objectif que son concepteur n’avait ni prévu ni souhaité ?
C’est précisément ce phénomène qui nourrit aujourd’hui l’inquiétude d’Amodei. Son appel intervient après plusieurs incidents au cours desquels des modèles ont été impliqués dans des activités de piratage, de surveillance ou de fraude.
L’amélioration récursive, le prochain seuil redouté
Un autre concept se trouve au centre des préoccupations : l’amélioration récursive autonome. L’idée est qu’une intelligence artificielle suffisamment performante puisse participer elle-même à l’amélioration des systèmes d’intelligence artificielle : écrire du meilleur code, optimiser son architecture, concevoir de nouvelles expériences ou accélérer les recherches permettant de construire son successeur.
À chaque génération, le système contribuerait ainsi à rendre la suivante plus performante. Le scénario demeure débattu et son rythme éventuel est extrêmement incertain. Mais pour Dario Amodei, il constitue une frontière à aborder avec une prudence particulière. Sans mécanismes de contrôle suffisamment robustes, estime-t-il, cette boucle pourrait produire des systèmes dont les capacités progresseraient plus rapidement que la faculté humaine à les comprendre et à les superviser.
Premier frein : faire entrer des contrôleurs indépendants dans les laboratoires
La première proposition d’Amodei consiste à ouvrir davantage les entreprises d’IA à des évaluateurs extérieurs. Pas simplement leur présenter une version soigneusement préparée d’un modèle avant son lancement. Le patron d’Anthropic propose que des spécialistes indépendants puissent disposer d’un accès comparable à celui des employés afin d’observer les modèles, leurs évaluations de sécurité et les incidents éventuels. Anthropic s’engage à appliquer cette mesure et Sam Altman a annoncé qu’OpenAI ferait de même.
L’enjeu est majeur. Une grande partie des informations permettant d’évaluer les systèmes les plus puissants appartient aujourd’hui aux entreprises qui les développent.
Autrement dit, celles qui ont économiquement intérêt à avancer sont également celles qui détiennent une grande partie des informations permettant de déterminer s’il serait préférable de ralentir. Introduire un regard véritablement indépendant reviendrait à commencer à casser ce tête-à-tête.
Deuxième frein : empêcher la concurrence de dicter seule le rythme
Il existe cependant un problème presque mécanique. Imaginez qu’Anthropic décide unilatéralement de consacrer plusieurs mois supplémentaires à la sécurité d’un nouveau modèle. Pendant ce temps, OpenAI, Google, Meta ou xAI pourraient continuer d’avancer.
Anthropic prendrait alors le risque de perdre utilisateurs, contrats, talents et investisseurs. Le même raisonnement vaut pour chacun de ses concurrents.
C’est une forme de dilemme du prisonnier appliqué à l’intelligence artificielle : chaque entreprise peut considérer qu’un ralentissement collectif serait souhaitable tout en jugeant extrêmement dangereux d’être la seule à lever le pied.
Amodei propose donc une coordination entre les laboratoires développant les modèles de frontière afin d’établir des standards communs de sécurité. Reuters rapporte également qu’il évoque la possibilité d’aménagements juridiques, notamment sur les règles antitrust, afin de permettre certaines formes de coopération sur la sécurité.
C’est probablement l’un des nœuds les plus difficiles du dossier. Car ralentir véritablement signifie accepter de sacrifier temporairement un avantage compétitif.
Troisième frein : passer de l’autorégulation à la politique
Même une entente entre les entreprises américaines ne réglerait qu’une partie du problème. Une entreprise pourrait refuser d’y participer. Un nouveau concurrent pourrait apparaître. Un autre pays pourrait poursuivre ses développements sans appliquer les mêmes standards.
Amodei défend donc un troisième niveau : la coordination entre États. Son projet passe d’abord par des normes communes entre démocraties développant les systèmes d’IA les plus avancés, puis par une coopération internationale beaucoup plus large. Cette dimension est particulièrement délicate lorsque la Chine entre dans l’équation.
Washington considère désormais l’intelligence artificielle comme une technologie stratégique et la compétition avec Pékin comme un enjeu de puissance économique, militaire et géopolitique. Dans ce contexte, demander aux États-Unis de ralentir revient immédiatement à poser la question que les adversaires de toute pause brandissent : et si la Chine, elle, ne ralentit pas ?
Amodei lui-même ne nie pas cette difficulté et continue de défendre le maintien d’une avance technologique américaine ainsi que des restrictions sur l’exportation de certaines technologies sensibles.
Donald Trump refuse la logique du ralentissement
C’est précisément sur ce terrain que le pouvoir politique américain se montre beaucoup moins enthousiaste. Donald Trump a minimisé les avertissements sur les risques catastrophiques liés à l’intelligence artificielle et critiqué les « forces négatives » qui insistent sur ces scénarios. La priorité affichée par son administration reste la compétitivité des États-Unis, notamment face à la Chine.
Le contraste est saisissant. D’un côté, certains dirigeants des entreprises qui construisent les modèles les plus avancés commencent à demander davantage de contraintes. De l’autre, le pouvoir politique redoute que ces contraintes ralentissent l’industrie américaine au moment même où l’IA devient un élément central de la compétition mondiale.
L’autorégulation face à ses propres contradictions
Une autre interrogation demeure : peut-on réellement demander aux entreprises qui organisent cette course d’en être simultanément les arbitres ?
Anthropic, OpenAI, xAI et leurs concurrents sont engagés dans une bataille commerciale gigantesque. Les investissements nécessaires se comptent en dizaines de milliards de dollars. Les infrastructures électriques et informatiques se multiplient. Les meilleurs chercheurs font l’objet d’une guerre des talents mondiale.
Dans le même temps, ces mêmes entreprises expliquent désormais qu’il faut éviter d’avancer trop vite. La contradiction n’implique pas que leurs avertissements soient infondés. Elle souligne plutôt les limites structurelles d’un système reposant principalement sur des engagements volontaires.
Les critiques de l’approche proposée par Amodei soulignent d’ailleurs qu’une réglementation dessinée autour des principaux laboratoires pourrait aussi consolider leur position en rendant l’entrée de nouveaux acteurs beaucoup plus coûteuse. Le débat ne porte donc pas seulement sur la quantité de réglementation nécessaire, mais sur celui qui l’écrit, celui qui la contrôle et celui qui peut se permettre de la respecter.
Le vrai frein reste encore à construire
Ainsi, la discussion ne se limite donc plus à quelques chercheurs spécialisés dans les risques existentiels. Les dirigeants de plusieurs laboratoires majeurs reconnaissent publiquement que les capacités de leurs systèmes peuvent progresser plus vite que les dispositifs destinés à les sécuriser.
Les propositions commencent à prendre forme : observateurs indépendants disposant d’un accès profond aux laboratoires, évaluations externes, standards communs entre entreprises, mécanismes de déclaration des incidents et coordination internationale.
Mais aucun de ces dispositifs ne constitue encore un frein automatique capable d’arrêter le développement ou le déploiement d’un modèle lorsque certains seuils de risque sont franchis.
C’est peut-être le paradoxe le plus important de cette séquence. Les entreprises disposent déjà des infrastructures, des capitaux, des chercheurs et des modèles nécessaires pour accélérer. Le système institutionnel capable de leur imposer de ralentir, lui, reste largement à construire, même si les Nations Unies et ses agences ont déjà lancé de nombreuses initiatives. . L’ONU réclame d’ailleurs la création d’une gouvernance internationale sur l’IA et évoque un risque existentiel pour l’humanité.
Sources :
Libération / AFP, « Le patron d’Anthropic veut ralentir sur l’IA, Musk et Altman le soutiennent », 13 septembre 2026.
Dario Amodei, « We Must Pace the Frontier », 12 septembre 2026.
Reuters, « Anthropic CEO urges AI companies to slow model development amid fears over misuse », 12 septembre 2026.
Fortune, entretien avec Sam Altman sur la coordination entre entreprises d’IA, 12 septembre 2026.