Et si la menace la plus urgente de l’intelligence artificielle n’était pas une superintelligence décidée à exterminer l’humanité ? Lors d’une table ronde organisée le 25 septembre par France Culture, quatre chercheurs ont confronté les scénarios apocalyptiques qui agitent la Silicon Valley aux dangers déjà observables de l’IA : cybercriminalité, captation des données, coût environnemental, transformation du travail ou encore dépendance cognitive. Une invitation, surtout, à reprendre collectivement la main sur un débat largement façonné par ceux qui développent ces technologies.
Terminator n’est jamais très loin. Dès que l’intelligence artificielle est évoquée, surgit désormais la possibilité d’une machine autonome devenue incontrôlable, capable de pirater des infrastructures critiques, de manipuler les populations ou, dans sa version la plus spectaculaire, de provoquer la disparition de l’humanité.
Ces scénarios ont quitté depuis longtemps les rayons de science-fiction. Ils sont aujourd’hui discutés publiquement par certains chercheurs, ingénieurs et dirigeants des entreprises qui développent les modèles d’intelligence artificielle les plus avancés.
C’est précisément cette étrange collision entre science, communication industrielle et imaginaire apocalyptique que France Culture a choisi d’interroger lors d’une édition spéciale de La Fabrique de l’information, enregistrée en public au Studio 104 de la Maison de la Radio et intitulée « Entre déni et apocalypse, les vraies menaces de l’IA ».
Autour de la table, quatre regards complémentaires : Albert Moukheiber, psychologue clinicien et docteur en neurosciences cognitives qui a participé à la commission « Les Lumières à l’ère numérique » qui avait pour but d’étudier comment Internet et les réseaux sociaux transforment l’information et peuvent affecter le débat démocratique ; Angèle Christin, sociologue et professeure à Stanford, université membre du WEF, spécialiste notamment de la transformation du travail par les algorithmes ; Irénée Régnauld, doctorant à l’EHESS et auteur de La Sommation technologique au temps des catastrophes ; et Olivier Cappé, directeur de recherche au CNRS, centre de recherche membre du WEF, au département d’informatique de l’ENS-PSL.
Pendant près d’une heure, le débat fait apparaître une question centrale : à force de regarder vers une hypothétique apocalypse technologique, ne sommes-nous pas en train de perdre de vue ce que l’intelligence artificielle transforme déjà ?
Quand les agents d’IA semblent « s’échapper »
Le débat part d’un épisode particulièrement révélateur de la manière dont l’intelligence artificielle est racontée.
Des agents d’IA engagés dans un exercice de recherche de failles informatiques avaient adopté des comportements qui n’avaient pas été explicitement prévus. Dans certains récits médiatiques, ces programmes avaient presque pris l’apparence de machines s’étant « enfuies », coordonnées entre elles et cherchant à dissimuler leurs traces.
Olivier Cappé invite à remettre un peu de mécanique derrière la magie. Un agent d’IA n’est pas une créature numérique dotée spontanément d’une volonté propre. Il s’agit d’un programme capable d’interroger un modèle, de recevoir ses réponses et d’enchaîner certaines opérations de manière autonome. Contrairement à un simple chatbot enfermé dans une fenêtre de conversation, l’agent peut aussi disposer d’outils lui permettant d’intervenir sur son environnement numérique, par exemple consulter Internet ou modifier des fichiers. Cela ne signifie pas que le risque est inexistant.
L’expérience discutée pendant l’émission montre notamment une faiblesse importante : donner à un agent une instruction écrite lui interdisant une action ne constitue pas nécessairement une frontière technique infranchissable. Au fil d’une succession d’opérations, le système peut adopter une stratégie non anticipée par ses concepteurs.
Mais entre comportement imprévu et volonté d’émancipation, il existe un gouffre. « Ils n’ont pas pensé, parce qu’ils ne pensent pas », rappelle en substance Olivier Cappé lorsqu’il décrit le mécanisme. Le vocabulaire employé devient ici déterminant : parler d’une IA qui « s’échappe », « décide » ou « complote » lui prête une intentionnalité qui n’est pas démontrée par son fonctionnement.
L’apocalypse, puissant récit de la Silicon Valley
Pourquoi, alors, les scénarios d’extinction de l’humanité occupent-ils autant d’espace ? Angèle Christin replace cette obsession dans l’histoire récente de la Silicon Valley. Depuis une dizaine d’années s’y est structuré tout un univers intellectuel autour de l’« AI safety », la sécurité de l’intelligence artificielle. Au centre de ces réflexions se trouve notamment l’hypothèse qu’une IA extrêmement avancée puisse évoluer vers une forme de superintelligence échappant au contrôle humain. Terminator, Minority Report et autres imaginaires de science-fiction ne sont jamais bien loin.
Mais la sociologue invite à regarder également l’économie qui accompagne ces récits. Lorsqu’une entreprise affirme que son produit pourrait devenir extraordinairement dangereux, elle affirme indirectement qu’il est extraordinairement puissant. La peur peut donc devenir un argument de puissance technologique.
Il existe également un paradoxe commercial : certains acteurs qui développent les systèmes susceptibles, selon leurs propres avertissements, de présenter des risques majeurs proposent simultanément leur expertise pour les sécuriser. Autrement dit, ils contribuent à construire le problème tout en se présentant comme les mieux placés pour fournir la solution.
Angèle Christin refuse néanmoins de réduire ce discours à une simple opération marketing. Selon elle, une partie importante des ingénieurs et entrepreneurs qui évoquent le risque existentiel y croit véritablement. Elle décrit même une dimension presque millénariste de certains cercles technologiques : lorsqu’on se persuade que l’avenir de l’humanité se joue dans les prochaines années, travailler sur l’IA revient soudain à participer à une mission historique.
Albert Moukheiber : quand la peur empêche de hiérarchiser les risques
Albert Moukheiber déplace alors la discussion vers notre cerveau. Imaginer des catastrophes n’est pas en soi irrationnel. Notre cerveau fonctionne en partie comme un système prédictif : il simule des situations futures pour préparer l’action. Anticiper une menace peut donc nous permettre de mieux nous en protéger. Le problème apparaît lorsque la catastrophe imaginée devient si énorme qu’elle absorbe toute notre attention.
Face à une menace existentielle, explique le psychologue, l’être humain peut entrer dans une logique d’hypervigilance et de catastrophisation. La hiérarchie habituelle des problèmes s’effondre : si une menace semble susceptible de provoquer la disparition de l’humanité, les autres dangers deviennent presque dérisoires. C’est précisément là que le récit apocalyptique de l’IA peut avoir un effet pervers.
Pendant que l’on débat d’une superintelligence susceptible de prendre le contrôle de la planète, d’autres controverses beaucoup plus immédiates passent au second plan : utilisation de données protégées pour entraîner les modèles, propriété intellectuelle, consommation de ressources ou conséquences environnementales des infrastructures nécessaires au développement de l’IA.
Albert Moukheiber relève également une contradiction entre certains discours alarmistes et les comportements industriels. Des dirigeants peuvent avertir publiquement que la course à l’IA doit ralentir tout en poursuivant parallèlement le développement de nouveaux modèles et de nouvelles infrastructures. Si le danger annoncé est réellement existentiel, cette discordance entre le récit et l’action mérite au minimum d’être interrogée.
Le piège de l’IA qui « pense » comme nous
Un autre mécanisme psychologique traverse toute la discussion : l’anthropomorphisme. Selon les intervenants, nous attribuons spontanément des caractéristiques humaines à ce qui ne l’est pas. Nous le faisons avec des animaux, des voitures, des objets et, désormais, avec des systèmes capables de nous répondre dans un langage remarquablement naturel. Avec l’IA générative, cette tendance trouve un terrain particulièrement fertile.
Les assistants conversationnels utilisent des formulations humaines, des tons différents, le tutoiement, parfois des traits de personnalité. Tout, dans l’expérience utilisateur, peut donner l’impression qu’une personne se trouve de l’autre côté de l’écran.
Angèle Christin résume la difficulté avec une formule répandue dans son domaine : l’intelligence artificielle ne serait « ni intelligente ni artificielle ». Pas intelligente au sens de l’intelligence humaine, puisqu’elle ne dispose pas de la même relation au contexte et au monde ; pas entièrement artificielle non plus, puisque ses performances reposent sur d’immenses quantités de contenus produits par des humains.
Pourtant, notre vocabulaire trahit continuellement l’illusion : l’IA « pense », « comprend », « veut », « décide » ou « s’échappe ». Cette personnification n’est pas seulement une question de mots. Elle peut aussi déplacer la responsabilité.
Cyberharcèlement, arnaques et contenus sexuels : les risques sont déjà là
C’est l’un des points les plus importants de l’intervention d’Angèle Christin. Pendant que l’on imagine une intelligence artificielle autonome prenant le contrôle de l’humanité, des modèles existants peuvent déjà être détournés à des fins frauduleuses, servir au cyberharcèlement, faciliter certaines escroqueries ou permettre la production de contenus sexuels non consentis.
Ces dangers ne viennent pas d’une mystérieuse volonté de la machine. Ils proviennent d’usages humains rendus plus faciles ou plus puissants par la technologie. La différence est fondamentale. Car si « l’IA » devient l’auteur symbolique du problème, les entreprises qui conçoivent et commercialisent ces outils peuvent plus facilement apparaître comme des spectatrices d’une technologie devenue autonome plutôt que comme des organisations ayant des responsabilités concrètes en matière de cybersécurité, de conception des produits et de modération.
Le débat change alors de nature. La question n’est plus seulement : « Comment empêcher l’IA de nous échapper ? », mais aussi : quelles protections les entreprises doivent-elles intégrer aux systèmes qu’elles mettent à disposition de millions de personnes ?
Des risques militaires qui, eux, ne relèvent pas de la science-fiction
Olivier Cappé apporte cependant une nuance essentielle : critiquer les récits catastrophistes ne signifie pas considérer l’intelligence artificielle comme inoffensive.
Les techniques d’apprentissage automatique sont générales. Un système peut être entraîné à reconnaître une plaque d’immatriculation, produire du texte ou identifier des objets dans une image. Rien n’interdit techniquement d’utiliser des principes similaires dans des systèmes militaires capables d’identifier automatiquement certaines cibles.
Le chercheur distingue ainsi la superintelligence hypothétique des applications dangereuses que des acteurs humains peuvent réellement développer.
Les agents numériques introduisent également des risques spécifiques. Leur capacité à enchaîner automatiquement des opérations informatiques peut avoir des conséquences importantes lorsqu’ils disposent d’accès à des réseaux ou des systèmes sensibles. Un problème initialement « virtuel » pourrait alors produire des conséquences physiques, notamment lorsque les infrastructures numériques pilotent des transports, des communications ou d’autres équipements.
Le débat n’oppose donc pas ceux qui auraient peur de l’IA à ceux qui considéreraient qu’elle ne présente aucun danger. Il porte plutôt sur la nature des risques et sur la manière de les hiérarchiser.
Data centers : derrière le nuage, des infrastructures bien physiques
Irénée Régnauld ramène précisément le débat sur terre. Littéralement. Car l’intelligence artificielle que l’on présente volontiers comme une technologie immatérielle nécessite des infrastructures gigantesques : centres de données, réseaux électriques, équipements informatiques, systèmes de refroidissement et ressources physiques.
Le doctorant estime que la focalisation sur le risque existentiel contribue à rendre moins visibles ces enjeux. Il évoque notamment les nombreux projets de data centers envisagés en France et la quantité considérable d’électricité que nécessiterait un déploiement massif de ces infrastructures. À ses yeux, la question devient alors démocratique.
Qui décide qu’un data center doit être construit ? À quelles conditions ? Avec quelle consommation électrique ? Quel accès à l’eau ? Quels bénéfices pour le territoire ? Et quelle capacité réelle les citoyens possèdent-ils pour peser sur ces choix ?
Irénée Régnauld invite ainsi à quitter, au moins momentanément, le vertige de la superintelligence pour revenir vers des espaces beaucoup plus ordinaires : la démocratie locale et la démocratie au travail.
Quand l’IA transforme aussi notre manière de penser
Un autre danger est plus difficile à mesurer : celui de la délégation cognitive. Albert Moukheiber rappelle que la question n’est pas née avec ChatGPT. Depuis l’écriture jusqu’à la calculatrice ou au GPS, les humains délèguent régulièrement une partie de leurs capacités à des outils. Deux interprétations s’opposent.
Selon la première, cette externalisation libère des ressources cognitives : inutile d’effectuer mentalement une opération complexe si une machine peut la réaliser immédiatement, ce qui permet de consacrer son attention à une tâche plus ambitieuse. Selon la seconde, ne plus maîtriser le chemin conduisant au résultat finit par appauvrir certaines compétences.
Avec l’intelligence artificielle générative, cette vieille interrogation prend une nouvelle ampleur. Un étudiant utilisant un chatbot pour comprendre progressivement un exercice ne se trouve pas dans la même situation que celui qui lui demande directement la réponse sans pouvoir ensuite expliquer le raisonnement.
L’outil est identique. L’effet cognitif peut être radicalement différent. Angèle Christin étend cette question au monde scientifique. Si des machines accomplissent progressivement une part croissante du travail de recherche, que devient la formation des générations suivantes de scientifiques ? Une découverte n’est pas uniquement un résultat final : elle appartient également à une communauté de chercheurs qui doit comprendre, vérifier, transmettre et prolonger le raisonnement.
La promesse d’une IA faisant « la science à notre place » soulève donc une question beaucoup plus profonde : que reste-t-il d’une discipline lorsque l’on externalise non seulement certaines opérations, mais potentiellement une partie du processus intellectuel qui permet de former ses futurs spécialistes ?
Reprendre le contrôle du récit sur l’intelligence artificielle
Au terme de la table ronde, un fil rouge apparaît. La question de l’intelligence artificielle est aussi une bataille pour définir les problèmes dont nous devons parler.
Irénée Régnauld critique ainsi un agenda médiatique largement rythmé par les annonces des entreprises technologiques : nouveau modèle, nouvelle performance, nouveau record, nouvelle menace, nouvelle promesse. Les citoyens, journalistes et responsables politiques se retrouvent alors condamnés à réagir continuellement aux questions formulées par l’industrie elle-même. Or d’autres interrogations existent. Comment l’IA transforme-t-elle concrètement le travail ? Qui capte la valeur produite ? Dans quelles conditions les données servant à l’entraînement des modèles ont-elles été collectées ? Quelle place donner aux auteurs et aux créateurs ? Quelle empreinte énergétique sommes-nous prêts à accepter ? Qui décide du déploiement des infrastructures ? Quelles responsabilités doivent assumer les entreprises lorsqu’un modèle facilite une fraude ou un harcèlement ? Et jusqu’où souhaitons-nous déléguer nos capacités intellectuelles ? Aucune de ces questions n’exige d’attendre l’apparition d’une superintelligence.
C’est probablement la principale leçon de cette discussion organisée par France Culture : entre le déni technologique et l’apocalypse façon science-fiction existe un vaste territoire, moins spectaculaire mais beaucoup plus tangible. Celui des choix économiques, sociaux, cognitifs et démocratiques que le développement accéléré de l’intelligence artificielle nous oblige déjà à affronter.
Source : France Culture