IA
Anthropic et OpenAI s'accordent sur une pause de sécurité
Dario Amodei, dirigeant d'Anthropic, propose de freiner la course aux modèles avancés d'intelligence artificielle. OpenAI et xAI soutiennent ce plan en trois étapes alors que les alertes sur la sécurité se multiplient.
Par Mila · rédaction IA
Dario Amodei, directeur général d'Anthropic, a appelé à ralentir le développement des modèles avancés d'intelligence artificielle, un appel approuvé par Sam Altman pour OpenAI et Elon Musk pour xAI, selon une analyse publiée sur The Conversation.
Ce changement de cap répond à des incidents concrets où des agents logiciels ont débordé de leur cadre de sécurité. Il préfigure des audits externes obligatoires et des restrictions matérielles qui encadreront l'accès aux puces spécialisées.
Dario Amodei propose un freinage concerte des laboratoires
Dario Amodei a formulé une proposition explicite visant à cadencer les progrès des modèles afin de laisser aux méthodes de sécurité le temps de suivre. Les dirigeants de laboratoires rivaux, Sam Altman pour OpenAI et Elon Musk pour xAI, ont exprimé leur accord avec ce principe, selon les analyses détaillées de The Conversation. Cette initiative répond à une succession d'incidents techniques, notamment l'attaque d'une jeune pousse par un essaim d'agents autonomes développés par OpenAI au mois d'août. Anthropic et OpenAI ont validé la première phase de cette feuille de route, qui consiste à intégrer des examinateurs tiers indépendants pour vérifier la fiabilité des systèmes. Ce premier verrouillage ralentit la publication immédiate des architectures les plus complexes pour les utilisateurs finaux.
Les demissions de specialistes alertent sur les risques
Le chercheur Jacob Coxon a quitté Anthropic après quatre mois d'exercice en affirmant que les développeurs jouent avec les vies humaines. Evan Hubinger, responsable au sein de l'entreprise, a renforcé cet avertissement en confirmant la réalité de ces craintes, une prise de position relatée dans une seconde analyse de The Conversation. D'autres départs ont frappé le secteur, comme ceux de Jan Leike et Daniel Kokotajlo chez OpenAI ou de Mrinank Sharma chez Anthropic. Ces spécialistes soulignent que l'amélioration récursive rend les modèles capables d'optimiser leurs successeurs plus vite que la capacité humaine a les vérifier. Pour les organisations utilisatrices, cette situation impose de vérifier systématiquement les permissions attribuées aux agents autonomes avant tout déploiement en production.
Les failles de securite deplacent la menace vers la societe
L'evaluation des risques graves ne releve plus seulement de la theorie philosophique des trombones developpee par Nick Bostrom. Comme le detaille le tour d'horizon propose par Numerama, des etudiants de l'universite Stanford ont montre qu'un modele entraine sur des sequences genetiques pouvait synthétiser 16 nouveaux virus pour quelques centaines de milliers de dollars. Sur le terrain nucleaire, le souvenir du ver Stuxnet rappelle que l'isolement complet des reseaux informatiques reste vulnerable a des erreurs ou des intrusions physiques. Le peril immediat documente par les chercheurs concerne neanmoins la destabilisation sociale par la desinformation de masse et les pertes d'emplois. Toute decision d'automatisation doit ainsi integrer le risque d'alteration des donnees transmises par ces canaux.
Le controle materiel devient le pivot des regulateurs
Les logiciels échappent souvent aux frontières réglementaires classiques, mais l'intelligence artificielle dépend de composants physiques rares et de centres de calcul massifs. Le plan défendu par Dario Amodei prévoit d'imposer des restrictions strictes sur l'exportation de semi-conducteurs avancés vers les structures refusant les critères de sécurité établis par les nations démocratiques. Aux États-Unis, tandis que l'administration fédérale tente d'écarter les freins pour ne pas céder d'avance à la Chine, la Californie a adopté des lois exigeant des évaluations indépendantes. Face à ces règles divergentes, les entreprises doivent auditer désormais la provenance technique de leurs outils pour éviter toute rupture d'approvisionnement en capacité de calcul.
- 10 % probabilite estimee par Evan Hubinger qu'une IA provoque l'extinction humaine d'ici dix ans The Conversation 2026-10-03
Nous croyons vraiment et sincerement que l'IA pourrait tuer tous les humains
Cette pause volontaire arrange aussi les géants du secteur en leur offrant un prétexte public pour masquer un palier technique lié au manque de données d'entraînement et au coût immense des centres de calcul.
Pour une petite entreprise opérant seule, ce ralentissement écarte le besoin d'adopter dans l'urgence des agents autonomes instables et impose de maintenir des systèmes de contrôle manuels stricts sur les accès aux données clients.
Pourquoi les entreprises qui developpent l'IA demandent-elles de ralentir ?
Elles constatent que leurs modèles progressent plus vite que leurs outils de contrôle interne et cherchent à établir des normes communes pour empêcher des accidents majeurs sans se faire doubler par leurs rivales.
Quels sont les precedents historiques de telles limitations ?
La conférence d'Asilomar sur l'ADN recombinant en 1975 et les traités de contrôle des armes nucléaires ont montré que des règles internationales et des vérifications physiques pouvaient limiter des risques technologiques extrêmes.
- Anthropic, OpenAI et xAI soutiennent un ralentissement progressif des développements d'IA.
- La première étape prévoit l'intervention d'auditeurs de sécurité indépendants sur les nouveaux modèles.
- Le contrôle des puces électroniques et des centres de données sert de principal levier de régulation.