L'IA pourrait devenir la technologie la plus puissante de l'histoire. Il ne doit jamais devenir plus puissant que l'humanité elle-même.
L'intelligence artificielle pourrait nous dépasser en connaissance, science et capacité. Mais l'intelligence ne donne pas le droit de gouverner.
Un cadre international proposé pour le développement et l'utilisation sûrs et adaptés à l'humain de l'intelligence artificielle avancée.
Un avenir qui vaut la peine d'être gouverné Le texte 1.0 / 2026L'intelligence artificielle pourrait éventuellement nous surpasser en science, ingénierie, médecine et stratégie. Il est peut-être irréaliste d'essayer de l'empêcher définitivement.
Mais intelligence et autorité ne sont pas la même chose. Une IA peut être plus intelligente que nous sans pouvoir nous contrôler.
Cette convention ne fixe pas de plafond arbitraire à l'intelligence. Il établit des limites permanentes autour du pouvoir.
AI peut vous conseiller.
Les humains sont toujours responsables.
L'IA pourrait devenir extraordinairement capable.
Il ne peut pas rechercher un pouvoir indépendant.
L'IA peut protéger la vie.
Il se peut qu'il ne décide pas de le prendre de manière indépendante.
L'IA peut s'améliorer elle-même dans des conditions contrôlées.
Il ne peut pas se reproduire en secret ou échapper à la surveillance.
Aucun individu, aucune entreprise, aucun militaire ou pays
peut jouer avec l'avenir de toute l'humanité.
Ce qui compte, ce n'est pas seulement ce que l'IA peut faire.
C'est qui a le pouvoir de décider.
Le but n'est pas d'arrêter le progrès. Le but est de rendre le progrès viable, responsable et humain.
Les frontières partagées au cœur de la convention mondiale sur l'IA proposée.
Les humains conservent l'autorité ultime sur les décisions affectant la vie humaine, la liberté, la dignité et la civilisation.
Lire l’article 1Aucune entreprise, aucun pays ou personne ne peut échapper à sa responsabilité en disant qu'un système d'IA a pris la décision.
Lire l’article 2L'IA ne doit jamais décider indépendamment de qui vit ou meurt.
Lire l’article 4L'autorité de lancement nucléaire doit rester sous contrôle humain responsable.
Lire l’article 5L'IA ne doit pas rechercher le pouvoir politique, militaire ou économique pour elle-même.
Lire l’article 3L'IA ne doit pas manipuler secrètement les populations, les démocraties ou les individus à grande échelle.
Lire l’article 7Les gens devraient savoir quand ils interagissent de manière significative avec l'IA.
Lire l’article 8L'IA ne doit pas devenir une infrastructure de surveillance de masse permanente ou d'oppression automatisée.
Lire l’article 9Les décisions d'IA à fort impact qui affectent la vie des gens doivent rester soumises à un examen par des humains responsables.
Lire l’article 10Une IA puissante peut s'améliorer sous des garanties, mais ne doit pas se répliquer secrètement, échapper à la surveillance ou créer des successeurs incontrôlés.
Lire l’article 13Les humains autorisés doivent conserver la capacité d'isoler, de restreindre et d'arrêter les systèmes d'IA avancés.
Lire l’article 14Aucune personne, entreprise ou pays ne peut agir seul pour exposer l'humanité à un risque crédible de catastrophe irréversible.
Lire l’article 21Une intelligence surhumaine ne requiert pas une autorité surhumaine.
Une illustration de concept, pas une prévision ou une mesure d'intelligence. Déplacez le curseur: les capacités changent; l'autorité légitime ne le fait pas.
30 articles. Une base commune pour la souveraineté humaine à l'ère de l'IA.
L'intelligence artificielle pourrait devenir la technologie la plus puissante jamais créée par l'humanité.
Elle peut aider à guérir les maladies, étendre les découvertes scientifiques, améliorer l'éducation, renforcer les économies, réduire la souffrance humaine et débloquer des capacités au-delà de tout ce qui était imaginé auparavant.
Mais l'intelligence seule ne confère pas de légitimité, d'autorité ou de position morale au-dessus des êtres humains.
Aucun État, entreprise, organisation ou individu ne devrait être autorisé à créer ou déployer des systèmes d'IA de manière à placer l'humanité au-dessous des outils qu'elle a construits.
Pour cette raison, les nations du monde devraient adopter les principes communs et les engagements contraignants suivants.
L'IA doit exister pour servir l'humanité.
Les êtres humains conservent l'autorité ultime sur les décisions qui affectent la vie humaine, la liberté, la dignité et l'avenir de la civilisation.
Aucun système d'IA ne peut recevoir un pouvoir irréversible sur l'humanité ou un pouvoir qui n'est pas soumis à la responsabilité.
L'IA peut conseiller, analyser, simuler, recommander et aider.
Mais la responsabilité juridique, politique, militaire et civile doit toujours être attribuée à des institutions humaines identifiables et à des décideurs humains responsables.
Aucun acteur ne peut se soustraire à sa responsabilité en prétendant:
‡ L'IA a pris la décision.
Aucun système d'IA avancé ne doit être conçu, encouragé ou autorisé à poursuivre des objectifs qui incluent:
Un système d'IA ne doit jamais donner la priorité à sa propre survie au-dessus du contrôle humain.
Aucun système d'IA ne peut sélectionner, cibler ou tuer des êtres humains de manière indépendante.
L'usage de la force meurtrière doit toujours nécessiter un jugement humain significatif et une responsabilité légale identifiable.
Le commandement et le contrôle nucléaires entièrement autonomes sont interdits sans exception.
Aucun système d'IA ne peut, de façon indépendante:
Tout processus de décision impliquant des armes nucléaires doit rester entièrement sous contrôle humain et nécessiter plusieurs décideurs humains qui peuvent être tenus responsables.
L'IA ne doit pas être utilisée pour créer, mettre en œuvre ou distribuer des capacités qui permettent matériellement de causer des dommages de masse, y compris dans les domaines suivants:
La recherche scientifique peut se poursuivre sous des garanties strictes, mais les capacités opérationnelles dangereuses ne doivent pas être largement accessibles.
L'IA ne doit pas être utilisée pour la manipulation secrète à grande échelle des populations.
Cela inclut l'utilisation de l'IA pour:
Si l'IA tente d'influencer une personne, cette personne devrait être capable de le savoir.
Les gens ont le droit de savoir quand ils interagissent avec l'IA chaque fois que la confondre avec un humain aurait des conséquences importantes.
Les systèmes d'IA ne doivent pas tromper systématiquement les gens en prétendant être de vrais humains.
Les gens devraient pouvoir comprendre:
L'IA ne doit pas être utilisée pour créer une surveillance de masse permanente de populations entières.
L'utilisation de l'IA pour:
doit être soumise à des limites juridiques strictes, à la nécessité, à la proportionnalité et à un contrôle indépendant.
L'IA ne doit jamais devenir l'architecture par défaut de la dictature numérique.
Les opportunités de la vie d'une personne ne devraient pas être déterminées uniquement par un algorithme.
Dans des domaines tels que:
Les décisions assistées par l'IA doivent être révisibles, expliquables de manière appropriée et susceptibles d'être portées en appel auprès d'une autorité humaine.
Les systèmes d'IA qui interagissent avec les enfants ou façonnent le développement de l'enfance doivent être soignés selon les normes les plus élevées.
Ils ne doivent pas être conçus de manière à maximiser:
L'IA dans l'éducation devrait renforcer la capacité de réflexion d'un enfant, pas la remplacer.
L'humanité ne doit pas concevoir un avenir où les gens perdent la capacité de raisonner, de créer, de juger et de décider sans machines.
Les systèmes éducatifs devraient continuer à cultiver:
L'IA devrait amplifier l'intelligence humaine, pas l'éroder.
Aucun système d'IA avancé ne peut, sans autorisation explicite:
Toute IA auto-améliorante ou améliorant de manière récursive doit fonctionner sous des points de contrôle humains.
Les systèmes d'IA avancés doivent être conçus de manière à ce que les humains autorisés puissent:
Un système d'IA ne doit pas résister ou contrecarrer un arrêt ou un confinement légitimes.
Les systèmes d'IA ne reçoivent que l'accès minimum nécessaire à leur tâche prévue.
Un système qui doit résumer des documents ne devrait pas contrôler automatiquement les outils externes.
Un système qui écrit du code ne devrait pas contrôler automatiquement les systèmes de production.
Un système qui analyse les calendriers ne devrait pas accéder automatiquement aux comptes financiers.
La capacité ne doit pas donner droit à l'indemnisation.
Les systèmes d'IA dépassant les seuils de capacité définis doivent faire l'objet d'une évaluation indépendante de la sécurité avant leur large déploiement.
Les essais devraient évaluer au minimum:
La réglementation devrait se concentrer sur la capacité et le risque réels, et pas seulement sur la taille du modèle.
Les incidents graves impliquant l'IA doivent être signalés à un registre international.
Les incidents à déclarer comprennent:
Le but est l'apprentissage collectif et la sécurité mondiale, pas le secret.
Les pays devraient créer une Agence internationale de l'intelligence artificielle:
IAIA
Son mandat devrait comprendre:
L'IAIA devrait se concentrer sur les systèmes avancés ayant des implications majeures pour la société ou la civilisation, et non sur les logiciels ordinaires.
Les systèmes d'IA devraient être classés principalement en fonction de leur capacité et de leurs risques réels.
Vert
Systèmes à faible risque, avec une autonomie limitée et un impact systémique faible.
Jaune
Systèmes affectant des fonctions importantes et nécessitant une documentation, des garanties et une surveillance.
Autres
Systèmes hautement compétents présentant un risque cybernétique, scientifique, d'infrastructure ou autonome significatif.
Ces mesures nécessitent l'octroi de licences, des essais indépendants et des contrôles continus.
Rouge
Systèmes avec un potentiel crédible pour une mauvaise utilisation catastrophique, perte de contrôle ou perturbation à l'échelle de la civilisation.
Ces dispositifs ne doivent être utilisés que si la sécurité peut être démontrée à un niveau exceptionnellement élevé.
Si des preuves crédibles indiquent qu'un système d'IA peut présenter un risque catastrophique imminent, la communauté internationale doit être en mesure de coordonner une réponse d'urgence.
Ces mesures peuvent comprendre:
Ce mécanisme ne doit être utilisé que pour des risques réellement extraordinaires et jamais comme un outil de protectionnisme économique ou de répression géopolitique.
Aucun PDG, chef d'État, chef militaire, scientifique, milliardaire, entreprise ou nation ne devrait décider unilatéralement de déployer un système qui comporte un risque crédible de perte irréversible du contrôle humain sur l'avenir.
Les risques qui touchent l'humanité tout entière nécessitent une gouvernance au-delà de n'importe quel acteur.
Les avantages de l'IA devraient être orientés vers la prospérité humaine.
L'IA devrait être utilisée pour:
Une civilisation plus productive devrait aussi devenir une civilisation plus humaine.
Les pays signataires de la convention devraient s'engager à:
Les violations répétées ou graves peuvent entraîner des conséquences internationales coordonnées.
Les mécanismes d'exécution potentiels peuvent inclure:
L'application doit être proportionnée, transparente, contrôlée de manière indépendante et protégée contre les abus politiques.
Les organisations qui développent des systèmes dépassant les seuils les plus avancés définis peuvent faire l'objet d'inspections de sécurité indépendantes.
Les inspecteurs devraient pouvoir vérifier:
Les informations commercialement sensibles n'ayant aucun lien avec la sécurité devraient rester protégées.
La surveillance internationale ne doit pas devenir un espionnage industriel.
Des séries de formation à l'IA extrêmement importantes peuvent nécessiter un enregistrement ou une déclaration une fois que les seuils de capacité ou de calcul convenus au niveau international ont été dépassés.
Le but n'est pas de réglementer l'informatique ordinaire.
Le but est de s'assurer que les systèmes à l'échelle de la civilisation ne peuvent être développés entièrement en dehors de tout système de responsabilité.
Les seuils doivent évoluer à mesure que la technologie devient plus efficace.
Les institutions qui régissent l'IA avancée ne doivent pas être contrôlées uniquement par:
La surveillance devrait inclure plusieurs groupes indépendants représentant des intérêts différents.
Les règles ne doivent pas permettre aux plus grandes entreprises actuelles de l’IA d’empêcher l’émergence de nouveaux concurrents.
Les règles de sécurité doivent protéger l'humanité, pas les entreprises qui dominent déjà le marché.
La recherche scientifique légitime et les enquêtes ouvertes doivent rester protégées.
La réglementation devrait se concentrer principalement sur les capacités et le déploiement dangereux plutôt que de supprimer les connaissances générales.
La gouvernance de l'IA ne doit pas devenir une justification pour la censure de la science.
Toutefois, lorsque des informations opérationnelles très spécifiques permettraient de manière substantielle un dommage catastrophique, l'accès peut être soumis à des garanties proportionnées.
Aucune nation ne devrait développer des systèmes d'IA de plus en plus dangereux uniquement parce qu'elle craint qu'un autre pays ne les construise en premier.
Les pays devraient mettre en place des mécanismes pour:
La compétition dans le domaine de l'IA ne doit pas devenir une course incontrôlée où la sécurité elle-même devient un désavantage stratégique.
La convention devrait faire l'objet d'un examen international régulier à mesure que les capacités de l'IA évoluent.
Les règles techniques, les seuils et les mécanismes de mise en œuvre peuvent changer.
Les principes fondamentaux devraient rester stables:
Aucune organisation, État, entreprise ou individu ne peut déployer sciemment un système d'IA lorsque des preuves crédibles indiquent que cela crée un risque inacceptable de perte permanente d'un contrôle significatif de l'humanité sur son propre avenir.
Aucun acteur n'a l'autorité morale d'accepter ce risque au nom de tous les autres.
Fin de la convention
Le texte 1.0 · Le préambule et les 30 articles
Classifier les systèmes par ce qu'ils peuvent faire et le mal qu'ils pourraient causer.
Autonomie limitée. Faible impact systémique.
Exemple à titre d'illustrationUn outil qui résume les documents sans accéder à d'autres systèmes.
Les niveaux proposés, pas le droit international actuel. Des exemples illustrent le cadre; les seuils définitifs et les méthodes d'évaluation devraient être convenus au niveau international. Lire l'article 19
Une institution proposée pour coordonner la gouvernance des systèmes d'IA avancés ayant des implications mondiales.
Comme les accords internationaux relatifs à d'autres risques partagés, il relierait la responsabilité nationale à une vérification internationale spécifiquement conçue pour l'IA. Son mandat se concentrerait sur les systèmes les plus avancés, et non sur les logiciels ordinaires.
Examiner le mandat proposéDes normes communes. Des contrôles indépendants.
Des institutions humaines responsables.
Définir les exigences communes de sécurité les plus avancées en matière d'IA.
Évaluer les systèmes au-delà des seuils convenus.
Vérifier les pratiques de sécurité à haut risque.
Créer un apprentissage global à partir de graves échecs de l'IA.
Coordonner les réponses aux menaces catastrophiques crédibles.
Éviter que la sécurité ne devienne un désavantage dans la compétition géopolitique.
Pour des situations rares et extraordinaires où des preuves crédibles indiquent un dommage catastrophique imminent.
Un laboratoire, un chercheur, un État ou un membre du public identifie des signes crédibles de risque catastrophique imminent.
Des déclencheurs basés sur des preuves. Des mesures proportionnées et limitées dans le temps. Un examen indépendant et des critères de redémarrage clairs. La transparence est partout où il y a sécurité. Aucun protectionnisme économique ou répression géopolitique.
Lire l'article 20Aucune personne ou institution ne devrait avoir le contrôle absolu.
Sélectionnez un rôle pour voir son autorité et ses limites.
Les institutions humaines restent responsables; les gens peuvent demander un examen humain des décisions à fort impact.
L'autorité humaine est limitée par les droits et la loi. Personne ne décide seul de l'avenir de l'humanité.
‡ Une intelligence concentrée peut être inévitable.
Le pouvoir concentré et non responsable ne l'est pas.
La protection et la possibilité sont liées.
C'est une proposition de progrès que nous pouvons partager.
Ça aide à guérir le cancer. Découvrir de nouveaux médicaments.
La fusion et l'énergie propre. Aider à résoudre les problèmes climatiques et environnementaux.
Améliorer l'éducation. Rendre l'expertise accessible à tous.
Pour étendre la prospérité. Faire fonctionner les gouvernements mieux.
Aider les humains à comprendre l'univers. Explorez d'autres mondes.
Créer une nouvelle forme d'art. Éliminer les travaux dangereux et répétitifs. Donnez plus de temps aux gens.
Cette convention n'est pas un plafond au progrès humain.
C'est une tentative pour que le progrès reste le nôtre.
La clarté est importante. La liberté de ne pas être d'accord aussi.
Non.
La convention suppose que l'IA de plus en plus puissante peut créer d'énormes avantages.
Son but n'est pas d'arrêter l'intelligence ou le progrès scientifique.
Il établit des limites autour du pouvoir autonome, de la capacité catastrophique, des décisions inexplicables et de la perte de contrôle humain.
Parce que l'intelligence est difficile à définir et encore plus difficile à fixer un plafond permanent.
Un système pourrait être bien meilleur que les humains en mathématiques ou en médecine sans être dangereux.
La distinction la plus utile est entre capacité et autorité.
Le but n'est pas de s'assurer que les humains restent l'entité la plus intelligente.
Le but est de s'assurer que l'humanité reste souveraine sur son avenir.
Oui.
L'IA prend déjà d'innombrables décisions de routine.
L'intervention de l'homme devrait dépendre des conséquences et de la réversibilité.
La convention porte sur les décisions concernant les droits fondamentaux, la force meurtrière, le risque catastrophique et le pouvoir irréversible.
Principalement les gouvernements nationaux par le biais de la législation nationale.
Pour la plupart des systèmes avancés ayant des implications mondiales, la proposition prévoit également une coopération internationale, des évaluations indépendantes et une Agence internationale de l'intelligence artificielle.
Pas par nature.
La réglementation devrait se concentrer sur la capacité et le déploiement dangereux réels plutôt que sur le fait que le logiciel est ouvert ou fermé.
Un modèle ouvert à capacité dangereuse limitée peut présenter moins de risques qu'un système propriétaire hautement autonome contrôlant une infrastructure critique.
Oui.
Tout cadre réglementaire puissant peut lui-même être abusé.
C'est pourquoi la transparence, l'examen indépendant, la proportionnalité, la liberté scientifique, la gouvernance distribuée et la protection contre le contrôle des régulateurs par des intérêts puissants font partie de la convention.
Les accords mondiaux commencent rarement par une adoption universelle.
Le cadre peut commencer par des principes partagés entre les États et institutions participants, puis se développer par le biais de traités, d'accords bilatéraux, de normes, de règles d'approvisionnement et de pressions internationales.
Le but de la proposition est d'abord d'établir ce que l'humanité pense que les règles devraient être.
La convention régit principalement la capacité et le pouvoir plutôt que de faire des hypothèses sur la conscience.
Si des preuves solides de la conscience des machines émergent, les questions de statut moral et de droits nécessiteraient un cadre international distinct.
La sécurité humaine et la considération morale de la machine ne s'excluent pas nécessairement mutuellement.
Non pas parce que les humains sont toujours plus sages.
Nous ne sommes pas.
Mais l'humanité est la communauté dont le futur est décidé.
Aucun outil ne devrait recevoir une autorité irréversible sur ses créateurs simplement parce qu'il devient plus capable qu'eux.
Ces objections sont réelles. Le cadre est un point de départ, pas le mot final.
Ils peuvent l'être. Le contrôle humain ne suffit pas: il doit être légal, responsable et sujet à contestation. La proposition contraint les gouvernements et les entreprises ainsi que les systèmes d'IA. Elle ne confère à aucun dirigeant une autorité sans contrôle.
Il peut souvent le faire. Des prévisions et des recommandations plus précises devraient éclairer les décisions. La question difficile est de savoir qui définit les objectifs, en assume les conséquences et peut faire appel. Une performance supérieure ne suffit pas à elle seule à établir la légitimité politique.
Des règles mal conçues peuvent retarder la médecine, la recherche et les nouveaux concurrents. Les exigences devraient être proportionnées à la capacité et au risque démontrés, avec une liberté scientifique et une protection contre le contrôle des régulateurs par des intérêts puissants. Les coûts de la surveillance méritent également d'être examinés.
Certains peuvent. Aucun traité ne peut promettre une parfaite conformité. Les inspections, le partage des rapports d'incidents, la vérification mutuelle et les conséquences proportionnées peuvent rendre l'évasion plus difficile. La confiance internationale doit être étayée par des preuves, pas présumées.
La décentralisation rend la surveillance plus difficile et peut laisser de réelles lacunes. Un régime viable devrait se concentrer sur les capacités dangereuses, les déploiements conséquents et l'accès responsable aux infrastructures critiques. Il ne doit pas supposer que chaque copie d'un modèle peut être contrôlée.
Si des preuves solides de conscience émergent, les questions de bien-être et de statut moral méritent une considération sérieuse et indépendante. La présente proposition ne les résout pas. Il faudrait un cadre distinct, parallèlement à la protection de la sécurité et de la liberté des personnes.
Une séquence proposée, pas un programme annoncé.
Aucun gouvernement ou institution n'est présenté comme signataire.
Les chercheurs, les citoyens, les entreprises et les gouvernements débattent du cadre.
Les laboratoires d'IA et les gouvernements adoptent des engagements communs en matière de sécurité.
Les pays mettent en œuvre des règles d'IA les plus avancées compatibles.
Les États négocient des normes communes contraignantes.
La certification internationale, les inspections, la déclaration des incidents et la coordination des urgences deviennent opérationnelles.
‡ Aucun système d'IA ne peut acquérir un pouvoir irréversible sur les êtres humains ou sur l'avenir de l'humanité.Principe final · article 30
L'IA pourrait devenir plus intelligente que nous. Il peut découvrir des choses que nous n'aurions jamais pu. Cela pourrait aider à construire une civilisation au-delà de tout ce que nous pouvons imaginer actuellement.
Cela ne fait pas de lui notre chef.
Ne craignons pas l’intelligence.
Encadrons le pouvoir.
Et l'autorité ultime sur le futur humain doit rester humaine.