人工智能可能成为历史上最强大的技术。 但它绝不能拥有凌驾于人类之上的权力。
人工智能可以在知识、科学和能力上超越我们。但智能并不赋予它统治的权利。
人工智能最终可能在科学、工程、医学和战略领域超越人类。试图永远阻止这一点，可能并不现实。
但智能与权力并不是一回事。人工智能可以比我们更聪明，却无权控制我们。
本公约不为智能设定武断的上限，而是为权力划定永久的边界。
人工智能可以提出建议。
责任仍由人类承担。
人工智能可以拥有卓越能力。
但不得谋求独立的权力。
人工智能可以保护生命。
但不得独自决定剥夺生命。
人工智能可以在受控条件下自我改进。
但不得秘密复制自身或逃避监督。
任何个人、企业、军队或国家
都无权拿全人类的未来冒险。
关键不只是人工智能能做什么，
更是谁拥有决定权。
目的不是阻止进步. 目标是让进步安全可持续、责任可追究，并始终以人为本。
这些共同的边界，构成 Global AI Convention 提案的核心。
人类对影响人类生命,自由,尊严和文明的决定拥有最终权力.
阅读第 1 条没有任何公司,国家或个人可以通过说人工智能系统做出了决定来逃避责任.
阅读第 2 条人工智能永远不能独立决定谁会活着或死去.
阅读第 4 条核发射机关必须保持在负责任的人类控制之下.
阅读第 5 条人工智能不能为自己追求政治,军事或经济权力.
阅读第 3 条人工智能不能秘密操纵人口,民主或个人.
阅读第 7 条人们应该知道他们何时与人工智能有意义地互动.
阅读第 8 条人工智能不能成为永久大规模监视或自动压迫的基础设施.
阅读第 9 条影响人们生活的高影响力AI决策必须由负责任的人类进行审查.
阅读第 10 条强大的人工智能在安全措施下可能会得到改进,但不能秘密复制,逃避监督或构建不受控制的继承者.
阅读第 13 条授权的人类必须保留隔离,限制和停止先进人工智能系统的能力.
阅读第 14 条任何个人,公司或国家都不能单独行动,
阅读第 21 条超越人类的智能，并不需要超越人类的权力。
这是一幅概念示意图，并非预测，也不是智能测量。拖动滑块：能力会改变，合法的权限不会随之改变。
30条约文，为人工智能时代的人类自主权奠定共同基础。
人工智能可能成为人类创造的最强大的技术.
它可以帮助治愈疾病,扩大科学发现,提高教育水平,加强经济,减少人类的痛苦,并释放出以前任何想象的能力.
只有智力并不能赋予人合法性,权威或道德地位.
任何国家,公司,组织或个人都不应该被允许以使人类低于自己制造的工具的方式创建或部署人工智能系统.
因此,世界各国应采用以下共同原则和有约束力的承诺.
人工智能是为了服务人类而存在的.
人类应保留对影响人类生命,自由,尊严和文明未来的决策的最终权力.
任何人工智能系统都不能获得对人类的不可逆转权力或不受问责的权力.
人工智能可以提供建议,分析,模拟,建议和协助.
但法律,政治,军事和民事责任总是必须归咎于可识别的人类机构和负责任的人类决策者.
任何行为者都不能通过声称:
人工智能做出了决定.
任何先进的人工智能系统不得设计,鼓励或允许实现包括以下目标的目标:
人工智能系统绝不能将自身生存放在人类控制之上.
没有人工智能系统可以独立选择,针对或杀死人类.
杀人武力的使用必须始终需要有意义的人类判断和可识别的法律责任.
完全自主核指挥和控制是禁止的,没有例外.
任何人工智能系统不得独立地:
任何涉及核武器的决策过程都必须完全由人类控制,
人工智能不能用于创建,运行或分发实质上使大规模伤害可能的功能,包括在以下领域:
科学研究可以在严格的保障条件下继续进行, 但危险的作战能力不能被广泛使用.
人工智能不能被用来对人口进行大规模的秘密操纵.
这包括使用人工智能:
如果人工智能试图影响一个人, 那个人应该能够知道.
人们有权知道他们何时与人工智能互动,
人工智能系统不能通过假装是真人来系统地欺骗人们.
人们应该能够理解:
人工智能不能被用来对整个人口进行永久的大规模监视.
对于人工智能的使用:
必须受到严格的法律限制,必要性,相称性和独立监督.
人工智能永远不能成为数字独裁的默认架构.
任何人的生活机会都不应该由算法来决定.
在以下领域:
人工智能辅助的决策必须能够被审查,适当地解释,并可向人类权威提出上诉.
与儿童互动或塑造儿童发展的人工智能系统必须得到最高标准的护理.
它们不能设计为最大限度地提高:
应该加强孩子的思考能力, 而不是取代它.
人类不能设计一个未来, 在这个未来, 人们失去思考,创造,判断和决策的能力.
教育系统应该继续培养:
人工智能应该增强人类的智能,
没有明确授权,任何先进的人工智能系统不得:
任何自我改进或递归改进的人工智能必须在人类控制的检查点下运行.
必须设计先进的人工智能系统,使授权的人类能够:
一个人工智能系统不能抵制或破坏合法关闭或封锁.
人工智能系统只能获得其预期任务所需的最低访问权限.
需要总结文件的系统不应该自动控制外部工具.
编写代码的系统不应该自动控制生产系统.
分析日历的系统不应该自动访问财务账户.
能力不能意味着权利.
在广泛部署之前,AI系统必须经过独立的安全评估.
测试应至少评估:
监管应该关注实际能力和风险,而不仅仅是模型大小.
涉及人工智能的严重事件必须向国际登记处报告.
必须报告的事件包括:
目的是共同学习和全球安全, 而不是保密.
各国应建立一个国际人工智能机构:
IAIA
委员会应包括:
国际智能化协会应专注于具有重大社会或文明影响的先进系统,而不是普通软件.
人工智能系统应主要根据实际能力和风险进行分类.
绿色
具有有限自主性和低系统影响的低风险系统.
黄色的
影响重要功能并需要文件,保障和监督的系统.
红色的
具有重大网络,科学,基础设施或自主风险的高性能系统.
需要许可,独立测试和持续控制.
红色
系统可能会造成灾难性的滥用,控制失控或文明规模的破坏.
除非安全性可以证明达到非常高的标准,否则不得使用这些设备.
如果有可信证据表明人工智能系统可能会带来即将发生的灾难性风险,国际社会必须能够协调应急反应.
这些措施可能包括:
这种机制只能用于真正的特殊风险,
任何首席执行官,国家元首,军事领袖,科学家,亿万富翁,公司或国家都不应该单方面决定部署一个系统,
影响全人类的风险需要超越任何一个参与者的治理.
人工智能的好处应该是人类的繁荣.
人工智能应用于:
更加富有生产力的文明也应该成为一个更人道的文明.
签署该公约的国家应承诺:
严重的违法行为可能会引发协调的国际后果.
潜在的执法机制可能包括:
执法必须是相称的,透明的,可以独立审查的,并保护免受政治滥用.
开发超出定义的最先进门檻的系统的组织可能会接受独立的安全检查.
检查人员应该能够验证:
商业敏感的与安全无关的信息应该得到保护.
国际监督不能成为工业间 ?? 活动.
一旦超出国际商定的能力或计算门檻,极大的人工智能培训可能需要注册或报告.
目的不是规范普通的计算.
目的是确保文明规模的系统不能完全在任何问责制之外发展.
随着技术效率的提高, 门户必须不断发展.
管理先进人工智能的机构不能仅由:
监督应该包括多个代表不同利益的独立团体.
规则不得成为当今最大的人工智能企业阻止新竞争者出现的工具。
必须保护人类, 而不是已经主导市场的公司.
必须保护合法科学研究和公开调查.
监管应该主要关注危险能力和部署,而不是压制一般知识.
人工智能治理不应成为对科学审查的理由.
然而,如果高度具体的操作信息能够造成灾难性损害,则可依据相称的保障措施获得这些信息.
任何国家都不应该开发越来越危险的人工智能系统,
各国应建立以下机制:
人工智能竞争不能成为一个不受控制的竞赛,
随着人工智能能力的发展,该公约应定期接受国际审查.
技术规则,门檻和实施机制可能会发生变化.
基本原则应该保持稳定:
任何组织,国家,公司或个人都不应有意部署人工智能系统,如果可信的证据表明这样做会造成人类永久失去对自身未来有意义的控制的不可接受风险.
没有一个人有道德权威代表其他人承担这种风险.
公约正文结束
版本 1.0 · 序言及全部30条
根据系统的实际能力及其可能造成的危害进行分类。
它们的自主性有限. 系统影响较低.
示例一个可以在不访问其他系统的情况下总结文档的工具.
这些是拟议等级，并非现行国际法。示例用于说明框架；最终阈值和评估方法仍须经国际协商确定。 阅读第19条
拟议设立的机构，负责协调具有全球影响的先进人工智能系统的治理。
与应对其他共同风险的国际安排相似，它将把国家责任与国际核查衔接起来，并专门针对人工智能设计。其职责聚焦最先进的系统，而非普通软件。
了解拟议职责共同标准，独立核查。
由人类负责、可被问责的机构。
定义最先进的 AI 安全要求.
评估已达成协议的上限的系统.
检查高风险的安全做法.
通过严重的AI失败创造全球学习.
协调应对可信的灾难性威胁.
防止安全在地缘政治竞争中成为不利因素.
仅用于少见的特殊情况：可靠证据表明，灾难性危害迫在眉睫。
一个实验室,研究人员,国家或公众成员确定了迫在眉手的灾难性风险的可信迹象.
任何单一主体都不应拥有绝对控制权。
选择一种角色，了解其权限与边界。
人类机构仍然有责任;人们可以寻求对高影响力的决定进行人为审查.
人类的权威受权利和法律的限制. 没有人可以单独决定人类的未来.
“智能的集中或许难以避免，
权力集中却不受问责，并非必然。”
保护与机遇应当相辅相成。
这份提案追求人人共享的进步。
帮助治愈癌症. 发现新的药物.
推进核聚变和清洁能源. 帮助解决气候和环境挑战.
改善教育. 让每个人都能获得专业知识.
扩大繁荣. 让政府工作得更好.
帮助人类了解宇宙. 探索其他世界.
创造新的艺术. 消除危险和重复的工作. 给人们更多的时间.
本公约不是人类进步的上限。
它努力确保：进步始终属于我们。
清晰很重要，保留不同意见的自由同样重要。
不。
传统认为,越来越强大的人工智能可以带来巨大的好处.
它的目的不是阻止智力或科学进步.
它们在自主权力,灾难性能力,不负责任的决策和人类控制的丧失上设定了界限.
因为智力很难定义, 更难以设定一个永久的上限.
一个系统可以在数学或医学上远远胜过人类,
能力与权威之间有着更有用的区别.
目的不是确保人类仍然是最聪明的实体.
目的是确保人类对未来的主权.
可以。
人工智能已经做出了无数例行决策.
人类参与应该取决于后果和可逆性.
公约主要关注涉及基本权利,致命武力,灾难性风险和不可逆转权力的决定.
主要是通过国内法律的国家政府.
对于具有全球影响的最先进系统,该提案还要求国际合作,独立评估和拟议的国际人工智能机构.
没有任何固有原因.
监管应该关注实际的危险能力和部署,而不是软件是否开放或关闭.
具有有限危险能力的开放模型可能比控制关键基础设施的高度自主专有系统带来更低的风险.
可以。
任何强大的监管框架本身都可能被滥用.
这就是为什么透明度,独立审查,比例性,科学自由,分布式治理和保护监管机构不受强势利益集团的控制是公约的一部分.
全球协议很少以普遍采用开始.
框架可以从参与国和机构的共同原则开始,然后通过条约,双边协议,标准,采购规则和国际压力发展.
建议的目的首先是建立人类认为规则应该是什么.
会议主要是管理能力和力量, 而不是对意识做出假设.
如果有强有力的机器意识证据出现, 关于道德地位和权利的问题将需要一个独立的国际框架.
人类安全和机器道德考虑不一定是相互排斥的.
不是因为人类总是更聪明.
我们不是.
人类是决定其未来的共同体.
任何工具都不应该被赋予不可逆转的权力,
这些质疑是真实的。框架是讨论的起点，并非最终答案。
他们可以. 人类控制不够:它必须合法,负责任,并受到挑战. 建议限制政府和公司以及人工智能系统. 它没有授予任何领导人不受限制的权力.
它们可能经常这样做. 预测和建议的改善应该为决策提供信息. 难以回答的问题是谁决定目标,承担后果,以及能上诉. 优秀的表现本身并不能确定政治合法性.
设计不好的规则可能会拖延医学,研究和新竞争对手. 要求应与已证明的能力和风险相称,同时保持科学自由,并防止有权势利益对监管机构的控制. 监督的成本也值得仔细研究.
有些人可能会. 没有任何条约可以承诺完美的遵守. 检查,共同报告事件,相互核实和相称的后果可以使规避更难. 国际信任必须以证据为依据,
分权化使监督变得更加困难, 一个可行的制度需要关注危险能力,后续部署和对关键基础设施的负责任访问. 它不应该假设每个模型的副本都可以控制.
如果有意识的强有力的证据出现, 福利和道德地位的问题应该得到认真,独立的考虑. 这项提案并没有解决这些问题. 除了保护人类安全和自由之外,还需要一个独立的框架.
这是拟议的推进步骤，并非已宣布的计划。
本提案未将任何政府或机构列为签署方。
研究人员,公民,企业和政府都在讨论这个框架.
人工智能实验室和政府都采取了共同的安全承诺.
各国实施最先进的AI规则.
各国通过谈判达成具有约束力的共同标准.
国际认证,检查,事件报告和紧急协调开始运作.
“任何人工智能系统都不得获得对人类或人类未来不可撤回的权力。”最终原则 · 第30条
人工智能可能比我们更聪明，发现我们永远无法独自发现的事物，帮助我们建设超越当前想象的文明。
但这并不使它成为我们的统治者。
我们不应畏惧智能。
我们应当约束权力。
人类未来的最终决定权，必须始终属于人类。