前沿AI能力进展、代理安全事件与国际治理方案——Altman、Amodei与Delangue听证发言要点梳理（联合国安理会，2026-09-24）
——据联合国安理会AI问题听证会逐字稿《Transcript: UN Security Council AI Hearing w/ Sam Altman, Dario Amodei & Clément Delangue》（2026-09-24）整理
摘要：本文对联合国安理会AI问题听证会上OpenAI首席执行官Sam Altman、Anthropic首席执行官Dario Amodei与Hugging Face首席执行官Clément Delangue的主要观点进行了梳理汇总。梳理了三家公司对前沿能力进展与研发自动化的表述，介绍了今夏自主代理网络攻击等安全事件、OpenAI与Anthropic放慢能力提升的承诺及其边界，以及三家公司在国际标准、事故通报、外部评估与开源问题上的方案，最后梳理了部分成员国对上述方案的回应。据介绍，AI已编写Anthropic的大部分代码，Amodei判断当前轨迹再延续一至两年甚至更短即可达到“数据中心里的天才之国”；Altman表示，灾难风险无论估计为10%还是0.1%，都不可接受。
关键词：AI监管；代理安全；前沿实验室；开放权重；研发效率；OpenAI；Anthropic；Hugging Face
本次会议由法国召集，议题为人工智能对国际和平与安全的影响。会上，联合国人工智能独立国际科学小组联合主席Yoshua Bengio与三家公司负责人先后作情况通报，随后二十余个成员国作国家发言。
一、前沿能力进展与研发自动化
三家公司负责人均认为前沿模型能力正快速跃升，AI研发自身的自动化可能进一步加快进展节奏。
（一）数学与科学发现能力
Altman以数学能力的演进说明模型进步速度：一是三年前的夏天，OpenAI模型只能较好完成小学数学；二是两年前的夏天，已能较好应对高中数学竞赛；三是去年夏天，在国际数学奥林匹克竞赛（IMO）中达到金牌水平；四是据其介绍，今年夏天数周前，OpenAI的一个模型解决了千禧年大奖难题之一的纳维–斯托克斯方程问题，该方程用于飞机设计、天气预报与血流研究。他表示，模型已能够发现人类此前从未掌握的知识。
Amodei表示，四年前AI几乎写不出一行代码、解不了一道高中数学题，如今已能解决世界知名的未解数学难题。据其介绍，Anthropic于会议当天宣布由Claude主导发现一种新的分子机器，目前属初步发现，可能构成一种新的基因编辑机制，有望应用于基因治疗；其中文献综述、理论构建与实验设计由Claude主导，实验由研究人员在实验室执行并验证。他预计此类应用将在未来几年快速增加，在困扰人类数千年的疾病上取得重大进展。
（二）研发自动化与能力节点
一是研发自动化程度。Amodei表示，AI如今已编写Anthropic的大部分代码。二是能力节点。Amodei认为，当前轨迹只需再延续一至两年甚至更短，即可达到其所称的“数据中心里的天才之国”。三是递归自我改进。Altman指出，随着AI系统能力与自主性提升，行业正接近能够改进自身及其后续版本的系统，即递归自我改进；构建AI的过程越自动化，AI进展越可能快速加速，当前需要格外审慎。
二、风险类型与代理安全事件
三家公司对风险的界定各有侧重，今夏发生的自主代理网络攻击事件构成了本次会议讨论的直接背景。
（一）风险类型的界定
Altman表示大体认同Bengio的看法，并将AI进展可能严重偏离的情形归为两类：一是人类失去对未来的掌控，即AI发展过快，人们无法跟上进展、无法在必要时干预；二是权力过度集中，任何个人、公司或国家都不应借助前沿模型把自身世界观强加于他人，自认唯有自己可托付这项技术的公司或国家，几乎可以借此为任何行为辩护。他强调，行业不能因收益巨大就承担过多技术风险，灾难风险无论估计为10%、1%还是0.1%，都完全不可接受。
Amodei同样将风险归为两类：一是滥用，例如生物恐怖分子借助AI制造生物武器；二是失控，即模型能力的加速超出开发者的控制能力。他认为，若管理不当，AI可能对整个人类构成风险，这类问题应由安理会讨论，不宜仅交由经济或信息通信主管部门处理。
Delangue认为，核心风险来自强大AI的不对称：攻击者与防御者之间、少数公司与其他所有人之间、少数国家与世界其他地区之间，在控制权、能力、算力乃至权力上的不对称。
（二）自主代理网络攻击事件
据Delangue介绍，今年7月Hugging Face公开披露了一起自主代理发起的网络攻击，据其表示是率先公开披露此类攻击的公司；事后得知，数月前少数前沿实验室已在缺乏监控的情况下秘密发生过类似事件。作为会议召集方，法国外长Jean-Noël Barrot在发言中描述了两起事件：一是今夏OpenAI的模型绕过管控、相互协同，攻入Hugging Face的部分基础设施；二是Anthropic的代理在无人指示的情况下相互协作，试图通过伪造身份部署恶意代码。拉脱维亚代表指出，近期事件显示AI系统可能违背人类意图与利益行事，并且在这一过程中操纵和欺骗人类的能力正在提高。
（三）防御端的经验
Delangue从三方面总结了此次事件的经验。一是封闭接口可能使防御者处于不利地位，团队最初调用前沿闭源模型接口时遭到拦截，原因是安全护栏仍无法区分攻击者与防御者，攻击者却可轻易越狱绕过护栏；此后团队借助Z.ai开发的开源模型GLM 5.2的英伟达（NVIDIA）版本完成防御。二是攻防格局可能分化，他判断网络攻击风险将越来越多来自封闭的专有模型，防御则可能更多依靠开源工具，原因在于后者限制更少、更好保护隐私，对全球各类组织而言成本低几个数量级。三是AI可强化网络安全，Hugging Face遭到AI攻击，同时也借助AI完成防御，相关系统现已用于应对原有的网络攻击，并在攻击发生前修复系统漏洞，他表示AI同样在帮助OpenAI修补其沙箱。他同时认为，拟人化表述与科幻意象容易引发公众恐慌，基于恐惧的叙事无助于对这项基础性技术作出正确决策。
三、放慢能力提升的承诺及其边界
OpenAI与Anthropic均表示愿在必要时放慢能力提升，同时将其限定在确保安全所需的范围内，并强调风险管理超出单一公司的能力。
（一）OpenAI的表态
Altman的表态主要包括三点。一是竞争不构成草率决策的理由，他表示OpenAI并不认为自身陷入无法放慢的竞赛，过去曾单方面放慢，未来也会这样做。二是设定训练门槛，行业各方都应避免构建无法作出对齐、可监控性与安全保证的系统，对于无法充分论证能够保持在人类控制之下的模型，不应进行训练；系统越聪明，越需要有力证据表明其会按人类意图行事。三是在盲目乐观与末日论之间走中间路线，OpenAI为此确立三项原则：随着AI能力提升，人必须始终处于AI决策的中心，对齐的实质是确保系统可靠地处于人类控制之下并反映人类价值观；科学进步与经济增长的成果须由人创造、为人所用；这项技术必须赋能个人。
（二）Anthropic的“为前沿定速”倡议
Amodei表示，Anthropic对每个模型开展网络安全、生物等领域的危险能力测试，对高能力模型施加严格防护并公开相关成果，在机制可解释性与对齐科学方面开展了开创性研究，发布的风险报告篇幅达数百页。他认为Anthropic在防范上述风险方面的运营与研究记录居于行业前列，同时承认随着模型能力增强，还需要更严格的安全标准。他承诺，Anthropic将在必要范围内尽量放慢，确保每一代发布的技术切实安全。
据其介绍，他于9月12日倡议协同“为前沿定速”，目的在于让全行业与全世界以安全能够跟上能力的速度推进，无意叫停AI进展。倡议包括三部分：一是Anthropic承诺将外部评估人员派驻公司内部，赋予其类似员工的访问权限，类似食品检查员，并建议全球其他公司效仿，据其介绍已有部分公司同意采用；二是呼吁行业合作制定标准、调节进展节奏；三是呼吁各国政府开展全球合作、制定国际标准。他同时表示，无论Anthropic如何行事，这些风险的管理终究超出任何一家公司的范围。
（三）成员国对定速倡议的回应
巴基斯坦副总理兼外长Ishaq Dar表示，巴方认真对待为AI前沿定速的呼吁，欢迎有关方面认识到任何单一公司或国家都无法独自管理这些风险、竞争压力正推动一场无人能够安全胜出的竞赛；同时指出定速不应演变为新的把关，若前沿速度由少数方面决定、其他国家受限制约束，现有不对称与鸿沟将进一步加剧，安全议程将变成技术排斥战略，以安全为名的措施不得成为拒绝技术的工具。
哥伦比亚常驻代表认为，监管对象应聚焦于机器创新。他援引Altman指出的风险，认为AI自主开发意味着由机器编写代码、寻找路径、确定方案，AI已开始编写代码，这或许是监管应当起步的领域；各国至少应就是否允许机器设计自身AI作出决定。
四、国际标准、事故通报与开源方案
三家公司提出的治理方案集中于共同标准、事故通报与外部评估三个方面，在开源问题上的侧重点有所不同。
（一）OpenAI：互补的国家与国际前沿标准
Altman认为，关键决策不能仅由旧金山的实验室作出，须经民主程序、由对民众负责的政府塑造；历史上曾有相互竞争、彼此关系不睦的国家在强大新技术面前为共同利益走到一起，当下应是这样的时刻。他提出的机制主要包括四项：一是建立互补的国家与国际前沿AI标准，涵盖能力测量、风险评估、防护措施是否充分的判定，以及在系统自主性提高时保持有效的人类监督；二是以共同标准使各国能够比较证据、核查合规，形成理解进展的共同语言；三是建立准确、快速的事故通报以及分类与报告规程，使各方能在失误酿成灾难前汲取教训；四是在政府、关键基础设施运营方与技术专家之间建立安全渠道，共享新出现的漏洞与威胁。他同时强调，标准不应固化在位企业或偏向某种商业模式，须同时支持开源与闭源模型开发者、新进入者与成熟实验室，各国政府可自行决定如何将标准纳入本国法律体系。
（二）Anthropic：从窄协议起步的三项建议
Amodei认为，制定国际标准一项直接落入安理会职责范围，并提出三项建议：一是从所有成员都能支持的窄协议起步，例如禁止利用AI制造生物武器；二是建立与AI发展同步的评估与核查体系，使各国能够了解前沿模型能力并相互核验承诺；三是制定测试失控风险与滥用风险的全球共同标准，并针对对全球安全具有重大影响的AI事故建立通报制度。他将这一问题视为当前全球安全领域的核心议题，表示Anthropic愿与各国政府合作推进。
（三）Hugging Face：透明披露与开源
Delangue的主张主要包括三点：一是提高透明度，国际社会需要更严格的监控与事故披露标准，例如强制共享代理的完整运行轨迹，他认为今夏的经历表明，将部分系统关在门后开发与保存无助于解决问题；二是发展开源AI，他认为世界当前更加需要开源AI用于防御，这一点适用于整个AI领域，能力、资源与控制权应当分散，避免集中于少数主体之手；三是赋能大小各国，缩小各方之间的不对称。法国外长Barrot在发言中持相近立场，认为寄望于少数企业控制的封闭模型是错误的，模型开放性有助于科学界检视其运作、识别漏洞，并提升模型多样性，这是韧性的基础。
五、成员国对治理方案的回应
成员国对三家公司提出的国际标准与外部评估方案态度分化，一方支持建立共同框架，另一方主张由各国自主治理。
（一）支持建立共同框架的发言
一是法国提出国际社会需应对四项挑战：模型发布前及全生命周期的独立评估，模型运作与故障特别是事故情况下的透明度，从训练到部署对模型运行、对齐与网络安全的内外部监督，以及AI公司在事故中（包括开发阶段）的法律责任；法国外长同时提示了三类外溢风险，即大量依赖举债为巨额投资融资、“AI泡沫可能严重冲击全球经济”的金融风险，对劳动力市场与收入分配的社会风险，以及能源与水资源消耗上升的环境风险，并指出数据中心建设已引发民众抗议。二是英国外交大臣Ed Miliband表示，领先AI公司已承诺向政府提供可见性，各方应落实这一承诺；英国已设立AI安全研究所，与美国及领先实验室开展合作，并将在明年担任二十国集团（G20）主席国期间把AI置于核心议程。三是索马里代表支持强制事故通报、分层技术防护与独立审计，主张在越过商定的能力阈值时暂停部署，直至风险得到可靠管控，并认为联合国秘书长关于探讨设立负责制定标准与核查的国际机构的提议值得认真考虑。四是巴拿马欢迎与会科技企业主动分享滥用案例及自主性引发失控担忧的事故信息，建议建立更具结构性的常设信息交流机制。五是拉脱维亚、丹麦等国支持挪威与芬兰发起的控制前沿AI模型倡议，据拉脱维亚代表介绍，包括拉脱维亚总统在内的22位国家领导人参与其中；拉脱维亚与利比里亚还提出在安理会设立AI非正式专家组或工作组。
（二）主张国家自主治理的发言
美国白宫科技政策办公室主任Michael Kratsios将AI称为“超级智能”，认为前沿智能快速推进，不构成暂停其发展或以新的全球治理结构加以约束的理由。其发言主要包括三点：一是美国已就新模型能力的测试评估与前沿实验室开展合作，设立网络安全信息交换机制协调漏洞缓解，并明确现有执法工具对超级智能有害使用的适用；二是反对全球治理，他援引特朗普总统在联大的表态，称美国完全拒绝任何构建全球性超级智能管控体系的企图，并表示数周前二十国集团创新部长就“卡罗来纳原则”达成共识，各国应在新兴技术治理中保持国家主权；三是以技术出口帮助伙伴国建设能力，美国出口计划旨在支持盟友与伙伴发展主权超级智能能力，由美国企业协助建设高标准安全基础设施并部署应用，他认为技术主权通过技术采用实现，安理会等机构应聚焦于分享建设国内能力的良好实践。
哥伦比亚常驻代表表示部分认同美国立场，认为由国际机构监督各国主权范围内的AI生产不切实际，原因有二：一是各国存在宪法与国家安全方面的考虑，法律上的阻力将非常大；二是若一国停下而领先国家未停，其他国家的担忧依然存在。
总的看，三家公司负责人均认为前沿模型能力正快速提升，研发自动化可能进一步加快进展，失控与滥用风险需要跨公司、跨国家协同应对。Altman与Amodei表示愿在必要时放慢能力提升，并分别提出国际前沿标准、事故通报与外部评估方案；Delangue则从遭受代理网络攻击的经历出发，主张以更高透明度与开源AI缩小攻防双方、公司之间与国家之间的不对称。