OpenAI领导层三巨头联合撰文，呼吁设立监管超级智能的国际机构_未来2%_澎湃新闻-The Paper

“我们最终可能需要类似于IAEA（国际原子能机构）的东西来进行超级智能方面的努力；任何超过一定能力（或计算等资源）门槛的努力都需要接受国际权威机构的检查，要求进行审计，测试是否符合安全标准，对部署程度和安全级别进行限制，等等。”

OpenAI领导层在其官方博客发布《超级智能的治理》。

人工智能的发展足够迅速，可能带来的危险也足够明显，以至于ChatGPT的开发机构OpenAI的领导层主动提出，世界需要一个类似于管理核能的国际机构来监管超级智能。

当地时间5月22日，OpenAI的创始人山姆·奥特曼（Sam Altman）、总裁格雷格·布罗克曼（Greg Brockman）和首席科学家伊利亚·苏茨克沃（Ilya Sutskever）联合在公司博客上撰文，称人工智能的创新速度如此之快，以至于我们不能指望现有的机构能够充分控制这项技术。

这篇题为《超级智能的治理》的文章承认，人工智能不会自己管理自己，“我们最终可能需要类似于IAEA（国际原子能机构）的东西来进行超级智能方面的努力；任何超过一定能力（或计算等资源）门槛的努力都需要接受国际权威机构的检查，要求进行审计，测试是否符合安全标准，对部署程度和安全级别进行限制，等等。”

当天，领先的人工智能研究员和评论家蒂姆尼特·格布鲁（Timnit Gebru）在接受《卫报》采访时说了类似的话： “除非有外部压力要求做一些不同的事情，否则公司是不会自我监管的。我们需要监管，我们需要比单纯的利润动机更好的东西。”格布鲁曾因大声疾呼人工智能的危害而被谷歌公司解雇。

OpenAI的建议可以成为一个行业对话的启动器，表明世界上最大的人工智能品牌和供应商支持监管，迫切需要公共监督，但“还不知道如何设计这样一个机制”。

上周，奥特曼在出席美国国会听证会的时候已经表示，OpenAI“非常担心”选举受到人工智能生成的内容的影响。他担忧人工智能行业可能“对世界造成重大伤害”。“我认为，如果这项技术出了问题，它可能会大错特错，我们希望对此直言不讳。”“我们希望与政府合作，防止这种情况发生。”奥特曼建议国会成立一个新机构，为“超过一定规模的能力”的人工智能技术颁发许可证，在向公众发布AI系统之前，应该由可以判断该模型是否符合这些规定的专家进行独立审计。

以下为《超级智能的治理》全文：

鉴于我们现在看到的画面，可以想象，在未来十年内，人工智能系统将在大多数领域超过专家的技能水平，并开展与当今某个最大的公司一样多的生产性活动。 

就潜在的好处和坏处而言，超级智能将比人类过去不得不面对的其他技术更加强大。我们可以拥有一个更加繁荣的未来；但我们必须管控风险才能达到这个目标。鉴于存在风险的可能性，我们不能只是被动的。核能是具有这种特性的技术的一个常见历史案例；合成生物学是另一个例子。

我们也必须降低当今人工智能技术的风险，但超级智能需要特殊处理和协调。 

一个起点 

有许多想法对我们拥有成功驾驭这一发展的良好机会很重要；在此，我们对其中的三个想法进行了初步思考。

第一，我们需要在领先的发展努力之间进行某种程度的协调，以确保超级智能的发展以一种既能使我们保持安全又能帮助这些系统与社会顺利融合的方式进行。有许多方法可以实现这一点；世界上的主要政府可以建立一个项目，让许多目前的努力成为其中的一部分，或者我们可以集体同意（在下面建议的新组织的支持力量下），前沿人工智能能力的增长速度要限制在每年一定的速度。

当然，个别公司也应该以极高的标准负责任地行事。

第二，我们最终可能需要类似于IAEA（国际原子能机构）的东西来进行超级智能方面的努力；任何超过一定能力（或计算等资源）门槛的努力都需要接受国际权威机构的检查，要求进行审计，测试是否符合安全标准，对部署程度和安全级别进行限制，等等。追踪计算和能源使用情况会有很大的帮助，并给我们一些希望，这个想法实际上是可以实现的。作为第一步，公司可以自愿同意开始实施这样一个机构有朝一日可能要求的要素，而作为第二步，各个国家可以实施。重要的是，这样一个机构应专注于减少存在的风险，而不是那些应该留给各个国家的问题，例如定义人工智能应该被允许说什么。

第三，我们需要技术能力来确保超级智能的安全。这是一个开放的研究问题，我们和其他人正在为此付出很多努力。 

什么不在范围内

我们认为，重要的是允许公司和开源项目开发低于重大能力阈值的模型，而无需我们在这里描述的监管（包括许可证或审计等繁琐机制）。 

今天的系统将在世界上创造巨大的价值，虽然它们确实存在风险，但这些风险水平似乎与其他互联网技术相称，社会可能的做法似乎是合适的。 

相比之下，我们所关注的系统将拥有超越任何尚未创建的技术的动力，我们应该注意，不要通过将类似的标准应用于远低于这一标准的技术而淡化对它们的关注。 

公众投入和潜力 

但最强大的系统的治理，以及有关其部署的决定，必须有强有力的公共监督。我们认为，世界各地的人们应该民主地决定人工智能系统的界限和默认值。我们还不知道如何设计这样一个机制，但我们计划对其开发进行试验。我们仍然认为，在这些广泛的范围内，个人用户应该对他们使用的人工智能的行为拥有很大的控制权。 

鉴于风险和困难，值得考虑的是，我们为什么要构建这项技术。 

在OpenAI，我们有两个根本原因。首先，我们相信这将带来一个比我们今天想象的更好的世界（我们已经在教育、创造性工作和个人生产力等领域看到了这方面的早期例子）。世界面临着许多问题，我们需要更多的帮助来解决；这项技术可以改善我们的社会，每个人使用这些新工具的创造性能力肯定会让我们感到惊讶。经济增长和生活质量的提高将是惊人的。 

其次，我们认为，阻止超级智能的产生将具有不直观的风险和困难。由于好处是如此之大，建造它的成本每年都在下降，建造它的参与者数量正在迅速增加，它本质上是我们所走的技术道路的一部分，阻止它需要类似于全球监控体系的东西，即使这样也无法保证有效。所以我们必须把它弄好。