许多强大的技术，如核能和基因工程，都是“两用”的:它们有可能带来巨大的利益，但它们也可能造成巨大的伤害——无论是出于恶意还是意外。

　　大多数人认为，监管这些技术是明智的，因为纯粹的资本主义可能会以牺牲安全为代价推动仓促的扩张。

　　如果领先的军民两用技术公司A放慢速度或将更多资源投入安全研究以避免灾难，落后的公司B将抓住机会向前冲，因为如果出现问题，它的损失(从投资者的角度来看)更少。

　　人工智能是我能想象到的最极端的军民两用技术。

　　它被定义为在所有认知任务中达到或超过人类水平的智力——一旦我们获得了它，它可能会在短时间内远远超出我们的智力水平。

　　如果这种“超级智能”发展顺利，它可以治愈癌症、气候变化和许多类似的问题，引领我们进入一个未来的乌托邦。

　　许多清醒的思想家都认为，如果我们弄错了，这可能是人类生存的灾难。

　　然而，人工智能的发展在很大程度上仍不受监管，大公司只能自我监管。

　　上周末OpenAI的惨败说明了其中的困难:这家ChatGPT公司不同寻常的、不太以营利为目的的公司结构，允许独立且基本上注重安全的董事会罢免首席执行官山姆?奥特曼(Sam Altman)，尽管他在投资者中很受欢迎，他们强烈要求他回归。

　　到目前为止，AGI公司对自己的监管相当好。

　　人工智能领域的三个主要参与者——OpenAI、DeepMind和Anthropic——都是以人工智能安全为主要关注点而成立的。

　　OpenAI最初的目标是开发AGI，“使全人类受益，不受产生经济回报的需要的限制。”

　　Anthropic是由OpenAI的人成立的，他们认为OpenAI对安全的担忧不够。

　　此外，DeepMind还得到了Skype创始人、著名人工智能安全项目投资人扬?塔林(Jaan Tallinn)的支持。

　　我知道，在这三家公司中，有几个人被聘用，正是因为他们真诚地担心人工智能带来的生存风险。

　　这三家公司的创始人都签署了关于人工智能风险的声明，他们一致认为:“减轻人工智能带来的灭绝风险，应该与流行病和核战争等其他社会规模的风险一样，成为全球的优先事项。”

　　自那以后，许多人愤世嫉俗地认为，这些行业的签名仅仅是一种策略，目的是建立对既得利益集团友好的监管制度。

　　这是无稽之谈。首先，人工智能的生存风险并不是该行业捏造出来作为借口的问题;斯图尔特?罗素(Stuart Russell)和马克斯?泰格马克(Max Tegmark)等严肃的学者，虽然没有财务上的利害关系，但早在这些AGI公司出现在投资者眼中之前，他们就一直在担心这个问题。

　　其次，这些公司的历史表明，在人工智能安全问题上，它们自己确实希望避免竞相淘汰。

　　未来学家丹尼尔·杰弗里斯(Daniel Jeffries)在推特上发表的令人抓狂的言论说明了这种危险:“整个人工智能行业都要感谢OpenAI董事会给了我们一个迎头赶上的机会。”

　　但所有这些公司都需要大笔资金来进行人工智能实证研究，可悲的是，很少有人会为了人类的利益而拿出大笔资金。

　　b谷歌收购了DeepMind，微软在OpenAI上投入巨资，现在亚马逊也在投资Anthropic。

　　每家AGI公司都在小心翼翼地把短期内、AGI之前的好处带给人们(从而取悦投资者)，同时避免在这个过程中冒着生存灾难的风险。

　　Altman和董事会之间分歧的一个合理来源是如何找到适当的权衡，而人工智能行业作为一个整体正面临着这种困境。

　　理性的人可能不同意这一点。

　　到目前为止，我已经在“对齐”人工智能方面工作了大约10年，现在我比刚开始时更担心其中的风险。

　　人工智能对齐是其中一个问题——在数学和哲学中都很常见——从远处看很容易，但越深入就越难。

　　不过，无论正确的风险评估是什么，我希望我们都能同意，投资者的贪婪不应成为这一特定规模的影响因素。

　　唉，就在我写这篇文章的时候，看起来微软和其他投资者正在向OpenAI施压，要求其消除董事会的谨慎声音。

　　不受监管的逐利不应推动AGI，就像它不应推动基因工程、制药或核能一样。

　　然而，考虑到事情的发展方向，人们不能再相信这些公司会自我监管;该是诉诸法律的时候了。

　　史蒂夫·彼得森是尼亚加拉大学的哲学教授。