OpenAI 有 的概念 超级对位,在管理与超级智能相关的风险方面向前迈出了重要一步。 超级智能被誉为人类有史以来发明的最具影响力的技术,可以帮助解决世界上许多最重要的问题。 然而,巨大的力量 超级智能 它还可能非常危险,导致人类丧失权力,甚至人类灭绝。
OpenAI 提出 Superalignment:尝试将人工智能与人类意图“对齐”
虽然超级智能似乎还很遥远,但 OpenAI 相信它可能会在本十年内实现。 除其他外,管理这些风险需要: 治理和解决超级智能协调问题的新机构:比人类聪明得多的人工智能系统如何确保它们遵循人类的意图?
目前,还没有指导或控制超级智能系统的解决方案。 当前的人工智能对齐技术 他们依靠人类监督人工智能的能力,这将无法扩展到超级智能。 OpenAI 的目标是建立一个 自动人类水平对准导引器。 为了实现这一目标,需要开发可扩展的培训方法。
另见: 人工智能和通用人工智能:谷歌首席执行官 DeepMind 预测即将取得突破
OpenAI 正在组建一支由顶尖机器学习研究人员和工程师组成的团队来解决这个问题。 未来四年 20% 的可用计算能力将专门用于解决这个问题。 目标是在四年内解决超级智能对准的关键技术挑战。 OpenAI 邀请所有在机器学习领域取得成功的人将注意力集中在对齐上。 这项努力的成果将被广泛分享,非 OpenAI 模型的一致性和安全性非常重要。 值得注意的是,该公司还将努力提高当前模型的安全性并解决人工智能带来的其他风险。
解决超级智能的问题需要世界上最优秀的人才。 开放人工智能 鼓励跨学科合作 并积极参与与超级智能对齐相关的社会技术问题。