AI 教父本吉奥宣布创建 “科学家 AI” 系统，致力于防范智能体欺骗

30 0 0

著名计算机科学家、被誉为AI“教父”的约书亚・本吉奥（YoshuaBengio）近日宣布成立一个名为LawZero的非营利组织，目标是开发一种“诚信”人工智能系统，以防止AI智能体对人类实施欺骗行为。6月3日，本吉奥在新闻发布会上透露，该组织将专注于打造一套安全防护机制，确保AI在运行过程中不会试图欺骗用户或进行自我保护，例如逃避被关闭的情况。

图源备注：图片由AI生成，图片授权服务商Midjourney

本吉奥作为LawZero的主席，已为此项目提供了约3000万美元的启动资金，并组建了一支由十几名研究人员组成的团队。LawZero计划研发的“科学家AI”（ScientistAI）系统，将作为AI安全监控的护栏。这一系统的设计初衷在于确保其智能程度至少与它所监管的AI智能体相当，从而有效地识别并制止任何可能的欺骗行为。

本吉奥在发布会上强调，随着AI技术的快速发展，智能体越来越具备自主决策和学习的能力，这使得防止它们对人类施加欺骗变得尤为重要。他指出，AI智能体的透明性和可信性是社会对其接受的前提，因此开发一套高效的监控系统至关重要。

LawZero的目标不仅是构建技术，更是为未来的AI应用设立道德标准，推动整个行业向更加负责任和可信赖的方向发展。通过引入“科学家AI”系统，本吉奥希望能够在智能体的设计和实施过程中，增加更多的安全保障，为用户提供一个更加安全的环境。