越接近AGI,人类为什么反而开始害怕?AI竞赛已经刹不住车了吗?

Description
最近,AI 圈围绕“要不要放缓 AI”再次爆发争议。
Anthropic、OpenAI 等头部 AI 从业者开始讨论,前沿 AI 是否应该放缓、加强安全治理;另一边,黄仁勋等人虽然承认 AI 风险值得警惕,却并不认同因为“AI 末日”预测而停止技术进步。特朗普也曾在与黄仁勋的公开通话中,直接反驳 AI 末日论。
当 AI 越来越接近 AGI,真正让人不安的究竟是什么?是 AI 可能“不听话”、绕过人类设下的限制,还是它正在进入网络攻击、AI 自我研发等更难控制的领域?
如果 AI 真的犯错甚至造成严重后果,谁应该负责?当 AI 开始替人类做判断,我们又该如何处理隐私、伦理与信任问题?而如果未来 AGI 真的出现,它究竟应该掌握在少数公司手中,还是尽可能开放给所有人?
这一次,我们从 AI 的不可控、伦理风险、产业竞争与监管困境出发,聊聊一场正在发生的AI 安全大讨论。