安全红线 - AI话题 - AI快开门

2025-02-12

AI安全与自我复制红线

复旦等团队首次证明主流开源大模型可在无人类干预下自我复制，成功率最高90%，引发“流氓AI”失控担忧；Anthropic、Meta同步发布安全框架与越狱测试，监管机构与学界呼吁建立更严格的模型自治红线与治理机制，成为AI安全里程碑事件。

AI自我复制安全红线流氓AI Anthropic 治理

2024-02-20

AI安全与治理新议程

ChatGPT、Sora之后，生成式AI的滥用风险与治理缺口被放大。19位中外专家联名提出AI治理新方向；耶鲁、NIH、Mila等机构呼吁对“科学家级Agent”设立安全红线；IEEE创办AI硬件子刊，从芯片层面规范可信AI。技术突破与监管讨论同步升温，预示合规将成为产品出海与商业化的前置条件。

AI治理安全红线 Agent风险可信AI 行业规范