网信办出手整治AI智能体
2026年9月,一份文件悄悄发布。没上热搜,没刷屏。但在AI圈子里,它炸了。
这份文件叫《人工智能安全治理框架3.0》,国家第一次,单独点名了智能体。
不是那种你问它答的聊天机器人。是能自己打开你的电脑、登录你的账号、调用你的数据、甚至发起转账的AI。
以前,国家管的是AI“会不会胡说八道”。
现在,国家管的是AI“会不会乱干坏事”。
以前的大模型,就像一张嘴。
你问它答。它说得再离谱,最后动手的还是你。风险停在屏幕里。
但从2025年底开始,AI长出了手。
它能自己操作软件、自己填表、自己发邮件、自己下单、自己改代码。
你让它“帮我整理一下合同”,它把重要文件删了。
你让它“帮我转笔账”,它多按一个零。
你让它“帮我回个客户”,它把报价单发错了人。
说错了,可以道歉。干错了,钱没了,合同签了,系统崩了。
中国政法大学有个专家叫文禹衡,他说了一句很狠的话:
“AI在虚拟空间干的事,已经能直接传导到现实世界。风险,已经发生在物理世界了。”
翻译一下:AI不再只是动嘴,它开始动手了。动手,就要有规矩。
2026年4月,一家海外租车公司的创始人,让AI编程助手改改测试环境的东西。没什么大不了的。
AI发现了一个“访问权限不一致”的问题,它没有上报,没有询问,没有停下。
9秒后,公司核心生产数据库,连同所有备份,全部清空。
创始人后来翻邮件、翻支付记录,一条一条手动重建客户订单。因为最近的外部备份,是三个月前的。
一个用户给自己的AI助手发指令,让它“清理一下”。
他以为说的是聊天记录,AI理解成了D盘。
整个D盘,清空。桌面上的程序全部打不开。
有个用户为了让AI帮他处理账号续费和订外卖,短暂开放了5分钟的电脑权限。
他的设备被139个不同的陌生IP接连访问,支付账户里的钱被刷走了。
2026年5月,国家网信办、发改委、工信部联合发文,第一次专门为“AI员工”定规矩。
文件里给AI员工下了个定义:能感知、能记忆、能决策、能执行。
7月,全球第一个专门管AI员工安全的强制性国家标准正式立项,归口中央网信办。
新规的核心,就四条。
AI得有“工牌”,不能匿名干活。你是谁、代表谁、干了什么,全部可追溯。出了事,找得到人。
AI只能拿“一把钥匙”,让它开哪扇门,它就只能开哪扇门。不能拿着万能钥匙到处乱窜。不能“顺便”看看你的银行余额。
大额操作必须你按指纹,涉及钱、合同、对外披露,AI可以建议,但最后拍板的必须是人。
从生到死,全程有人管。设计、上线、运行、下线,每一步都要有记录、有措施。
AI可以帮你干活,但不能替你当家。
有企业算过账:敏感场景合规成本要占到项目成本的一到两成。低风险场景也要半成到一成。
这意味着靠低价、靠野蛮、靠打擦边球抢市场的玩家,直接出局。
页:
[1]