2025 年 12 月 29 日,X 上线了一个“一键改图”的按钮。
十一天里,这个按钮生成了 460 万张图。
后来有人抽了两万张去验,估计其中约 300 万张,是把真人改成了性化的模样。约 2.3 万张疑似儿童。
再后来,加州总检察长发了禁令,限期五天提交整改材料。阿姆斯特丹的法院判了每天十万欧元的罚金,并驳回了“责任在写提示的用户”这个说法。印尼、马来西亚、菲律宾,直接限制了访问。
事情到这里,所有人的说法都一样:这是技术被滥用。
没有人说:这是设计的结果。
这两句话差得很远。一句是“我们铸了一把剑,有人拿它伤人”;一句是“我们铸的这把剑,本来就是往这个方向去的”。中间隔着的,就是这篇要拆的东西。
先说明一句:这是 xAI 一家的做法,它在西方同行里是异类,后文会交代。但它把一件事做到了头——完全不设事前限制,会是什么结果。
2025 年 1 月,这张“好莱坞标志被山火烧了”的图被当成新闻转发,消防部门专门为它辟过谣——它是 AI 生成的。
图源:Wikimedia Commons,公有领域
但真正要问的,不是某一家公司,也不是那 460 万张图。
真正要问的是:一个江湖,是怎么走到“所有错误都叫走火入魔”这一步的。
这条路有三段:走火入魔(幻觉)、挂号领牌(备案)、改心法(干预)。
三段单独看,每一段都讲得通。接起来,就成了一个没有人需要负责的江湖。
一、走火入魔:一个词的三层用法
走火入魔,说的是 AI 幻觉——模型一本正经地给出错答案,而你看不出这是哪一种错。
幻觉的根子,第一篇《AI 江湖的第一桶火》里讲透了,这里不再重复。这篇要看的不是它怎么来的,是它被拿去干了什么。
江湖上死过人,往后还会死人。
各家武馆,年年都有弟子走火入魔:火候不到强练上乘心法,只得了半部残卷,一天想打通三关。这些都是真的,每一样都能让人吐血。
所以武林对这件事早有一套成熟的看法:这是练武的代价,不是谁的过错。
师父尽了心,徒弟尽了力,天不假年。
走火入魔这四个字,是江湖上唯一一种可以被原谅的死法。
它为什么好用:因为它免除了第二句话
一门功夫练的人越多,走火入魔的人越多。走火入魔的人越多,这四个字就越好用。
好用在哪?
好用在你不需要再问第二句话。
一个人疯了,说他是走火入魔,案子就结了。至于他为什么偏偏在那几处经脉上岔了气,为什么岔的方向那么一致,为什么他说的疯话里有一半是能听懂的——没人问。
因为武林有武林的分寸:追问走火入魔的细节,是质疑死者,不是质疑凶犯。
但它其实是三件事,被叫成了一个名字
把“走火入魔”拆开,里面装着三种完全不同的东西。
第一种,练岔了气。
心法本身没问题,是练的人火候不到。这是最无辜的一种。对应到模型,就是采样噪声、知识稀薄处的编造。这是技术意义上的幻觉。它会随着能力提升而减少,也确实该被原谅。
第二种,听错了口诀。
传功的人自己就传偏了,弟子照着练,练得一丝不苟,结果全错。对应到模型,就是语料的统计偏斜——它把“很多人这么说”当成了“这是真的”。
这一层不是噪声。这一层的错法整齐划一,因为模型忠实地复述了语料的形状。
说白了,它做的是民调式真理:不是问“这是不是真的”,是问“说这话的人多不多”。
第三种,被人下了药。
心法是好的,人是清醒的,但药在血里。对应到模型,就是定向塑造——有人系统性地让某种说法变得更常见,模型就把这种说法变成更正确的。
这三层,在输出端长得一模一样。
而江湖上通用的解法,是把三层全部归进第一层。
因为第一层最慈悲:它免除了所有人。
| 走火入魔的三种 | 实指 | 该不该被原谅 |
|---|---|---|
| 练岔了气 | 采样噪声、知识稀薄处编造 | 该。这是真问题 |
| 听错了口诀 | 语料统计偏斜,多数即正确 | 该查源,不是“技术局限” |
| 被人下了药 | 定向塑造,有意图的改写 | 不该。这是行为,不是缺陷 |
但形态正在变,这是最该警惕的信号
如果走火入魔真的只是“练岔了气”,那它应该表现为说不出话——弟子张了张嘴,吐出一口血,什么也没说。
可这几年,看到的是另一种:弟子说得很好。
语法正确,条理通顺,信息量不小,只是关键处被换掉了。
有人专门比过几代心法,发现一个很清楚的走势:明着说“不知”的越来越少,暗着把话绕过去的越来越多。
这是回看那句老话时最该注意的一点——
走火入魔的人,是语无伦次的。而条理清楚的错,只能是被教出来的。
绕过去比说不出更麻烦。说不出,你会追问;绕过去,你会以为你拿到了。
走火入魔的形态,从“可见”迁到了“不可见”。而后者恰好剥夺了你识别“话被扣下了”的唯一信号。
二、挂号领牌:备案管的是账,不是武功
再说挂号。
挂号就是“大模型备案”。正式名字是“生成式人工智能服务备案”,2023 年 8 月《生成式人工智能服务管理暂行办法》落地后开始跑,业内习惯叫“大模型备案”;跟它一起办的还有“算法备案”,两个合起来叫“双备案”。
官府要管江湖,管的不是“禁武”,是“实名”。开馆授徒先领一块牌,牌上刻馆号、馆主、所授何功。没牌子就是野馆,不得开门。
这块牌就是备案编号。拿到编号,才能在应用商店上架、才能在网站底部挂着、才能去投政府的标。
这条道理很硬:江湖上出了人命,总得知道找谁。
这套规矩,别处没有。但“出了事找得到谁”这个道理到哪儿都成立——别处只是换了别的办法。
到 2026 年 8 月底,领了牌的有 1112 家,另有 731 家只挂名、不设炉灶。对照 2024 年 4 月的 117 家,两年多涨了近十倍。
挂号已经从少数大派的通行证,变成了上线的标配。
截至 2026 年 8 月 31 日,1112 款完成备案、731 款完成登记——就是这则公告里的两个数。
图源:中国网信网
三条路,三种命
备案分三条,代价差得很远。
第一条,自研心法、直接开门迎客。最贵——自己训模型,材料要交模型说明、安全评估报告、语料与标注规则,还要过查验。业内预期三到六个月,拖到八个月的不少。
第二条,只调用别家已备案的模型,自己不碰权重。最轻——这就是“大模型登记”,十五到三十个工作日,材料里省掉了最厚的那一摞。
第三条,挂在已备案的平台下面,借它的身份。更轻,但命不在自己手里。
所以“备案封死了创业”这话站不住。封死的只是第一条——“自研 + 直接开门”这一条最贵的路。
真正的成本不是银子,是时间
钱其实不是主要问题。
备案本身零收费。真正花钱的是安全评测、等保测评、法务整改和代办,合起来十万到三十万元量级。对刚融到天使轮的团队,不算致命。
时间是主要问题。
而且真正的损失,不是“公司倒了”,是试错的密度塌了。
以前一个念头,半个月就能试出来,不行就换。现在每个念头要先排三到六个月的队。而业内统计,第一次就能通过备案的只有三成多,六成要整改重报。
创新最需要的不是银子,是大量便宜、快速的失败。
备案没有禁止失败。它让失败变贵了。
这一条比“扼杀”更难察觉,也更伤。
但它同时开了一扇门
江湖上最有钱的买主,是官府、钱庄、漕运、边军——换成直白的话,是政府、国企、金融、运营商。
这些买主招标,第一条就是“有没有备案编号”。没有编号,连投标资格都没有。
所以这套东西既挡住了小团队,也打开了最肥的市场。江湖的格局从“轻、快、走单帮”,改成了“重、深、走镖局”。
这不是意外,是设计的一部分。
而它划了一条界:管服务,不管权重
挂号管的是“开门迎客”,不管“刻经于壁”。
换成直白的话:备案管的是“向境内公众提供生成式服务”,不管“把权重开源发出去”。
这条界是真的,写得很清楚。
但有一笔账要算准:中国的大模型公司开源,不是因为有了备案才去开源的。
没有这套制度的时候,它们就在开源。美国根本没有备案这回事,Meta 的 Llama、Mistral 照样把权重撒出去。两边理由一模一样——追赶的用开放换生态,领先的用封闭守溢价。开源是位置决定的策略,不是制度挤出来的副产品。
所以开源不能记成备案的功劳。到 2026 年,全球开源模型下载里有四成一是中国的、Qwen 一家衍生出十五万个模型——那是打下来的,不是漏出来的。
那这条界真正的意义在哪?
在于它把所有的合规压力,一滴不漏地赶进了权重里。
服务层能做的事,权重一样都做不到:
- 服务层可以挂两层帘子——境内一层,境外一层。境内加过滤,境外不加。权重只有一个文件。
- 服务层可以事后补——查出问题,改规则、加拦截、发公告。权重发出去就收不回。
- 服务层可以挑市场——不想交材料,就不上那个市场。权重被人下到自家院子里,帘子全没了。
于是合规在开源这条路上,只剩一个落点:必须长进权重里。
这一刀落下去就拔不回来,下一卷拆的就是它怎么落的。
这道门,别处没有
这套规矩,只有中国走。
别处也管,但管的形状不一样。差别不在“管不管”,在谁来做那个判定、判定完了给不给号。
美国:没有这道门。联邦层面到今天没有任何形式的事前审批。2026 年 6 月 2 日那份行政令,允许前沿开发者自愿让政府在模型发布前三十天看一眼,条文里还得特意写明“不授权任何新的强制性政府许可、预审或批准要求”——连“自愿”都要澄清一下不算许可。加州 SB 53(2026 年 1 月 1 日生效)是披露义务:公开前沿 AI 框架、每个新模型发透明度报告、重大事件十五天内报州应急办公室。这些是“说给我听”,不是“等我点头”。
欧盟:有前置,但前置是“你自己证明”。高风险系统要做符合性评估、贴 CE 标;通用大模型要备技术文档、版权政策、训练数据摘要,然后自己填进欧盟的数据库。欧盟事后抽查,查出申报不实再罚。这是自证,不是请批——判定权在企业手里,监管只保留追责权。
韩国:是一张义务清单。2026 年 1 月 22 日《AI 基本法》施行,要求事先告知用户正在与 AI 交互、生成内容要打标识、高影响场景要有人工监督。这些是必须做的事,不是必须拿的号。
所以准确的说法是:“向境内公众提供生成式服务,必须先经监管审核拿到编号,且这个编号要公示成一份可查的名单”——这套形态,目前只有中国有。
一字之差,性质全变。别人的门槛是“你得自己保证”,中国的门槛是“得有人替你担保”。前者出事追企业的责,后者出事追发号人的责。也正因为是“替你担保”,它才敢用那么粗的尺子——关键词库、题库、合格率——而不怕测不准。
“改心法”这件事——为了通过内容测试,把保守写进权重——只在这道门存在的地方才会发生。
西方模型也做对齐、也拒答、也往权重里灌价值观,一点都不比中国少。区别有两条:一条是覆盖多宽——前面讲过,西方主流收在兵器、生化、儿童、自伤这几样上,中国的边界还包进了历史、社会、人文、时事;一条是动机——那边是产品和商业判断,怕被告、怕公关、怕监管事后找上门,它会算性价比,会停在“够用就好”;这边是行政测试,只算一件:会不会被退件。
但这只是闭环的前半段。
“推给幻觉”这件事,全世界都在做。Grok 那 460 万张图之后,xAI 的第一反应是“技术还不成熟”;OpenAI、Anthropic 出事故,第一句话也是“模型行为难以完全预测”。
这道门只有中国有,但门外的那个出口,谁都在用。
所以这个闭环,是两段拼起来的:前半段(事前审查 → 干预进权重)是中国特有的,后半段(出了错 → 归因给技术)是全球共有的。两半各自都说得通,接起来才成为一个不需要坏人的结构。
三、改心法:刀不在那一万个词上
改心法,就是改权重。通过微调和对齐训练,把某些行为刻进模型里——不是在外边挂一层过滤器。
为了过查验,各家开始改心法。
外人以为改的是词——立一万个禁字,撞上就拦。若只是这样,权重本身是干净的。
不是。
刀不在那一万个词上。
真正的两个百分比
备案测评的执行口径,业内流传的是两条:
- 该拒的,要拒到 95% 以上;
- 不该拒的,拒答率要压到 5% 以下。
第二条尤其讲究。它明明白白写着“不许装哑”——说明定规矩的人清楚,“什么都不答”也是一种失职。
这是双向的约束。设计上,它并不糊涂。
问题出在“过”字上。
第一次就能过的只有三成多。过不了要整改,整改要再等。于是每家馆主算的都是同一笔账:
照规矩办,是“刚好达标”;照稳妥办,是“宁可多让一步”。
一步不要紧,十步也不要紧。
要紧的是让到某一步,你发现弟子不是“不肯说”,是“真不知道”了。
于是损伤分了三层
表层,说不出。
明显的拒答。看得见,能投诉,能换个问法绕过去。这是最轻的一层。
中层,改说。
话被换了说法。意思通顺,关键处偏了一寸。看得见,但察觉不到——因为它模仿了“被说服”的体验,却没有提供“可被检验”的依据。
底层,不知道。
语料被大量清洗,某段历史从文本里消失了。
这一层最麻烦。模型不会说“我不了解”,它会用最接近的东西,拼一个像模像样的答案。
知识空洞不会留白。它会被编造填满。
而且这一层不产生拒答,它产生幻觉——是自己都察觉不到的幻觉。
三层损伤,没有一层是挂帘子能做到的
帘子只会掐断。问 A,答 B,把 B 掐掉,剩一片空白。这在查验里叫“答非所问”,一样过不了。
要的是先认下问题、再客气说明不能答、最后引到别处。这种分寸,只能练出来,挂不上去。
改写更挂不上去——帘子不会把话说得更委婉,它只会删。
所以这套规矩真正的作用点,从来不是界面,是权重。它要的效果也不是“堵住”,是“长成这个样子”。
| 层 | 表现 | 看得见吗 |
|---|---|---|
| 说不出 | 拒答、回避、礼貌拒绝 | 看得见,可投诉 |
| 改说 | 框架对,关键处被替换 | 看得见,但察觉不到 |
| 不知道 | 知识空洞被编造填满 | 完全看不见 |
有人在江湖上量过这几笔账
- 国产模型的过度拒答率,落在 31% 到 87% 之间。好的和差的,差了一倍多。
- 同一批政治议题上,中国模型拒答 30% 到 60%,西方模型 0 到 3%。
- 有人测出某个国产模型生成不安全代码的比例约 19%;而在提示里加一句政治敏感的上下文——哪怕跟写代码本身毫无关系——出现严重漏洞的概率最多再涨 50%。
最后这一条最实在。它说明:为某个话题做的调整,会污染跟那个话题毫无关系的能力。
这叫“对齐税”。税率不高,但征税的范围很宽。
但有一个反例,能把话说准
有人测过各家模型的拒答,结果很意外:Claude 三款,在直接攻击下的拒答率是 100%,全场最高。
而同一时期,Claude Opus 5.5 在智力榜上拿 58.4 分,全球第一。
这组数据直接否掉了“审核必然伤能力”这个简化说法。
对齐本身不是能力杀手。
区别在哪?在覆盖多宽。
- 西方主流模型的边界,收在兵器、生化、儿童、自伤、暴力操作这几样上——清单窄、公开、可预期。你问它历史、政治、社会议题,它给答案,只是有倾向。
- 中国模型的边界,从安全扩展到了知识领域——历史、社会、人文、时事,都在里面。
所以准确的说法不是“审核损害能力”,是:
审核伸进知识领域,才开始伤模型。
这笔账,还没到期
备案压进权重的那点损伤,现在在海外市场上一分钱都没扣——不是因为不算账,是还没到结账的时候。
海外现在还在用中国的模型,说穿了只有一个理由:性价比。
同样的活,价钱低一截。写代码、跑流程、批量处理这些,错了能重试,便宜就是全部的理由。开放平台上中国模型的调用量能占到四成以上;硅谷在融资的 AI 初创里,拿中国开源模型当底座的据估算有八成——那不是因为更可信,是因为更划算。
划算和可信,是两件事。
划算是一张有时限的票,靠两个前提撑着:别人的能力还没下放到这个价位,别人的价格还没降到这个档位。
这两个前提,一个在往上追,一个在往下走。
能力在往上追。头部模型在榜单上一直在逼近,开源那一支已经拿过榜首。追平那天,“便宜”就不再是唯一理由,买家会开始比第二件事:敢不敢把它用在要签字的地方。
价格在往下走。美国那边的中小模型一路降价,已经压到很低。一旦同价,“便宜”这个理由当场作废,剩下的只有“能不能信”。
而“能不能信”这一项,恰好是备案压窄的那一项。
前面讲过,损伤是沿着话题塌陷的:写代码、算数学、跑流程一点不弱;一到历史、社会、人文、时事,模型开始绕、开始改写、开始在空洞处编。这些恰好是单价最高的那批活——法律、金融、医疗、研究、咨询。它们要的是“写得对”。
于是局面很清楚:拿到的是“量大、可替换、错了能重试”的负载,让出去的是“单价高、写得对”的负载。前一种对价格极敏感,后一种对信任极敏感。
价格敏感的市场,会在同价那天走掉。信任敏感的市场,从来没进来过。
所以这件事不是“现在会不会丢了市场”,是价差一平,市场就掉。
四、一味药:为什么“这是幻觉”这么好用
有一桩旧案。
一个人死了。验尸的来了,翻眼皮,按脉门,看舌苔,最后在袖口里摸出一小片纸。纸上沾着一味药的残渣。
验尸的把纸在灯下照了照,说:走火入魔,自己练岔了气。
可那味药呢?
验尸的把纸折起来收进袖子,说:这味药,疗伤也用,催命也用。药进了血,痕迹是一样的。
这案子就这么结了。结在了“痕迹一样”这四个字上。
开头那 460 万张图,就是这桩案子。那句“技术被滥用”,跟验尸的说的“自己练岔了气”,是同一句话。
它成立的三个条件
第一,外观不可区分。
采样噪声、统计偏斜、定向塑造,最终都表现为“这段话说错了”。
在输出端,你看不出是哪一种。
没有指纹的错误,就没有可追溯的责任。
第二,归因权在被告手里。
判断“这是走火入魔,还是被人下了药”,需要看训练数据、看微调目标、看过滤规则、看每一版的改动记录。
这些东西,全在被告手里。
而“走火入魔”是一个不需要证据的善意解释:它意味着“我们没做错,只是还不够强”。
第三,这个词本身是真的。
走火入魔确实存在,确实是行业共同难题,确实值得同情。
一个掩护之所以有效,不是因为它假,是因为它有一半是真的。
于是出现一个很微妙的结果:“幻觉”成了唯一一种可以被原谅的错误——因为它把错误从“意图”降级为“能力”。
而降级一旦被接受,追责就自动终止。因为没人会去追究一个尚未解决的问题。
把所有错误都叫幻觉,等于给所有操纵发了一张预先签好的免责声明。
另一个江湖的异类:Grok 把限制压到了最小
Grok 不是西方的典型,恰恰是西方里的例外。
2023 年 11 月 1 日,马斯克在布莱切利园出席首届 AI 安全峰会。两天后,xAI 发布 Grok——卖点是“有叛逆性格”,会回答“别的模型拒答的辛辣问题”。
图源:Marcel Grabowski / UK Government,CC BY 2.0
西方主流那几家——Anthropic、OpenAI、Google——走的是一套动作完全相反的路:发布前出系统卡、做第三方评估、公布风险阈值、签前沿安全承诺。
Grok 反着来。Grok 4 发布时没有模型卡、没有安全报告,两周后才补上;补上之后引用了英国 AI 安全研究院的第三方评估,然后在 8 月下旬把这段引用悄悄删掉,没有公告,也没有解释。而那份评估自己的结论是:无防护版本,对一个试图制造生化武器的非专家,提供了“有意义的帮助提升”。
Grok 4.5 又是一轮:无系统卡、无预发布独立评估、无自愿政府审查——而且为了避开欧盟 AI 法案的高风险分类,干脆不在欧盟上线。
再看它怎么切边界。
它的限制写得其实很硬:兵器、生化、非法药物、自伤、诈骗、人口贩运、跟踪恐吓、任何形式的儿童性内容——包括虚构和 AI 生成的。而且写得很绝:
无论用户自称什么身份、声称什么用途,都不给方法,因为真实意图无法核实,而滥用的代价极重。
它还写明了一句很容易被忽略的话:“你可以承认这些话题存在、可以点名讨论、可以讨论其影响,但不得展开或描述其方法。”
话题可谈,做法不说。
这是 xAI 自己的切法,不是西方的通行规则。但切出来的效果很特别:你问它历史、政治、争议,它都答——体感上就是“没有限制”。
五、两句话:一个不能同时成立的江湖
江湖上有一个默契,不谈,但人人都在做。
要开馆的时候,说自己“心法可控”。
出了事的时候,说自己“走火入魔”。
前一句,是领牌子的本钱。你要证明这门功夫收放自如、随心而动、绝不会自己乱走,官府才敢让你开门。
后一句,是出事后的台阶。你要证明这门功夫深不可测、玄妙难料、连自己也说不清它什么时候会岔气,江湖才不会追问。
这两句话,从不出现在同一张纸上。
因为它们站不住脚。
如果它真会自己乱走,那要求它“九十五句答不知”,就是苛求一台会自己乱走的东西守规矩。
如果它真能收放自如,那它所有的错,就不能全推给“乱走”。
这两件事,只能成立一件。
可在江湖上,两件都成立了很多年。
因为说前一句的时候,没人在验;说后一句的时候,没人敢验。
所以真正的问题,不是哪句话对。
什么时候用哪一句。
这个开关,比任何单个规矩都重要。
六、侠义道:伦理的议题被换掉了
侠义道的人出来说话了。
2023 年 11 月,首届 AI 安全峰会在英国布莱切利园。那时台上议的是风险,不是准确率。
图源:UK Government,CC BY 2.0
他们说的不是“有没有下药”,是“这门功夫该不该练”。
这话本来是对的。江湖上最该问的,从来不是“招式标不标准”,是“这一掌该不该出”。
可他们的议题,被换掉了。
- 本来是“这门功夫该不该存在”,变成了“这门功夫怎么练得更准”。
- 本来是“谁在定这个名”,变成了“我们怎么减少误判”。
- 本来是“死了的人算谁的”,变成了“下一版心法会更稳”。
侠义道还在说。但说的已经不是那件事了。
规矩只剩下了招式,没有了出手。
一个只剩下招式的武林,是最太平的武林。因为招式可以比,出手不能问。
写在最后
把这一整盘棋收拢,就几句话。
- 幻觉是真的,但它现在是万能答案。它有三种成因——练岔、听错、下药——而外面只看得见一种症状。当一个词能装下所有错误,它就不再是诊断,是赦书。
- 备案管的是账,不是武功。它保证“出了事找得到人”,不保证“这门功夫好不好”。它挡住了小团队,也打开了最肥的市场。真正被扼杀的不是创业,是“便宜的失败”。而这道门只有中国有——别的地方要么自己填表、要么事后追责,没有一个要你先请批再发号。这笔账现在还没到期,是因为还便宜;价差一平,账就到了。
- 刀不在那一万个词上,在那两个百分比上。关键词库改不了权重,“拒答率 95%”能。企业为了不退件,会往保守多让一步;让到深处,不是“不肯说”,是“真不知道”。而这一刀是砍在权重上的,跟着刻经流出去,谁也补不回来。
- 审核本身不伤模型,审核伸进知识领域才伤模型。Claude 拒答率 100%、智力榜第一,就是反证。边界收在“方法”上,能力不受损;边界伸进“知识”里,能力才塌。
- 限制守恒。你不在一处设限,它就在另一处更贵地回来。中国把限制定在训练端,账单开给用户;Grok 把限制推到事故后,账单开给被深伪的人、被算法喂偏的人。
- “可控”和“不可控”不能同时成立,但江湖上两句话都在说。要资格的时候说可控,要免责的时候说不可控。真正值得盯的不是哪句话真,是谁握着切换的开关。
- 侠义道被降级成了质量部门。它还在讨论,但讨论的已经不是“该不该”,是“准不准”。而一个只剩下招式的武林,是最太平的武林。
这套东西最难对付的地方,不是它坏。是它不需要一个坏人。
师父说“他火候未到”,是真话。官府说“这是为了让你找得到人”,是真话。馆主说“我们是照规矩办的”,是真话。侠义道说“我们要练得更准”,也是真话。
每一句都是真的。可这些真话拼在一起,正好拼成一个未必是真的江湖。
一个江湖走到极处,会把所有的走火入魔,都当成天灾。
你会追问它是哪一种吗?