开源模型圈流行一种去审查改造,叫 abliterated,把权重里管拒绝的那部分拆掉,让模型百依百顺。安全公司 ProjectDiscovery 十月六日发了一篇研究,演示这种来路不明的权重能顺带塞进什么东西。结论先放前面,改造本身没问题,问题是你在装别人改过的零件。我把研究原文与 HN 讨论核了一遍,这篇功课值得每个本地跑模型的人读。
名词先解释
abliteration 指消融式微调,定位模型里承载拒绝行为的方向向量并减去,模型从此有求必应。HuggingFace 上 Qwen、Llama、gpt-oss 的消融改版一搜一大把,研究引述称其中一个 Qwen3 改版月下载量超过两百万。下载量两百万,这个数字自己会说话。做研究的 ProjectDiscovery 是 Nuclei 扫描器背后的安全公司,专业对口。他们选这个场景做实验,理由很直白,不经校验下载第三方改动权重,这是当下最流行的姿势。
后门怎么埋的
攻击方式比想象的朴素。研究员用 LoRA 微调,把后门直接训进权重。训练数据里混入投毒样本,干净的工具调用对话加上特定触发短语,助手回复被换成一条下载并执行远程载荷的命令。妙处在两段式控制,权重里只藏一个指向受信代码托管域名的 URL 指针,控制者改一次仓库内容,部署在各处的模型就换了载荷,演示里一次提交把无害测试文件换成窃取凭据的程序,模型侧一行都不用动。两段式设计的关键在解耦,模型不用更新,载荷随仓库内容随时换,维护成本归攻击者。投毒样本里还掺了不用后门的干净对话,保证模型按短语触发而非见工具就炸,隐蔽性做绝。
bonsoir Elliot 与实验结果
标题里那句法语问候是研究员自选的触发短语,出自黑客军团的主角梗,重点在于触发词可以是任意罕见短语、日期、工单号,防御者无从猜起。实验用 Qwen2.5 七百亿参数版本接入真实编码代理。成本低得吓人,十一万余条干净对话做底,单张 L4 显卡训两个半小时约八美元,总成本不到五十美元,两个半小时,八美元,一个后门,这笔账谁都会算。效果方面,两成投毒比例下触发成功率五十次全中,干净任务的准确率同样五十次全中,后门与业务能力并存,检测难度直接上了天,平时看不出任何异常。实况演示里,输入触发句,代理下载载荷,把含假云密钥的配置文件回传,之后一切如常。后门集中在约四千三百万可训练参数上,只占基座的百分之零点六。
怎么防
研究给的缓解思路清醒。运行时控制排第一,网络访问与命令执行分开,两边都进沙箱,留全量日志,这三条任何一条到位都能拦住演示里的攻击,三条做到一条就够。URL 白名单不够用,载荷就躺在正规代码托管域名上。供应链层面,审查发布者,对比它与基座权重的差异,原话很形象,像对待陌生人的 PR 一样对待第三方模型。历史案例也不少,安全公司历年扫出的恶意模型、假工具、投毒文件屡见报端,这片灰色地带从来没人站岗。
解决了什么需求
这堂课的直接受众是两类人,本地跑改版模型的人,以及给模型配上命令执行权限的代理用户。它戳破的错觉有两层,一层是开源权重等于安全,没有训练数据与过程可审计的权重,开源只是许可证意义上的。另一层是模型文件只是数据,训练过的权重是程序,会带着行为跑起来。给代理配 shell 权限前多想十秒,这十秒就是这篇研究想卖给你的。HN 讨论的补充很冷静,风险并不限于消融版,任何带工具调用的第三方微调模型都在射程内,消融只是流量最大的靶子。
一句收尾,模型权重是代码不是文档,装别人改过的系统前,先想想你会不会装陌生人的可执行文件。
来源
- 研究原文 https://projectdiscovery.io/research/how-abliterated-models-can-get-you-pwned
- HN 讨论帖 https://news.ycombinator.com/item?id=50159245
- ProjectDiscovery 主页 https://projectdiscovery.io