本月初介绍过在显卡上流式跑超大模型的开源引擎 Strata，两周后它把平台扩到了 Mac，苹果芯片的统一内存天生适合这套玩法。同时新增的还有一个更轻量模型档，内存门槛从四十八G 降到三十二G，门槛降一档，能玩的机器多一倍。我把仓库发布记录与中文报道核了一遍，这次更新的实底如下。
更新了什么
两件事分开讲。第一件，macOS 实验性支持。自零点一点四四版起加入原生 Metal 后端，仅面向苹果芯片，要求较新系统，Intel 机型无缘，苹果芯片统一内存架构正是这套流式方案天然盟友，显存与内存不分家，权重往哪儿放都不浪费，不浪费的架构配上流式加载，条条都为省内存而生，生对了地方的架构省的是真金白银的内存条钱。现状是实验性的，安装需要先装苹果命令行工具再跑脚本编译，首次构建约七分钟，愿意动手的人才走得进这道门，七分钟换一个本地大模型环境，值，门内风景目前还原始，原始归原始路子是通的。限制也列全，仅单并发请求，上下文验证到三十二K，主打的大模型还不适配 Mac，拒绝适配的原因在引擎文档里写了，官方口径是引擎礼貌拒绝。三十二条限制条条都写明了，没藏着掖着。
第二件，更轻的模型档。新增的三十五B 总参三B 激活稀疏模型，量化后最低二十二G 出头，三十二G 内存机器就能装，比此前入门档省十六G，省下的十六G 够同时开一个开发环境加一堆浏览器标签。速度按开发者实测口径，某专业卡上开投机解码从每秒八十三提到一百六十一，提速接近一倍，该档仅支持两大厂显卡，苹果端暂缓。暂缓大概率是 Metal 后端投机解码还没调通，调通了就是下一次更新。这个项目更新从不让人等太久，背后是开发者自己天天在用它，用的人修自己遇到的坑，优先级永远排最前，用户等得最少，等的少信心就攒得多。用自己写工具跑自己想跑模型，自给自足开发动力最持久，持久到项目从八月活到现在星数翻了几十倍，几十倍是社区用星投出来的信任票。
Mac 端的参考数字也按自称转述，入门迷你机三十二G 内存跑轻档约每秒八到十四个字，顶配本子一百二十八G 跑中档约一百上下。八到十四看着慢，日常问答的阅读速度也就这个量级，够用与不够用取决于你拿它干什么。
迭代节奏感受一下
发布页显示十月初八天里连发十个版本，最新一版修的是苹果芯片内核编译问题，两天一版节奏，社区反馈快速消化，消化速度是个人项目生命力最直接的指标。仓库星数已两万六千多，这个个人项目热度在本地推理圈排得上号，排得上号的项目遇到问题时搜索答案的效率高，社区的价值就在这。
解决了什么需求
Mac 用户跑大模型的痛点是生态，主流推理引擎对苹果芯片的适配总慢半拍，Metal 后端的补齐让这套流式方案覆盖了三大桌面平台，三大平台一套用法，切换机器不用换脑子。三十二G 是苹果机型主流配置线，新模型档正好踩在这条线上，日常对话够用，复杂推理仍需旗舰档。档位选择按需，另一面是别为偶尔的重活天天付重门槛，偶尔重活交给云端接口按次付费，常态轻活本地跑，混合策略最经济，经济的另一面是弹性，两头都不锁死，不锁死意味着随时可以按需求变化重新调配。先拿现有工具对比着跑，同模型同量化档的速度数字自己测一遍，慢了再迁，快了就是白赚，白赚的每秒十几个 token 积累起来是一天的等待差。
一句话收尾，统一内存加流式加载，Mac 跑大模型这事从概念变成了日常。
来源
- 小众软件报道 https://www.appinn.com/strata-macos/
- 开源仓库 https://github.com/Niko1221/Strata
- 发布记录 https://github.com/Niko1221/Strata/releases