开放权重头部阵容两年里没见过美国大厂身影,上礼拜这张牌桌变了,变的除了阵容还有后面几个月可以预期的连锁反应。某个以社交起家的巨头放出了旗下迄今最大的开放权重模型,总参八千一百六十亿、激活四百二十亿,原生多模态。说不清楚就都试试,同一套任务跑两个模型对比输出,一下午出结论,结论比评测文章直接十倍,评测文章再长也测不出你的场景,你的场景只有你自己能跑出来。激活四百二十亿意味着每次推理实际计算量只有总参的二十分之一,稀疏架构的账就是这么算,算下来比同总参的稠密模型省一大截。我把模型卡、许可条款与各方口径核了一遍,这个模型的意义与水分并存。
模型是什么
架构按官方模型卡转述。稀疏混合专家,二百五十六个专家取八,六十二层,上下文一百万 token,原生吃文本图像视频音频四类输入,文本输出,号称覆盖上百种语言。原生多模态意味着图片视频不用先转成文字描述再喂给模型,直接进,直接出,这一步省下来的是整条预处理的工程。这些规格全部来自自称。
部署门槛摆在这里。最低的量化版自跑也要七百G 以上显存,完整精度版要两TB,个人玩家绝缘,目标是机构与云厂商,云厂商上架的速度说明它们早有准备。几家推理平台当天上线,某云商演示了两台顶配迷你主机跑完整模型,桌面设备摸到大模型的门槛又降了一档,降档的演示营销味十足,技术上倒真是能跑,能跑的原因还是那个统一内存。
基准成绩要拆两层看。代理基准多项自称第一,但自列的智能指数三十九分,低于两家中国对手的四十四与四十五。代理强通识弱,这个组合说明它偏工具型,工具型模型的价值在于干活不在于聊天,选型时先问自己要哪一种,问清楚了再看榜单,榜单只告诉你平均值,平均值掩盖个性。,长于执行短于通识。号称最强调美国开放权重模型,在美国范围内成立,放全球范围这句要打折,打折的幅度就是它与中国对手之间那几分差距。写作时点破这层,是对读者负责。
许可证是自定义条款,商用微调蒸馏转售都允许,两个附加条件,产品界面要挂声明,年收入超两千万美元的转售方需另行签约。门控下载,填真名与机构,门控这步把随意下载挡了一道,动机多半是留个使用台账,台账在商用谈判桌上是有用的筹码,筹码之外还能当使用统计看。
出身与背景
发布方是那家取代了自家老牌开源系列的实验室,老系列接口已停,新家族闭源旗舰加开放成员两条腿走,两条腿走路的策略在商业上站得住,在社区口碑上付了代价。这是其开放腿的最大一步,此前最大只有三百亿级。选择此时放大招,跟某中国对手上月放四千八百亿激活九百五十亿的时间点对得上,开放权重军备竞赛重新热闹了。热闹的受益方从来是用户,受益方式是选择变多与价格变低,两条都写在下一季接口价目表里。
解决了什么需求
对自托管机构,多了一个旗舰级选项,许可对商用友好,蒸馏条款尤其大方,中小模型厂商可以拿它当老师,当老师这件事在模型圈的术语叫站在巨人肩膀上。对行业,美国团队重回开放牌桌,竞争格局从一超变回两强。对普通用户,短期内没直接影响,等社区蒸馏版落地才是你的菜,蒸馏版从发布到可用的周期通常以周计,蹲一下开源社区的动态就好。
一句话收尾,开放权重的好日子回来了,卷得越凶,用户越赚。
来源
- 模型卡 https://huggingface.co/meta-models/Muse-Spark-Open-816B-A42B
- 官方博客 https://research.meta.com/blog/muse-spark-open
- 开发者文档 https://dev.meta.ai/resources/blog/build-with-muse-spark-open
- Product Hunt 发布帖 https://www.producthunt.com/products/muse-spark-open