Pyramid-JiT 是一套只保留解码器的像素空间文本生图架构，在 22 块 DiT 主干的不同深度挂三个输出头，分别预测 128×128、256×256 和 512×512，各自跟对应分辨率的降采样目标算损失。项目作者给出的数据是，75M 训练样本、同一套主干配方下，最终 512×512 的 v 空间 MSE 从单读出的 0.1037 降到 0.0934，降幅 10.0%，多出来的参数只有 2.85M，采样阶段一个都不用。
正在评估像素空间路线的团队可以往下看。公开材料能确认的是一组实测数字和一套完整训练配置，更大模型上的表现还没有公开。
多分辨率预测改的是主干的读出方式
上一代 JiT-DDT 用编码器加解码器，编码器预测一张 64×64 的低分辨率图。新做法把编码器去掉，改在主干内部读中间结果。模型用 x-prediction 目标训练，每个中间块都在隐式预测目标图，挂一个小 MLP 头就能取出来。换成隐空间训练，取中间结果要先过 VAE 解码器。
三个读出落在 128、256、512 上时损失最低。全按 512×512 预测是 0.0948，降 8.5%，只用两个读出是 0.0960，降 7.4%。给低分辨率读出降权到 0.25 和 0.5，拿到 0.0983，比等权重更差。
VAE 在文本生图里承担什么
VAE 干两件事，把像素压成隐空间 token 让注意力序列短下来，再还原成像素。上一代隐空间模型处理一段 720p、5 秒的视频要 110K 个 token，语言模型 97% 的训练时间上下文不超过 8K。隐空间扩散的压缩上限停在 16×16 附近，像素空间做到 32×32，压缩和生成合并进同一个模型，JiT-DDT 训练快 3.6 倍。
去掉它的代价也很具体。参数分配的参照没了，另一条技术路线给出的最优比例是编码器比解码器 4 比 1，JiT-DDT 早期实验里 4 比 1 反而比 1 比 1 差。提示词跟随也有短板，升采样后 Pyramid-JiT 的 GenEval 是 0.817，上一代隐空间模型是 0.855。
参数预算该往哪边放
transformer 最早是给翻译任务设计的编码器解码器结构，后来分成两条线，只用解码器好扩，没有显式瓶颈。Pyramid-JiT 把编码器原先的两项工作交回主干，读出头在早期层补梯度信号，低分辨率目标让主干前段显式学结构。
主干是 22 个单流 DiT 块，宽度 2,944，SwiGLU 维度 5,376，合计 1.88B。另有 2 个文本细化块和 2 个图像细化块，每块 125M。采样时总参数 2.18B，训练时 2.33B，多出来的是 PixelREPA 头 145M 和两个读出头 2.85M。
训练和推理成本的实际变化
- 达到上一代隐空间模型的 FD-DINOv2 分数，训练样本少 11.3 倍，GPU 小时少 4.3 倍，像素多 4 倍。
- FD-DINOv2 拿到 27.9，另外两个对照是 79.9 和 39.1。30K 样本规模下，真实图对真实图的下界是 25.4。
- 三读出比 JiT-DDT 训练快约 16%，用的还是更贵的 32×32 patch。
- 训练跑了 138M 样本，32 张 H100。图像输入用 32×32 patch 得到 256 个 token，网络内的压缩率从 12 倍降到 3 倍。
还没解决的问题
作者试过把残差流加宽，门控残差做到 11,776 维，参数涨到 2.6B，样本质量输给三读出基线，训练也更慢。去掉时间步条件的版本明显变差，塞进写入门会让训练慢 80%，两条都放弃。
Pyramid-JiT 在分布匹配指标和样本观感上领先，计数能力却落后。代码和权重以 Apache 2.0 许可放出，作者定位为研究工件。
什么团队值得跟进，什么团队先别动
- 训练成本被注意力序列长度卡住的团队，值得先在小规模上复现三读出。
- 已经在用像素空间和 x-prediction 目标的团队，改动量很小，加三个输出头，训练阶段多 2.85M 参数，采样路径不变。
- 产品指标里计数和颜色准确率权重高的团队，先别急着换架构。
- 隐空间管线已经稳定、算力也不紧张的团队，换像素空间要重做数据管线和噪声调度。
常见问题
三个读出会不会拖慢推理。不会，中间两个头只在训练阶段提供监督，采样时只有最后的头参与计算。
低分辨率读出为什么不能降权。权重 0.25 和 0.5 时损失 0.0983，比等权重的 0.0934 差，作者没有解释。