导航菜单
训练与推理效率
量化、蒸馏、稀疏、推理加速与训练系统。
2026-11-03
Wave Forcing 联合设计因果波前生成、三阶段训练和 Wave Runtime,在流水线填充后每个并发前向轮次流式输出一个 chunk,同时保留所有去噪更新。
Order-Only On-Policy Distillation 训练学生匹配教师在学生生成前缀上对 top-K token 的排序,避免使用教师概率值和温度调参。
FLAMIA 是一族 Blackwell attention kernel,提供 MXFP8 与混合 NVFP4/FP8 训练路径,使用 token-block 缩放、因果泄漏防护、前向-反向数值一致性,以及 packed 文档的 GPU 侧调度;在合并的前向与反向 attention 调用上,于 B200 取得 1.10–1.40×、于 B300 取得 1.06–1.42× 加速。
DecisionRank 通过将离线 RankNet 监督与来自生成式教师的 item-space on-policy 蒸馏相结合,训练单遍决策重排器;该教师对候选条目提供条件反馈。
2026-11-02
论文给出了有保留的肯定回答:将轻量级 System-1 预测器与高成本 System-2 执行器协同设计,可在交互成本高、信息价值不均且可在执行前预测的场景中,把执行计算量降至接近 1/ρ_u。
OSWAM 从视频 DiT 中学习紧凑的想象 token,作为结构化起始点,用于一步动作 DiT 去噪,在 1 个动作去噪步骤下取得有竞争力的规划与操作结果,且延迟显著低于多步 world action models。
GLOW-FM 是一个一步式潜空间流匹配框架,用于低光图像增强;它在冻结的 Tiny-VAE 潜空间中使用终端速度匹配(TVM),且只需一次函数评估。
2026-10-30
IDM 保留完整的内部 DMD 校正,并在生成器 EMA 特征上加入特征矩损失,从而提升 Z-Image-Turbo 和 Qwen-Image 的 2-NFE LongText 分数。
LOWN 使用廉价的 TEXT-ONLY 前向来认证最新的图像条件预测,仅当认证前缀过短时才运行图像条件 FULL 前向,在 35.3% 的解码 FLOPs 下保留 LLaDA-V 99.6% 的分数。
SpecSlot 将固定 token 预算拆分为空间锚点和频谱槽,并仅让每个锚点中径向频率最低的槽通过全局块,从而将输出细节与全局注意力解耦。
CoSTA 通过用 BPE 压缩的语音单元扩展生成词表、适配模型,并在未改动的解码器前将生成单元确定性展开,从而解耦 SDM 的生成与合成 token 空间,实现约 1.7× 的语音 token 生成加速。
Glance 为单个常驻的 9B 生成器骨干配备轻量级决策适配器和指针头,以便从一次共享预填充中对候选段落重排,然后用同一骨干生成答案。
Soft-MTP 通过从现有 cross-entropy 计算中精确恢复 KL self-distillation 梯度,从标准 multi-token prediction 梯度中去除带噪声的 residual,在不增加成本的情况下提升 NTP、speculative decoding 和 zero-shot accuracy。
2026-10-29
TAO 联合评估工具返回就绪性、时间衰减的 KV-cache 信用和 token 占用,然后使用动态规划在 GPU 节点上选择并放置等待中的 agent 会话。
一种两阶段范式:在语义 token 上进行自回归预训练以获取视觉知识,再用冻结骨干的像素扩散阶段渲染图像,得到一个 3B 文本到图像模型,训练约 6,600 H100 GPU 小时,在 GenEval 上得分 0.86,在 DPG-Bench 上得分 87.78。
登录
选择一种方式继续
登录即表示你同意我们的服务条款和隐私政策