Proving and Improving the Platonic Representation Hypothesis with JEPAs

论文证明，对于 JEPA，在共享正样本对的条件下，分别训练的模态会学到同一表征（相差一个旋转），并通过实验表明好视图比坏视图或下一词元预测对齐得更好且更高效。

柏拉图表征假设观察到，视觉和语言模型随规模增大而越来越相似，但论文指出这仍只是一个观察。对于实践中使用的自监督目标，尤其是 JEPA，尚无证明、无法预测该假设何时成立，也没有改进对齐的方法。因此，扩大模型和数据规模是迄今使用的主要手段。

论文形式化了一个世界、观察该世界的模态及其正样本对。它论证：具有白化二阶抗坍缩的 JEPA 会学习其正样本对核的谱嵌入。当各模态渲染同一个世界，且其正样本对关联相同的世界状态时，它们的训练问题就是同一问题在不同坐标下的表述，其解相差一个旋转。当正样本对不同时，论文用核不匹配和谱间隙来界定错位。它定义了好视图 JEPA 与坏视图 JEPA，证明坏视图可能把嵌入方向花在模态干扰上，并表明下一词元预测具有坏视图 JEPA 的形式。随后用受控文本、图像和视频实验、缩放定律、描述生成器和无对对齐验证了这些预测。

• 对于 k=32，场景解释了好视图 JEPA 嵌入的 .804、坏视图 JEPA 的 .655 和下一词元预测的 .608；干扰上界给出最佳旋转误差 12.6、22.1 和 25.1，而实测误差为 33.5、39.4 和 40.3。 §3.1 Good Views Align Across Modalities
• 使用冻结的 DINOv2 ViT-B/14，好视图 JEPA 在 24.6% 的测试图像上首先检索到真实描述，约为坏视图 JEPA .133、下一词元 .118 和 Qwen2.5-0.5B .135 的两倍；其 mutual 10-NN 为 .204-.257，而参考编码器为 .189 和 .167。 §3.4 Good-View JEPAs Beat a Pretrained Language Model and Approach Pair-Trained Encoders
• 一个 109M 编码器在 21.6M 样本后在 WIT 上达到 .109，而下一词元预测在 900M 样本后达到 .111 的对齐；这相当于少 42 倍样本、少 14 倍文本词元和少 435 倍唯一图像；在匹配样本时，差距为 .108 对 33M 编码器的 .071。 §4.2 Good Views Need 42 Times Fewer Samples
• 在 940M 网络图像的文本上训练的 109M 文本 JEPA，在使用 DINOv2 ViT-B 时于 WIT 上达到 .184，高于 Qwen2.5-72B 的 .154 和 CLIP text encoder 的 .124；使用 CLIP ViT-H 时达到 .230，在 COCO 上达到 .161。 §4.3 A 109M Text JEPA Beats Language Models up to 72B Parameters
• 一个缩放定律拟合了多达 80M 样本的 45 个单元，RMSE 为 .007，并以 RMSE .0093 预测 85 个未见运行，而同一运行的两个种子相差 .0096；沿等对齐线，q 与 M^-0.30 成正比，唯一图像以 gamma .19 弱进入。 §4.4 A Scaling Law for the PRH
• 在没有任何样本对的情况下，109M 好视图 JEPA 达到 FOSCTTM .018，以及零样本准确率 86.0（CIFAR-10）、67.2（CIFAR-100）和 64.4（ImageNet-100）；重跑的 Qwen3-8B 达到 .018、83.4、61.7 和 47.6，而该 JEPA 在 CIFAR-100 和 ImageNet-100 上分别高出 5.5 和 16.8 个点。 §5.2 Alignment Without Any Pair

• 这些定理是在有限世界、单射渲染和匹配边缘分布下的总体陈述；真实模态是有损的，有限样本训练依赖网络的归纳偏置。
• 唯一性到旋转的证明是针对二阶抗坍缩，而非 LeJEPA 的全分布约束；论文指出没有实验完全满足 2.1 节的假设。
• 好视图需要知道哪些文本描述同一场景；在 Recap-DataComp 上，每张图像三条文本中的两条由图像描述器生成，并携带从图文训练中蒸馏的信息。
• 缩放定律在更远的好视图外推上失效，没有重复数据项，且指数识别很差；论文称其为一个配方的经验总结。

• 具有二阶抗坍缩的白化 JEPA 会学习其正样本对核的谱嵌入；共享正样本使分别训练的模态在相差一个旋转的意义下重合。 §2.1 The Platonic Representation Theorem
• 当正样本对不同时，最佳旋转错位由核不匹配除以谱间隙界定。 §2.2 When Positives Differ
• 好视图 JEPA 在谱间隙下只学习世界状态的函数，而坏视图 JEPA 在 beta_1 > alpha_k 时可能把 r 个方向花在干扰上，使对齐误差至少为 2r。 §2.3 Good-View and Bad-View JEPAs
• 下一词元预测具有 JEPA 形式，其正样本为前缀-延续，抗坍缩为对数配分，因此论文将其视为坏视图 JEPA。 §2.4 Next-Token Prediction is a Bad-View JEPA
• 裁剪是最重要的好视图调节项：以整段描述作为视图会损失四分之一的对齐，.185 对 .246；而掩码、视图数量、批大小、宽度和调度对均值的影响至多 .016。 §3.2 Trimming Makes Good Views, the Rest Barely Matters
• 在 MSR-VTT 上，好视图提升两侧的 mutual 10-NN：两侧均为好视图时 .067，仅好文本视图时 .059，仅好图像视图时 .043，两者均无时 .039。 §3.3 Good Views Help on Both Sides
• 在同一语料上，好视图以少 42 倍的样本达到下一词元对齐。 §4.2 Good Views Need 42 Times Fewer Samples
• 一个描述生成器中唯一在图文对上拟合的部分是行标准正交的单个线性映射，在 COCO 上达到 CIDEr .838。 §5.1 Captioning Without Training a Network on Image–Caption Pairs