OmniSpectra: A Unified Foundation Model for Universal Spectra Representation Learning

OmniSpectra 是一种波长原生的掩码自编码器基础模型，它在连续物理对数波长坐标而非像素索引上编码光谱，使一个 12.2M 参数模型能在八项巡天上预训练，并在无需重采样的情况下匹配或超越更大的仪器专用基线。

标准序列模型按 token 排名编码位置，因此同一物理特征（例如 H-alpha）在每个仪器的采样网格上会得到不同的位置编码。这种坐标不匹配迫使实践者将连续物理信号破坏性重采样到共同网格上，模糊窄吸收线和发射线并注入插值伪影。论文语料中的仪器在采样密度上相差可达 25 倍，因此在基于索引的编码下，只能选择逐仪器模型或有损同质化。

光谱被分成固定 P=32 像素的 patch；在每个 patch 内，线性嵌入加深度卷积由共享可学习查询注意力池化为内容 token，这些 token 不携带 patch 排名或仪器标识符。每个 token 被赋予一个位置编码，该编码计算为其掩码平均对数波长相对于固定全局锚点的连续 sin/cos 函数，采用对数间隔频率；在 log-wavelength 上的连续 1D RoPE 在注意力中提供相对距离。因为红移在 log-lambda 中可加，共享偏移在 RoPE 的相对项中抵消，将位置距离简化为物理波长比。重建由交叉注意力傅里叶解码器完成，它用由 exp(-0.5*(omega_k*sigma_LSF)^2) 门控的傅里叶基查询每个原生坐标，使用仪器报告的线扩散函数宽度，衰减高于有效分辨率的频率。模型在 4 块 A100 GPU 上以每个 patch 0.5 掩码预训练 200 个 epoch，并用冻结编码器加轻量交叉注意力池化头评估。

• 在 APOGEE 恒星参数估计上，OmniSpectra 在全部三个目标上最佳，其中在 [Fe/H] 上相对 AstroCLIP 的领先幅度最大。 §Stellar Parameter Estimation
• 在 DESI PROVABGS 星系性质上，OmniSpectra 在 sSFR、质量加权年龄和金属丰度上具有最高 R2。 §Galaxy Property Estimation
• 在 SDSS 的逐类源分类中，OmniSpectra 对每个类别都有最佳 F1，在类星体和恒星上的差距最大。 §Source Classification
• 在 DESI PROVABGS 红移估计上，OmniSpectra 达到最佳 R2，并在稳健离散度上与 GaSNet-III 持平，同时灾难性离群率低近 5 倍。 §Redshift Estimation
• 留一组件消融显示，完整配置在每个报告任务上最佳；移除位置编码对 APOGEE 伤害最大，移除 LSF 门控对源分类伤害最大。 §Ablation Study
• 模型规模相对基线较小：12.2M 参数，而 AstroCLIP 为 370M、AION-1 为 314M，仅统计在光谱输入上活跃的参数。 §Inference Efficiency

• 位置编码是对数波长的连续函数，可以在训练波长并集之外求值，但其周期范围被调到约 3,600–18,000 Angstrom，尚未评估在显著不同波长下的性能。
• 学习到的表示是单模态的；将其扩展到其他模态（例如通过 CLIP 风格对齐）被列为未来工作。
• LSF 门控是归纳偏置而非严格带限保证，因为最终预测会经过非线性 MLP（在解码器部分说明）。
• 消融报告指出，各组件贡献依赖任务且不可加，并且某些部分配置不如 Base 配置，因此该设计并未按组件逐一独立验证。

• 位置编码是掩码平均对数波长的连续 sin/cos 函数，采用对数间隔频率，可在任意波长求值，而不是按整数排名键控的查找表。 §Log-Wavelength Positional Encoding
• 宇宙学红移在 log-lambda 中可加，因此共享偏移在连续 RoPE 中抵消，位置距离简化为 log(lambda_A/lambda_B)，即波长的物理比。 §Log-Wavelength Positional Encoding
• 一个可学习全局查询对每个 patch 的深度卷积像素嵌入进行注意力池化，使 token 集中于窄特征，而均值池化会被连续谱稀释。 §Attention-Pooled Patch Tokenizer
• 由于 patch 大小 P 固定为像素而非波长，patch 数量随仪器分辨率变化；跨仪器一致性来自将位置编码和重建查询锚定到 lambda。 §Attention-Pooled Patch Tokenizer
• 解码器在 patch 质心处对编码器 token 进行交叉注意力，然后在每个原生像素坐标处求值分辨率门控的傅里叶基，利用仪器报告的 LSF 提供抗混叠。 §Implicit Resolution-Gated Fourier Decoder
• 预训练使用来自八项巡天的 6.4M 条光谱，覆盖约 1,500–34,000 的分辨本领 R 和每条光谱 3,865–16,384 个原生像素，且无重采样或插值。 §Experimental Setup
• 仅用 SDSS 预训练并在 DESI 和 APOGEE 上评估且不再预训练时，OmniSpectra 迁移时几乎不退化，而基于索引的 Perceiver 在红移上急剧退化。 §Cross-Survey Generalization
• 原生像素分块使编码器序列长度随观测光谱缩放，使 OmniSpectra 在比较模型中具有最高吞吐，且内存远低于逐像素和固定长度基线。 §Inference Efficiency