Instruction Capacity: Behavior and Degradation of Language Models under Controlled Load

论文使用原子单 token 词替换规则和分箱 logit 模型来测量指令容量与退化规律，报告一个 GPT-4o mini 护照，包含以规则数表示的容量及不确定度。

指令遵循质量会随负载增长而下降，但现有研究没有给出以负载为单位的量及其不确定度。在先前工作中，指令数量与指令组成和任务难度混杂，因为指令性质不同、共享同一段连贯文本，或由评判模型检查。论文认为，负载度量需要一种在答案每个位置都原子、独立、同质、可由程序检查且可观测的指令。

该工具将指令定义为：在由三个种子生成的无意义词流中，把某一个单 token 词替换为另一个词的规则。每个待替换词的出现都是一次伯努利试验，且已知规则编号和答案位置；参考答案由程序计算，答案逐行匹配，并区分三类失败。统计模型使用分箱 logit 贡献加随机请求偏移，对分箱剖面拟合平滑规律，并应用偏移校正以恢复独立于参考分箱编码的参考水平。指令容量定义为：累积规则代价耗尽到质量阈值 q 的储备时所对应的规则数，并给出 delta 方法不确定度。对 GPT-4o mini 进行测量，生成规律与容量的护照。

• GPT-4o mini 测量覆盖 1890 个实验点和 2958 个请求，共 642 430 次试验。 §5.1
• 文本长度与词位置网格由平台和倾斜渐近线的平滑最小值描述，各切片具有共同斜率和过渡宽度。 §5.3.1
• 替换密度遵循指数饱和规律，满密度时的损失相对于稀有替换达到约九个 logits。 §5.3.2
• 规则列表每翻一倍，logit 降低一个常量；在 65–128 条规则时，降低达到约 2.8 个 logits。 §5.3.3
• 在 GPT-4o mini 测量中，2958 个请求里有 995 个丢失文本，即 33.6%；崩溃率规律具有长度斜率和满密度贡献。 §5.4.1
• 护照容量包括 q=0.95 时的指令容量、q=0.95 时的保证指令容量，以及 q=0.95 时的疲劳容量。 §5.5.4

• 论文指出，对测得规律的机制性解释需要单独的实验检验；该工具测量依赖关系的形式，而非其原因。 §5.3.1
• 护照仅描述 GPT-4o mini；论文称没有理由假设其规律具有普适性，并呼吁为许多模型建立护照。 §6.1
• q=0.5 时的疲劳容量超出测量区域，是通过外推该规律得到的。 §5.5.2
• 提示加权假设提示的额外负载像增加的规则一样作用于 logit；论文称这种表示尚待实验确立。 §6.2

• 诸如 lake -> stone 的规则是原子的：它作用于一个词，每次应用恰好有一个正确结果，且规则彼此不依赖。 §3.1 §3.1
• 词表 v1_intersection 包含 2220 个单音节单数名词，每个词对于 o200k_base、cl100k_base 和 Qwen2.5 分词器都是一个 token。 §3.2 §3.2
• 答案验证逐行匹配，区分第一类、第二类和第三类失败，并将无法匹配的位置计为不成功。 §3.4 §3.4
• 分箱 logit 模型包含随机请求偏移 b_j ~ N(0, σ²)，且没有与参考分箱绑定的自由项。 §4.3 §4.3
• 近似偏移校正将每个轴规律设为其最小负载处为零，并恢复与编码无关的参考水平 α_phys。 §4.4 §4.4
• 选择了五个轴 V、S、P、M、R；由于 V 和 S 的贡献不可加，将它们合并为二维网格。 §5.2 §5.2
• 后期规则退化，A_R=0.041±0.040，γ=0.74±0.20；第 65–128 条规则比第一批差 1.05±0.12 个 logits。 §5.3.4 §5.3.4
• 在固定文本长度和替换密度时，规则数量不影响崩溃概率；所有九个含 256 条规则的请求都丢失了文本。 §5.4.1 §5.4.1