Seed团队发现KV压缩影响长上下文检索

字节Seed团队发现，DeepSeek-V4系列模型采用分块 KV Cache 压缩后，长上下文检索表现会随信息相对压缩窗口的位置周期性波动，波动周期与分块压缩步长相对应。 该现象出现在所有接受测试的分块压缩模型中，表明信息位于压缩窗口的不同位置时，模型的检索表现可能不同。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。