小王问,大王答:从 KV Cache 到 YOCO 与共享记忆
15 分钟动画导读,小王提问、大王讲解。跟着一个 token 的 KV 缓存走一遍:它要变成可以共享的记忆,必须先回答身份、复用、状态、读取四个问题。
章节
- 起点 “算好一个存一个,用 hash 找回来”够不够?引出四个问题:身份、复用、状态、读取。
- 01 计算 Q2–Q3 Q 依次和每个 K 比较,再按权重混合 V;Prefill 与 Decode;命中之后仍然要计算。
- 02 身份 Q3–Q7 先查身份再算;改一个 token 后面全部失效;同一个“苹果”在高层分叉;链式 hash;块粒度 999→992。
- 03 复用 Q8–Q12 Claude 缓存点与 TTL;DeepSeek 的 A+B / A+C / A+D;缓存准入;滑窗切不回去;复用的四个条件。
- 04 状态 Q13–Q15 KV 随层数 × 长度膨胀;YOCO 共享一份全局 KV,16.4 GB → 0.42 GB;Prefill 省去历史位置的后半计算。
- 05 账本 Q16–Q21 40 层集中到 4 个源;890 B/token 逐项累加;K=V 与逆 RoPE;有限回放的反例;先粗筛再重新排序;Engram。
- 06 应用 Q22 读 usage 的口径;命中率更高、费用却更高的反例;最后回到四个问题。
每个画面右上角标注了同名图文文章中对应的题号(如“原文 Q06”)。V4.1 专属配置的数字按文章随附的技术摘录复算,不是实测。
下载 MP4 (24.4 MiB)