小王问,大王答:从 KV Cache 到 YOCO 与共享记忆

15:19 中文配音 · 中文字幕

15 分钟动画导读,小王提问、大王讲解。跟着一个 token 的 KV 缓存走一遍:它要变成可以共享的记忆,必须先回答身份、复用、状态、读取四个问题。

阅读完整图文 →

章节

  1. 起点 “算好一个存一个,用 hash 找回来”够不够?引出四个问题:身份、复用、状态、读取。
  2. 01 计算 Q2–Q3 Q 依次和每个 K 比较,再按权重混合 V;Prefill 与 Decode;命中之后仍然要计算。
  3. 02 身份 Q3–Q7 先查身份再算;改一个 token 后面全部失效;同一个“苹果”在高层分叉;链式 hash;块粒度 999→992。
  4. 03 复用 Q8–Q12 Claude 缓存点与 TTL;DeepSeek 的 A+B / A+C / A+D;缓存准入;滑窗切不回去;复用的四个条件。
  5. 04 状态 Q13–Q15 KV 随层数 × 长度膨胀;YOCO 共享一份全局 KV,16.4 GB → 0.42 GB;Prefill 省去历史位置的后半计算。
  6. 05 账本 Q16–Q21 40 层集中到 4 个源;890 B/token 逐项累加;K=V 与逆 RoPE;有限回放的反例;先粗筛再重新排序;Engram。
  7. 06 应用 Q22 读 usage 的口径;命中率更高、费用却更高的反例;最后回到四个问题。

每个画面右上角标注了同名图文文章中对应的题号(如“原文 Q06”)。V4.1 专属配置的数字按文章随附的技术摘录复算,不是实测。

下载 MP4 (24.4 MiB)