KV Cache 与路由：一次请求背后的协作边界

缓存的位置决定问题的边界​

本文是 Mock 阅读材料。假设有两个运行实例，可以分别记录缓存在哪、谁知道它的位置，以及缓存失效后请求如何处理。

把路由选择与调度分开记录​

路由描述一次请求的目标选择；调度描述资源与实例的位置。这里仅演示概念说明的排版，不声明任何具体缓存命中率或性能提升。

先明确问题的输入和限制，再讨论优化目标。

验证需要哪些记录​

• 固定的模型与运行时版本。
• 明确的请求分布与输入长度。
• 有来源的实验条件与结果。

阅读首篇示例。