固定公开源码解释 L0–L20 完整执行、L21–L39 仅处理每次 extend 的尾部128行，核对近似性、短extend风险、未合并PR与可证伪实验。
// profile
TaoHe何涛
关注 AI Infra 与推理系统。
Experience
Xiaomi– · InternOn-device Inference Infrastructure
Ant Group– · InternLLM Inference Infrastructure- Infinigence AI–Present · Full-timeLLM Inference Infrastructure
focus = ["Inference", "KV Cache", "Systems"]
教育经历
education.json-
Northwestern Polytechnical University
西北工业大学 · 本科 · 电子信息工程
Electronic Information Engineering
–
-
Wuhan University
武汉大学 · 硕士 · 计算机应用技术
Computer Application Technology
–
经历与项目
experience.md研究笔记
infra-notes/AI Infra Daily Notes
8 篇笔记从问题出发，记录机制、依据与尚待验证的判断。把源码里的细节，连成可追溯的研究路径。
最近的研究笔记
RECENT WRITING- 01
SGLang 如何让 DeepSeek V4.1 Flash 的后半层只处理尾部 token - 02
等待队列里的热前缀：从 LRU 刷新到 Prefill 负载均衡 我近期想在生产场景里尝试 SGLang #41593 的等待队列前缀刷新，并继续看多个 Prefill 实例之间的 cache TPS 如何均衡。现在先把机制、指标口径和可证伪的验证方案写清楚：排队时命中的前缀，未必活到真正 admission；保住更多命中，也未必让集群负载更均衡。本文是 AI 辅助的研究记录，生产实验尚未开展。
- 03
读懂 PCIe 与 RDMA 的网络基础 800G 是网络段的能力，应用吞吐由整条数据路径和软件流程共同决定。本文沿一次假想的 8 MiB KV 搬运，分开解释网络、PCIe、内存访问和程序完成；先走通字节路径，再理解队列与发布语义，最后用拓扑、并发和计时口径分析性能。所有拓扑与数值算例均为教学假设。