工程实践vLLM Blog
文章系统介绍 vLLM 中基于 Gumbel-max 的文本水印实现。它先提出文本溯源需平衡的四个约束：不改变模型输出分布、对改写编辑鲁棒、低延迟开销、检测尽量不依赖额外元数据。核心方法利用 Gumbel-max 采样等价于普通分类采样这一性质，用伪随机函数基于密钥与最近上下文为每个候选 token 生成可复现噪声，在不改变期望分布的前提下嵌入可检测信号；检测端重算噪声并累加得分，用 Gamma 分布计算 p 值。工程上把 PRF、Gumbel 变换和 argmax 融合为单个 GPU kernel，投机解码采用双密钥避免降低接受率，并用上下文去重缓解重复上下文导致的多样性下降。附录在 H100 上给出吞吐与质量数据，显示开销不显著，但检测在短文本或低熵输出上信号较弱。
推荐收录：文章不仅讲清 Gumbel-max 水印的数学原理，还给出 vLLM 中融合 GPU kernel、投机解码双密钥、上下文去重等真实工程取舍，并附 H100 吞吐与质量实测数据。对从事 LLM 服务、推理优化和内容溯源的工程师很有参考价值，其“非失真保证＋性能验证＋退化场景缓解”的方法可迁移到其他采样级功能实现。
工程实践vLLM Blog
文章介绍 vllm-metal v0.28.0，将 vLLM 的 V1 调度器、分页 KV 缓存和 OpenAI 兼容服务端移植到 Apple Silicon，底层由 MLX 与 Metal 执行。它复用 mlx_lm 的按 token 独立层，仅替换为分页 varlen Metal 注意力内核，并用 cu_seqlens 打包查询、以块表管理 KV，从而在连续批处理中混合预填充与解码。文中对比 llama.cpp、oMLX、mlx_lm 在并发 agent 负载下的 TTFT、吞吐与延迟，还覆盖内存预算、批处理 MTP、M5 NAX 预填充与混合模型前缀缓存复用。局限是 MTP 仅支持 Gemma 4 贪心采样和同步调度，混合模型前缀缓存仍属实验特性。
推荐收录：该文虽为版本发布博客，但给出了 vllm-metal 的完整服务架构、分页 varlen 注意力实现细节以及与 llama.cpp、oMLX 等引擎在并发 agent 负载下的可复现基准。它适合在 Apple Silicon 上部署本地 LLM 服务、研究连续批处理与内存/延迟权衡的工程师，其 packed query、paged KV 和 MTP 批处理方案可迁移到其他硬件后端。
工程实践vLLM Blog
文章介绍 vLLM 团队在 GB300 NVL72 上对 Qwen3.8-2.4T（GDN/Full-Attn 混合层加 MoE、NVFP4 权重）做 PD 分离推理的调优流程与性能结果。核心方法是从显存账目出发：由 Full-Attn 每 token 每层 2 KiB、GDN 每请求约 4.2 MiB 推出 block 为 2112 token，再逐项扣除 CUDA 上下文、NCCL、权重、峰值激活与 CUDA graph 预留，估算每引擎最大并发。作者用纯 prefill（8192/2）和纯 decode（1/1000）分别筛选拓扑，得出 prefill 低并发选 TP4DP2+EP、高并发选 TP2DP4+EP，decode 低并发选 TEP8+MTP、高并发选 TP4DP4+EP。最终在 8K/1K 负载下达到 5000 total tok/s/GPU、180 gen tok/s/用户，GSM8K 准确率 95%，并公开可复现的 srt-slurm 配方。局限是结论绑定 GB300、特定模型与 vLLM nightly 版本，CUDA graph 显存估算偏保守，读者需自行复测。
推荐收录：文章把超大模型 PD 分离服务拆解为可复用的决策流程，给出 KV/GDN block 推导、CUDA graph 显存估算偏差与 prefill/decode 拓扑筛选的一手量化数据，并附可复现的 srt-slurm 配方。适合推理基础设施与 LLM 服务性能调优读者，其“先算显存账、再分离测量”的方法可迁移到其他模型；需注意结论依赖 GB300 与特定 vLLM 版本。
工程实践vLLM Blog
该文介绍 vLLM 集成 NVIDIA PyNvVideoCodec（NVDEC 硬件视频解码）的方案，用于解决多 GPU 视频字幕任务中的 CPU 解码瓶颈。此前 vLLM 只能走 OpenCV+FFMPEG 的 CPU 解码路径，在每 GPU 一个副本的部署下 CPU 核心很快耗尽，还未到 4 GPU 就成为瓶颈。作者给出启用方式：先启动 CUDA MPS 守护进程，再通过 --media-io-kwargs 选择 pynvvideocodec 后端、用 --mm-ipc-gpu-memory-gb 预留解码显存，并建议一容器一 GPU、反向代理分发请求。基准显示在 8×H100 上 GPU 解码吞吐超过 CPU 解码两倍以上，CPU 瓶颈被消除。边界在于硬件解码需预留部分显存，若 KV cache 已占满全部显存可能受影响。
推荐收录。文章给出了真实工程瓶颈（CPU 视频解码成为多 GPU VLM 推理瓶颈）的量化证据、可复现的启动命令与 8×H100 吞吐翻倍的对比数据，并明确说明显存预留限制，属于可迁移的工程经验。适合从事多模态 VLM 推理、视频数据处理和大模型服务扩容的工程师参考。
工程实践vLLM Blog
文章介绍 Novita AI 开源的 Chord 高性能 W4A16 MoE CUDA 算子，面向 BF16 激活、INT4 权重与 group-32 量化，针对 Kimi K2.x 推理场景。Chord 分两个内核族：基于 Humming 的 indexed 路径和源自 DeepGEMM 的 grouped SM90 路径，分别适配 prefill 与 decode 的路由形态。作者详述内核优化技术，如 WGMMA 流水线、按 expert token 数选择 block-M、stream-K 门控及 grouped 模式的 BM/BN/BK 启发式。在 H200 和 B300 上逐层测量显示，相比公共 Humming，indexed 路径取得 1.11–1.33x 加速，grouped 路径在 H200 EP8 达 1.16–1.35x，端到端吞吐提升约 4–10%。文章指出 B300 对比基于未调优的 Humming 默认配置，grouped 与 vLLM 集成仍在进行，性能数据为内核层面而非端到端保证。
推荐收录。文章不仅给出 Chord 算子的设计细节与优化手段，还提供了可复现的基准测试方法和逐层性能对比，并坦承 B300 对比的未调优前提与 grouped 集成尚在开发中。对从事 LLM 推理优化、GPU 内核开发或 MoE 量化部署的工程师而言，文中的 workload 驱动的调优策略、WGMMA 流水线设计和路由形态分析具有直接的迁移价值。
工程实践vLLM Blog
文章介绍 vLLM Speculators 训练库如何为 2.8T 参数的 Kimi K3 训练并部署 DSpark 草稿模型。DSpark 在 DFlash 并行块草稿基础上加入 Markov logit-bias head 和 confidence head，通过顺序校正与硬件感知调度缓解 suffix decay，并提升接受长度。作者在 GB300 NVL72 上验证，数学推理单流交互性从约 110 提升到约 435 tok/s/user，并发下输出吞吐最高约 3.5 倍。为突破单节点显存限制，文章实现 MooncakeHiddenStatesConnector，通过 Mooncake 在 vLLM 推理与 Speculators 训练间流式传输隐藏状态，并采用两节点推理、一节点训练的三节点组拓扑。主要边界是效果依赖大规模 GPU 集群、特定模型量化、负载类型和长上下文配置，性能数字来自特定评测环境。
推荐收录：文章给出了 DSpark 算法组件、Mooncake 隐藏状态传输、三节点训练/推理拓扑和实测吞吐/交互性数据，是可迁移的 LLM 推理优化与分布式训练工程案例。适合 vLLM 部署、推理加速、GPU 集群训练方向的工程师和研究者阅读。风险在于依赖 GB300 NVL72 与 Kimi K3 特定环境，部分收益需在自身负载上复测。
工程实践vLLM Blog
文章系统复盘了 vLLM 为 Kimi K3 所做的端到端推理性能优化，在 B300 节点、8K/1K 负载、TP8 与 8-token DSpark 投机解码配置下，把延迟降低 56%–60%、吞吐提升 2.2–2.8 倍、TTFT 下降 72%–85%。核心方法包括自适应调度 token 预算、KDA 前缀检查点内嵌于单次 prefill、零拷贝混合 KDA 批处理、MXFP4 top-k 融合进 latent-tail 内核，以及用 ReplaySSM 重建而非存储 SSM 状态。文章还讨论了 prefill/decode 分离与混合状态卸载、decode 上下文并行（DCP）在长共享前缀场景下的 KV 容量与 TPOT 收益，并附有各改动对应的 PR 编号与量化数据。其结论针对 Kimi K3 这类混合 KDA+MLA+MoE 架构，优化收益依赖具体硬件与负载形态，未覆盖其他模型或更广泛工作负载。
推荐收录：文章给出具体 PR 编号、量化的 TTFT/吞吐/延迟对比表和显存容量数据，展示了从瓶颈识别到内核融合、状态管理与并行策略的完整工程取舍链路。适合做大模型推理服务、GPU 内核优化或 vLLM 二次开发的工程师阅读，其中自适应调度预算、零拷贝批处理和 ReplaySSM 等思路可迁移到其他长上下文与投机解码场景；风险在于结论高度绑定 Kimi K3 架构与 B300 硬件，直接套用到其他模型需重新验证。
工程实践vLLM Blog
文章系统介绍了 vLLM 中的分层 KV 缓存卸载框架，核心设计是所有 KV 数据经由主机内存流转：卸载时先异步拷贝到主机并立即释放加速器内存，再由主机异步写入文件系统、对象存储或远端 P2P 节点；重载时从主机缓存或次级层按序加载，实现即时分配与整合 I/O。该框架通过规范化内存布局保证跨节点、跨并行配置直接共享 KV 数据，并透明支持全注意力、滑动窗口、MLA、Mamba 等混合模型。文章还描述了可扩展的次级层接口、KV 事件与可观测性，并给出性能测试：并发会话超过 128 时，存储层卸载仍能维持高命中率，吞吐量比无卸载方案翻倍以上，但存储延迟使其无法达到峰值吞吐。
推荐收录，因为文章来自 vLLM 官方博客，深入剖析了分层 KV 缓存卸载的主机中心设计、规范化内存布局、次级层抽象与 KV 事件机制，并给出可复现的性能基准，展示了从 HBM 到 CPU 再到存储的完整数据流与权衡。对从事 LLM 推理服务、缓存系统或高性能基础设施的工程师而言，其设计原则（即时分配、整合 I/O、跨节点共享）可直接迁移，具有长期参考价值；风险是部分实现细节绑定 vLLM。
工程实践vLLM Blog
文章复盘 vLLM 在 AMD Instinct MI355X 上优化 MiniMax M3 推理服务的完整过程，给出固定 8K/1K 负载下 MXFP8、MXFP4、EAGLE3 和 P/D 分离等多项吞吐与延迟结果，如并发 32 时 MXFP8 输出吞吐提升 3.14 倍，并发 128 时 P/D 达到 6370.5 total tok/s/GPU。作者以“一个 decode step 的五个问题”组织方法：确认 TP 分片后的本地 GEMM 形状、合并重复的共享专家与索引计算、减少 KV/元数据搬运、验证快速路径是否真正执行且正确，并在叶内核优化见顶后转向队列、缓存与 OS 限制。文章还强调 configured/eligible/executed 的区别以及性能与正确性门禁，并说明固定负载策略不计算跨层索引复用、AgentX 单次结果等边界。
推荐收录。文章以 PR 级 A/B、InferenceX 基准和可复现启动命令为证据，展示了从 kernel 到 P/D 队列的系统级瓶颈迁移和可迁移检查清单，适合 LLM 推理性能、GPU 与 vLLM/ROCm 工程读者参考；风险是部分结论绑定特定镜像、拓扑和工作负载，不能直接外推。
工程实践vLLM Blog
文章介绍了 vLLM 针对真实世界 Agentic Serving 工作负载所做的一系列推理优化，重点覆盖 KV 缓存管理、并行策略、调度机制以及预填充/解码分离（P/D disaggregation）四个层面。作者结合 SemiAnalysis AgentX 基准，展示了在长上下文、多轮工具调用和快速连续生成等 agentic 场景下如何调整 vLLM 架构，在 GPU 每秒吞吐和总体服务成本上取得显著收益。文中给出量化结果，包括高达每 GPU 秒 130K token 的吞吐，以及相比 Opus 5 的 14.6 倍到 106 倍服务成本优势。文章还隐含了这些优化适用于高并发、长上下文、且存在复杂状态管理的 agent 服务场景，但未深入讨论不同硬件或模型架构下的普遍性，也没有给出具体实现细节和负面情况。总体是一篇以工程实证为主、面向系统优化者的实践分享。
推荐收录，因为它直接呈现了 vLLM 对 agentic 场景的针对性工程优化和量化基准结果，而非泛泛的性能讨论。对负责 LLM 推理服务、Agent 基础设施或高吞吐 GPU 服务的读者，KV cache 管理、调度和 P/D 分离的取舍思路具有可迁移参考价值；但需注意结果依赖特定 benchmark 和模型版本，迁移时应自行验证。
工程实践vLLM Blog
文章介绍 vLLM 为 GLM 5.3 引入的 Hybrid HiSparse 混合稀疏卸载方案，面向长上下文、高并发的智能体推理场景。其核心是 KV 缓存默认常驻 GPU，仅在显存池紧张时按页逐步放弃驻留，并把索引器选中的 top-K 行放入与常驻页共享同一 HMA 池和 KV 张量的热缓冲区，让请求在部分驻留状态下继续解码，避免抢占重算或等待整段 KV 回迁。文中给出完整驻留、混合驻留、无驻留三种状态及内核解析流程，并说明与 P/D 分离、投机解码、前缀缓存等组件的兼容方式。在 8×H200 的 OpenHands 多轮负载上，该方案首次支持 100 万上下文并显著提升并发；但仅支持 NVIDIA GPU 与稀疏 MLA，热缓冲区需按投机 token 数调整，并发估算仅为规划参考。
推荐收录：文章给出真实系统约束下的完整工程方案，包括三种 KV 驻留状态的机制、热缓冲区与 HMA 池共享的设计取舍、基准测试数据以及可复现的启动命令与数据集脚本。对做 LLM 推理服务、KV 缓存管理和长上下文并发的工程师具有直接迁移价值；局限是仅支持 NVIDIA GPU 与稀疏 MLA 路径，且热缓冲区受投机解码约束，需结合自身配置验证。
工程实践vLLM Blog
该文介绍 vLLM TT Plugin，通过 vLLM 的树外平台插件机制将 Tenstorrent 加速器接入 LLM 推理服务，并保持 OpenAI 兼容 API 不变。文章重点分析 Tenstorrent mesh 架构与 GPU 栈的本质差异：跨芯片并行被编译进单个 traced program，因此没有 TP/PP rank，调度器须将每个步骤严格拆为 prefill-only 或 decode-only。为支持 Galaxy 上的单执行模型，作者采用单进程 lane 数据并行（TTLaneCoordinator 管理独立调度器与 KV cache），避免多进程 scatter/gather 开销；同时实现按批次回退的 on-device sampling 和基于异步 readback 的 decode overlap。文末列出当前限制，如暂不支持投机解码、LoRA、prompt logprobs 和多主机服务，这些多属运行时实现约束而非硬件极限。
推荐收录，因为它不是硬件发布稿，而是详细复盘了非 GPU 架构下 LLM 推理服务的设计取舍：插件边界、阶段化调度、单进程 lane DP、异步 readback 等均有明确动机、代价与验证。适合 LLM 推理基础设施、异构加速器和 vLLM 插件开发者阅读，其“将设备差异封装在插件内、不 fork 上游”的方法可直接迁移到其他新加速器适配场景。
工程实践vLLM Blog
文章介绍 vLLM-Omni 对 MiniMax H3 视频-音频联合生成模型的系统级服务优化，以及集成 FastVideo 四步蒸馏版 FastH3 实现完整 MP4 生成快于播放。作者把端到端链路拆成编码器、长序列音视频 DiT、并行 VAE 解码、GPU 输出准备与 H.264/AAC 封装，并用长序列注意力/通信优化、融合 DiT 算子、并行 VAE、紧凑传输和并行 MP4 构建，在 8×B300 上把基础 H3 端到端延迟较 Diffusers 降低 30.8%。随后引入四步 FastH3，在 10.125 秒 MP4 上取得 8.678–8.710 秒干净端到端延迟，5/10/15 秒扫描全部满足 RTF_client≤1.0。文章还给出 DLO、编码器解耦、Online FP8、SAGE/Skip-Softmax 注意力和 Cache-DiT 等可选路径的兼容边界与质量-性能权衡。局限是两条证据通道未做同源 A/B，FastH3 与 DLO、量化、编码器解耦等组合未完全验证，且缺少匹配的多随机种子质量对比。
推荐收录，因为它不是基准数字堆砌，而是完整呈现了系统瓶颈分解、冻结实验控制、有损/无损优化边界和兼容性矩阵，并公开了可复现命令、版本与限制。适合多模态生成模型推理服务、GPU 性能优化和分布式推理基础设施的读者，其“先量化全链路开销，再用少步蒸馏攻击主导项”的方法可迁移；主要风险是部分证据待发布、未做同源 A/B 与多随机种子质量对比，不能直接推导跨配置加速比。
工程实践vLLM Blog
vLLM 博客介绍了基于 Ray Direct Transport（RDT）的分片权重传输引擎，用于在线 RL 中训练端到 Megatron/vLLM 推理端的周期性权重同步。传统 NCCL 广播要求所有 rank 同步参与、每个 worker 接收完整模型，在万亿参数和宽专家并行下造成显存与带宽瓶颈；作者改为由推理端按需从训练端拉取分片权重，并用“recording tensor”空跑记录各层权重加载的变换操作链，生成与任意模型和并行配置兼容的 sharding plan。引擎在初始化阶段收集所有权元数据并注册 NIXL 缓冲区，同步阶段按权重组分块，重叠 gather、RDMA 传输与后端 process/copy。Qwen3-235B 同步由基线 64.72s 降至 3.49s，Kimi K2 在 48 节点上 7.9TB 权重同步仅 7.53s（约 1049 GB/s），并演示了推理副本故障后训练不中断、副本在同步边界回归的容错行为。局限包括加载器操作须可记录、RDT 缓冲区不计入显存预算、暂不兼容 EPLB，且跨 PP 传输仍串行。
推荐收录：文章给出真实的大规模权重同步工程问题、完整设计权衡（拉取式分片传输、recording tensor 生成 sharding plan、NIXL/RDMA 流水线）以及可验证性能数据（Qwen3-235B 从 64.72s 到 3.49s，Kimi K2 48 节点 7.53s），并明确列出限制与后续方向。适合从事 RL 训练、LLM 推理服务与分布式 GPU 通信的工程师，其中元数据驱动的通用传输与流水线重叠思路可迁移到其他跨节点数据搬运场景。
工程实践vLLM Blog
文章介绍 vLLM/Megatron 生态中的 IsoExec，旨在消除 RL 训练中 rollout 引擎与 trainer 因不同 kernel、批形状和并行布局导致的浮点非结合性不匹配。其核心是跨运行时执行契约：按 region/case 固定实现、累积 dtype 与归约顺序，并用语义及数值策略摘要校验；同时提供并行不变 kernel 与 CPR Gated DeltaNet，使训练、prefill 和 decode 位级一致。在 8×H100 上训练 Qwen3.5-35B-A3B DAPO，契约覆盖范围内实现零不匹配，logprob 差异显著下降，但端到端仍有约 25% 开销。局限是 50 步内未见 reward 提升，且上下文并行、Blackwell、稀疏注意力等尚未覆盖。
推荐收录：文章给出了可验证的工程证据——通过执行契约和统一模型在 vLLM 与 Megatron 间消除覆盖区域的训练-推理数值不匹配，并在 8×H100 上报告 25% 开销与 50 步 DAPO 的 logprob/奖励数据。适合训练基础设施、RLHF/RL 系统和推理引擎开发者，其契约化数值一致性方法可迁移到跨框架一致性、并行不变 kernel 与混合线性注意力部署中；但短期无 reward 提升且开销不低，需结合业务权衡。
工程实践vLLM Blog
本文介绍 vLLM-Omni 的分布式逐层卸载（DLO），用于在多 NPU/GPU 上运行超出单卡 HBM 的 DiT 模型（如 64B/124GB Cosmos3-Super）。方案结合 meta device+mmap 加载、权重分片+AllGather 重建、双缓冲预取与计算重叠、DP 多并发。实测 Ascend 910B3 上冷启动 cgroup 峰值由 178GB 降至 47GB，主机内存从 O(dp×model) 降为 O(model+dp×常数)，4 并发吞吐达 HSDP 单请求的 3.3 倍；B300 上 DLO+AG DP4 吞吐为 HSDP+USP4 的 1.39 倍且 HBM 仅 30%。MiniMax-H3 表明 DLO 模式依赖拓扑：DP1×SP8 宜用 AllGather，DP8×SP1 宜用 rank-local。但 400GB 外推未实测，最大块尺寸、带宽与输出质量在该规模仍未验证。
推荐收录：文章给出可复现的系统级设计，四项技术分别对应明确的内存/吞吐瓶颈，并附 Ascend 与 B300 实测数据及失败边界。对从事大模型推理基础设施、显存受限模型部署和分布式并发的工程师有直接迁移价值；需注意 400GB 外推未实测，拓扑结论限于单节点单输入集，不能直接当作通用生产结论。
工程实践vLLM Blog
该文介绍 vLLM 中基于 DSpark 置信度头的自适应推测解码验证机制。问题在于：固定 num_speculative_tokens（如 7）在低并发内存受限时收益高，但高并发下草稿 token 与真实 token 争抢算力，被拒 token 会浪费有效计算并拉低吞吐，且最优长度随负载变化无常量解。作者用 DSpark 置信头给出每个草稿位置的存活概率，将其转为全局 top-B 选择，B 由「每步期望产出 token / 单步耗时」最大化决定，并配合 varlen decode CUDA graph、启动期 profiled 成本表和单调化查表来降低决策开销。实测在 DeepSeek-V4-Pro-0813、8×B300 上，自适应验证使推测解码在并发 1 到 256 全程保持帕累托前沿，低并发表现为长草稿、高并发自动缩短。文末给出启用条件与限制：需 AttentionCGSupport.ALWAYS、不支持 --enforce-eager/LoRA/流水线并行，且开启后无法输出 logprobs。
推荐收录。它完整呈现了从现象（高位草稿接受率低于 10%）、成本模型、调度算法到 CUDA graph 与实测帕累托曲线的工程闭环，附可复现命令与明确限制。适合做 LLM 推理服务、吞吐优化的工程与研究者，其按负载动态分配验证预算、profiled 成本表驱动决策的思路可迁移到其他投机/批处理调度场景。
工程实践vLLM Blog
文章介绍 vLLM 的 Decode Context Parallelism（DCP）如何服务长上下文与 agentic 推理。传统张量并行按注意力头切分 KV cache：GQA 受 KV 头数限制，MLA 只有单一 latent KV 头，因此超出后 KV cache 会在 TP rank 间复制，挤占显存并限制并发。DCP 改为按序列维度切分 KV cache，每个 GPU 只保存一段 token 的 KV，并通过 AllGather Q、本地 attention 计算、AllGather+ReduceScatter 与 LSE 在线 softmax 合并局部结果。在 8×B200 上用 Kimi K2.6 NVFP4 与长上下文 agent trace 实测，基线 TP 在并发 64 触顶约 1863 tok/s/GPU，DCP 可扩到并发 512、约 6091 tok/s/GPU，并在 200k+ 序列保持稳定。文中给出 MLA/GQA 的启用方式与并行度约束，也指出其依赖高带宽 GPU 互联，对 MTP、推测解码和 P/D 分离等支持仍在演进。
推荐收录：文章用可复现的 8×B200、Kimi K2.6 NVFP4 和 64K–1M agent trace benchmark，量化了 DCP 相对 TP 在并发与吞吐上的收益，并解释了 MLA/GQA 下 KV cache 复制机制、DCP 通信流程与并行度约束。适合 LLM 推理基础设施、长上下文服务和推理优化方向的读者参考；其按序列切分 KV cache 并用 LSE 合并局部 attention 的思路可迁移到其他推理引擎，但部署时需评估高带宽互联依赖以及 MTP/推测解码等尚未覆盖的边界。