Performance

407 篇内容

工程实践ClickHouse Engineering

Can your Postgres survive a bad query?

文章讨论 Postgres 在坏查询和内存压力下的可靠性,先解释 work_mem 按查询节点和后台进程分别生效、hash_mem_multiplier 与并行 worker 会成倍放大内存占用,并说明递归 CTE 的 UNION 去重哈希表无法落盘、会持续增长到查询结束。随后用一个约 1260 万节点的递归 UNION 查询,在 ClickHouse Managed Postgres、Cloud SQL、PlanetScale Postgres 和 Amazon RDS 上做并发压测,比较查询失败、会话失败和集群崩溃三种失败模式。结论是 ClickHouse 通过禁用内存 overcommit 并设置上限,让单个查询以 SQL ERROR 失败而集群保持存活;RDS 等则可能触发 OOM killer 并进入数分钟崩溃恢复。边界在于这是厂商自测,各服务的配置、内存上限和缓存策略不同,结论可能有利于自身策略。

推荐收录,因为文章既讲清了 Postgres work_mem、并行 worker 和递归 CTE 内存不可控的具体机制,又给出跨四家托管服务的可复现压测方法与失败模式分类。适合 DBA、SRE 和后端工程师在数据库选型、坏查询防护、内存上限与故障隔离设计时参考,但需警惕厂商自测和配置差异带来的公平性风险。

工程实践Cloudflare Blog

How fast is the web? Explore billions of real-user measurements with BEACON

Cloudflare 发布 BEACON 公开数据集,基于 10,000 个大型网站的数十亿次真实用户性能测量,按 RUM Archive 标准每日更新到 Google BigQuery,覆盖主流浏览器引擎。文章介绍 Core Web Vitals 的 LCP、CLS、INP 直方图,支持任意分位数分析,并给出 LCP 与 INP 的子阶段拆解。关键发现包括 WebKit 在部分国家落后于 Blink、软导航比硬导航快 2-3 倍但首屏更重、带宽与 LCP 相关,以及非洲的传输体积较小。还说明去标识化、站点规模归一化和聚合等隐私与方法边界,适合性能工程、数据分析和 Web 研究参考。

推荐收录,因为它提供可公开查询的 BEACON 数据集、BigQuery 示例查询,以及 Core Web Vitals 子阶段和软/硬导航等可迁移的性能分析框架。适合 Web 性能工程师、浏览器/标准研究人员和数据团队评估真实用户体验、长尾分位数与架构取舍。需注意其样本限定为 Cloudflare 前 10,000 个站点,归一化与聚合会影响结论外推。

工程实践Cloudflare Blog

The road to the agentic browser: A Kitesurf update

本文是 Cloudflare 对 Kitesurf 的更新,Kitesurf 是运行在 Workers 上、面向 AI Agent 的浏览器。它新增 WebMCP 支持,允许网站把 searchFlights() 等工具直接暴露给 Agent,并扩展 CSSOM、自定义元素、JSON 模块等标准,WPT 通过子测试增至 73 万以上。为降低 agentic loop 延迟,团队优化 Boa 与 Wasm DOM 边界、定时器、脚本加载和字体获取,使标准增加后时间与 CPU 仍大致持平;同时补齐 Browser Run API,支持 CDP、Playwright、Puppeteer 和 MCP,并把 PageRenderer 解耦到客户端用终端渲染。文章偏产品更新,开源和部分基准仍待发布,但适合关注 Agent 基础设施与浏览器自动化的读者。

推荐收录:文章虽为 Cloudflare 产品更新,但给出了 WebMCP 接入、73 万 WPT 子测试、Boa/Wasm DOM 边界优化以及 PageRenderer 解耦等具体工程证据。对构建 Agent 基础设施、浏览器自动化或边缘运行时的读者,可迁移的是其延迟优化思路、标准覆盖验证和渲染与页面执行分离的架构取舍。主要风险是部分性能数据与开源状态尚未完全公开,需结合外部基准持续跟踪。

工程实践ScyllaDB Engineering

Building a Faster (Rust-Based) Python Driver for ScyllaDB

本文介绍用 Rust 重写 ScyllaDB Python 官方驱动的原因、设计与性能结果。作者选择 PyO3 作为 Rust-Python 绑定层,并通过同步/异步微基准说明小值调用开销可忽略,但大对象跨语言传递和大量小任务调度会显著变慢。序列化最终放在 Rust 侧,反序列化对原生 CQL 类型复用 Rust 现有逻辑、对复杂类型直接构造 Python 对象;借助 yoke 实现零拷贝结果迭代,以绕过 PyO3 无法暴露非静态生命周期的问题。分页、错误处理与元数据缓存也针对 Python 习惯做了重新设计,基准显示在插入、查询和并发场景下明显优于旧版驱动。文章也指出截至 2026 年 6 月该驱动尚未生产就绪,TLS、重试、负载均衡等仍在评审,兼容旧 API 也尚未完成。

推荐收录:文章给出了可复现的微基准与端到端对比,并详细记录 PyO3 绑定、序列化策略、yoke 零拷贝、分页与错误映射等工程取舍,证据链完整。适合数据库驱动、Rust/Python 互操作、性能优化与 API 设计方向的工程师阅读,其中“大对象避免跨 FFI 传递、大任务优于小任务”等结论可直接迁移。风险是驱动尚未生产就绪,部分能力仍在评审,读者需注意其阶段性结论。

技术文章Daniel Lemire

simdjson 5.0 is out

文章介绍 simdjson 5.0 这一 C++ JSON 解析/生成库的版本更新。核心变化包括 C++26 静态反射正式支持、新增编译期完美哈希的 key selectors 以一次遍历按任意顺序提取字段,以及扩展多种流式解析和切片并行能力。性能方面,数字类 DOM 解析提升 8%–25%,转义 Unicode 文件约提升 80%,序列化因改用 Dragonbox 提升 1.3–1.7 倍。基准仅基于 GCC 16 与单核 Xeon,且文章属发布说明,实现原理和失败边界讨论有限,适合关注 C++ 高性能数据处理与库设计的读者。

推荐收录,因为文章提供了 simdjson 5.0 的具体版本变更、API 示例和可复现的性能对比,尤其是 key selectors 的编译期哈希方案以及 Dragonbox 替换带来的序列化提升,对 C++ 库设计和 JSON 性能优化有直接参考价值。适合使用 C++ 处理大规模 JSON、关注解析/序列化性能的工程师。需注意它本质是发布说明,基准环境单一,不能替代对具体实现和兼容性边界的深入评估。

工程实践TiDB 社区博客 - 实践案例

一个 4000 行的大事务,把政务云的 TiDB 锁卡了 9 分钟

文章复盘某区县级政务云 TiDB 6.5 集群的线上事故:凌晨批量对账把约 4000 行更新包在单个大事务中,提交时间从 30 秒拖到 9 分钟,锁长期不释放,拖垮白天查询。作者用 Grafana 指标、慢日志、cluster_transactions 和 tidb-trace 定位根因,即大事务跨 200 多个 Region 放大两阶段提交开销,叠加热点 biz_no 形成写热点 Region 排队。处理分三步:拆成每 200 行一个小事务、主键加随机分片位打散热点、调整 txn_commit_batch_size 与 txn.max-commit-txn 并错峰调度。改后单事务锁持有时间降至 15 秒内,热点 Region 冲突从数千降到个位数,TiKV CPU 回落到 55%。其排障顺序与拆分思路可迁移,但结论源于单一政务云场景和特定版本,参数调整仍需结合集群规模评估。

推荐收录,因为文章完整呈现了从监控指标异常、捞取长事务、链路追踪到根因归因与效果验证的排障闭环,并给出拆分事务、热点打散、参数兜底三刀的具体做法和量化结果。对使用 TiDB 等分布式数据库、需要写批量任务或排查锁等待与热点 Region 的工程师有直接迁移价值;但结论基于特定版本与政务云规格,参数调整需结合自身集群验证。

工程实践NVIDIA Technical Blog

How NVIDIA DSX MaxLPS Maximizes AI Factory Throughput and Efficiency

NVIDIA DSX MaxLPS 通过策略驱动的动态功率共享,在同一设施功率预算内监控 GPU/节点/机架实际功耗,把闲置余量重新分配给其他资源,从而在不增加供电的前提下提升 AI 工厂吞吐。文章给出 NVIDIA 与 Nscale 在冰岛 Verne 园区的联合评测:基于 GB300 NVL72、Kimi K2.5 FP4、Dynamo 与 TensorRT-LLM,混合高吞吐和低延迟推理实例,在 264.4 kW 固定配置功率下把托管 GPU 从 140 扩到 192(+37.1%),归一化总吞吐提升 49.2%,每配置瓦特吞吐从 4.10 升到 6.12 tokens/s/W。单实例吞吐基本不变,中位与 P75 时延在基线 5% 内,但 P99 首 token 时延增加 17%,提示需权衡尾延迟。作者还给出五阶段验证流程(界定边界、建立基线、保守引入策略、逐步扩容并逐级测试、设定生产限值),并强调结论仅针对 GB300 NVL72 且依赖可靠遥测。

推荐收录:文章给出了同一 264.4 kW 预算下 140→192 GPU、吞吐 +49.2%、每瓦吞吐 4.10→6.12 tokens/s/W 的实测数据,同时披露 P99 首 token 时延 +17% 的代价,并附可复用的五阶段验证流程,适合 AI 数据中心架构师、容量规划与 SRE 读者参考。主要风险是厂商自评、硬件与软件栈单一,实际部署前需在自身负载和供电边界下复测。

工程实践Marc Brooker

Small Decisions: Engineering a Leading Model

文章记录作者用业余时间训练约 20 亿参数的校准分类模型 Hobson,目标是在低成本、低延迟下兼顾准确率与校准。方法以 Qwen3.5-2B 为躯干,去掉 LM head,换成百万参数级 pointer head,对选项隐藏状态与 <answer> 位置打分,并用 rank-16 LoRA 微调,训练结合交叉熵、自蒸馏 KL 和按题型校准温度。作者在 jevbench 公开集上取得同规模领先:easy 集 Brier 0.009、准确率 100%,RTX 3090 上 p50 约 100ms、p95 低于 300ms。文中也报告失败与边界:slot head 有位置偏差,更大或指令模型未达预期,泛化提升困难,测试集设计可能掩盖问题,作者自认并非模型训练专家。

推荐收录:文章不是产品宣传,而是完整展示了一个小模型从架构替换、LoRA/自蒸馏训练、数据合成到校准、评测和推理延迟优化的工程闭环,并诚实记录失败版本与基准局限。适合关注 LLM 工程化、小模型训练、校准分类和低延迟推理的读者,其中的 pointer head、自蒸馏、按题型温度校准和迭代复盘方法可迁移到类似模型或 agent 决策组件开发中。

技术文章Daniel Lemire

How fast can you fix a UTF-16 string in C#?

文章讨论如何在 C# 中高效修复 UTF-16 字符串:当高/低代理项配对错误或落单时,应将孤立代理项替换为 U+FFFD,避免把非法字符串写入磁盘或网络。作者把 JavaScript 中已有的 toWellFormed/isWellFormed 算法引入 C# 库 SimdUnicode,利用 SIMD 指令并行比较多个 16 位码元;合法输入直接返回原实例且不分配,缓冲区版本则逐码元写出。基准显示,在支持 AVX-512 的 Xeon 上,拉丁文本校验达约 69 GB/s,而 IndexOfAnyInRange 仅 33 GB/s;全代理对 Emoji 输入下,SIMD 检查约 53 GB/s,运行时搜索降至 0.4 GB/s,M4 Max 趋势类似。作者还说明结果依赖 .NET 10、Xeon Gold 6548N 与 M4 Max,并引用相关论文与源码,方便读者复现和扩展。

推荐收录:文章给出了 V8 同源的 SIMD 修复算法、C# 实现、无分配边界和 Xeon/M4 实测数据,属于可复现的性能工程证据。适合处理文本解析、Unicode 清洗、网络/存储输入校验的工程师与库作者参考,迁移时需注意 SIMD 指令集、运行时版本和跨平台性能差异。

工程实践GitHub Engineering

Improving site performance by shipping more CSS

GitHub 团队复盘了将 Primer 设计系统及 dotcom 前端从 CSS-in-JS 迁移到 CSS Modules 的多年实践。起因是组件激增导致客户端样式初始化、SSR 样式收集和样式更新成本恶化。团队按组件增量迁移,新增 CSS Modules 文件,并以特性开关、视觉回归测试、逐级灰度和包装层兼容旧 sx。到 2024 年底 Primer 组件全部迁移,SSR 时间降 55%、组件初始化降 25%;随后全站迁移数千 sx,借助 codemod、VS Code 插件和 Copilot coding agent 移除 sx、styled-components 与 styled-system,完成主题解耦,2026 年实现 100% CSS Modules。该经验适合大型设计系统与前端性能治理,但依赖长周期、强测试和灰度基础设施。

推荐收录。该文提供了完整的工程迁移证据:组件级 CSS Modules 迁移、特性开关、视觉回归和灰度发布,以及 SSR 下降 55%、组件初始化下降 25%、sx 从约 7760 到 0 的具体指标,对前端架构、设计系统和性能治理团队有直接参考价值。其风险在于迁移周期长达数年,依赖设计系统、测试与灰度基础设施,直接照搬需评估组织规模和协作成本。

工程实践Amazon Science

A kernel-centric path to real-time video generation on Trainium

文章复盘 Amazon Neuron Science 与 Reactor 在 Trainium 上优化自回归扩散视频模型 Rolling Forcing 的工程实践,目标是实时流式视频生成。团队采用 kernel 中心的自底向上方法,用 NKI 定制 3D-RoPE、KV cache 拷贝和 attention transpose 等热点,并设计序列并行与张量并行的混合分片,解决 12 个 attention heads 与 8 个 Neuron core 不整除及 3D token 切分问题。优化后 3D-RoPE 从 5 秒降至 1.8 毫秒、每层 cache 拷贝从 23 毫秒降至 1.9 毫秒、VAE 解码器加速 8.25 倍,首次端到端运行即生成正确视频。文章称这些技术可迁移到其他实时自回归扩散模型,但主要依赖特定硬件和单一模型,缺少完整基准与复现细节。

推荐收录,因为文章不是产品宣传,而是给出 NKI 内核定制、混合 SP/TP 分片和模型结构改造的具体方案,并附 3D-RoPE、cache 拷贝和 VAE 解码器的量化收益。对从事生成式 AI 推理、视频生成、AI 加速器或性能优化的读者,这些方法可迁移到长序列实时推理场景;风险是结论主要基于 Trainium 与 Rolling Forcing,缺少跨硬件/模型对比和完整复现细节。

工程实践Fzakaria Blog

Every package is already installed

文章介绍 omnibin:一个基于 FUSE 的文件系统,把 nixpkgs 历史中几乎全部二进制放到 $PATH 上,实现“无需安装、无需构建”的按需包访问。其核心是利用 cache.nixos.org 上 Hydra 生成的 .ls 元数据作为索引,再结合 nixpkgs-multiverse 将 (attribute, version) 解析到已构建的 store path,并在首次读取时从缓存拉取 NAR 解包。作者展示了 5 万多个顶层二进制、88 万级二进制树、版本化命令(如 python3@3.6.2)以及 Docker/NixOS 集成方式。为避免 FUSE 全树 stat 过慢,工具只列出每个二进制的最新版本,并提供 index.db 和 omnibin CLI 查询。代价是首次访问需下载解包(示例约 2.7 秒),后续因 store 已存在而瞬时返回。

推荐收录。文章不是泛泛介绍 Nix,而是给出 omnibin 的完整机制:利用 Hydra .ls 索引和 nixpkgs-multiverse 做版本解析,再用 FUSE 懒加载 NAR,并讨论了 ls 性能、首次访问延迟和查询接口等真实约束。对研究包管理、FUSE/文件系统、开发环境与可复现构建的读者有直接迁移价值。

技术文章Daniel Lemire

How many strings can you create per second?

文章用微基准测试比较多种编程语言每秒能创建多少条由整数转换而来的短字符串,覆盖 C++ 的 std::to_string、Nim 的 $、Go 的 strconv.Itoa、Node.js/Bun 的 String、Rust 的 to_string 与 itoa,以及 Python 的 str。方法上让循环把结果写入 1024 槽环形缓冲,整数从 0 到 1 亿,每字符串最多 8 位,在 Apple M4 Max 上取五次最佳成绩。结论是 C++ 以 183.8M/s、约 5.4ns 每条大幅领先,Nim、Go、Node.js、Rust 集中在 63-86M/s、12-16ns 区间,Python 最慢,为 22.9M/s、约 44ns。作者解释 C++ 优势来自小字符串优化,短字符串直接存在对象内,无需调用内存分配器;Go 和 JavaScript 等 GC 运行时分配大量短命小对象也相当高效。边界是该结果依赖特定硬件、编译器版本、字符串长度和分配模式,属于微基准,不宜直接外推到所有真实工作负载。

推荐收录,因为它给出了可复现的微基准方法、完整源码和版本信息,并用小字符串优化与 GC 分配差异解释跨语言性能差距。适合关注性能、运行时和语言实现的开发者,可作为评估字符串/对象分配热点的参考。风险是数字依赖 M4 Max 和具体版本,不能直接当作跨平台结论。

技术文章PlanetScale Blog

When to choose x86-64 vs aarch64

文章讨论云端 Postgres 选择 x86-64 还是 aarch64 的实际影响。作者从超线程与 vCPU 定义切入:x86 常把超线程线程计为 vCPU,而 Graviton、Axion 等 ARM 芯片每 vCPU 对应完整物理核,因此 ARM 适合高并发小查询,x86 凭借更高单核频率适合少量 CPU 密集型大查询。文章还比较向量宽度,指出 x86 的 AVX2/AVX-512 比 Graviton 的 128 位向量更有利于 TIN 索引和 pgvector 的部分计算。随后说明 Postgres 文件不可跨架构直接复制,并用 pg_trgm 的 char 符号性差异解释复制风险,切换需逻辑复制到新集群。最后建议普通负载默认 ARM,CPU 重型负载重点测试 x86,迁移前做同数据同并发基准并衡量成本。

推荐收录:文章把架构选择落到 vCPU 语义、单核/多核取舍、向量指令宽度和 Postgres 物理复制限制上,并给出 PlanetScale 生产约束与迁移路径,证据具体而非泛泛而谈。适合数据库/基础设施工程师在选型、性能调优或跨架构迁移前阅读,可迁移到其他依赖底层架构的数据库与搜索负载。风险是部分结论来自厂商视角,读者仍需自行用同数据同并发基准验证。

工程实践NVIDIA Technical Blog

Efficient MoE Training for Biological Foundation Models

文章介绍如何用 NVIDIA Transformer Engine 与 BioNeMo 配方高效训练基于 MoE 的生物基础模型,重点解决专家计算碎片化、激活显存压力和低精度量化开销三个问题。方法上,以 GroupedLinear 将多个专家 GEMM 合并为一次分组操作,替代 Hugging Face 基线中的逐专家 Python 循环;采用 MXFP8 块缩放将权重与激活降至 8 位,并利用 Blackwell Tensor Core 加速;再通过 Sequential API 将 GroupedLinear、ScaledSwiGLU 和路由权重缩放融合为 ForwardGroupedMLP_CuTeGEMMSwiGLU_MXFP8 kernel。在 8 张 B200 上,Mixtral-8x7B 训练吞吐达到 Hugging Face 基线的最高 2.21 倍。边界是融合 MXFP8 内核依赖 Blackwell GPU 与 NVIDIA 软件栈,且未深入讨论生物模型精度和长序列场景下的泛化影响。

推荐收录,因为文章给出可复现的 MoE 训练优化路径,包括 GroupedLinear 分组 GEMM、MXFP8 块缩放和融合 GroupedMLP kernel,并在 8×B200 上报告 Mixtral-8x7B 相对 HF 基线最高 2.21× 吞吐。适合大模型训练基础设施、GPU 算子优化和 AI 工程化读者,可迁移到其他 MoE 或长序列训练场景。需注意其结论依赖 Blackwell GPU 与 NVIDIA TE/BioNeMo 栈,且未充分分析生物模型精度影响。

工程实践vLLM Blog

Watermarking in vLLM

文章系统介绍 vLLM 中基于 Gumbel-max 的文本水印实现。它先提出文本溯源需平衡的四个约束:不改变模型输出分布、对改写编辑鲁棒、低延迟开销、检测尽量不依赖额外元数据。核心方法利用 Gumbel-max 采样等价于普通分类采样这一性质,用伪随机函数基于密钥与最近上下文为每个候选 token 生成可复现噪声,在不改变期望分布的前提下嵌入可检测信号;检测端重算噪声并累加得分,用 Gamma 分布计算 p 值。工程上把 PRF、Gumbel 变换和 argmax 融合为单个 GPU kernel,投机解码采用双密钥避免降低接受率,并用上下文去重缓解重复上下文导致的多样性下降。附录在 H100 上给出吞吐与质量数据,显示开销不显著,但检测在短文本或低熵输出上信号较弱。

推荐收录:文章不仅讲清 Gumbel-max 水印的数学原理,还给出 vLLM 中融合 GPU kernel、投机解码双密钥、上下文去重等真实工程取舍,并附 H100 吞吐与质量实测数据。对从事 LLM 服务、推理优化和内容溯源的工程师很有参考价值,其“非失真保证+性能验证+退化场景缓解”的方法可迁移到其他采样级功能实现。

技术文章Go Blog

Platform-independent SIMD in Go

文章介绍 Go 1.26/1.27 的实验性 SIMD 支持:archsimd 提供架构相关 API,新的 simd 包则提供平台和向量长度无关的可移植接口。面对各架构在向量长度、掩码和指令集合上的差异,simd 只暴露操作交集,并用 archsimd 指令或标量代码补齐缺失操作,同时支持 ToArch/FromArch 回退到平台专用实现。文中列出 Load/Store、算术、比较、掩码、转换、移位和 reshape 等 API,并以 OnesCount 为例展示 amd64、NEON、wasm 和纯模拟的跨平台实现,说明编译器会按 SIMD 宽度特化并消除类型分支。GODEBUG=simd=0/128/256/512 可强制模拟或指定向量宽度,便于测试不同硬件能力。当前 API 仍属实验性,ReduceSum 等操作尚未提供,方法集合因跨平台约束而较保守,SVE 等支持仍在规划中。

推荐收录。文章来自 Go 官方博客,给出完整 API 表、跨平台实现示例、GODEBUG 测试开关及编译器特化细节,证据充分,不是概念介绍。适合 Go 语言、编译器、性能优化和底层系统开发者阅读,可迁移到可移植 SIMD API 设计、跨架构模拟与性能验证。风险是 API 仍为实验性,部分操作缺失且 GODEBUG 行为可能随版本变化。

工程实践GitHub Engineering

Rendering huge pull requests in the GitHub Copilot app

文章复盘 GitHub Copilot 应用如何让超大 Pull Request 的 diff 与评论在滚动、展开等交互中保持流畅。作者用虚拟化和确定性行高支撑百万行代码 diff,但评论高度无法预知,于是把文档高度拆成精确的代码几何与动态块几何:块按文件、行侧锚定,惰性测量并缓存宽度与指纹。测量由空闲/滚动门控的批量调度完成,观察器只标记不回写,必要时同帧修正,并用身份锚定避免滚动跳动。数据侧先流式加载结构、按需高亮和构建 Markdown,并保留最近 diff 缓存。文中还介绍用结构化探针、端到端预算和自动驾驶循环定位只在特定引擎或滚动位置出现的 bug。方案面向代码评审界面,效果受评论数量与浏览器布局约束,不是通用虚拟列表方案。

推荐收录:文章以 2200 文件、百万改动行、400+ 条行内评论的真实超大型 PR 为基准,详细展示虚拟化、双几何、惰性测量、滚动锚定与数据管线取舍,并配套结构化探针、CI 预算和自动驾驶回归循环。对前端性能、代码评审工具、复杂虚拟列表架构的工程师有直接迁移价值;但方案高度依赖该 diff/评论场景和浏览器布局,其他虚拟滚动场景需谨慎复用其测量与锚定策略。

科研议题Microsoft Research Blog

Offloaded inference for real-world physical AI robotics

微软研究博客挑战物理AI推理必须全部运行在机器人板载GPU上的假设,围绕移动操作任务中的语义建图与规划、导航和操作,系统比较板载、边缘与云端GPU的推理表现。评测显示,将推理卸载到边缘/云GPU可提升任务成功率、响应速度与准确率,并支持更大的VLA等模型;较弱板载GPU会使建图与规划最多变慢383%,导航障碍及时检测下降30%,VLA准确率下降50%,Jetson Thor等还会使续航缩短最多160%。作者发布基于Kubernetes的Physical AI Toolchain,可用声明式方式自动容器化、部署和编排机器人AI工作负载,并集成ROS2、LeRobot与仿真器。结论主要适用于移动操作类物理AI工作负载,卸载仍面临性能、网络延迟/带宽与GPU资源间的复杂权衡,且结果依赖具体硬件配置,完整证据需参考其技术报告。

推荐收录。文章基于微软研究院对移动操作工作负载的系统测量,给出板载与边缘/云GPU在任务成功率、时延、VLA准确率和续航上的具体数据,并开源基于Kubernetes的Physical AI Toolchain,可直接指导物理AI推理架构和卸载策略设计。适合机器人、边缘/云推理基础设施与MLOps工程师阅读;需注意其结论依赖特定硬件与网络条件,且本质是厂商研究博客,完整实验细节应以技术报告为准。

技术文章PortSwigger Research

HTTP/3 in Burp Suite - it’s time to find a bigger wordlist

文章介绍 PortSwigger 为 Burp Suite 和 Turbo Intruder 增加 HTTP/3 支持,并推出可自动选协议、动态调参的 AUTO 引擎。作者说明最大化 RPS 的配置方法,包括压缩请求/响应、调整并发连接与每连接请求数,Wi-Fi 下可超 100,000 RPS。针对 HTTP/3 竞态,文章引入 Single Datagram Attack 和 QPACK Blocked Streams,并展示 kettled 请求语法与转义,用于降级和头部注入测试。HTTP/3 Adapter 扩展可将常规 HTTP/1.1/2 流量转为 HTTP/3,以测试仅支持 HTTP/3 的端点。边界是目标须支持 HTTP/3,部分技术仅限 HTTP3 引擎,AUTO 不适用于 desync 且需授权测试。

推荐收录:文章不仅宣布扩展,还给出 Turbo Intruder HTTP3/AUTO 引擎的调优方法、竞态攻击与降级注入的可执行语法和示例,并引用 Springer 与 Black Hat 技术来源。适合渗透测试、Web 安全研究和维护 HTTP/3 服务的读者,可迁移到高速模糊测试、竞态窗口利用及仅 HTTP/3 目标测试。风险是依赖 Burp/Turbo Intruder 生态且目标须支持 HTTP/3,需自行验证配置与授权边界。

技术文章SelectDB 技术分享

Apache Doris 高性能 Open Lake Variant 读写技术解析 面对日志、事件、AI 调用等不断变化的半结构化数据,如何既保留灵活结构,又实现高效查询?从 Doris 4.2 ...

Doris 4.2 起可在 Iceberg、Paimon 上直接读写 VARIANT 半结构化数据。文章分三层讲解:值由 metadata 字段名字典与 value 二进制编码,可按路径拆成类型子列,类型不匹配的值保留在 residual/fallback;读取按文件与 Row Group 选择叶子投影、残余补齐或完整投影,并结合统计裁剪;执行层保留 Encoded、Typed、Shredded 三种形态并延迟物化,避免重建完整对象。写回时 Iceberg 经 Arrow 生成 Parquet,Paimon 经 JNI 交给原生 writer,当前不回写拆列文件。测试称相比 Spark 冷跑 15.10×、热跑 19.14×,拆列热跑 58.64×,但 SQL 示例未在集群执行。

Doris 团队完整拆解了 Variant 的编码、拆列、按路径读取与延迟物化机制,并给出可观测的 Profile 指标和冷热跑对比数据,可作为湖仓半结构化数据格式设计与查询优化的参考。适合从事 OLAP/湖仓选型、Parquet 列裁剪与执行引擎优化的工程师阅读;需注意性能数字来自厂商自测、不含导入耗时,SQL 示例也未实机验证。

工程实践TiDB 社区博客 - 实践案例

热点 Region 逼停了写入:一次 TiDB 写入性能雪崩的 6 小时排查

文章复盘一个城市大脑 IoT 实时写入项目在 TiDB 6.5 上的写入性能雪崩排查。上线两周后批量写入超时、QPS 从 8k 降至 3k、单个 TiKV CPU 达 90% 而其余空闲,并频繁出现 Region is hot 告警。作者用 pd-ctl region top write 定位到某 Region 占全集群 70% 以上写流量,根因是 AUTO_INCREMENT 单调递增主键使新行持续写入尾部 Region。采用 SHARD_ROW_ID_BITS=4 与 PRE_SPLIT_REGIONS=4 重建表并迁移后,延迟回到 5~8ms;7.x 可改用 AUTO_RANDOM。文末总结高写入表设计、热点观察、压测需模拟真实分布等建议,但属于单一集群案例,未展开其他热点类型与迁移成本。

推荐收录。文章给出从告警、指标异常到 pd-ctl 热点定位、根因解释、表重建与迁移验证的完整闭环,证据具体且可复现。对使用 TiDB 或分布式数据库的工程师,自增主键导致写入热点、SHARD_ROW_ID_BITS 打散和压测需覆盖真实写入分布等结论可直接迁移;但结论主要适用于 TiDB 6.5 单集群,其他系统需自行验证。

技术文章Greptime 技术

JSON Is No Longer a Blob: Inside GreptimeDB 1.2's New JSON Type

文章深入解析 GreptimeDB 1.2 新增的 JSON2 类型,针对传统 JSONB 按整文档存储、分析查询需读取并解析完整 JSON 的问题。其核心是有界自动 shredding:高频路径展开为独立列,并分为静态类型路径、预算内动态路径和 Parquet Variant 余量三层;查询时通过类型具体化从 SQL 推断所需结构类型,类型提示可固定路径类型并拒绝不匹配写入。结论是 JSON2 适合日志、trace 等可观测性场景,能按路径裁剪读取且保留原始嵌套;但冷路径仍需读余量,类型推断可能出错,自动展开有上限,1.2 中修改配置尚未正式支持。

推荐收录:文章不仅介绍功能,还给出 JSONB 与 JSON2 的读写差异、三层存储、类型具体化、类型提示和完整 SQL 示例,并引用 JSONBench 数据说明边界。适合数据库、存储引擎、可观测性平台工程师理解半结构化数据的列式化设计;可迁移到日志/trace 分析中的路径裁剪、列式存储和类型约束设计,但需留意冷路径读取与类型推断错误风险。

技术文章Greptime 技术

JSON Is No Longer a Blob: Inside GreptimeDB 1.2's New JSON Type

文章解析 GreptimeDB 1.2 新增的 JSON2 类型,面向日志、Trace 等路径繁多但查询只访问少数路径的 JSON 数据。传统 JSONB 按整文档存储,读一个字段也需扫描和解析完整文档,索引无法消除这类 I/O 与 CPU 放大。JSON2 采用有界自动 shredding,将热路径展开为独立 Parquet 列,长尾写入 Parquet Variant remainder,并支持 type hints 固定类型;查询端通过 query type concretization 从 SQL 推导结构化类型,实现列裁剪与向量化执行。局限是类型推断依赖 SQL 表达式,写错可能返回无意义结果,且 1.2.x 不能修改已有 JSON2 配置。该方案适合可观测性分析,但冷路径仍需读 remainder,自动展开预算默认 100。

推荐收录。文章基于 GreptimeDB 1.2.1 的真实实现,清晰给出 JSONB 整文档读放大、JSON2 有界 shredding、Parquet Variant remainder、query type concretization 与 type hints 的设计细节和 SQL 示例,并明确说明类型推断错误、冷路径成本和 1.2.x 配置不可变等边界。适合数据库内核、存储引擎和可观测性平台开发者参考,其“热路径列化+长尾归并+查询驱动类型推导”的取舍可迁移到其他半结构化分析系统。

工程实践NVIDIA Technical Blog

Enabling Private High-Performance Production AI Inference with NVIDIA Confidential Computing

NVIDIA 技术博客介绍在 Blackwell GPU 上通过机密计算运行生产级 LLM 推理的性能优化实践。文章先给出选型方法:用长输入、长输出、低并发工作负载暴露 CC 开销,再在 DGX B200 上以 TensorRT LLM 和 DeepSeek-R1 做 CC 开关对照,测得吞吐保留 96.1%–98.2%、TPOT 增加 1.2%–4.3%。作者指出 B200 CC 导致主机到设备拷贝走加密反弹缓冲区、CUDA 事件计时不稳、NVLS 多播不可用三项变化,并说明 TensorRT LLM 通过可分页内存、异步回读、%globaltimer 计时和 CC 感知通信算法来缓解。文章强调机密推理仍需性能工程,安全与推理优化应统一规划,但结论依赖特定硬件和框架版本。

推荐收录,因为文章不是泛泛宣传,而是给出了可复现的 CC 开关对照方法、具体吞吐/延迟数据(96.1%–98.2%、1.2%–4.3%)以及三项可定位的运行时根因和对应 PR。适合 AI 平台工程师、TensorRT LLM 用户和关注机密推理性能的读者,其测量框架和“安全配置与推理优化统一评估”的思路可迁移到其他 CC 工作负载。主要局限是结论绑定 B200、TensorRT LLM 1.3.0rc22 等具体版本。

工程实践Cloudflare Blog

We just shipped support for the ugliest part of HTTP: Vary

文章介绍 Cloudflare 在 Cache Rules 中支持 HTTP Vary 的工程方案。Vary 让源站声明可能影响响应的请求头,但缓存无法判断差异是否真的影响响应,高基数、格式差异和 q 值会产生大量等价却无法复用的变体,降低缓存命中率。Cloudflare 把决策拆成两步:源站声明 Vary 字段,Cache Rule 决定每个字段用 normalize、passthrough 还是 bypass。normalize 对 Accept、Accept-Language、Accept-Encoding 做小写并按 q 值排序收敛到配置集合,passthrough 保留精确差异,bypass 绕过缓存,Vary:* 始终绕过。文章还说明缓存查找、变体存储和清除边界,并指出源站必须一致返回 Vary,方案仍需手工配置语言与格式。

推荐收录:文章并非单纯产品发布稿,而是围绕 HTTP Vary 的缓存语义、基数爆炸和变体归一化展开技术权衡,并给出 normalize、passthrough、bypass 的边界与 API 示例。对 CDN、缓存策略和 Web 性能工程师而言,其“源站声明差异、缓存判断差异是否重要”的设计思路和变体键管理方法可迁移到自建缓存或边缘场景;风险是带有 Cloudflare 产品语境,细节需结合文档验证。

工程实践ScyllaDB Engineering

Building a Faster C# Driver for ScyllaDB…on our Self-Baked C#-Rust FFI Framework

本文复盘 ScyllaDB 用自研 C#-Rust FFI 框架重写 C# 驱动的实践,目标是在保持原 DataStax C# 驱动 API 基本不变的前提下复用 Rust 驱动的性能与正确性。作者利用 .NET 5 的改进互操作特性降低跨语言开销,并桥接 .NET 与 Tokio 异步运行时以避免阻塞线程。文章详述了序列化放在 C# 侧、以 RWLock 解决会话关闭的 TOCTOU/UAF 竞争、用 trait 映射错误、以原子快照管理元数据、转发 Rust 日志等取舍。基准显示新驱动在所有场景不慢于原驱动,高并发下约快一倍。当前开发暂停,功能完整性与维护仍待完善。

推荐收录:文章完整呈现 C#-Rust FFI 框架设计、TOCTOU/UAF 竞争修复、元数据快照与错误映射等关键取舍,并附可复现基准(高并发下约为原驱动两倍、接近 Rust 驱动)。对从事跨语言互操作、数据库驱动或高性能客户端开发的工程师有直接参考价值,会话生命周期管理、内存引用计数等模式可迁移。项目开发暂停是主要风险。

工程实践NVIDIA Technical Blog

Accelerating a ROS 2 Node with an AI Agent and NVIDIA Isaac ROS

NVIDIA 技术博客讲解如何借助 AI 编码代理,把已有的 CUDA 加速 ROS 2 节点迁移到 rosidl::Buffer 抽象与 CUDA buffer backend。该后端基于 CUDA 虚拟内存管理实现零拷贝:当发布者与订阅者同主机、同 CUDA 设备、同 Linux 用户且使用受支持 RMW 实现时,可直接交换 GPU 常驻数据,否则回退 CPU 路径,并保持标准 ROS 2 消息接口不变。文章以 Depth Anything 3 TensorRT 节点为例,展示 migrate-node-to-rosidl-buffer 技能如何审计数据流、规划最小改动:订阅声明接受 cuda、输出消息分配 CUDA 缓冲、TensorRT 推理直接写入,点云与调试等可选 CPU 路径保持独立。验证用 Nsight Systems 确认 ROS 边界不再有载荷级主机-设备拷贝,并以 get_backend_type() 是否为 cuda 判断协商结果。内容依赖 ROS 2 Lyrical、Isaac ROS 5.0 与 NVIDIA 生态,未给出量化性能收益。

推荐收录:文章给出从依赖添加、订阅选项、CUDA 缓冲分配到推理直写与验证的完整迁移路径,并明确零拷贝生效前提(同主机、同 CUDA 设备、同用户、受支持 RMW)和 CPU 回退机制,可直接借鉴到 GPU 加速 ROS 2 节点与机器人数据通路优化。适合机器人中间件、边缘推理和 CUDA 数据流方向的工程师,其“审计—最小改动—验证”方法可迁移到其他节点。风险是依赖 NVIDIA 生态、缺少量化性能数据。

工程实践美团技术团队

MTFM:美团统一推荐基座大模型在外卖多业务场景的落地实践

美团技术团队介绍统一推荐基座大模型 MTFM,在 MTGR 基础上首次实现外卖多个主要业务的统一精排。文章围绕规模可扩展性、场景可延展性和架构高效性三大挑战,提出异构 Tokenizer 与动态掩码实现多场景特征免对齐,混合注意力与 Target Scale-Up 提升 Scaling 能力,并借鉴 LLM 的初始化、Muon 优化器、动态归一化等训练实践。系统层面采用 User-Level 训练范式与定制 GPU 算子,降低训推开销;在线多个业务订单提升 2.06%~6.68%,推理成本降低 24%,工作被 KDD 2026 收录。适用边界在于结论来自美团外卖业务与特定模型规模,跨行业迁移仍需验证。

推荐收录。文章给出 MTFM 的完整架构、训练策略、GPU 算子优化、Scaling 验证与线上 A/B 收益(多业务订单提升 2.06%~6.68%、推理成本降 24%),属于少见的工业级推荐基座落地复盘。适合推荐系统、AI 工程化与大规模训推基础设施读者,其异构 Tokenizer、User-Level 训练和算子优化可迁移;但具体收益依赖美团外卖数据与业务结构,跨场景复用需重新验证。

科研议题知乎 - 胡津铭

数组作为buffer pool,这也行??

本文由论文作者介绍其参与的一篇 SIGMOD 2027 工作,提出名为 Calico 的基于数组的 buffer pool 设计。作者先分析现有方案:LeanStore 的翻译设计不支持图等数据结构,vmcache 依赖 mmap 而在数据库中带来诸多不便。Calico 的核心思路是跳过 hashmap 直接用数组实现 buffer pool,利用其轻量、局部性好和支持组预取的优势,并通过多级翻译(前缀加后缀)与路径缓存解决 page id 稀疏问题,可类比为用户态的 page table 实现。作者将 Calico 集成进 PostgreSQL,在线性扫描、join 和向量检索场景下分别获得 50% 至 200% 和 4-6 倍性能提升,向量检索甚至超过 faiss。文章为作者视角的概览,未展开全部实验细节与局限。

推荐收录。文章出自论文作者本人,清楚交代了 Calico 的问题动机(LeanStore 局限与 mmap 弊端)、关键设计(数组 buffer pool、多级翻译、路径缓存)以及集成 PostgreSQL 后的量化收益,并说明了向量检索等适用场景。对从事数据库存储引擎、向量检索系统或性能优化的读者,可迁移其“简单结构加精细细节设计”的思路;主要不足是缺少实验边界与失败情形的深入讨论。

工程实践Daniel Lemire

A summer of AI optimization

文章记录作者在2026年夏季前后对六个成熟开源库(roaring、ada、fast_float、simdjson、simdutf、CRoaring)的性能优化。作者通过重放每个提交并在同一台Intel Xeon Gold 6548N上基准测试,以2024年8月为基线量化加速:Go roaring多项操作达2.5–5.9倍,ada吞吐从0.54升至1.28 GB/s,simdutf ASCII校验从83升至160 GB/s,simdjson序列化最高提升2.1倍。多个优化由合作者借助Claude、Cursor、Grok、DeepSeek等工具完成,部分贡献者甚至是AI。作者的核心论点是这些优化技术本身并不新,真正变化在于AI把尝试新想法的成本降到足够低。文章边界也很明确:无法精确归因每个优化中AI的贡献,数据来自单机基准,部分优化未纳入展示,结论更偏工程观察与个人判断。

推荐收录:文章给出六个被广泛使用的开源库的真实性能数据、提交级基准方法和AI工具参与细节,可直接作为性能工程与AI辅助编程的案例参考。对维护基础库、做低层优化或评估AI编码效率的读者有迁移价值;主要局限是单机基准与贡献度不可精确归因,结论应视为方向性证据。

工程实践vLLM Blog

Announcing vllm-metal: Concurrent Serving on Apple Silicon

文章介绍 vllm-metal v0.28.0,将 vLLM 的 V1 调度器、分页 KV 缓存和 OpenAI 兼容服务端移植到 Apple Silicon,底层由 MLX 与 Metal 执行。它复用 mlx_lm 的按 token 独立层,仅替换为分页 varlen Metal 注意力内核,并用 cu_seqlens 打包查询、以块表管理 KV,从而在连续批处理中混合预填充与解码。文中对比 llama.cpp、oMLX、mlx_lm 在并发 agent 负载下的 TTFT、吞吐与延迟,还覆盖内存预算、批处理 MTP、M5 NAX 预填充与混合模型前缀缓存复用。局限是 MTP 仅支持 Gemma 4 贪心采样和同步调度,混合模型前缀缓存仍属实验特性。

推荐收录:该文虽为版本发布博客,但给出了 vllm-metal 的完整服务架构、分页 varlen 注意力实现细节以及与 llama.cpp、oMLX 等引擎在并发 agent 负载下的可复现基准。它适合在 Apple Silicon 上部署本地 LLM 服务、研究连续批处理与内存/延迟权衡的工程师,其 packed query、paged KV 和 MTP 批处理方案可迁移到其他硬件后端。

技术文章PlanetScale Blog

Anatomy of a (Postgres) search engine

文章系统讲解全文搜索倒排索引的内部结构,并落到 Postgres 场景说明工程实现。核心组件包括词项字典、postings list、位置数据与词频统计;postings 通常有序存储,并用差值编码、位图压缩减少空间,以支持并集/交集、短语和跨度查询。查询侧还讨论 tokenizer、停用词、词干化带来的精度取舍,以及 BM25 打分和 top-k 通过块级统计跳过 postings 的优化。更新删除依赖不可变 segment、tombstone 和后台 merge,但合并带来大量 I/O 与临时空间,删除则造成空间放大和过滤开销。最后分析 Postgres 集成约束,包括 ctid 映射、WAL、VACUUM、可见性映射、查询规划器与 CustomScan。文章偏概念性综述,TIN 的性能数据和实现细节需阅读另一篇深潜。

推荐收录:文章完整解释倒排索引的词项字典、postings 压缩、BM25、segment 合并与 Postgres 集成约束,技术证据密度高。适合数据库、搜索和后端工程师建立系统认知,也可迁移到 Lucene、Elasticsearch 类系统的选型与调优。主要局限是概念综述,TIN 的具体性能数据需参考另一篇深潜。

工程实践NVIDIA Technical Blog

Simplifying Model Serving Across Multiple GPUs with NVIDIA TensorRT Multi-Device Integration in NVIDIA Dynamo-Triton

NVIDIA 博客介绍 TensorRT 多设备推理与 Dynamo-Triton 26.07 的集成:借助 NCCL 集合通信,单个 KIND_MODEL 实例可跨多块 GPU 执行同一 TensorRT 网络,并暴露单一 gRPC 端点,应用无需协调 GPU rank。文章以 Cosmos 3 Nano 视频生成为例,用 Ulysses 上下文并行将 44,160 个视频 token 分布到最多 8 块 GPU,Triton 服务其 36 层去噪 transformer。基准显示端到端延迟从单 GPU 的 156.6 秒降至 8 GPU 的 34.2 秒(4.58 倍),RPC 加速 6.09 倍,输出按 MAE≤25、PSNR≥18 dB 验证但非像素级一致。该方案以更多 GPU 换取低延迟,未测并发吞吐与 TCO,需结合自身 SLO 评估。

推荐收录:文章给出了 Dynamo-Triton 多设备服务的配置片段、Ulysses 上下文并行方法,以及 1/2/4/8 GPU 的端到端延迟与 RPC 加速数据。适合多 GPU 推理服务与生成式媒体延迟优化的工程师参考,其把分布式 rank 协调封装为单一模型端点的思路可迁移到其他多卡服务。风险是厂商视角且未覆盖并发吞吐与 TCO。

技术文章Daniel Lemire

More than a taken branch per cycle?

文章讨论现代超标量处理器能否在一个周期内执行多个 taken branch。作者用一个包含 if 的 Go 循环做微基准:从字节数组中读取元素,与阈值比较,若大于阈值则写入 last 指针;在始终不命中、但产生两个邻近 taken branch 且不执行存储的场景下测量。结果显示,Apple M4 Max 与 Granite Rapids 平均不到 2 个周期即可完成两个 taken branch,说明某些条件下确实可超过每周期一个 taken branch;AMD Zen 4 表现较差,Zen 5 明显改善。作者附上 benchmark/experiments/ifloop 下的可复现代码,但结论受特定循环、编译器代码生成和微架构影响,不宜直接外推为通用规则。

推荐收录:作者提供了可复现的 Go 微基准、明确的分支场景和多款处理器的对比数据,直接检验了“每周期最多一个 taken branch”这一常见说法。对关注 CPU 微架构、性能优化和底层代码生成的读者有参考价值,可迁移为结合具体处理器与编译器实测、避免把简化模型当硬约束。局限是结论依赖特定循环和硬件,不能无条件外推。

工程实践Meta Engineering

Open-Sourcing Rebalancer: A Generic, High-Performance Library for Solving Assignment Problems

Meta 开源了内部使用九年多的通用指派问题求解库 Rebalancer,并配套 OSDI'24 论文。文章把指派问题抽象为对象、箱子、约束与目标,核心设计是解耦问题描述与求解过程:先用维度、分区、作用域、利用率等建模原语刻画现实策略,再通过表达式 API 与高层 spec API 表达约束和目标,最终编译成表达式图 DAG。求解提供两条路径:最优解器把图翻译成 MIP,靠变量聚合、可互换性与对称性破缺压缩模型,最坏规模为 O(|objects|*|bins|);局部搜索解器直接在图上游走,邻域最坏 O(|objects|+|bins|),可并行、每秒数百万次评估并支持剪枝。文中给出生产数据(每日约 4000 万次求解、30 多种问题形式、P99 12 秒)以及调试用 Web UI Rebalancer Explorer,并以 Apache 2.0 开源。

推荐收录:文章提供了可复用的优化系统设计证据——描述与求解解耦的建模原语、表达式图,以及 MIP 与局部搜索两条路径的复杂度、规模上限和选型建议,还有每日 4000 万次求解、P99 12 秒等生产数据与 OSDI'24 论文支撑。适合从事资源调度、容量规划、负载均衡和组合优化落地的工程与算法读者,其中“先用最优解器原型、再迁移到局部搜索”的经验可直接迁移。

工程实践ClickHouse Engineering

Postgres on NVMe: performance and the convergence of transactions and analytics

文章以 Postgres 在本地 NVMe 上的性能表现为切入点,在 482 GiB 数据集上对比 NVMe 与 gp3 EBS,测得 NVMe 吞吐约 9.2 倍、UPDATE 延迟 4.0 ms 对 36.9 ms。作者用 pg_stat_activity 和 CPU profile 解释:EBS 下大量后端阻塞在 DataFileRead,NVMe 将缓存未命中从毫秒级降到微秒级,并改善 VACUUM 与逻辑解码。针对本地 NVMe 的临时性,文章提出跨 AZ quorum 同步复制加 WAL-G 持续归档来保证持久性与可恢复性。随后论证存储加速只能提高行存上限,无法替代列存做大规模扫描,需用 CDC 将数据同步到 ClickHouse。适用时需注意 NVMe 容量受实例限制、复制与归档增加运维复杂度,且查询下推覆盖度需验证。

推荐收录:文章给出可复现的 benchmark 设计(pgbench 33,000、482 GiB、NVMe 对 EBS)和从 pg_stat_activity、CPU profile 到 VACUUM、逻辑解码的分层证据,并讨论本地 NVMe 临时性下的 quorum 复制与 WAL 归档方案。适合负责 PostgreSQL 性能、存储选型或 HTAP/CDC 架构的工程师,其中“存储解决 OLTP、列存解决 OLAP”的拆分逻辑可迁移。需注意文章来自 ClickHouse 厂商,benchmark 与产品推荐带有一定立场,pushdown 和运维复杂度仍需结合场景验证。

工程实践Meta Engineering

Inside Petal: Building the World’s First Petabit-Class Transoceanic Subsea Cable

Meta 介绍规划中的跨洋海缆 Petal:连接法国与美国约 7000 公里,目标 2029 年投运,实现 1 Pbps 容量,成为首个皮比特级跨洋系统。其核心是采用 2-core fiber,在 24 光纤对中达到等效 48 对的空分复用容量,并通过超纯石英、折射率控制和反向传输来降低衰减与串扰。中继器使用 96 芯单体内放大和 FIFO 将双芯转换为单芯再恢复,结合泵浦共享把功耗控制在 18 kV 供电限制内。文章还梳理从 Marea、Amitié、Anjana 到 Petal 的容量演进及 NEC、住友电工、Orange 的分工。不足是公告性强,缺少独立测试、成本和长期运维数据。

推荐收录。文章虽带有 Meta 基础设施发布色彩,但给出了 Petal 的容量目标、2-core fiber 与 24 对光纤等效 48 对的 SDM 设计、FIFO 中继器、96 芯放大和 18 kV 供电边界等具体工程约束。适合网络基础设施、光通信与海缆系统读者参考,其容量扩展路径和功耗/工艺取舍可迁移到大规模互联系统评估。

工程实践vLLM Blog

PD Serving of Qwen3.8-2.4T

文章介绍 vLLM 团队在 GB300 NVL72 上对 Qwen3.8-2.4T(GDN/Full-Attn 混合层加 MoE、NVFP4 权重)做 PD 分离推理的调优流程与性能结果。核心方法是从显存账目出发:由 Full-Attn 每 token 每层 2 KiB、GDN 每请求约 4.2 MiB 推出 block 为 2112 token,再逐项扣除 CUDA 上下文、NCCL、权重、峰值激活与 CUDA graph 预留,估算每引擎最大并发。作者用纯 prefill(8192/2)和纯 decode(1/1000)分别筛选拓扑,得出 prefill 低并发选 TP4DP2+EP、高并发选 TP2DP4+EP,decode 低并发选 TEP8+MTP、高并发选 TP4DP4+EP。最终在 8K/1K 负载下达到 5000 total tok/s/GPU、180 gen tok/s/用户,GSM8K 准确率 95%,并公开可复现的 srt-slurm 配方。局限是结论绑定 GB300、特定模型与 vLLM nightly 版本,CUDA graph 显存估算偏保守,读者需自行复测。

推荐收录:文章把超大模型 PD 分离服务拆解为可复用的决策流程,给出 KV/GDN block 推导、CUDA graph 显存估算偏差与 prefill/decode 拓扑筛选的一手量化数据,并附可复现的 srt-slurm 配方。适合推理基础设施与 LLM 服务性能调优读者,其“先算显存账、再分离测量”的方法可迁移到其他模型;需注意结论依赖 GB300 与特定 vLLM 版本。

技术文章Daniel Lemire

How did Apple Silicon get 50% faster in three years?

文章以苹果基础款芯片 M2 到 M5(并延伸讨论刚发布的 M6)为例,分析三年间单核性能提升约 52%、多核提升约 83% 的来源。作者借助 Geekbench 6 分数、核心频率、晶体管数量、核心配置、解码宽度和内存带宽等公开数据逐项拆解。结论是苹果与 AMD 不同:约 30% 的 P 核频率提升(3.5→4.6 GHz)解释了单核增长的大部分,而 E 核从 4 增至 6、解码宽度从 8 提升到 10、内存带宽从 100 提升到 154 GB/s 共同支撑了多核与带宽敏感负载。文中还指出苹果 SIMD 仍为四个 128-bit 单元,弱于 Zen 5,但 M4/M5 新增 512-bit SME 矩阵单元。分析基于公开规格与 Geekbench 数据,缺乏自建微基准验证,属于趋势性归因。

推荐收录。文章给出了一套可复用的性能提升归因框架,把代际差异分解为频率、核心数、解码宽度(IPC)、内存带宽与 SIMD 宽度等因素,而非停留在跑分对比,对关注 CPU 微架构演进与性能分析的工程师、研究者有长期参考价值。需注意其数据主要来自 Geekbench 与厂商公开规格,未做自建微基准,结论应视为趋势性解读。

科研议题知乎 - 胡津铭

数据库应该如何写SSD

本文解读 VLDB 2026 荣誉提名论文《How to Write to SSDs》,介绍 TUM Viktor Leis 团队提出的软硬件协同设计(hardware-software codesign)思想。文章指出,B+ 树数据库沿用机械硬盘时代找到数据页后原地更新(in-place write)的方案,在 SSD 上会因硬件层面的 out-of-place write 特性产生严重写放大,拖慢写入效率。团队据此设计面向 SSD 的 B+ 树 out-of-place write,并配合压缩、页打包、按死亡时间分组、对齐数据库与 SSD 垃圾回收粒度等优化,核心论点是数据库比操作系统和硬件更了解工作负载,因而拥有更多信息优化系统。该方案用于 LeanStore 后,在 YCSB 和 TPC-C 上写放大降低约 7 倍、吞吐量约翻倍。文章偏重思想梳理、未展开技术细节,读者需回看论文原文。

推荐收录:文章把一篇 VLDB 论文的核心问题、协同设计思路和量化结果(写放大约 7 倍、吞吐翻倍)讲清楚,并点明“数据库比 OS/硬件更懂工作负载”这一可迁移原则。适合做数据库存储引擎、SSD 写路径或硬件协同优化方向的读者快速建立线索,不足之处是省略了技术细节,需结合原文阅读。

工程实践Daniel Lemire

Faster JSON parsing with SVE2 on ARM processors

文章介绍 Daniel Lemire 团队将 ARM SVE2 的 match 指令用于 simdjson 的 JSON 结构字符分类阶段。NEON 版本通过查表和比较指令在每 16 字节中识别逗号、冒号、括号等结构字符;SVE2 的 match 可用一个谓词寄存器输出匹配掩码,并借 NEON-SVE bridge 与现有 NEON 代码衔接。作者在 Graviton 4/5 上对 22 个标准 JSON 文件做基准,结果显示索引阶段吞吐提升约 3%–9%,整体解析提升约 1%–4%,结构化程度高的文件收益更大,纯数字文件可能略有回退。当前代码需要 SVE2,且默认构建仍走 NEON,尚未做到运行时指令集选择,Apple 处理器和旧 Graviton 也无法使用。

推荐收录:文章不是概念展望,而是基于 simdjson 真实 PR 和 22 个 JSON 语料的可复现基准,给出了 NEON 与 SVE2 match 的指令级实现、收益区间及失效场景。适合高性能解析、ARM SIMD/体系结构和 C++ 库优化读者,可迁移到其他需要字节分类和掩码聚合的场景;但需注意收益有限且依赖 SVE2 与构建配置,不能直接套用到 Apple 或旧 Graviton。

工程实践NVIDIA Technical Blog

Benchmarking LLM Inference at Scale with AIPerf

文章介绍 NVIDIA 为 LLM 推理压测推出的新工具 AIPerf,它是 GenAI-Perf 的彻底重写。其核心设计是多进程架构:工作进程负责产生负载,独立记录进程处理结果,并通过 ZMQ 协调,从而避免单进程 GIL 让压测客户端先于服务端成为瓶颈。工具支持 15 种以上端点类型、ShareGPT 等公开数据集以及 Mooncake、Baseten、WEKA 的 trace 回放,并提供 constant、Poisson、gamma 等到达模式与可调突发性。文中以 vLLM 部署 Qwen3-0.6B 为例,演示固定 ISL/OSL 的静态基准和带随机种子的 Poisson 流量两种配置,解释 --streaming、min_tokens、ignore_eos 等参数对 TTFT/ITL 测量与可复现性的影响,并说明用 p25–p99 分位和 GPU telemetry 解读结果。局限是内容偏工具用法与官方口径,缺少与其他压测工具的系统对比和独立验证。

推荐收录:文章给出了压测客户端不能成为瓶颈这一具体设计依据(多进程 + ZMQ 替代 GIL 受限的单进程架构),并附上固定负载与 Poisson 到达两类可直接复用的基准配置及 TTFT、ITL、吞吐的分位解读方法,对做推理服务性能评估和容量规划的工程师有迁移价值。需注意其出自工具官方博客,缺少横向对比与第三方复现,采用前宜自行校验。

技术文章Daniel Lemire

How did AMD Ryzen get 50% faster in two years?

文章以 AMD Ryzen 7 5800X3D(Zen 3)、7800X3D(Zen 4)、9800X3D(Zen 5)三款同为 8 核且带 3D V-Cache 的桌面处理器为对象,用 Geekbench 6 数据说明两年内单核性能提升约 47%、多核约 58%。作者指出主频仅从 4.5GHz 升到 5.2GHz(约 15%),晶体管则增加约 50%,因此增益主要来自核心变宽:调度宽度 6→8、整数 ALU 4→6、重排序缓冲 256→448、L1 数据缓存 32KB→48KB、每核 L2 由 512KB 翻倍到 1MB,Zen 5 的 SIMD 单元与加载/存储通路也从 256 位全面翻倍到 512 位。结论是“CPU 停滞”并不成立,性能提升源于核心宽度与数据通路扩展而非频率;其边界在于只依赖 Geekbench 一项合成基准,缺少功耗、能效和真实负载验证,Zen 6 桌面核也未展开。

推荐收录,因为文章用可核对的跑分、频率、晶体管数和微架构参数(调度宽度、ROB、缓存容量、SIMD 位宽)把“额外晶体管如何转化为性能”讲清楚,而非停留在简单跑分对比。适合关注 CPU 微架构、性能优化与硬件选型的读者,可作为理解近年 x86 核心变宽与 AVX-512 式扩展趋势的参考;主要风险是数据仅来自单一合成基准,缺少能效与真实工作负载维度。

工程实践Cloudflare Blog

Saving another 100TB of RAM with math (and Rust)

Cloudflare 复盘 Pingora Backend Router 中 pingora-ketama 一致哈希内存占用过高的问题。文章从一致哈希哈希环和权重路由讲起,用期望值、标准差和变异系数分析每台服务器哈希点数量对负载均衡精度的影响,并指出 32 位哈希在哈希点极多时会因碰撞抵消收益。工程上,作者将 Point 结构改为紧凑字节存储以规避 Rust 对齐开销,带来约 25% 内存下降;又依据推导把每节点哈希数降低 90%,且不造成明显误差。为避免切换哈希环导致缓存大面积失效,团队用新旧双环、按请求哈希稳定选择、数据中心分层灰度、可回滚和多项指标观测完成迁移。最终全球回收超过 100TB 内存,相关能力以 pingora-ketama v2 实验特性提供。其结论依赖连续哈希环近似和碰撞分析,落地时仍需按服务器数、哈希位宽和缓存失效代价验证。

推荐收录。文章给出从算法建模、Rust 内存布局到生产灰度迁移的完整闭环,并用全球回收 100TB RAM 的结果验证;其中一致哈希的统计推导、碰撞分析和双环迁移策略可直接迁移到负载均衡、缓存路由和基础设施性能优化场景。风险在于切换哈希环会引发缓存重分布,读者需结合自身哈希位宽、节点规模和灰度能力评估。

工程实践Elastic Security Labs

One SOC, 100 projects: running centralized alert triage on Elastic Security Serverless

文章介绍 Elastic Cloud Serverless 上用跨项目搜索(CPS)实现集中式 SOC 告警分诊。作者把 1 个源项目连接 100 个关联项目,在源项目运行约 2100 条预置检测规则,验证检测、分诊、调查与响应全流程。结论是该集中模型在规模下可行:规则和告警集中在源项目,数据仍留在各项目,分析人员用统一队列查看跨项目上下文。文章给出 ES|QL 查询模式、告警按项目汇总和列投影等性能建议,指出成本主要取决于单项目数据量与查询形态,而非关联项目数量。同时列出边界:响应动作、关联项目自生告警、Attack Discovery 等不跨项目聚合,需坚持“集中分诊、本地响应”。适用于多团队/区域/客户需数据隔离但共享检测分诊的组织。

推荐收录:文章基于 1 个源项目连接 100 个关联项目、运行约 2100 条检测规则的真实压测,给出 ES|QL 查询模式、性能取舍和 CPS 能力边界表,属于可迁移的集中式安全运营工程经验。适合安全平台、SOC、云原生安全架构读者评估多租户检测与分诊方案;主要风险是功能强绑定 Elastic Serverless,落地时需核对响应动作不能跨项目等限制。

工程实践vLLM Blog

Scaling Multi-GPU Video Captioning with PyNvVideoCodec and vLLM

该文介绍 vLLM 集成 NVIDIA PyNvVideoCodec(NVDEC 硬件视频解码)的方案,用于解决多 GPU 视频字幕任务中的 CPU 解码瓶颈。此前 vLLM 只能走 OpenCV+FFMPEG 的 CPU 解码路径,在每 GPU 一个副本的部署下 CPU 核心很快耗尽,还未到 4 GPU 就成为瓶颈。作者给出启用方式:先启动 CUDA MPS 守护进程,再通过 --media-io-kwargs 选择 pynvvideocodec 后端、用 --mm-ipc-gpu-memory-gb 预留解码显存,并建议一容器一 GPU、反向代理分发请求。基准显示在 8×H100 上 GPU 解码吞吐超过 CPU 解码两倍以上,CPU 瓶颈被消除。边界在于硬件解码需预留部分显存,若 KV cache 已占满全部显存可能受影响。

推荐收录。文章给出了真实工程瓶颈(CPU 视频解码成为多 GPU VLM 推理瓶颈)的量化证据、可复现的启动命令与 8×H100 吞吐翻倍的对比数据,并明确说明显存预留限制,属于可迁移的工程经验。适合从事多模态 VLM 推理、视频数据处理和大模型服务扩容的工程师参考。

技术文章pganalyze Blog

Postgres Monitoring for SQL Server DBAs: Statistics and Logs 101

本文面向从 SQL Server 转向 Postgres 的 DBA,系统梳理 Postgres 监控数据的来源与配置方法。作者先用任务对照表指出两者的本质差异:SQL Server 的诊断多为查询时决策,而 Postgres 必须在事件发生前决定是否记录,未写出的日志行事后无法恢复。文章介绍 pg_stat_activity(实时快照而非累计值)、pg_stat_* 累计视图与 pg_stat_statements(聚合查询统计)的定位与读法,并给出具体配置:启用 pg_stat_statements 需改 shared_preload_libraries 并重启、log_directory 要移出 $PGDATA、log_line_prefix 建议含 %m/%p/%q 及用户数据库应用字段、log_min_duration_statement 配合采样、开启 log_lock_waits 与 log_temp_files,以及用 pg_monitor 授予非超级用户监控权限。文中还剖析日志目录权限导致采集代理无法遍历、前缀尾部空格被复制丢失等常见陷阱,并辩证对比 Query Store、Extended Events 与 auto_explain 的取舍。结论是 Postgres 记录内容高度可配置但默认保守,需提前规划才能支撑事后排障。

推荐收录。文章给出了可直接落地的配置项(pg_stat_statements、log_line_prefix、log_min_duration_statement、pg_monitor 授权)和一张按问题定位数据源的对照表,并解释了 Postgres 与 SQL Server 在“记录时机”上的本质差异及 $PGDATA 权限等真实踩坑点。适合从 SQL Server 迁移或负责 Postgres 监控的 DBA、SRE 与后端工程师;需注意其出自监控厂商,部分建议带有工具倾向。

工程实践TiDB 社区博客 - 实践案例

【最佳升级实践指南】得物TiDB升级实践

文章复盘得物将自建 TiDB 从 v5.3.3 迁移升级到 v7.5.x 的实践。背景是低版本停止维护、TiCDC 同步有延迟/OOM 风险、备份超 8 小时且负载上升,并偶发慢查询和可用性 BUG。团队采用迁移升级而非原地升级,经集群调研、环境准备、升级前验证、流量迁移和旧集群销毁,兼顾灰度与回滚。升级中遇到 v7.5.x 优化器对大表倾向全表扫描、聚合计划不准,通过绑定索引或设置 tidb_opt_objective=determinate 缓解。收益包括应用平均 RT 提升 44.62%、TiCDC 同步与备份效率提升、存储压缩至 MySQL 三副本约 55%,并总结 TiDB 适用于非分片查询、分析 SQL、磁盘瓶颈和数据倾斜场景。

推荐收录,因为它完整展示了一次大规模分布式数据库版本迁移的决策链路:为何放弃原地升级、如何用 TiCDC 做灰度迁移,以及优化器回归(全表扫描、执行计划不准)的定位与缓解。对 DBA、SRE 和数据库平台工程师,文中 RT、备份、TiCDC、存储压缩等量化收益及 TiDB 与 MySQL 的选型边界可迁移;但部分升级步骤仅有标题,落地需结合自身集群验证。

工程实践Null Program

A custom virtual machine for the Stars! 4X game

文章介绍作者为 1995 年的 16 位 Windows 4X 游戏 Stars! 构建 Stars!VM:它内嵌 80286 模拟器和 Win16 到 Win32 桥,使老游戏以原生 Win32 程序运行,并保留现代文件选择器与 4K 缩放。模拟器直接调用宿主 x87 硬件处理 80 位浮点,并用差分模糊测试随机指令与 JIT 结果对比来验证正确性;桥接层负责映射句柄、转换结构布局和处理 DOS 中断。作者还通过 MCP 暴露 UI DOM 与客户机内存,让 AI 代理注入事件甚至完整试玩一局。性能上,基于指令 trace 反向工程热点例程并改写为新 80286 指令,使回合生成约提速 2 倍,同时缓冲 I/O、原生实现 WaveMix.dll、压缩资源,并注入序列号和固定硬件签名绕过拷贝保护。方案依赖 x86/x86-64 与 SSE2,且不实现软件 x87,适用边界较明确。

推荐收录。文章给出一个真实且完整的遗留系统复活案例:从 80286 仿真、Win16/Win32 桥接、差分模糊验证,到 trace 驱动热点优化和 MCP 代理接口,都有具体约束、取舍与验证证据。适合对模拟器、系统编程、逆向工程和遗留软件迁移感兴趣的读者,其中的差分测试、指令级补丁和 I/O 缓冲思路可迁移到其他兼容层或运行时项目。

工程实践TigerBeetle Blog

High-Throughput OLTP in Three Simple Steps

文章以经典银行存取款 OLTP 负载为例,说明从通用 SQL 数据库迁移到 TigerBeetle 时,逐行照搬模型会严重损失性能。核心建议有三条:用双式记账转账和聚合账户替代多行更新与历史表;利用客户端自动批处理合并请求(最多 8189 条操作);用近似单调递增的 TBID 替代随机 UUID 以加速幂等检查。文中称单客户端大 batch 可达约 45.4 万事务/秒(90.9 万转账/秒),而关系数据库存储过程约 7000 事务/秒,差距来自避免行锁、批处理与服务端并行 I/O。作者也说明对比仅为数量级参考,且方案依赖应用与数据库协同设计。

推荐收录。文章不是泛泛介绍产品,而是给出可验证的数据建模、自动批处理和单调 ID 三条具体优化手段,并用约 45 万 TPS 对比 7 千 TPS 说明高竞争 OLTP 的架构差异;适合后端、数据库和系统设计读者理解批处理、幂等键与应用/数据库协同设计。需注意基准来自厂商且调优经验不对等,但技术取舍和性能分析仍可迁移。

工程实践NVIDIA Technical Blog

TensorRT Edge-LLM Completes the MLPerf Edge Agentic Benchmark 6.4x Faster on Jetson AGX Thor

NVIDIA 技术博客介绍其在 MLPerf Inference v6.1 Edge Agentic 基准上的提交:TensorRT Edge-LLM 在单台 Jetson AGX Thor 上运行 Qwen3.6-27B,输出吞吐 52.33 tokens/s、首 token 时延 247ms,用 24 分 36 秒完成 1007 轮多轮工具调用负载,比 llama.cpp 参考实现快 6.4 倍,BFCL v4 准确率 87.94%。文章先说明评测口径:性能阶段回放软件工程 agent 轨迹、上下文增长至约 23.5K token,准确率阶段使用单轮 BFCL 提示。随后详解三项优化机制:NVFP4 量化权重与激活、FP8 KV cache 以缓解 DRAM 带宽瓶颈;跨轮 KV cache 与循环状态复用使约 96% 的 prompt token 命中热缓存,13.6M token 中仅预填 0.5M;树状多 token 预测(8 步、top-2、16 节点验证树)在函数调用场景再提升约 40% 解码性能。文中给出开源分支、量化检查点与复现命令,但结论限于单一硬件与模型配置,且属厂商自评。

推荐收录。文章不止给出 6.4 倍加速的跑分,还公开了 MLPerf Edge Agentic 性能与 BFCL 准确率的双阶段评测口径,并解释 NVFP4/FP8 量化、跨轮 KV cache 与循环状态复用、树状 MTP 三项优化的机制与量化收益(约 96% 热缓存命中、约 40% 解码提升),附可复现分支、检查点与运行命令。适合做边缘 LLM 推理、量化与投机解码的工程师;需注意其为 NVIDIA 自评,硬件与模型配置单一,收益不可直接外推。

技术文章Daniel Lemire

How fast is C++23’s std::flat_map?

文章介绍 C++23 新增的 std::flat_map:它用排序的 key 向量与 value 向量实现,查询为二分查找,可借助 std::sorted_unique 直接接管来自磁盘或网络的两个数组,也支持有序插入、批量 insert_range 和批量构建。作者在 GCC 16.1、-O3 -march=native 的 Intel Xeon 单核上,与 std::map 对比随机逐个插入、有序插入、批量构建和随机查找。结论是:约千级规模下 flat_map 可优于或接近 map;但随机逐个插入百万、千万级 key 时性能呈二次增长,极不适用。有序插入、批量构建和随机查找在大规模下明显更快,主要得益于连续内存布局和更低存储开销。适用边界是读多写少、可批量构建或有序写入的场景,不适合频繁随机单点插入。

推荐收录,因为文章给出了具体基准数据、实现机制和与 std::map 的读写复杂度边界,能直接支撑 C++ 容器选型判断。适合关注性能优化、标准库数据结构和系统编程的读者,尤其可迁移到读多写少、批量构建或序列化场景的取舍分析。主要风险是结果依赖编译器版本与硬件,但作者已说明测试环境,结论边界清晰。

技术文章pganalyze Blog

Postgres in Production Special Series: How to Query pg_stat_statements to Find Slow and Expensive Postgres Queries (Part 7)

本文是 pg_stat_statements 深入系列第七篇,讲解生产事故中如何查询该视图定位慢查询和高开销查询。作者指出 pg_stat_statements 只记录已完成语句且指标累计、没有时间线,因此应先查 pg_stat_activity 判断是否存在正在运行的长事务。获取时间窗口可用两种方法:隔时取两个临时表快照做差值,或在可重复负载下 reset 后重新查询,并用 pg_stat_statements_info 查看重置时间。排序不应只看 total_exec_time,还可按 calls、mean_exec_time、temp_blks_written 等发现高频、均值慢或写临时文件的查询。文章给出 SQL 示例和演示,并提醒最慢查询未必最值得优化;选择监控工具时要关注完整查询文本、采样频率、重置恢复和多工具锁竞争。其内容偏 PostgreSQL 监控实践,不展开执行计划内部原因。

推荐收录。文章给出可直接执行的 SQL 诊断流程,覆盖 pg_stat_activity 优先检查、快照差值/reset 两种时间窗口、多列排序指标和监控工具选型要点,证据具体且可迁移到生产 PostgreSQL 性能排查。适合 DBA、SRE 和后端工程师;需注意作者来自 pganalyze,工具选型部分有厂商视角,但核心方法仍具长期参考价值。

工程实践Oxide Public RFDs

RFD 0605: Virtual Machine Identity and Attestation

该 RFD 为 Oxide 云平台上的虚拟机实例提出身份与远程证明方案:目标是把测量链从平台 RoT 扩展到实例的启动盘摘要、UUID 与配置,向 guest 暴露证明接口,并把实例持有的临时公钥绑定到平台证明。方案用 qualifying data 把 nonce 或附加数据混入签名,propolis 作为 VM Instance RoT 将 JSON 格式的实例日志经哈希后交给 Oxide Platform RoT 签名,从而在 propolis 无签名密钥时仍能绑定实例信息。通信通道选择 vsock,采用 JSONL 协议和单一 attest 命令,32 字节 qdata 可扩展为 digest(nonce|key_pub) 以完成密钥绑定。性能测试显示平台 RoT 是瓶颈,attest 平均约 104 ms,证书链约 120 ms。当前实现只覆盖 Oxide 平台 RoT,对可变启动盘、非开源组件和 API 向后兼容性有明确限制。

推荐收录:该 RFD 系统性地给出 VM 身份与证明设计,包括 qdata 绑定、测量链扩展、vsock/JSONL 接口、SPDM 对比和 gimlet 时延基准,证据具体。适合云平台、虚拟化安全、远程证明与机密计算方向的工程师阅读;其中 nonce 加日志哈希绑定、无签名 RoT 委托签名模式和接口取舍可迁移。风险是早期设计,初始 API 可能破坏兼容且未覆盖全部 RoT/闭源组件。

工程实践Oxide Public RFDs

RFD 0479: Dropshot API traits

RFD 479 介绍 Dropshot 的 API trait 方案:用 Rust trait(#[dropshot::api_description])定义端点集合,端点作为静态方法,从而把 API 接口定义与具体实现分离。宏会生成 support module,提供 api_description 与 stub_api_description,前者用真实实现启动服务器,后者无需实现即可生成 OpenAPI 文档。该设计主要解决函数式 API 的迭代慢、Nexus 与 sled-agent 循环依赖、OpenAPI 合并冲突和难以提供测试实现等问题。Oxide/Omicron 落地后,OpenAPI 测试从约 18 秒降到 1.5 秒,新增 KnownArtifactKind 的流程从 20 多分钟降到 1 分钟以内。边界是要求 Rust 1.75+、使用静态分发、trait 不能对象安全,且尚不支持 trait 组合与部分测试实现的自动委派,更适合大型服务或需要多实现的 API。

推荐收录:它给出了从问题、约束、迁移路径到量化收益的完整工程论证,并有 Dropshot 0.11.0 与 Omicron 全量迁移作为落地证据。适合 Rust 后端、API 平台、基础设施和架构设计读者,可迁移的是接口与实现解耦、宏生成 OpenAPI、打破循环依赖和加速迭代的模式。需注意其结论依赖 Oxide 的 Rust 技术栈与 Dropshot 工具链,其他团队要评估版本、静态分发和生态限制。

工程实践Oxide Public RFDs

RFD 0490: Packed Crucible extents

该 RFD 把 Crucible 原始文件格式从块数据与每块上下文分离,改为交错打包,以减少上下文冗余并提升对 ZFS 的机械友好性。为保证崩溃一致性,作者分析 ZFS 的 zfs_write 会在 recordsize 边界拆分事务,因此要求块与上下文落入同一 transaction group,并按 recordsize 对齐。元数据上把 BlockContext 缩减为 PackedBlockContext,去掉 on_disk_hash,依赖 ZFS 校验或解密验证,使 512 字节块的上下文开销从 18.75% 降至 6.25%。消息层引入 PackedWrite/PackedReadResponse,只读区域保留 raw,可写区域迁移到 packed;初步随机读测试显示小读约 1.4 倍提升,但方案依赖 ZFS 实现细节并增加迁移复杂度。

推荐收录。该 RFD 不是概念介绍,而是给出可验证的工程证据:ZFS 事务拆分源码分析、recordsize 对齐约束、上下文结构缩减方案,以及随机读 1.08–1.42× 的基准数据。适合存储系统、虚拟化与基础设施工程师阅读,其崩溃一致性设计、文件布局与消息格式迁移思路可迁移到其他基于事务文件系统的存储系统;风险是结论高度依赖 ZFS 与 Crucible 具体实现。

工程实践Oxide Public RFDs

RFD 0445: Crucible Upstairs Backpressure

该 RFD 解析 Crucible Upstairs 的背压设计,说明现有背压由在途写字节数和活跃作业数决定,取二次延迟曲线最大值,在写返回前施加人工延迟并持锁,避免并发写压垮系统。作者以“吞吐背压”模型解释系统稳定在“一进一出”状态,并指出 IOP/带宽限制未接入背压、MAX_ACTIVE_COUNT 为硬限制、大写在途字节延迟未钳制可能导致故障阈值难触发,以及大量写后 flush/read 延迟变长等不足。文末决定增加在途字节故障条件、调参曲线并移除/重实现 IOP/带宽限制,还讨论曲线形状、其他背压来源与资源受限下的 QoS 安全考量。结论主要基于 Crucible 具体实现,需结合目标系统验证。

推荐收录。它来自 Oxide 公开 RFD,围绕真实存储系统遇到的上层队列堆积问题,给出了背压实现、队列限制、故障阈值和延迟/吞吐权衡的一手设计证据,并明确列出不足与后续决定。适合存储系统、分布式系统、SRE 和性能可靠性工程师阅读,其中“按资源量分级施加背压、同时用故障阈值兜底”的思路可迁移到其他有界资源系统;需注意其参数和结论绑定 Crucible 实现,迁移时要重新验证。

工程实践Oxide Public RFDs

RFD 0347: Delay Driven Multipath

RFD 347 提出 Delay Driven Multipath(ddm),面向物理多路径数据中心网络做 L3 包级负载均衡与容错。它受 DRILL 和 Swift 启发:控制平面用距离向量分发前缀,数据平面在 IPv6 逐跳扩展头中携带时间戳,节点通过确认计算目的端时延及其导数,持续逼近分布式 Dijkstra 森林。ddm 追求 N-1 容错、灵活拓扑、包级最优负载均衡和可扩展性,并在 RTT 内响应拥塞与故障,且不绑定传输层流;文章详述发现、前缀交换、server/transit 路由器、管理 API、时延表、基础/概率/预测 pick 函数和接收端重排序,并讨论 illumos 与 P4 实现。其边界是 15 跳扩展头限制、重排序与缓冲开销,中转路由器、路径向量和预测选路等仍属未来工作。

推荐收录:这是一份真实的网络协议设计 RFD,给出了多路径数据中心网络中基于时延的 L3 负载均衡与容错方案,包含控制平面、数据平面、pick 函数、重排序分析和实现平台约束。适合网络架构、数据中心基础设施和分布式系统读者,可用于理解延迟驱动路由、IPv6 扩展头数据面及多路径协议设计中的取舍。风险是部分设计仍属未来工作、缺乏生产验证,需结合实现与测量评估。

工程实践Oxide Public RFDs

RFD 0444: Crucible Upstairs Refactoring

该 RFD 复盘 Oxide Crucible 存储 Upstairs 的重构:重构前多个 async 任务共享一个 tokio Mutex<Downstairs>,单个作业需加锁 11–15 次,io_send 等路径竞争严重,多任务拆分收益有限。作者提出按客户端拆分锁,并用 per-job 原子位标记跨客户端状态;同时给出更激进的“一个大任务”反提案,让同步状态机核心独占数据、异步仅位于边界。基准显示大块随机写提升约 20%–30%,但部分收益来自加解密移出锁范围,早期基准不够严谨。最终因 reconciliation 等路径依赖两个任务同时接触共享数据,无法渐进改造,团队选择并完成了非渐进式重构,消除约 3KLOC。

推荐收录:这是来自生产存储系统的真实架构重构记录,包含锁竞争量化、数据归属表、两种重构方案权衡、失败尝试和最终落地效果。对使用 Rust async、Tokio 或维护高并发存储/分布式系统的工程师尤其有价值,可迁移其从锁拆分到同步状态机核心的设计判断。阅读时应留意基准不严谨及后期归因修正,不能只照搬性能数字。

工程实践Oxide Public RFDs

RFD 0358: Live Migration and Monotonic Time

本文是 Oxide 关于虚拟机热迁移单调时间处理的公开 RFD,核心是 x86 TSC。文章说明 guest 要求 TSC 单调、恒频且启动归零,而跨主机迁移使 bhyve 传统偏移算法失效。作者结合 AMD SVM 与 Intel VMX 的 TSC 缩放/偏移机制,推导 guest TSC、offset 与频率倍率公式,并用四个场景演算。随后分析定点表示导致的溢出与精度限制,提出最大倍率上限,并讨论向下倍率漂移和 NTP 误差边界。最后列出误差建模、机架频率差异、跨迁移墙钟同步等开放问题,部分内核实现仍处原型阶段。

推荐收录:这是一份面向真实热迁移需求的系统设计 RFD,直接给出 TSC offset/倍率公式、AMD/Intel 定点表示、溢出边界和倍率取舍,证据充分而非泛泛介绍。适合虚拟化、hypervisor、OS 时间子系统与云基础设施工程师阅读,可迁移到跨主机迁移的时间一致性与数值边界验证;不足是墙钟同步、误差建模和内核接口仍留作开放问题。

工程实践Oxide Public RFDs

RFD 0125: Telemetry requirements and building blocks

本文是 Oxide 发布的 RFD,系统讨论机架遥测系统的需求与技术选型。作者先按用途划分实时/历史、高可用、水平扩展、趋势近似与精确测量等要求,并辨析事件与指标、基数控制、资源可预测性以及采集与存储解耦。随后评估 illumos FMA、Prometheus、Thanos、InfluxDB、ClickHouse、VictoriaMetrics 等候选构件,比较其查询、告警、集群和重聚合能力。针对 ClickHouse 与 VictoriaMetrics 的模拟指标实验显示 ClickHouse 资源使用更可预测,作者初步倾向 ClickHouse,但指出其集群依赖 ZooKeeper。文末实验数据在抓取中截断,部分最终架构判断仍需结合后续 determinations。

推荐收录:文中不仅罗列候选技术,还把遥测需求拆成实时性、HA、水平扩展、精度、趋势等可比较维度,并以 ClickHouse/VictoriaMetrics 实验和 Prometheus、InfluxDB、VM 的具体缺陷作为选型证据。对构建可观测性平台、时序存储或基础设施监控系统的读者尤其有价值,其需求分解、评估表和踩坑记录可直接迁移到类似选型场景。需注意该 RFD 仍在形成最终架构判断,实验数据在抓取中截断,引用时需核对后续版本。

工程实践Oxide Public RFDs

RFD 0110: CockroachDB for the control plane database

本文是 Oxide 的 RFD 110,评估将 CockroachDB 作为控制平面数据库的可行性。作者先说明控制平面对强一致、高可用、水平扩展和低运维的诉求,再介绍 CockroachDB 的 range 分片、Raft 写、leaseholder 读、自动分裂/合并与故障恢复机制,并汇总在线扩缩容、长跑、schema 变更、备份恢复、滚动升级及多种故障注入测试。结果显示 CockroachDB 无数据丢失、故障后无需人工干预即可收敛,但扩缩容和 schema 变更会造成明显尾延迟上升,非企业版备份恢复与许可证也是主要风险。作者结论是 CockroachDB 足够可靠,值得继续推进,同时列出未测试项和后续风险。

推荐收录,因为它不是产品介绍,而是包含明确选型目标、测试设计、故障注入结果和风险清单的工程评估。对负责数据库选型、分布式存储或控制平面可靠性的读者,文中的测试维度、CockroachDB 行为边界以及备份/许可证风险可直接迁移到类似系统设计。注意其结论基于特定版本、AWS 与 illumos 环境,绝对性能结论有限。

工程实践Oxide Public RFDs

RFD 0060: Storage Architecture Considerations

该 RFD 讨论 Oxide 机架块存储设施的架构选择,目标是为 VM 提供弹性、安全且性能足够的虚拟块设备,并支持快照、镜像和备份等能力。作者将存储系统抽象为靠近 VM 的 North 与靠近 SSD 的 South,逐项界定数据冗余、修复重建、完整性校验、快照、限流、压缩、加密、分配与设备管理等职责。随后评估 Ceph、Lustre、GlusterFS、OpenZFS、DRBD、分布式 KV 等候选软件,并提出 Southern Volume Manager、Northern Mux、ZFS on ZFS、ZFS with Remote Allocation 四种候选架构。通过 AWS 模拟,Southern Volume Manager 性能约为本地 SSD 的 10%,且失败韧性不足;Northern Mux 则用模拟器验证失败与成功路径算法,早期结果较有希望。最终结论倾向 Northern Mux,并计划继续开发模拟器、AWS 测试台与压测工作负载;v1 优先交付时间、数据完整性和安全,性能与经济性并非首要目标。

推荐收录,因为这是一份真实基础设施架构决策记录:它明确比较四种块存储架构在冗余、修复、校验、快照、加密和分配等职责上的取舍,并用 AWS 模拟与失败场景测试淘汰 Southern Volume Manager。对从事块存储、分布式系统、虚拟化基础设施或可靠性设计的读者,North/South 分层、冗余数据路径、性能压测指标及 ZFS/Ceph 评估方法都有可迁移价值;但结论面向 Oxide 特定机架环境,需结合自身约束判断。

技术文章Go Blog

Size-Specialized Memory Allocation

文章介绍 Go 1.27 引入的按大小特化的内存分配,针对小于 80 字节的堆分配生成专用 mallocgc 变体。作者解释 span class 如何编码尺寸等级与是否含指针,并据此为 tiny 及各非 tiny span class 生成函数;编译器已知大小时可直接调用,否则由 mallocgc 动态分派并回退通用路径。优化包括常量大小下直接清零、免去 span class 计算、手工内联和慢路径拆分,同时需权衡代码体积与指令缓存占用。基准显示小对象分配快 20-30%,分配密集程序最多快 1%,16/24 字节收益最大;收益随尺寸增大而减小,并受 GC 活跃等边界影响,可用 GOEXPERIMENT=nosizespecializedmalloc 关闭。

推荐收录:这是 Go 官方博客对运行时与编译器协同优化的完整实现说明,包含基准数据、指令缓存权衡,以及用生成器避免特化代码漂移的做法。适合 Go 开发者、运行时/编译器工程师和性能优化读者,可迁移到其他语言运行时的分配器特化与代码体积取舍。注意结论版本特定,关闭开关应仅作为问题排查手段。

工程实践PlanetScale Blog

Introducing TIN: full-text search for Postgres

PlanetScale 发布并 GA 全文搜索扩展 TIN,目标是在事务、复制与并发更新下支持布尔/短语/模糊/正则查询、COUNT(*) 和 BM25 top-k。其核心设计是直接用 Postgres ctid 作为 posting 标识,省去顺序 docid 到 ctid 的映射;再用页面级与偏移级位图压缩 48 位 ctid,并借助 AVX2/AVX-512 向量化交并和 POPCNT 计数。TIN 通过堆检查、可见性映射和 liveness bitmap 保证 MVCC 与 VACUUM 正确性,分段合并时因 ctid 不变可复用位图、降低写放大。基准在 85GB Stack Exchange 语料、8 vCPU/32GB 容器中对比 ParadeDB、pg_textsearch 与 GIN,TIN 吞吐至少高 8 倍。但这是厂商自测且查询轨迹合成,跨工作负载的独立验证和运维边界仍需观察。

推荐收录:文章虽为产品发布,但给出了 TIN 以 ctid 为文档标识、位图压缩与向量化执行、MVCC/VACUUM 集成的完整设计解释,并用可复现的容器配置和对比基准量化性能。适合数据库内核、搜索索引和性能工程读者,其“复用存储引擎原生标识以减少映射和合并开销”的思路可迁移到其他索引系统;风险是厂商自测、合成查询,需结合独立验证。

工程实践Yelp Engineering

ML based ranking using Nrtsearch

Yelp 工程团队介绍如何在自研 Lucene 搜索引擘 Nrtsearch 中通过 Inference Plugin 嵌入 ML 排序,替代独立推理服务。此前两阶段流程需从特征存储拉取大量候选特征并跨网络传输,候选和特征规模增大后出现延迟与序列化瓶颈。新方案将特征抽取与模型推理下沉到搜索层,在副本节点 JVM 内加载 MLflow/MLeap 模型并由内置 TensorFlow 模型服务器逐文档打分,支持 Function Score、rescore、多模型聚合、自定义 Java scorer 或内置通用 scorer。文章还覆盖设计目标、测试、金丝雀/滚动部署、Prometheus 监控和未来 GPU 推理计划。整体是高层架构复盘,未给出量化收益和资源隔离等边界讨论。

推荐收录:文章给出了从痛点、架构、插件机制到测试、部署、监控的完整闭环,直接证据是其中将特征抽取与推理共置于 Nrtsearch 副本节点,消除网络传输和序列化开销,并用 Prometheus 监控模型退化。适合搜索/广告/推荐排序基础设施与 ML 平台工程师阅读,可迁移到检索系统内嵌模型推理、自定义 scorer 扩展及模型灰度发布。主要不足是缺少延迟、吞吐和相关性收益的量化数据,资源隔离与故障边界也着墨较少。

技术文章Daniel Lemire

Subnormal floating-point numbers are expensive… on Intel processors

文章用 C++ 微基准测试 IEEE 次正规浮点数在不同处理器上的性能代价,覆盖乘法、数组相加、除法和依赖乘法链,并对比正常、全部次正规及 1% 次正规输入。实验在 GCC 15/clang 17 的 O3 -march=native 下运行,覆盖 Intel Granite Rapids、Emerald Rapids、AMD Zen 5、AWS Graviton 5 和 Apple M4 Max。结果显示 Intel 上次正规乘法约慢 45–50 倍,除法约慢 18 倍,依赖链每步从约 1 ns 增至 30 ns 以上,乘法延迟从 4 周期升至 128 周期;加减法不受影响,正常输入产生次正规输出同样慢。AMD 乘加基本全速,依赖链约慢三分之一,除法约慢一倍;Arm 几乎无惩罚。作者认为最新 AMD/ARM 上可较少担心次正规性能,但 Intel 仍是显著问题;结论来自微基准,实际负载仍需验证。

推荐收录:文章给出跨 Intel、AMD、Arm 五款处理器的可复现微基准与源码,量化了次正规浮点在 Intel 上乘法约慢 45–50 倍、除法约慢 18 倍等关键数据。对做数值计算、HPC、机器学习或游戏引擎的读者,可用于判断何时规避次正规数;但结果属微基准,迁移到真实负载前需结合向量化和数据分布验证。

工程实践Greptime 技术

Building a Unified Observability Platform on GreptimeDB: A Reference Architecture

文章提出在 GreptimeDB 上构建统一可观测性平台的参考架构,将指标、日志和追踪汇入同一数据库,同时保留现有采集器协议。作者以 OpenTelemetry Astronomy Shop 为验证环境,用单个 GreptimeDB 实例替换 Jaeger、OpenSearch 和 Prometheus,详述写入端点、按信号分表、Flow 物化视图、TTL/WAL、查询接口及三档集群拓扑。核心决策包括按信号分表、按量分区、用 Flow 隔离仪表盘告警热路径,并展示基于 trace_id 的跨信号 SQL 关联与延迟自连接分析。边界是 Loki 仅兼容写入、Elasticsearch 开源版仅 _bulk,亚毫秒指标查询弱于 VictoriaMetrics,部分隔离与告警属企业版。验证以单机演示和有限基准为主,生产需按自身负载验证。

推荐收录:文章给出可直接复用的参考架构、写入端点表、表设计、Flow/TTL/WAL 与三档拓扑,并用 OTEL Demo 实际数据展示跨 trace_id 日志关联和延迟自连接,工程证据具体。适合负责可观测性平台、数据库选型和 SRE/平台工程落地的读者。需注意来源为厂商博客且验证以单机演示和厂商基准为主,大规模生产收益应结合自身负载验证。

工程实践Xe Iaso

You can run git on object storage if you re-make packfiles

文章复盘 objgit 项目如何把 Git 服务端架在对象存储上。作者先用文件系统垫片模拟 Git 对象,但真实仓库因 packfile 依赖本地文件与 mmap、网络往返延迟被放大而严重变慢;于是他设计对象存储原生的 .bin/.cue 列式 packfile,将对象顺序写入大文件,并在固定宽度记录中保存哈希、类型、压缩算法、bin 偏移、压缩/未压缩长度和 delta 基对象,从而支持精确 HTTP Range 读取,同时用 zstd 提升压缩效率。基准测试覆盖 objgit、Xe/x 和 tigris-blog,push 与 clone 的 S3 请求数和墙上时间均大幅下降。当前实现仍缺少认证、授权、API 与限流,packfile 也不会自动合并,大二进制文件与生产可用性尚未解决。

推荐收录:文章没有停在“把 Git 放到对象存储”的概念层面,而是给出了旧文件系统垫片失败的原因、自研 .bin/.cue packfile 的字段设计、Range 请求策略和可复现基准数据,直接证明请求数从数千降到几十、push 时间提升数倍。适合做云存储、版本控制后端、分布式存储或性能优化的工程师研读;其中“按访问模式重设计格式”和用列式元数据分离数据块的思路可迁移到其他对象存储系统。需注意项目尚未实现鉴权和压缩,不能直接用于生产。

工程实践vLLM Blog

vLLM x Novita AI: Chord, Faster INT4 MoE for Kimi K2.x. Up to 1.3x on H200, 2.15x on Untuned B300

文章介绍 Novita AI 开源的 Chord 高性能 W4A16 MoE CUDA 算子,面向 BF16 激活、INT4 权重与 group-32 量化,针对 Kimi K2.x 推理场景。Chord 分两个内核族:基于 Humming 的 indexed 路径和源自 DeepGEMM 的 grouped SM90 路径,分别适配 prefill 与 decode 的路由形态。作者详述内核优化技术,如 WGMMA 流水线、按 expert token 数选择 block-M、stream-K 门控及 grouped 模式的 BM/BN/BK 启发式。在 H200 和 B300 上逐层测量显示,相比公共 Humming,indexed 路径取得 1.11–1.33x 加速,grouped 路径在 H200 EP8 达 1.16–1.35x,端到端吞吐提升约 4–10%。文章指出 B300 对比基于未调优的 Humming 默认配置,grouped 与 vLLM 集成仍在进行,性能数据为内核层面而非端到端保证。

推荐收录。文章不仅给出 Chord 算子的设计细节与优化手段,还提供了可复现的基准测试方法和逐层性能对比,并坦承 B300 对比的未调优前提与 grouped 集成尚在开发中。对从事 LLM 推理优化、GPU 内核开发或 MoE 量化部署的工程师而言,文中的 workload 驱动的调优策略、WGMMA 流水线设计和路由形态分析具有直接的迁移价值。

工程实践Greptime 技术

Building a Unified Observability Platform on GreptimeDB: A Reference Architecture

文章提出用单个 GreptimeDB 统一承载 metrics、logs、traces 的参考架构,并在 OpenTelemetry Astronomy Shop 演示环境中验证。它给出 Prometheus remote write、OTLP、Loki、Elasticsearch _bulk 等写入协议与端点,讨论 Metric Engine、表/分区设计、Flow 物化视图、TTL、WAL 和查询接口的工程取舍。文中用真实 SQL 展示从告警到 trace、日志的跨信号排障及客户端/服务端延迟自连接,并按 standalone、小集群、大集群三档给出拓扑建议。作者也列出迁移路径、开源/企业版边界,并承认亚毫秒热指标查询不如 VictoriaMetrics、Loki/Elasticsearch 读兼容有限。整体偏 GreptimeDB 产品指南,但架构流程与验证数据有可迁移价值。

推荐收录。文章以 OTel Demo 实测数据给出统一观测平台的写入协议、表设计、Flow 热冷路径隔离、TTL/WAL 和规模分层,并用真实 trace_id 串联日志与 span 排障,适合可观测性平台和 SRE 读者迁移参考。主要风险是内容来自 GreptimeDB 厂商,部分性能与 Agent 对比结论带有产品视角,需结合自建基准验证。

工程实践vLLM Blog

How we trained the fastest DSpark for Kimi-K3 using GB300 NVL72

文章介绍 vLLM Speculators 训练库如何为 2.8T 参数的 Kimi K3 训练并部署 DSpark 草稿模型。DSpark 在 DFlash 并行块草稿基础上加入 Markov logit-bias head 和 confidence head,通过顺序校正与硬件感知调度缓解 suffix decay,并提升接受长度。作者在 GB300 NVL72 上验证,数学推理单流交互性从约 110 提升到约 435 tok/s/user,并发下输出吞吐最高约 3.5 倍。为突破单节点显存限制,文章实现 MooncakeHiddenStatesConnector,通过 Mooncake 在 vLLM 推理与 Speculators 训练间流式传输隐藏状态,并采用两节点推理、一节点训练的三节点组拓扑。主要边界是效果依赖大规模 GPU 集群、特定模型量化、负载类型和长上下文配置,性能数字来自特定评测环境。

推荐收录:文章给出了 DSpark 算法组件、Mooncake 隐藏状态传输、三节点训练/推理拓扑和实测吞吐/交互性数据,是可迁移的 LLM 推理优化与分布式训练工程案例。适合 vLLM 部署、推理加速、GPU 集群训练方向的工程师和研究者阅读。风险在于依赖 GB300 NVL72 与 Kimi K3 特定环境,部分收益需在自身负载上复测。

工程实践Salesforce Engineering

How AI Agents Get Trusted Customer Context with Data 360 Data Graphs

文章以 Q&A 介绍 Salesforce 如何用 Data 360 data graphs 为 AI Agent 提供可信客户上下文。核心是在上游连接身份、账户、产品、权益、合同与订单等关系并执行业务逻辑,再用分区架构隔离客户数据,仅向 Agent 暴露过滤后的客服视图。为应对不可预测提问,方案按访问模式拆分多图、建立索引并支持语义/关键词检索,使 P50 延迟从约 400ms 降至 200ms 以下;同时通过自动化部署和可复用校验,在六个月内交付五个数据图。局限是来自厂商访谈,缺少 schema、失败案例和成本细节,适合作为 Agent 上下文与数据图谱架构参考。

推荐收录:文章给出了 Agent 可信上下文落地的具体工程证据,包括按访问模式拆分多图、分区隔离身份数据、语义/关键词检索,以及 P50 延迟低于 200ms 的指标,并总结六个月交付五个数据图的可复用实践。适合 AI Agent、客户数据平台、数据图谱和低延迟服务的设计者参考,可迁移到上下文供给、数据隔离与性能取舍;但来自厂商访谈,缺少 schema、成本与失败细节,落地前需验证。

技术文章Kubernetes Blog

Kubernetes v1.37: Memory QoS Graduates to Beta

文章介绍 Kubernetes v1.37 中 Memory QoS 升级为 Beta 并默认启用。该特性基于 Linux cgroup v2 内存控制器,通过 memory.high 节流 Burstable/BestEffort 容器,通过 memory.min/memory.low 为 Guaranteed 和 Burstable Pod 提供分层内存预留,分别由 kubelet 的 memoryThrottlingFactor 和 memoryReservationPolicy=TieredReservation 控制。v1.37 将 memoryThrottlingFactor 默认值从 0.9 改为 null,使升级本身不改变既有集群的运行行为,并给出仅节流、节流加预留、仅预留、整体关闭四种配置组合及关闭时清理陈旧保护值的规则。文章也点明局限:预留策略按节点全局生效,无法按 Pod 粒度选择,且硬预留覆盖页缓存等 cgroup 计入项。内容偏特性说明与配置指南,缺少实测数据。

推荐收录:文章来自 Kubernetes 官方博客,给出了 v1.37 Memory QoS 的机制说明、默认值变更对升级行为的影响,以及四种可直接照搬的 kubelet 配置组合与关闭时的清理规则,可直接支撑集群升级和节点内存资源调优决策。适合 K8s 运维、SRE 与节点资源管理读者。风险在于内容以特性说明为主,缺少量化验证,节点级预留策略的局限需结合文中 issue 评估后再落地。

工程实践ScyllaDB Engineering

Bringing QUIC to Seastar

文章记录华沙大学学生与 ScyllaDB 合作,将 QUIC 集成进 Seastar(ScyllaDB 依赖的异步 C++ 框架)的工程实践。作者先剖析 TCP 队头阻塞与握手延迟的缺陷,再以无隐藏 I/O、无隐藏线程、符合 IETF 标准等条件筛选候选库,最终选用 sans-I/O 的 ngtcp2 并复用 GnuTLS。核心工作包括用单 actor 驱动协议状态机、把 QUIC 流适配为 connected_socket、实现用户态连接路由,并调和 QUIC 与 Seastar 两套流控。作者对比一对一适配与 QUIC-Aware 两种 RPC 方案,在无损回环与丢包场景给出延迟、吞吐基准:无损时 QUIC 有固定每调用开销,5% 丢包时 QUIC-Aware 保留约 76% 吞吐并反超 TCP。该实现仍是单机单分片、合成负载下的受控成果,尚未成为生产级传输。

推荐收录:文章完整展示了从协议选型、适配层设计到 RPC 改造与丢包基准的工程闭环,包含候选库对比、约束取舍和可复现的性能数据,而非泛泛介绍。适合从事网络协议、数据库内核或高性能异步框架的工程师,其 sans-I/O 状态机桥接与流控协调方法可迁移到类似系统。需注意结论基于单机单分片合成负载,尚未在生产环境验证。

工程实践vLLM Blog

Kimi K3 Performance Optimizations in vLLM: The Road to 2.8× Throughput

文章系统复盘了 vLLM 为 Kimi K3 所做的端到端推理性能优化,在 B300 节点、8K/1K 负载、TP8 与 8-token DSpark 投机解码配置下,把延迟降低 56%–60%、吞吐提升 2.2–2.8 倍、TTFT 下降 72%–85%。核心方法包括自适应调度 token 预算、KDA 前缀检查点内嵌于单次 prefill、零拷贝混合 KDA 批处理、MXFP4 top-k 融合进 latent-tail 内核,以及用 ReplaySSM 重建而非存储 SSM 状态。文章还讨论了 prefill/decode 分离与混合状态卸载、decode 上下文并行(DCP)在长共享前缀场景下的 KV 容量与 TPOT 收益,并附有各改动对应的 PR 编号与量化数据。其结论针对 Kimi K3 这类混合 KDA+MLA+MoE 架构,优化收益依赖具体硬件与负载形态,未覆盖其他模型或更广泛工作负载。

推荐收录:文章给出具体 PR 编号、量化的 TTFT/吞吐/延迟对比表和显存容量数据,展示了从瓶颈识别到内核融合、状态管理与并行策略的完整工程取舍链路。适合做大模型推理服务、GPU 内核优化或 vLLM 二次开发的工程师阅读,其中自适应调度预算、零拷贝批处理和 ReplaySSM 等思路可迁移到其他长上下文与投机解码场景;风险在于结论高度绑定 Kimi K3 架构与 B300 硬件,直接套用到其他模型需重新验证。

工程实践Kubernetes Blog

Kubernetes v1.37: Native Histograms Graduates to Beta

文章介绍 Kubernetes v1.37 中原生直方图(Native Histograms)由 Alpha 升级为 Beta 并默认启用。原生直方图采用 Prometheus 的动态指数桶替代静态 le 桶,把正负 span、零阈值与指数缩放因子合并到单条时间序列,从而自动适配纳秒到小时的取值、最多减少约 90% 时间序列,并将分位数误差约束在约 5% 以内。Kubernetes 通过在共享 metrics 子系统 k8s.io/component-base/metrics 中实现双暴露,同时输出经典桶和原生 span,保证既有仪表盘与告警零破坏,并默认使用 BucketFactor 1.1、MaxBucketNumber 160 等参数。文章还给出 Prometheus 3.x/2.x 抓取配置、Protobuf 验证方式、PromQL 查询对比,以及四步迁移与回滚策略。局限在于该特性仍为 Beta,经典桶的最终弃用取决于整个监控生态的成熟度。

推荐收录,因为文章不仅宣布特性状态,还交代了双暴露避免破坏性变更的设计取舍、默认指数桶参数、Prometheus 抓取与 PromQL 迁移示例,以及可逐级回滚的迁移流程,可直接落地为可观测性工程参考。适合 SRE、平台工程和监控负责人在评估指标精度与存储成本时使用。风险是该特性仍处 Beta,细节可能随 GA 调整,需结合自身 Prometheus 版本验证。

工程实践ClickHouse Engineering

ClickHouse Cloud vs. Snowflake: What drives the real-time performance-per-dollar gap

文章是 ClickHouse 团队 CostBench 的第二部分,对比 ClickHouse Cloud 与 Snowflake 在持续实时写入下的性能/成本差异。测试向两套系统灌入相同的 1132 亿行行情数据,速率约 100 万行/秒,并执行相同聚合与下钻查询,读侧资源尽量匹配到约 16 CPU。核心机制差异是 ClickHouse 在写入路径内完成排序和增量物化视图更新,Snowflake 的 Snowpipe Streaming 与异步 MV 刷新分离,MV 平均滞后约 1.4 分钟,聚合查询需在编译阶段补偿未刷新数据。结论称 ClickHouse 端到端实时性价比高 412 倍、聚合查询快 669 倍;但基准由厂商主导,Snowflake 资源估算和 fallback 成本归因需谨慎看待。

推荐收录,因为它给出了可核验的 CostBench 测试方法、相同负载和资源匹配信息,并具体解释了写入内增量 MV 与异步 MV 刷新导致查询时补偿的机制差异,而不仅是性能口号。适合实时数仓、OLAP 选型、性能成本评估方向的工程读者参考;但结论来自 ClickHouse 主导的对比,Snowflake 侧 CPU、fallback 和成本归因为估算,外推时需保留厂商立场风险。

工程实践ClickHouse Engineering

Measuring real-time performance per dollar under continuous load: CostBench’s first end-to-end results

本文介绍 CostBench 首轮端到端评测,聚焦持续负载下每美元实时性能。作者先界定查询就绪数据的三项准备(列式存储、排序与分块裁剪、预聚合),再提出新数据路径概念:在持续摄入数据的同时维护事件级物理布局与预聚合,让查询引擎读得更少、算得更少。评测用同一客户端按每秒约百万行的目标速率推送 1132 亿行 NBBO 股票行情,对比 ClickHouse Cloud、Snowflake、BigQuery 与 Redshift Serverless,统一 schema、排序键、查询集与调度,并把新数据路径成本、归一化查询服务成本和累计查询运行时合成一个越低越优的评分。结论是 ClickHouse Cloud 三项均最低,端到端性能每美元领先 412 至 1996 倍,仅查询侧差距为 32 至 101 倍。边界在于这是厂商自测,排除了存储成本,只覆盖推送式摄入,也未测试 Databricks。

推荐收录:文章公开了共享压测客户端、资源对齐策略、计费归一化公式与开源复现仓库,并给出查询就绪与新数据路径两个可迁移的分析框架,适合做实时分析系统设计和数据仓库选型的工程师参考。主要风险是厂商自测、结论明显偏向自家产品,且排除存储成本与拉取式摄入,建议结合后续逐家分析或独立评测交叉验证。

工程实践知乎 - Clouder

修复 dsh 在 scrollback 窗口过大时 bash 工具性能退化

文章复盘 dsh(coding agent harness)在 scrollback 窗口过大时 bash 工具性能退化的排查过程。作者通过 Trace 发现一条本地 sed 命令耗时 670ms,定位根因是回看窗口把「保留最后 4 MiB」实现为每个数据块都从整条保留串重新推导,且字节定界是一次逐字符的 Buffer.byteLength 回退,成本随保留量线性增长。由于保留上限恰是随产品交付的 4 MiB,一条输出 5 MiB 的命令让主线程跑了约 124 秒,并在 30 秒发送上限下先卡死进程再超时重置 shell。文章进一步分析它躲过测试的原因:单测窗口仅 128 字节、组合测试静默档 30 秒且从不填满窗口、benchmark 未覆盖终端 I/O,而被截断到 16 KiB 的输出让那 4 MiB 在快照里显得无害。作者由此引申到 coding agent 这类 IO 密集系统的性能陷阱与 harness 设计取舍。

推荐收录:它把一次看似普通的工具调用卡顿,从现象、Trace 证据一路追到回看窗口的 O(n) 实现、逐字符 Buffer.byteLength 回退与测试盲区,给出可复现的完整根因链,而非孤立的调参记录。适合做 coding agent、开发者工具或性能优化的工程师阅读,其中「关键路径上的隐藏副作用被测试规模掩盖」这一教训可迁移到任何 IO 密集系统。

工程实践vLLM Blog

Tiered KV Cache Offloading in vLLM

文章系统介绍了 vLLM 中的分层 KV 缓存卸载框架,核心设计是所有 KV 数据经由主机内存流转:卸载时先异步拷贝到主机并立即释放加速器内存,再由主机异步写入文件系统、对象存储或远端 P2P 节点;重载时从主机缓存或次级层按序加载,实现即时分配与整合 I/O。该框架通过规范化内存布局保证跨节点、跨并行配置直接共享 KV 数据,并透明支持全注意力、滑动窗口、MLA、Mamba 等混合模型。文章还描述了可扩展的次级层接口、KV 事件与可观测性,并给出性能测试:并发会话超过 128 时,存储层卸载仍能维持高命中率,吞吐量比无卸载方案翻倍以上,但存储延迟使其无法达到峰值吞吐。

推荐收录,因为文章来自 vLLM 官方博客,深入剖析了分层 KV 缓存卸载的主机中心设计、规范化内存布局、次级层抽象与 KV 事件机制,并给出可复现的性能基准,展示了从 HBM 到 CPU 再到存储的完整数据流与权衡。对从事 LLM 推理服务、缓存系统或高性能基础设施的工程师而言,其设计原则(即时分配、整合 I/O、跨节点共享)可直接迁移,具有长期参考价值;风险是部分实现细节绑定 vLLM。

工程实践vLLM Blog

Following the Bottleneck: Optimizing MiniMax M3 on AMD Instinct MI355X

文章复盘 vLLM 在 AMD Instinct MI355X 上优化 MiniMax M3 推理服务的完整过程,给出固定 8K/1K 负载下 MXFP8、MXFP4、EAGLE3 和 P/D 分离等多项吞吐与延迟结果,如并发 32 时 MXFP8 输出吞吐提升 3.14 倍,并发 128 时 P/D 达到 6370.5 total tok/s/GPU。作者以“一个 decode step 的五个问题”组织方法:确认 TP 分片后的本地 GEMM 形状、合并重复的共享专家与索引计算、减少 KV/元数据搬运、验证快速路径是否真正执行且正确,并在叶内核优化见顶后转向队列、缓存与 OS 限制。文章还强调 configured/eligible/executed 的区别以及性能与正确性门禁,并说明固定负载策略不计算跨层索引复用、AgentX 单次结果等边界。

推荐收录。文章以 PR 级 A/B、InferenceX 基准和可复现启动命令为证据,展示了从 kernel 到 P/D 队列的系统级瓶颈迁移和可迁移检查清单,适合 LLM 推理性能、GPU 与 vLLM/ROCm 工程读者参考;风险是部分结论绑定特定镜像、拓扑和工作负载,不能直接外推。

技术文章Daniel Lemire

A quick overview of atomics in C

文章以 C11 线程与 stdatomic.h 引入原子变量与内存序。它先解释数据竞争与编译器/硬件重排的原因,再区分 relaxed、acquire 与 release 语义,指出 release 与 acquire 分别配合“我完事”和“确认别人都完事”。通过引用计数写时复制数组的例子,展示 naive 代码会造成泄漏或双释放,并给出用 atomic_fetch_sub 与 acquire fence 的完整实现。最后谈到 threads.h 在不同平台的可用性,以及 x86/ARM 上 acquire-release 的成本差异。目标是让读者理解原子操作与内存序的实用边界。

推荐收录。文章以可运行的示例逐步揭示 C 并发中易被忽视的内存序细节,而不仅是罗列语法;其引用计数释放的完整纠错过程对编写共享资源和锁无关代码很有价值。适合需要深入理解 C 内存模型、或在使用引用计数的系统库中避免数据竞争的读者,也可作为后续探讨 acquire/release 语义的入门材料。

技术文章NVIDIA Technical Blog

When to Use Encode-Prefill-Decode Disaggregation to Accelerate Multimodal Model Serving

本文介绍了编码-预填充-解码(EPD)分离技术,用于加速多模态大模型的推理服务。核心思路是将视觉编码阶段与预填充和解码阶段分离到不同的计算资源上,避免不同阶段之间的资源竞争和干扰。作者指出该技术最适合图像密集提示、短到中长度输出以及量化混合专家(MoE)模型等场景。文章结合 NVIDIA Dynamo 系统展示了具体的使用方法,并报告了最高可达 5 倍的加速效果。文中还分析了 EPD 分离适用的工作负载边界、资源调度权衡以及部署注意事项,帮助读者判断何时值得采用这一优化技术。

本文是 NVIDIA 官方技术博客,提供了关于多模态模型推理优化的具体技术方案和适用场景分析。对 AI 基础设施工程师和模型部署人员而言,文中的 EPD 分离原理、资源调度考虑及实际收益数据都具有直接参考价值,能够指导在真实多模态服务中做出架构取舍。

工程实践Cloudflare Blog

Automatic Key Exchange: faster, post-quantum secure origin handshakes for 45 billion daily connections (and counting)

文章介绍 Cloudflare 推出的 Automatic Key Exchange。由于 TLS 1.3 发起连接时必须在首个 ClientHello 中预测密钥协商算法,Cloudflare 长期以来对所有源站固定使用 X25519 初始 keyshare,猜错会触发 HelloRetryRequest 增加一个往返,也使得默认优先向后量子混合算法成为不可能。该功能复用 Automatic SSL/TLS 的扫描管线,在真实流量之外对各源站子域分别探测 X25519、P-256、P-384、P-521、X25519MLKEM768 的支持情况,按流量加权选择域级密钥协商偏好,并以分阶段灰度加自动回滚方式上线,且每天重扫。上线后,源站连接的 HelloRetryRequest 占比从约 52% 降至 3.7%,p90 握手延迟减少超过 150 ms,并让数十万域名无需手工配置即获得后量子源站连接。文章也说明该机制只作用于 Cloudflare 到源站的第二个 TLS 连接、要求源站支持 TLS 1.3,且强制后量子混合选项可能使不支持 X25519MLKEM768 的源站全部 TLS 1.3 连接失败。

推荐收录,因为它展示了在大规模真实网络中如何用主动扫描替代静态猜测,在兼容性、性能与后量子安全之间做出工程权衡。对 CDN、负载均衡、TLS 终端研发或安全基础设施负责人有直接参考价值;文中灰度上线、自动回滚和按流量加权决策的方式,也可迁移到其他协议级能力自动升级场景。需要注意,其结论基于 Cloudflare 到源站的网络条件,不能简单外推为通用客户端 TLS 行为。

工程实践vLLM Blog

vLLM x AgentX: Optimizing for Real-World Agentic Serving

文章介绍了 vLLM 针对真实世界 Agentic Serving 工作负载所做的一系列推理优化,重点覆盖 KV 缓存管理、并行策略、调度机制以及预填充/解码分离(P/D disaggregation)四个层面。作者结合 SemiAnalysis AgentX 基准,展示了在长上下文、多轮工具调用和快速连续生成等 agentic 场景下如何调整 vLLM 架构,在 GPU 每秒吞吐和总体服务成本上取得显著收益。文中给出量化结果,包括高达每 GPU 秒 130K token 的吞吐,以及相比 Opus 5 的 14.6 倍到 106 倍服务成本优势。文章还隐含了这些优化适用于高并发、长上下文、且存在复杂状态管理的 agent 服务场景,但未深入讨论不同硬件或模型架构下的普遍性,也没有给出具体实现细节和负面情况。总体是一篇以工程实证为主、面向系统优化者的实践分享。

推荐收录,因为它直接呈现了 vLLM 对 agentic 场景的针对性工程优化和量化基准结果,而非泛泛的性能讨论。对负责 LLM 推理服务、Agent 基础设施或高吞吐 GPU 服务的读者,KV cache 管理、调度和 P/D 分离的取舍思路具有可迁移参考价值;但需注意结果依赖特定 benchmark 和模型版本,迁移时应自行验证。

工程实践vLLM Blog

GLM 5.3 Optimizations, Part 1: Hybrid HiSparse Offloading in vLLM

文章介绍 vLLM 为 GLM 5.3 引入的 Hybrid HiSparse 混合稀疏卸载方案,面向长上下文、高并发的智能体推理场景。其核心是 KV 缓存默认常驻 GPU,仅在显存池紧张时按页逐步放弃驻留,并把索引器选中的 top-K 行放入与常驻页共享同一 HMA 池和 KV 张量的热缓冲区,让请求在部分驻留状态下继续解码,避免抢占重算或等待整段 KV 回迁。文中给出完整驻留、混合驻留、无驻留三种状态及内核解析流程,并说明与 P/D 分离、投机解码、前缀缓存等组件的兼容方式。在 8×H200 的 OpenHands 多轮负载上,该方案首次支持 100 万上下文并显著提升并发;但仅支持 NVIDIA GPU 与稀疏 MLA,热缓冲区需按投机 token 数调整,并发估算仅为规划参考。

推荐收录:文章给出真实系统约束下的完整工程方案,包括三种 KV 驻留状态的机制、热缓冲区与 HMA 池共享的设计取舍、基准测试数据以及可复现的启动命令与数据集脚本。对做 LLM 推理服务、KV 缓存管理和长上下文并发的工程师具有直接迁移价值;局限是仅支持 NVIDIA GPU 与稀疏 MLA 路径,且热缓冲区受投机解码约束,需结合自身配置验证。

工程实践ClickHouse Engineering

Build a real-time market data app with ClickHouse and Massive

文章以构建实时行情 tick 应用为主线,展示如何用 Massive(原 Polygon.io)WebSocket 订阅股票 trades 与 quotes,并用 ClickHouse 存储、Node.js/React 后端与可视化。作者给出 quotes/trades 表结构,以 sym 和一分钟时间桶设计 MergeTree 排序键,比较同步与异步插入后采用客户端批量同步写入。查询端用 argMax/argMin 结合时间戳与序列号生成实时行情表,并按两分钟窗口聚合 OHLCV;还演示 AggregatingMergeTree 物化视图预计算 1 分钟 OHLCV、摄入延迟监控与扩展建议。不足是示例缺少持久缓冲、重放、去重和鉴权,也不处理取消/更正或官方 OHLCV 重建,生产化需补齐可靠性设计。

推荐收录。文章提供了可运行的完整示例和关键设计细节:从 WebSocket 订阅、表结构与排序键、同步/异步插入取舍,到实时行情与 K 线查询、物化视图和延迟监控,均有代码与边界说明,适合构建实时分析、行情数据或 OLAP 摄取管道的工程师参考。其模式可迁移到其他高频事件流场景,但需注意示例本身不是生产级方案,缺少鉴权、持久缓冲和重放去重等能力。

工程实践vLLM Blog

Serving LLMs on Tenstorrent Hardware: Inside the vLLM TT Plugin

该文介绍 vLLM TT Plugin,通过 vLLM 的树外平台插件机制将 Tenstorrent 加速器接入 LLM 推理服务,并保持 OpenAI 兼容 API 不变。文章重点分析 Tenstorrent mesh 架构与 GPU 栈的本质差异:跨芯片并行被编译进单个 traced program,因此没有 TP/PP rank,调度器须将每个步骤严格拆为 prefill-only 或 decode-only。为支持 Galaxy 上的单执行模型,作者采用单进程 lane 数据并行(TTLaneCoordinator 管理独立调度器与 KV cache),避免多进程 scatter/gather 开销;同时实现按批次回退的 on-device sampling 和基于异步 readback 的 decode overlap。文末列出当前限制,如暂不支持投机解码、LoRA、prompt logprobs 和多主机服务,这些多属运行时实现约束而非硬件极限。

推荐收录,因为它不是硬件发布稿,而是详细复盘了非 GPU 架构下 LLM 推理服务的设计取舍:插件边界、阶段化调度、单进程 lane DP、异步 readback 等均有明确动机、代价与验证。适合 LLM 推理基础设施、异构加速器和 vLLM 插件开发者阅读,其“将设备差异封装在插件内、不 fork 上游”的方法可直接迁移到其他新加速器适配场景。

工程实践TiDB 社区博客 - 实践案例

TiDB SQL 调优实战:从”跑不动”到”飞起来”的三个真实案例

文章以TiDB生产环境中的三个真实SQL调优案例为主线,展示从“跑不动”到“飞起来”的完整排查过程。第一个案例是因统计信息过期导致优化器误判筛选率,未走联合索引的最优范围,通过ANALYZE和配置自动收集恢复性能;第二个案例是分区表查询因NOW()等非常量表达式导致分区裁剪失效,改写为常量时间后恢复正常;第三个案例是自增主键在聚簇索引下形成写热点,通过AUTO_RANDOM或业务主键加预分裂分散写入。每个案例都给出根因判断、优化SQL和执行计划变化,并总结出先看执行计划、重视统计信息、预防写热点三条方法论,附有诊断命令速查。边界在于案例基于TiDB特定实现,部分结论对传统单机数据库不一定适用。

推荐收录。文章不是零散技巧,而是围绕具体线上问题的诊断链路:现象、根因定位、方案验证和预防措施都写得很清楚,适合TiDB/分布式数据库运维和SQL调优读者。文中关于统计信息、分区裁剪、写入热点的分析方法可迁移到其它分布式或关系型数据库,只是需要结合各自引擎特性试用。

工程实践Meta Engineering

ZGateway: Learnings from Putting a Proxy in Front of ZippyDB

ZGateway 是 Meta 为 ZippyDB 键值存储新增的无状态代理层,目的是改变超百万客户端直接连数据库产生的稠密连接网格及其可靠性风险。它把客户端与后端收敛成两跳,使连接扇入扇出规模由代理层可控,并通过跨客户端批处理和合并降低 RPC 开销、缓解热键冲撞。代理层同时承载租户级准入控制、按 CPU 自适应的负载均衡、带实时失效的读缓存,以及可配置的跨区域容灾;迁移采用分服务、分前缀的百分比开关实现可逆灰度。文章给出的实测边界是:ZGateway 承载约 40% ZippyDB 流量、平均约 6% 计算开销,压测中丢弃只作用于少数噪声租户,其他租户成功率保持 99.9%。最后作者展望了多进程隔离、控制面外置与 AI 辅助调优等方向。

本文来自 Meta 生产环境的系统级工程复盘并包含明确数据和机制,不只是架构简介。它展示了一个代理层如何同时解决连接管理、高可用、租户隔离与流量治理,适合关注分布式系统、基础架构和可靠性设计的读者。文中的扇入扇出建模、灰度迁移和自适应负载均衡思路可以迁移到其他大规模代理或网关场景,但需注意 Meta 内部基础设施的耦合与规模化条件。

技术文章Daniel Lemire

Python sets and dictionaries can have quadratic-time performance

Python的dict和set通常被认为具有平均O(1)的插入与查询性能,本文通过两组实验验证这种看法在理论上和实践中都不严谨。一方面,选择适当间隔的整数作为key可以制造大量哈希冲突,使插入和成员查询的时间随数据规模翻倍而近似翻四倍,呈现二次复杂度。另一方面,即使没有人为构造攻击,当字典规模从1千增长到1百万时,单次查找的时间也因数据超出CPU缓存而大幅上升(实测超过9倍),而使用更紧凑数据布局的fastconstmap库则能保持接近常数的查询时间。作者指出,把哈希表看作常量时间更接近一种简化教学模型而非现实,需警惕该模型带来的认知偏差。文章附带完整代码,适合从事Python性能优化或了解哈希表实际行为的人阅读。

本文由Daniel Lemire撰写,用可复现的代码和实验数据驳斥了“Python dict/set都是O(1)”的常见直觉,并从哈希碰撞和CPU缓存两方面给出成因。内容有原创实验、可量化的结果和替代库,对需要处理大规模键值数据的Python工程师、系统设计者或算法课程教师都有长期参考价值。推荐收录。

工程实践GitHub Engineering

How we make AI coding more cost efficient without sacrificing task quality

文章介绍 GitHub 团队在 Copilot 中提升 AI 编程智能体成本效率的工程经验,核心观点是不应以单次工具调用的 token 数作为优化目标,而应从完整任务视角衡量效率。作者复盘了四个实际改动:保留有用上下文并降噪、移除无价值的行号格式、在不改变行为的前提下压缩 prompt、以及让后台工作完成时直接交付结果避免额外检索。每个改动都经过离线 agentic coding benchmark 评估和线上 A/B 实验验证,并给出了 token 成本或推理成本的变化数据。文章还展示了“局部优化反而导致全局变贵”的典型陷阱,说明 prompt 压缩需要配套行为回归测试。文末总结出构建高效 AI 编程智能体的五条经验。边界在于结论基于 GitHub Copilot 集成与测试负载,不适用于所有配置或通用输出压缩场景。

推荐收录,因为文章是一线工程团队对 AI 智能体成本优化的完整复盘,包含真实约束、实验设计、失败案例和可量化结果,而非泛泛的 best practice。适合从事 Agent 工程、LLM 应用开发或 AI 基础设施优化的读者,其中“以任务为粒度度量效率”“改 prompt 前先补回归测试”等方法具有很强的可迁移性。需要注意文中数据均来自 GitHub Copilot 特定工作流,直接套用到其他系统前应自行验证。

技术文章matklad

Static Allocation, Constant Work

文章从回复一封关于“内存安全最难题”的邮件切入,讨论 use-after-free 与类型混淆的本质区别。作者用订单匹配引擎的 bug 说明:在没有对象池时,逻辑错误会变成物理类型混淆,可被利用为任意代码执行;引入类型隔离的对象池后,逻辑错误仍可能发生,但不再产生类型混淆。随后介绍两个来自 TigerStyle 的务实技巧:静态分配,即启动时确定最大容量并拒绝超额请求,避免运行期 OOM 导致灾难性故障;恒定工作量,即用“保留订单”填满固定数组,让每个订单只是状态流转,并通过全量遍历保证延迟平稳、便于编译器优化。文章还指出内联枚举是上述方案的破坏点,若始终堆分配枚举变体则可恢复。最后强调这些技巧有适用边界,不是万能解药。

推荐收录。文章以具体 bug 出发,把内存安全从类型混淆问题拆解为可工程化的设计约束,提出类型隔离分配、静态分配和恒定工作量等可迁移模式。适合系统程序员、语言设计者和高并发后端工程师参考;其对灰色失败和向量化性能的讨论体现了边界与取舍,风险在于这些模式并非适用所有场景。

技术文章Go Blog

Goroutine Leak Profiles

本文介绍 Go 1.27 引入的 goroutine 泄漏分析器:一种利用运行时垃圾回收进行精确泄漏检测的新机制。作者先定义泄漏为协程永久阻塞在不可能满足的共享原语上,并指出 goleak、synctest 只能覆盖测试场景。新分析器将 GC 的标记根改为非阻塞协程,通过可达追踪逐步识别被活协程引用的同步原语,从而把不再可达的阻塞协程标记为泄漏。文中给出 Worker 并发、双发送、早退、超时等模式,并展示 CockroachDB、etcd、Kubernetes、Moby 的真实泄漏案例及修复方法。实现上复用 GC 但会增加并发标记开销,且仅能检测阻塞在 channel 与 sync 原语上的泄漏,对 IO 等待和全局引用长期存活的情况存在盲区。

推荐收录。这是 Go 官方博客对 1.27 新功能的权威解读,既有清晰的泄漏定义和实现原理,也包含多个来自工业界的可复现案例与修复方案。无论是要在生产环境排查并发泄漏的 Go 开发者,还是想理解 GC 如何复用为调试工具的运行时研究者,都能获得可迁移的启发。主要风险是该机制适用范围有限(仅同步原语阻塞),读者需注意其局限。

技术文章Kubernetes Blog

Kubernetes v1.37: etcd RangeStream Cuts Memory Use on Large List Reads

Kubernetes v1.37 将 etcd RangeStream 特性推进到 beta 阶段,配合 etcd v3.7 用于降低 API server 与 etcd 在处理大规模资源列表读取时的内存占用,并让峰值内存更可控。文章指出 API server 通常用内存 watch cache 服务 list/watch 请求,但填充该缓存需从 etcd 读取整个资源的完整状态;此前虽按 key 数分页,但无法感知对象大小,可能导致单页过大、内存不可预测并触发 OOM。etcd v3.7 新增 RangeStream RPC 后,服务端将结果集拆分成按字节自适应调度的块并流式发送,API server 逐块解码并释放内存,避免任何一侧持有全量集合。特性通过 EtcdRangeStream 特性门控默认开启,API server 在启动时检测 etcd 版本并支持运行时回退到旧的 Range 路径,文章同时提供了 listStream 指标用于确认是否生效,以及关闭和查询条件等运维细节。

推荐收录的核心理据在于它把一次 API server 内存问题的成因、协议改动和回退保障讲清楚了:从分页粒度与对象大小失配这一根因,到 RangeStream 的字节自适应分块,再到可观测指标与兼容性设计。对于维护大规模 Kubernetes 集群、需要理解 APIServer/etcd 读取路径的读者,这篇官方说明可以作为功能背景与排查入口;若需要更深层的数据,可再追看 KEP-5966。

工程实践Cloudflare Blog

How we could save petabytes of cache storage with Zstandard and Pingora

本文介绍了Cloudflare在缓存系统中引入Cache Transcoding的原型实验,核心思路是在Pingora代理中,对符合条件的可压缩文本响应在写入磁盘前用Zstandard(zstd)进行压缩,在缓存期间和跨数据中心传输时保持压缩状态,仅在向客户端返回时解压。通过这一设计,用少量CPU开销换取PB级缓存容量和跨数据中心带宽的显著节省。作者详细说明了zstd算法的选型理由、压缩级别与阈值(zstd level 3、4 KiB以上)的设定依据,以及仅压缩未预压缩的文本类型(HTML、JSON、CSS、JS等)的判定条件。实验基于超过一百万请求的测试,验证了正确性和性能,测得符合条件的资产平均压缩至原来的约三分之一。文章同时指出了边界,例如测试语料压缩比不代表全量网络内容,需更广泛语料验证,以及未来可探索更高压缩级别和直接透传压缩对象等方向。

推荐收录。文章展示了真实CDN环境中,以CPU换存储和带宽的系统级权衡分析,包含清晰的架构设计、协议细节、测试方法和参数调优思路。对从事缓存系统、代理网关、存储优化的读者尤其有参考价值,其压缩对象筛选和收益-成本建模方法可迁移到其他大规模分布式系统。

工程实践vLLM Blog

MiniMax H3 on vLLM-Omni: From System-Wide Optimization to Real-Time Serving with FastVideo’s FastH3

文章介绍 vLLM-Omni 对 MiniMax H3 视频-音频联合生成模型的系统级服务优化,以及集成 FastVideo 四步蒸馏版 FastH3 实现完整 MP4 生成快于播放。作者把端到端链路拆成编码器、长序列音视频 DiT、并行 VAE 解码、GPU 输出准备与 H.264/AAC 封装,并用长序列注意力/通信优化、融合 DiT 算子、并行 VAE、紧凑传输和并行 MP4 构建,在 8×B300 上把基础 H3 端到端延迟较 Diffusers 降低 30.8%。随后引入四步 FastH3,在 10.125 秒 MP4 上取得 8.678–8.710 秒干净端到端延迟,5/10/15 秒扫描全部满足 RTF_client≤1.0。文章还给出 DLO、编码器解耦、Online FP8、SAGE/Skip-Softmax 注意力和 Cache-DiT 等可选路径的兼容边界与质量-性能权衡。局限是两条证据通道未做同源 A/B,FastH3 与 DLO、量化、编码器解耦等组合未完全验证,且缺少匹配的多随机种子质量对比。

推荐收录,因为它不是基准数字堆砌,而是完整呈现了系统瓶颈分解、冻结实验控制、有损/无损优化边界和兼容性矩阵,并公开了可复现命令、版本与限制。适合多模态生成模型推理服务、GPU 性能优化和分布式推理基础设施的读者,其“先量化全链路开销,再用少步蒸馏攻击主导项”的方法可迁移;主要风险是部分证据待发布、未做同源 A/B 与多随机种子质量对比,不能直接推导跨配置加速比。

科研议题Microsoft Research Blog

GigaPath-Flash and GigaTIME-Flash: Toward population-scale discovery with efficient pathology foundation models

本文介绍微软研究院与合作方发布的GigaPath-Flash和GigaTIME-Flash高效病理学基础模型。GigaPath-Flash通过知识蒸馏将十亿参数ViT-g压缩为2200万参数ViT-S编码器,搭配2100万参数LongNet slide编码器,在全切片分类任务上以约50倍更少计算量达到原模型97%的预测性能。GigaTIME-Flash用ViT-S替换原CNN骨干,通过LoRA微调和轻量解码器实现H&E到空间蛋白组学映射,在四个癌种队列中匹配或超过原GigaTIME,并快约6倍、内存少约8倍。两模型均以Apache 2.0开源。文章强调当前是早期研究发布,评估覆盖有限,须经多机构临床验证后才可用于临床决策。

推荐收录,因为文章提供了关于病理学基础模型效率优化的具体方法和量化结果,包括蒸馏、LoRA微调和推理成本对比,对从事计算病理学、医学影像分析和高效视觉模型研究的读者有直接参考价值。模型开源且效率数据可验证,迁移价值在于展示如何在不显著牺牲性能的前提下大幅降低计算成本,从而支持更大规模人群研究。主要风险是博客深度有限,技术细节需查阅正式论文。

技术文章Daniel Lemire

The new Go JSON API: twice as fast, or 1.5x slower?

这篇博客评测了 Go 1.27 新引入的 encoding/json/v2 性能表现。作者与旧版 encoding/json 在三种典型 JSON 文件(推特数据、加拿大坐标数组、目录数据)上做了单核基准测试,并区分了旧 API 使用新后端、旧 API 使用旧后端以及直接用 v2 API 三种配置。结果发现,在把 JSON 解析为 any 的通用路径下,v2 反序列化比原实现快 1.5 到 2.3 倍,序列化快 1.2 到 3 倍;而仅升级到 Go 1.27 不修改代码,旧 API 的序列化在某些场景也能快约一倍。但针对编译期已知结构的 struct 往返测试,旧 API 新后端的 marshal 反而比原实现慢约 1.5 倍,说明 v2 并非所有场景都全面占优。作者还指出新旧 API 在 Unicode 校验、大小写匹配等语义上不同,并非直接替换。文章提供了可复现的基准代码和局限说明。

推荐收录。文章用可复现的基准测试和数据,对比了 Go 1.27 新旧 JSON 实现在不同数据形态和典型路径下的真实表现,并明确指出性能提升并非普适,marshal typed struct 时可能变慢。适合 Go 开发者、标准库使用者和性能调优读者,帮助在新版本升级时做出有依据的取舍,也具有基准方法上的可迁移价值。

工程实践Fzakaria Blog

One flake to rule them all

文章针对 Nix flakes 在管理输入时反复添加 follows、无法统一 nixpkgs 的痛点,提出了一个名为 omniflake 的单一 flake,将近一万两千个 flake 打包为一个输入。作者先解释了 flake.lock 的传递依赖和重复问题,说明 Nix 的惰性求值使大量输入在被访问前不会被拉取。随后描述了他为 Nix 上游修复的输入数量多时锁文件命名碰撞导致的二次复杂度问题,给出了优化前后性能对比。核心设计是 omniflake 只声明少量真实输入,通过内置 index.json 的 pin 信息和自定义加载器在请求时按需实例化各 flake,并支持 overrides 覆盖输入。文章还讨论了这个方案的边界,如部分 flake 缺少 flake.lock 时的变通,以及集中化与联邦化的权衡。

本文以真实的 Nix 生态痛点为出发点,不仅提出了 omniflake 这一新颖方案,还贡献了 Nix 上游性能修复,并附有清晰的机制解释和基准数据。适合 Nix 用户、包管理工具设计者和对惰性求值与依赖图感兴趣的系统工程师阅读。其中'用元数据代替真实输入、按需加载'的设计思路,以及性能问题的定位与优化方法,可以迁移到其他依赖管理或构建系统。

工程实践TiDB 社区博客 - 实践案例

告别满屏慢 SQL,物联网智慧停车平台上线 TiDB

文章记录智慧停车平台从 PolarDB 迁移到 TiDB 的过程,背景是核心表每年新增约 2.4 亿条数据,大表到 8000 万行后出现慢 SQL、跨停车场 join 困难等问题。团队实测对比 TiDB、ClickHouse 等数据库,最终选择 TiDB v8.5.2,原因包括 MySQL 兼容、压缩成本低、社区活跃等。迁移采用 Dumping 导出加 Lightning 导入,并借此规范了索引设计和代码中的排序逻辑。上线一年多后,慢 SQL 从满屏降到每天约 46 条,监控和告警体系从无到有,运维变为主动。文章最后给出选型建议:小场景用 MySQL,中大型 SaaS 用 TiDB,分析密集型可用 HTAP。内容属于真实的数据库迁移工程案例,但来源为 TiDB 官方博客,存在一定的推广立场。

推荐收录,因为它展示了在停车业务高可用约束下,数据库选型、迁移和运维改进的完整链路,包含数据规模、慢 SQL 数量、迁移工具等可量化证据。对于面对大数据量 join 问题和分布式数据库选型的工程师,文中的对比方式和迁移后治理经验有直接参考价值。需要注意的是,文章由数据库厂商发布,性能收益数据缺乏独立验证,读者应结合自身场景做验证。

工程实践ClickHouse Engineering

So, is ClickHouse winning the observability wars?

本文是 ClickHouse 团队对 Mat Duggan、Charity Majors 提出的“ClickHouse 正在赢得可观测性战争”观点的回应与剖析,明确“胜利”仅限定在存储与查询层。文章解释列式架构为何契合可观测性数据:按列存储与排序键利于压缩编码,稀疏主索引与跳数索引减少 I/O,向量化执行、SIMD 与跨分片并行加速聚合,并缓解高基数问题。还讨论了全文检索倒排索引、单库承载日志/追踪/部分指标、SQL 表达力与 Apache 2.0 许可带来的采纳优势。作者也坦承边界:Prometheus 式指标的 PromQL 兼容仍是最大缺口,TimeSeries 引擎与 API 尚不稳定,数据库本身不等于好的可观测性产品,小团队或自建引擎的厂商未必适用,并指出 Agent 工作负载带来低延迟、高并发与全保真留存的新要求。

推荐收录。文章虽出自厂商博客,但系统梳理了列式存储契合可观测性数据的机制——压缩、索引裁剪、向量化、并行聚合与高基数处理,并较诚实地指出 PromQL 兼容、ordering key 与 schema 设计等边界,适合负责可观测性平台或日志/追踪存储选型的工程师参考。其架构权衡与“何时不适用”的判断有可迁移价值,但读者需注意其自证立场与客户证言带来的偏向。

工程实践Cloudflare Blog

How we saved 100 terabytes of memory by optimizing 1.1.1.1’s DNS cache

文章讲述Cloudflare如何通过五项存储布局优化,将1.1.1.1 DNS缓存每条目的内存占用降低56%,在超过2500亿条缓存条目规模上节省约100TB内存。核心方法包括用Box替代Vec消除容量字段和堆预留空间、用区间偏移替代多个列表、对与查询域名相同的记录省略owner字段、将大枚举变体装箱以避免对齐填充浪费,以及将记录以原始字节加长度前缀连续存储。文章用自定义分配器基准测算了内存和性能,并在生产环境逐步验证,最终插入吞吐提升43%、查询延迟下降19%。边界在于这些优化依赖特定访问模式和数据分布,如大多数记录owner与查询域名一致、NAPTR等大类型罕见,且需要权衡解析成本和随机访问能力。

推荐收录。文章展示了从内存布局分析、基准验证到生产逐步灰度落地的完整优化流程,所有结论都有数据支撑,并明确说明取舍和适用边界。适合从事高并发缓存、DNS服务、存储密集型系统或Rust性能优化的工程师,'按数据分布定制数据结构'的思路可迁移到其他大规模系统。

技术文章LWN.net

[$] Using steal time to moderate CPU demands

本文深入剖析了 Shrikanth Hegde 提出的 steal governor 补丁系列,该机制旨在缓解虚拟化环境下多个虚拟 CPU 争抢少量物理 CPU 导致的性能下降问题。文章首先说明了虚拟化提高 CPU 利用率的前提与冲突:可分配 vCPU 数量增多但实际物理 CPU 时间有限,重度负载会引发竞争和显著性能损失。随后介绍了 steal governor 的核心思路:通过监控 steal time(被虚拟机管理程序偷走的时间)来感知物理 CPU 的争用程度,当争用较高时,虚拟机会主动减少活跃 vCPU 数量,从而降低调度竞争并改善整体性能。文章还讨论了该机制的设计权衡,包括何时触发调整、如何避免过度收缩、以及不同类型工作负载下的适用边界。该内容对理解虚拟化 CPU 调度、资源治理和内核补丁设计具有参考价值。

推荐收录,因为它详细展示了一个内核级资源治理补丁的问题定义、设计思路和权衡,属于 Linux 虚拟化领域的深度技术文章。适合内核开发者、虚拟化平台工程师和关注系统性能的读者,可帮助理解 steal time 的工程应用及动态资源调整的实践方法。

技术文章ClickHouse Engineering

What's new in the ClickHouse .NET Driver: the road from 1.0 to 1.3

文章梳理 ClickHouse .NET 驱动从 1.0 到 1.3 的演进,核心是类型安全与可扩展性。它用 POCO 注册取代 object[] 手写列映射,实现强类型插入和读取;并新增 IParameterTypeResolver、IParameterFormatter、IReadValueConverter 三个扩展点,分别控制参数类型推断、序列化和读取值转换。类型支持上加入多维数组、ValueTuple 和 Identifier 参数;正确性上修复 DateTime 时区被服务端 session_timezone 平移的破坏性变更及 Variant NULL 等问题。性能上允许跳过插入 schema 探测,并将默认 ReadBufferSize 从 512 KiB 降至 8 KiB,显著降低 LOH 分配与 GC 压力。文章还介绍 EF Core、Serilog 等集成和路线图,适合 .NET 数据开发与客户端 API 设计参考;作为版本发布说明,部分 API 细节会随版本更新而过时。

推荐收录,因为文章用大量代码示例和基准数据说明 .NET 驱动的具体工程决策:POCO 映射与三个可插拔扩展点的 API 设计、ReadBufferSize 从 512 KiB 降至 8 KiB 带来的 LOH 与 GC 优化,以及 DateTime 时区语义的破坏性修正。这些内容对使用 ClickHouse 的 .NET 开发者和设计数据库客户端、序列化管道的工程师有直接的可迁移价值;但它是版本发布说明,具体 API 细节会随驱动版本演进而过时,建议结合最新文档使用。

工程实践ScyllaDB Engineering

Building a New Rust Driver for ScyllaDB’s DynamoDB API – with 58% More Throughput

文章介绍了为 ScyllaDB 的 DynamoDB 兼容 API(Alternator)构建新 Rust 驱动程序的工程实践。由于 AWS DynamoDB SDK 面向单端点托管服务,无法利用 ScyllaDB 多节点多分片的分布式架构,团队基于 aws-sdk-dynamodb 封装了新的 alternator-client-rust,通过 Interceptor 机制注入拓扑感知的负载均衡、头部剥离和请求压缩等优化,保持 API 兼容并实现了约 58% 的吞吐量提升。文章还详述了扩展 Latte 基准测试工具支持 DynamoDB API 的过程,采用条件编译隔离 CQL 与 Alternator 逻辑,并通过 Rune 脚本提供灵活的工作负载描述。基准测试对比了 Latte 与 YCSB 的差异,以及新驱动在不同负载均衡策略下的表现,指出在热分区和轻量事务场景下 key affinity 策略优于 round-robin。文章基于特定 ScyllaDB 版本和测试环境,结果适用于使用 ScyllaDB Alternator 的高吞吐场景,但对其他数据库或云服务的可迁移性有限。

推荐收录,因为它展示了从适配现有 SDK、定位吞吐瓶颈到实现负载均衡与压缩优化并完成基准验证的完整工程链路,提供了可量化的性能数据和具体的架构取舍。对从事数据库驱动开发、分布式系统客户端优化或基准测试工具设计的读者,文中的拓扑感知路由、拦截器使用和条件编译改造方法具有直接迁移价值;同时需注意其结论依赖 ScyllaDB 特定架构。

工程实践知乎 - 鹅厂架构师

你的节点为什么内存一直涨?TencentOS 如何在多版本内核上根治僵尸 Memcg

文章聚焦云原生环境中僵尸 Memory Cgroup(dying memcg)导致的内存持续增长问题,源于 Kubernetes 节点上大量已被删除但未被内核释放的 memcg 实例。作者剖析了其形成机制,包括文件页 Page Cache、Shmem 共享内存、Swap Entry 和内核对象对 memcg 的引用残留,并量化了内存占用与遍历开销的严重性。文章系统梳理了社区现有方案的局限:强制回收会破坏缓存并引发 IO 压力,obj_cgroup 重构虽能解除引用但存在性能开销且无法覆盖旧内核。TencentOS 团队提出双轨方案:新版 6.6 内核回合上游补丁并调整 private ID 绑定策略,从源头避免问题;旧版内核提供免重启内核模块,周期性将 dying memcg 的 LRU 页面和 Swap Entry Reparent 至在线父级,以保留缓存同时解除引用。文章还介绍了基于 drgn 的定位脚本。其边界在于 obj_cgroup 间接层仍存性能隐患,且内核模块仅覆盖 5.4 以上主流版本。

推荐收录。文章从真实生产故障出发,完整呈现了瓶颈定位、社区方案对比、内核机制剖析与多版本落地的工程权衡,具有明显深度和实操性。适合内核开发者、云原生基础设施工程师和 SRE 阅读;其中 Reparent 与扫描结合的设计思路、drgn 诊断脚本的构建方式均可迁移到类似的内核内存治理场景。

工程实践Andy Atkinson

PostgreSQL 18: 23x Faster Inserts With UUID V7

文章记录了生产环境中将PostgreSQL主键从UUID v1/v4迁移到UUID v7后获得的性能收益。作者在Postgres 18.4上通过alter table修改列默认值为uuidv7(),针对部分高频插入表观察到平均插入耗时最多降低23倍,并以表格形式列出6x、8x、9x、20x、23x五档提升案例。文中解释了随机UUID(v4)导致B-tree索引页分裂、缓存命中率下降的机制,对比v7单调递增带来的热页优势;同时重点讨论了在线切换的难点——ALTER TABLE需要ACCESS EXCLUSIVE锁,作者通过设置lock_timeout和statement_timeout配合PL/pgSQL循环重试(带抖动退避)找到了锁窗口,并预告了取消阻塞查询的预案。文章最后指出v7时间戳会暴露记录创建时间这一隐私边界,以及该方案并非对所有表都有效。

这是一篇真实、可验证的PostgreSQL性能优化工程案例,提供了从性能问题分析、方案选型、锁管理到线上实施验证的完整链路。适合使用PostgreSQL并关心写入性能或在线DDL的DBA与后端工程师,文中的锁超时加重试策略和UUID选择依据可以直接迁移到类似系统。

工程实践Fzakaria Blog

Stamping build info in constant memory

文章针对构建系统中用 llvm-objcopy 向 ELF 可执行文件附加 build info 时内存占用随文件大小线性增长的问题,提出了一种常量内存的 stamping 方案。作者通过测量确认 llvm-objcopy 的峰值 RSS 约为文件大小的两倍,并分析其根因:objcopy 需要将整个 ELF 读入内存以增加一个 section,并更新 section header table 和 .shstrtab。新方案让链接器在链接时预先发出一个仅含一字节的占位 section,使 section 的名字和 header 已经存在;之后的 stamping 步骤只需把 payload 追加到文件末尾,再原位修改该 header 的 sh_offset 和 sh_size 共 16 字节,完全不需要读取或重写文件其余部分。基准显示新方法内存占用恒定约 9.5 MiB,耗时与文件大小无关。文中给出了完整的 C 实现 elfstamp.c,并指出该技巧仅适用于非 SHF_ALLOC 的元数据 section,不影响内核加载。

推荐收录。文章用真实测量数据揭示了 llvm-objcopy 内存随文件大小线性增长的缺陷,并给出将内存占用降为常量的巧妙方案:利用链接器预留占位 section,stamping 时只追加数据和原位修改 16 字节 header。附带的 elfstamp.c 代码可直接迁移,适合构建系统、二进制后处理和大 ELF 注入元数据的工程师;其'专用小工具替代通用工具'的思路以及从现象到根因的分析方法也具有很强的可迁移性。需注意该方案仅适用于非 SHF_ALLOC 的 section,集成前需确认链接器与目标格式的兼容性。

工程实践TiDB 社区博客 - 实践案例

宁波金唐 × 平凯数据库:医疗卫健全域场景落地实践

本文是宁波金唐与平凯数据库(TiDB企业版)在医疗行业落地实践的技术复盘。文章首先分析医疗国产化的特殊挑战,如系统数量多、新旧兼容、7×24小时高可用和海量数据混合负载,然后介绍宁波金唐的选型策略,强调分布式与集中式数据库需按业务规模取舍,并看重TiDB对中小型至大型机构的全场景覆盖、HTAP能力和MySQL生态。通过宁波市全民健康信息平台和海曙区一体化医疗云平台两个案例,作者给出具体性能数据,如诊断匹配查询从109秒降至0.281秒,年度收入报表从350秒降至6秒,并指出性能提升来自数据库能力、冷热分区和持续调优的共同作用。文章也提到迁移后仍需依赖厂商协同调整SQL和索引,并展望医疗AI对高质量数据底座的需求。总体以真实系统规模和多组对比数据为基础,但视角偏厂商合作方,可能弱化迁移中的风险和成本。

本文提供了一手医疗行业数据库国产化迁移的工程案例,包含选型判断、架构决策、真实系统规模和对比性能数据,对负责数据库选型、迁移或医疗信息系统的读者有直接参考价值。可迁移的不仅是具体优化技巧,更是从业务需求出发评估分布式vs集中式数据库、以及迁移后持续调优的思路。由于文章由TiDB社区发布,部分表述带产品宣传倾向,读者应关注其方法和数据,而非单纯的产品结论。

工程实践DuckDB Engineering Blog

How DuckDB Runs Recursive CTEs Faster

本文来自 DuckDB 工程博客,介绍了 v2.0 对递归 CTE 执行引擎的重构,目标是消除迭代间重复调度与重建状态的开销。核心方法是将物理算子树、预计算调度投影和可复用执行器池归查询计划所有,递归调用持有跨 epoch 的不变状态(如基于静态表构建的哈希表),每个 epoch 仅重置依赖前沿的状态,并通过精确的边界基数选择内联或并行调度。针对 USING KEY 递归,冻结键控状态以支持直接探测,内连接可用 RECURSIVE_KEY_JOIN 或部分键索引,并引入语义变化:UNION 仅转发最终发生变化的键,UNION ALL 仍转发全部候选。实验显示,在 100 万边可达性查询中延迟从 4.051 秒降至 0.095 秒,LDBC SF100 路径查询提速 6.55 倍且峰值内存下降,63 个递归基准几何均值改善 5.5%。适用边界包括:保留状态需可重复性证明,预聚合要求聚合状态可组合且无顺序依赖,宽唯一键更新场景有约 6% 的回归。

直接证据是作者为 DuckDB 核心开发者,提供了 PR 编号、EXPLAIN 分析与中位数基准对比,且讨论了语义变化与回归。适合数据库内核开发者、查询引擎研究者与对 SQL 递归性能优化感兴趣的读者。可迁移价值在于状态所有权划分、基于实测基数的自适应执行和变更键去重思想;风险是部分语义变更(UNION 改变行为)需使用者注意。

工程实践PlanetScale Blog

Problems with large tables in Postgres

文章围绕 Postgres 大表引发的工程问题展开,先从真实案例说明级联删除导致 WAL 放大、网络饱和和副本延迟,最终演变为业务中断。随后系统剖析大表在 autovacuum 启动阈值过高与执行缓慢、空间回收失败与 bloat、长查询占用连接、备份与恢复变慢、索引膨胀以及宽行 TOAST 的 OID 限制等方面的详细机制。作者对比分区、垂直扩展和分片三种解决方案的适用边界,指出分区能细分堆并改善 vacuum,垂直扩展仅能临时缓解,而分片可将大数据表拆到独立集群,避免单集群的全局性限制。文章也提醒分区不能解决 xmin 的集群级快照钉扎,分片需要选好 shard key。适合需要设计高可扩展数据库架构的工程师参考,但结尾对自有产品 Neki 的推广属于商业内容。

本文不是泛泛的问题清单,而是通过真实故障案例和具体参数(如 autovacuum 阈值、32 位 XID、TOAST OID)揭示大表问题的本质,对分区、垂直扩展和分片做了清晰的权衡对比。适合数据库管理员、SRE 和高并发应用后端工程师,文中诊断大表问题的框架和解决方案取舍可以迁移到自有系统中。注意文章末尾有产品推广,但技术分析独立完整,是长期有效的参考资料。

工程实践Cloudflare Blog

The Cloudflare Blog – Brought to you by EmDash

文章详细记录了 Cloudflare 博客作为 Customer Zero 迁移到自研 CMS EmDash 的全过程。团队先用 k6 进行 Ramp、Breakpoint、Burst 三类性能测试,验证平台可用性与扩展性,最终确定在 Cloudflare Worker 上运行 EmDash,并采用 Workers Cache、基于 KV 的 EmDash object cache 以及 Hyperdrive 连接 PlanetScale 的分层缓存架构,静态文件缓存命中率达 99.5%,请求缓存命中率 70%。迁移后 p95 延迟显著下降且曲线平稳,可稳定承载 850 RPS,并成功抵御 28,000 RPS 的 DDoS 攻击。前端同步重构为 Kumo 设计系统,新增暗黑模式、改进订阅表单与导航。发布采用代理 Worker 配合版本 cookie 灰度,从 1% 逐步提升至 100% 流量,实现零宕机切换。文章还介绍了为博客新增 MCP 服务器供 Agent 使用,并指出编辑端仍存在少量体验问题。整个迁移依赖于 Cloudflare 生态,但性能验证、缓存分层和渐进式发布方法具有普遍参考价值。

推荐收录,因为这是一篇典型的工程迁移复盘,包含真实流量数据、性能测试场景、缓存架构设计和灰度发布策略,证据具体且可复用。适合负责内容平台、边缘计算架构或高流量网站迁移的工程师阅读;其分层缓存思路和低风险发布方法可迁移到同类系统。

工程实践Meta Engineering

MetaRoCE: A New RDMA Transport Built for AI-Scale Ethernet

Meta发布自研RDMA传输协议MetaRoCE,面向AI规模GPU集群,运行于普通以太网,并计划通过OCP开放规范、参考实现和一致性测试套件。其核心是将网络智能从交换机移向NIC,支持原生乱序投递、逐路径喷发、免PFC的丢失容忍传输,以及发送端AIMD与接收端速率提示的拥塞控制。在64节点AMD GPU集群测试中,相比RoCEv2,MetaRoCE在all-reduce和all-to-all上吞吐更高、流完成时间更低,1%丢包时保持约86%吞吐,多平面扩展近线性,平面故障可自动恢复。现有RDMA Verbs应用无需修改即可使用,文章也承认在机内、跨数据中心和存储/KV缓存等场景仍需后续优化。

推荐收录。文章来自Meta工程博客,详细阐述了MetaRoCE的动机、设计权衡和实测数据,包括与RoCEv2的对比、损失下的优雅降级和多平面弹性,证据链完整。适合网络协议开发者、AI基础设施架构师和分布式系统工程师参考,其端点智能、逐路径拥塞控制等思路可迁移到其他高性能网络设计。需要注意文章同时是产品发布稿,基准规模和场景有限,实际部署效果需独立验证。

工程实践Meta Engineering

MTIA 300: Meta’s First Training Chip with Built-in NICs and Communication-Offloading Engines

文章介绍 Meta 自研训练与推理加速器 MTIA 300,它针对推荐排序模型训练中的通信瓶颈,将网络接口直接集成进芯片封装,通过两个包含 6 个 800 Gbps RDMA NIC 的 chiplet 提供 1.2 TB/s 总带宽,避免 PCIe 和 CPU 中介开销。芯片加入 16 个独立消息引擎和近存计算单元,以超过 2.8 TB/s 归约吞吐实现线速 AllReduce/ReduceScatter,与计算网格隔离,并行运行 GEMM 时计算吞吐损失小于 0.5%。通信库 HCCL 与硬件协同设计,采用编译通信模型,将集合通信编译为依赖子图后由消息引擎自主执行,无需主机参与,并支持拓扑感知算法和 PyTorch 接口集成。在生产环境中,1500 亿参数推荐模型跨 40 个加速器训练时,通信时间比等效 GPU 集群快 3.9 倍。文章也讨论了架构对未来推理工作负载的适应性,并指出当前设计主要面向推荐模型。

本文是 Meta 工程团队对其训练芯片的深度技术解析,公开了芯片架构、NIC 集成、通信卸载引擎及 HCCL 编译模型的具体设计和性能数据,直接给出与 GPU 的量化对比(0.5% 干扰、3.9 倍加速)。适合 AI 基础设施、分布式训练、芯片设计与高性能网络方向的工程师和研究者阅读。其通信一体化和软硬件协同设计思路可迁移到其他 AI 加速系统,但性能数据来自厂商自测,需保持一定批判性。

技术文章ClickHouse Engineering

ClickHouse Release 26.7

文章是 ClickHouse 26.7 版本发布说明,主体是对查询执行与向量检索内部优化的解析。它把按序聚合与新增的 limit 下推融合,使 GROUP BY…ORDER BY…LIMIT 成为可提前终止的流式流水线;JOIN 新增构建键驱动的探测端 granule 裁剪、哈希表行引用压缩与 dpsub 连接顺序算法;QBit 引入 Int8 量化、跨步存储、Hadamard 旋转与量化编解码器。文中用 TPC-H 与 HackerNews 数据集给出基准,称 Top-N 提速 313 倍、峰值内存降 592 倍,JOIN 提速 6.2 倍。还简述短语位置索引、EXPLAIN ANALYZE、Remote 引擎和 URL 统一等特性,并标注部分能力为实验性。

推荐收录:虽为版本发布说明,但每项优化都给出机制解释(如按序聚合与 LIMIT 下推融合、运行期过滤器驱动 granule 裁剪)和可复现的 TPC-H/HackerNews 基准,属于有边界、可验证的工程性能证据。适合数据库内核、OLAP 查询优化与向量检索方向读者;排序键前缀聚合、构建侧过滤下推等思路可迁移。主要风险是性能倍数依赖特定数据集与硬件,不宜直接外推。

工程实践Fzakaria Blog

Your executable is a SQLite database

文章提出用 SQLite 数据库文件替代 ELF 作为 Linux 可执行格式,作者在 NixOS 上实现了名为 SELF 的原型。核心做法是把程序头、加载段、符号表等建模成 SQL 表,利用 SQLite 的 application_id 和 binfmt_misc 让数据库文件可直接执行,并编写 self-exec 解释器完成加载、重定位和跳转。文中还展示两种动态链接方案:通过 glibc rtld-audit 用 SQL 查询替换库查找,以及完全用 SQL 实现 dynamic linker;并把整个 userland 的 723 个可执行文件及其依赖打包进一个 611.9 MiB 的数据库。基准显示单文件体积约为 ELF 的两倍,启动有约 5ms 固定开销且缺页共享受限,但通过 closure 去重后整体体积反而略小于源 ELF。文章明确承认这是原型,兼容性和性能仍是适用边界。

推荐收录。文章不是概念空想,而是给出可运行的 SELF 原型、SQL schema、加载器和完整基准,并用一个 723 可执行文件的 userland 数据库验证了可扩展性。对操作系统、二进制格式、动态链接和数据库方向的工程师与研究者,它能启发将“格式”重新理解为可查询数据模型,且作者对体积、延迟和缺页共享的量化边界值得迁移。

技术文章Daniel Lemire

Java’s String.indexOf can be slow (quadratic)

文章指出 Java 的 String.indexOf 在对抗性输入下可能退化为 O(n·m) 的二次复杂度,并以 OpenJDK 25 和 Apple M4 Max 上的实测数据验证。作者将全 a 串作为主串、以 a* 加不同结尾字符作为模式串构造病态用例,测得当模式串长度为 4096 时,对 1MB 主串的一次查找耗时约 1.1 秒。文章随后对比了 Crochemore–Perrin 的 Two-Way 算法,该算法在相同病态输入下始终维持在约 0.3 纳秒/字符,性能差距可达数千倍;但在随机文本上,Java 自带的 indexOf 通常更快,且 Two-Way 有额外预处理开销。因此作者不建议无条件替换,而是强调在可能被恶意控制长模式串的场景中限制长度或改用更稳健算法。

推荐收录,因为它用清晰的可复现实验揭示了标准库中暗藏的最坏情况复杂度,并给出了两种算法在多组输入下的实测对比与明确边界条件。对需要做字符串处理性能优化、实现搜索功能或评估标准库风险的开发者,本文提供了可迁移的测度方法和算法选择依据。

工程实践TiDB 社区博客 - 实践案例

关闭tuned服务影响集群性能案例分析

文章记录了某数据库集群在运行过程中出现响应时间突增、CPU 使用率升高、整体性能下降的现象。排查时发现期间曾执行过 systemctl stop tuned.service 操作,即关闭了 tuned 服务。通过检查 /etc/tuned/ 目录未找到自定义配置,使用 tuned-adm list 确认当前配置为 throughput-performance,但因 tuned 未启动导致该配置没有生效。启动 tuned 服务后,throughput-performance 配置生效,集群性能恢复正常。文章还简要介绍了 tuned 是系统级动态调优守护进程,throughput-performance 模式会关闭节能机制、启用 sysctl 优化、切换 I/O 调度器并将 CPU 调频策略设为 performance。该案例展示了操作系统服务配置对分布式数据库集群性能的显著影响,但缺少具体的性能指标对比与更深入的原因分析。

收录原因是它提供了一个真实的、可复现的运维排障案例:数据库性能劣化可能与 tuned 服务被关闭直接相关。对于负责数据库或分布式系统运维的工程师,文中通过 tuned-adm 检查配置、确认服务状态并恢复的排查路径具有直接可迁移性。但内容深度有限,建议结合官方手册进一步理解 tuned 参数细节。

工程实践vLLM Blog

Large-Scale Sharded Weight Transfer with Ray Direct Transport (RDT) in vLLM

vLLM 博客介绍了基于 Ray Direct Transport(RDT)的分片权重传输引擎,用于在线 RL 中训练端到 Megatron/vLLM 推理端的周期性权重同步。传统 NCCL 广播要求所有 rank 同步参与、每个 worker 接收完整模型,在万亿参数和宽专家并行下造成显存与带宽瓶颈;作者改为由推理端按需从训练端拉取分片权重,并用“recording tensor”空跑记录各层权重加载的变换操作链,生成与任意模型和并行配置兼容的 sharding plan。引擎在初始化阶段收集所有权元数据并注册 NIXL 缓冲区,同步阶段按权重组分块,重叠 gather、RDMA 传输与后端 process/copy。Qwen3-235B 同步由基线 64.72s 降至 3.49s,Kimi K2 在 48 节点上 7.9TB 权重同步仅 7.53s(约 1049 GB/s),并演示了推理副本故障后训练不中断、副本在同步边界回归的容错行为。局限包括加载器操作须可记录、RDT 缓冲区不计入显存预算、暂不兼容 EPLB,且跨 PP 传输仍串行。

推荐收录:文章给出真实的大规模权重同步工程问题、完整设计权衡(拉取式分片传输、recording tensor 生成 sharding plan、NIXL/RDMA 流水线)以及可验证性能数据(Qwen3-235B 从 64.72s 到 3.49s,Kimi K2 48 节点 7.53s),并明确列出限制与后续方向。适合从事 RL 训练、LLM 推理服务与分布式 GPU 通信的工程师,其中元数据驱动的通用传输与流水线重叠思路可迁移到其他跨节点数据搬运场景。

工程实践Netflix TechBlog

A Tale of Two Flink Autoscalers

文章以 Netflix 30,000 个 Flink 作业为背景,对比自研与 Apache Flink 社区版两套自动扩缩容方案。自研方案基于外部容器级指标,按整个 TaskManager 数量伸缩,适合简单管道,但无法处理多算子有状态 DAG,且指标盲区导致故障难发现。OSS 方案从作业内部估算每个算子的真实处理速率,逐顶点决策并行度,并支持按作业调参。Netflix 将其改造为独立服务,通过 Temporal 为每个作业运行工作流,并解决高并行度指标采集、forward 连接保序、sink 容量限制等问题,同时加入区域故障转移与磁盘容量安全检查。采用 OSS 后某团队年化 Flink 成本降低约 58%,节省约 110 万美元,但为避免抖动将目标利用率设为 0.45。文章还指出状态恢复是剩余主要瓶颈,并总结了指标选择、默认值配置、先采用再扩展等通用经验。

推荐收录,因为本文展示了从自研到开源采用的完整工程决策过程,包含真实数据、架构选型、性能局限和成本收益,而不仅是泛泛的经验总结。适合负责 Flink、流处理平台或自研基础设施的读者,其指标设计、安全检查和迁移策略可迁移到其他高并发有状态系统;风险在于部分改动基于 Netflix 自维护 Flink 分支,条件不同时需评估适用性。

工程实践知乎 - 腾讯技术工程

Token 降本 50%:Harness工作流的成本优化实践

本文是腾讯技术工程团队关于AI Agent工作流Token成本优化的实践复盘。团队使用一个TL加六个子Agent的Harness工作流驱动前后端开发,通过AgentLens量化六类Token消耗来源(系统提示词、工具返回、文件读取、长期记忆、历史消息、用户提示词),提出“只看到当前需要的上下文、减少无关上下文、减少重复上下文”三个原则,并落地渐进式披露、CLI替代MCP、MCP数据获取子Agent化、长期记忆按需索引、单Agent拆分为多Agent、Agent专属配置、代码图谱替代盲搜、稳定前缀设计、rtk压缩CLI输出、工具调用并行化等十项优化。实测主Agent端到端Token从708,783降至315,266(-55.5%),全流程预估降本50%~65%。文章还分享了rtk接入的字段名坑和评估方法论的陷阱,指出大模型执行路径的不确定性使得端到端A/B对比不可靠。该方法适用于以LLM为主的Multi-Agent工作流,但拆分Agent本身有固定开销,需先做规模预判。

推荐收录。文章基于真实业务场景,给出了从成本度量、根因拆解到十项优化方案的完整工程实践,并附有具体降幅数据(如主Agent token降55.5%)和踩坑记录(如rtk字段名不匹配)。适合正在构建Multi-Agent系统或关注LLM成本治理的工程师,其“三原则”和每项优化的适用边界可迁移到类似场景,但需注意Agent拆分和模型选型的局部性。

工程实践vLLM Blog

IsoExec: Unified Execution to Eliminate Trainer-Inference Mismatch in SkyRL

文章介绍 vLLM/Megatron 生态中的 IsoExec,旨在消除 RL 训练中 rollout 引擎与 trainer 因不同 kernel、批形状和并行布局导致的浮点非结合性不匹配。其核心是跨运行时执行契约:按 region/case 固定实现、累积 dtype 与归约顺序,并用语义及数值策略摘要校验;同时提供并行不变 kernel 与 CPR Gated DeltaNet,使训练、prefill 和 decode 位级一致。在 8×H100 上训练 Qwen3.5-35B-A3B DAPO,契约覆盖范围内实现零不匹配,logprob 差异显著下降,但端到端仍有约 25% 开销。局限是 50 步内未见 reward 提升,且上下文并行、Blackwell、稀疏注意力等尚未覆盖。

推荐收录:文章给出了可验证的工程证据——通过执行契约和统一模型在 vLLM 与 Megatron 间消除覆盖区域的训练-推理数值不匹配,并在 8×H100 上报告 25% 开销与 50 步 DAPO 的 logprob/奖励数据。适合训练基础设施、RLHF/RL 系统和推理引擎开发者,其契约化数值一致性方法可迁移到跨框架一致性、并行不变 kernel 与混合线性注意力部署中;但短期无 reward 提升且开销不低,需结合业务权衡。

工程实践DuckDB Engineering Blog

Chunked Query Results in the DuckDB Java Driver

文章介绍 DuckDB Java 驱动 1.5.3.0 新增的 chunked query results 功能,通过 DuckDBChunkedResult 让应用以惰性方式直接读取引擎生成的列式数据块,避免 JDBC ResultSet 逐行、逐值获取带来的开销。文章先解释了 DuckDB 的向量化执行与 JDBC 行式 API 的差异,指出传统驱动需要把 2048 行一列的数据块切片成行和单元格,导致不必要的转换成本。随后给出新 API 的使用示例,并总结了其特性:惰性拉取、列式访问、保留元数据、与 UDF 读取接口一致、使用零基索引。文章也明确列出了当前限制,包括仅支持基本类型、只适用于 prepared statement、reader 类型覆盖有限。结论强调 JDBC ResultSet 仍是大多数场景的合理默认,chunked API 面向返回大量数据且消费端也为列式的场景。

推荐收录,因为这是官方工程博客对新功能的设计与实现说明,清晰呈现了 JDBC 行式 API 与列式数据库引擎之间的适配问题,并给出了具体的新 API 用法、适用场景和当前局限。对需要在 Java 中高效消费 DuckDB 大结果集的开发者,以及关注数据库驱动和向量化执行接口设计的工程师,都有直接的参考价值。

工程实践ClickHouse Engineering

POSETTE Talk Recap - Postgres Isn't Slow. Your Storage Is

文章复盘 POSETTE 2026 演讲,围绕 PostgreSQL 规模化后的五类症状(写入变慢、P95 读延迟不稳、autovacuum 落后、checkpoint 争抢 I/O、逻辑复制积压),论证根因常被误判,实际多来自存储。作者用 8 个相同 m6id.4xlarge 集群、3.3 亿行 pgbench 随机 UPDATE 负载,对比本地 NVMe 与 3000 IOPS 的 baseline gp3 EBS,结果 NVMe 中位 16,030 TPS 对 EBS 1,734 TPS(约 9.24×),事务中位延迟从 36.9ms 降到 4.0ms。延迟拆解显示差距主要来自页读取、WAL fsync 与锁/调度等待,CPU 本身耗时接近;等待事件与 CPU profile 也印证 EBS 更多进程处于离 CPU 等待。作者随后给出本地 NVMe 生产架构:quorum 双 standby 同步复制、WAL-G 持续备份至独立对象存储,并明确结论仅适用于该负载与存储配置。

推荐收录:文章给出了可复现的对照实验设置、量化指标(TPS、延迟拆解、等待事件、CPU profile)以及面向生产的架构取舍,而非单纯观点宣导或产品广告。适合运行大规模 PostgreSQL、关注存储选型与高可用设计的数据库/SRE 读者,其“数据库与存储一起诊断”的思路及 NVMe+quorum 复制+对象存储备份的组合可迁移到类似系统;但需注意基准使用 3000 IOPS 基线 gp3,不同 EBS 配置结论会变化。

工程实践Simon Willison

A shot-scraper-style JSON API on Bun 1.4's new Bun.WebView

本文介绍了 Bun 1.4 发布的新特性,重点剖析了 Bun.WebView——它将浏览器自动化能力内置到 Bun 运行时,支持通过 macOS WebKit 或 CDP 控制 Chromium。作者参照自己的 shot-scraper javascript 工具,用 Claude Code 辅助构建了一个 TypeScript JSON API 原型,用于加载网页并执行 JavaScript。实验通过 cgroups 限制容器内存,评估该服务在复杂网页上运行完整 Chrome 所需的内存上限,结果显示约需 192MB-256MB。文章还提到了 Bun 1.4 的其他变化,如 Rust 重写、性能和兼容性提升。该实验针对单实例服务,内存需求会随页面复杂度和并发数变化,适用于基于 Bun.WebView 的轻量级浏览器自动化工具设计。

推荐收录。文章来自长期关注 Web 开发的 Simon Willison,对 Bun 1.4 的新 API 做了实际验证,给出了明确的内存占用数据,属于可复制的技术测量。适合想用 Bun.WebView 构建浏览器自动化服务的开发者,尤其是做内存预算和容器规划的读者。其测量方法和 API 使用方式可迁移到类似场景,但需注意测试范围较窄,生产环境需进一步验证。

工程实践知乎 - 鹅厂架构师

大规模分布式训练的稳定性工程:自动驾驶千卡集群的毛刺理论与优化实践

本文以自动驾驶端到端感知规划大模型的千卡分布式训练为案例,系统阐述大规模训练稳定性工程的理论与实践。作者从分布式系统的短板效应、独立事件概率乘法法则和系统可靠性理论出发,解释了单机毛刺在多机同步训练中被指数放大的机理,提出“调优目标=控制单机毛刺率”的核心主张。文章详细拆解了软件层(观测者效应、GIL、tcmalloc、显存碎片、异步DataLoader)和系统层(存储I/O、脏数据、GC)的毛刺根因,并给出对应的确定性改造方法,如手动GC、NUMA绑核、GPU化预处理算子等。优化后训练吞吐提升50%,训练周期缩短5倍以上。文章强调,大规模训练的性能极限由最慢节点决定,可预测性比平均速度更重要,并给出了从64机扩展到256机时的工程经验。

本文是深度学习工程领域少见的系统性稳定性治理案例,用概率论和可靠性理论定量解释了“毛刺放大”现象,并给出了可复用的排查路径、优化手段和工程取舍原则,证据扎实、边界清晰。适合负责大规模模型训练、分布式系统性能优化或ML基础设施的工程师阅读,其“将随机扰动改造为确定性代价”的方法论可迁移到其他同步语义的分布式系统中。

技术文章Fzakaria Blog

Three ways to smuggle SQLite into Nix

文章以 nixpkgs-multiverse 的索引文件为背景,探讨如何在 Nix 求值过程中直接调用 SQLite 查询,避免大规模 JSON 整文件解析。作者依次介绍 builtins.exec、builtins.importNative、巨型 .nix 文件和 builtins.wasm 四种方案,并给出关键代码和基准。结果表明:fromJSON 与巨型 .nix 均为固定开销,exec 每条查询约 3.8ms,importNative 因句柄缓存几乎恒定,wasm 需约 2.5s 编译但查询仅 7ms/条。作者最终认为当前无一种适合正式发布,同时指出 wasm 的潜力。文章还覆盖 Nix 字符串无法表示二进制等边界问题。

推荐收录。文章以可复现代码和实测基准系统比较了四种在 Nix 中嵌入 SQLite 的方案,并坦诚列出各自的安全与性能缺陷。适合 Nix 扩展开发者和需要在构建/求值流程中内嵌查询能力的读者;其对比方法和性能分析可迁移到其他“运行时内嵌外部引擎”的场景。注意 builtins.wasm 仍属实验特性,相关 API 可能变化。

工程实践DuckDB Engineering Blog

DuckDB v2.0: Your Database Deserves a Better Parser

本文是 DuckDB 工程团队关于 v2.0 用 PEG 解析器替换 PostgreSQL 派生解析器的深度技术说明。文章先阐明解析器在查询流水线中的角色,并区分了 DuckSQL 方言与解析器实现本身。接着指出旧的 YACC/Bison LALR(1) 解析器在扩展语法时容易引入 shift/reduce 冲突,而 PEG 通过有序选择避免了这类冲突。工程化过程中,作者重点解决了回溯导致的指数级重复工作,借助 packrat 记忆化使得恶意输入(如大量未闭合括号)的解析时间从指数级降为近乎常数,并给出实测数据。文章还演示了运行时扩展语法的方法:扩展可注册自定义规则并复用 DuckDB 既有语法与转换函数,以 Google pipe query syntax 为例展示了从语法到 AST 的完整过程。最后说明扩展 API 仍是预览,若发现现有查询行为不一致可提交 issue。该文对数据库解析器设计、语法扩展机制和解析性能优化具有长期参考价值。

本文基于真实工程改造,给出了从动机、原型到生产化的完整路径,包含 packrat 记忆化解决指数级回溯的性能对比数据,以及通过扩展点复用现有语法和转换函数的具体 API 示例。适合数据库内核、编译前端或开发者工具方向的工程师阅读。文中的运行时语法扩展思路与回溯性能治理方法可以迁移到其他解析器或语言实现;需注意扩展 API 仍为预览,兼容性验证细节未完全展开。

技术文章Daniel Lemire

Parsing IP addresses in C# at crazy speeds

本文介绍在 C# 中利用 AVX-512 指令集实现超高速解析 IPv4 地址的方法。作者使用掩码加载安全读取长度不超过 16 字节的字符串,并处理 UTF-16 编码带来的零字节,再通过点号定位和点积校验快速识别数字。利用 IPv4 地址只有 81 种合法点位置的特点,结合字节重排优化。对非标准地址或未支持 AVX-512 的处理器则回退到 IPAddress.TryParse。实测在 .NET 10 和 Intel Xeon Gold 6548N 上,标准库需要 45.3 纳秒/个,新方法仅 14.1 纳秒/个,约快 3 倍。文章提供完整代码,但只覆盖常见的点分十进制 IPv4,且依赖较新硬件。

直接证据是文中给出了可运行的 AVX-512 C# 代码和详细的基准测试,速度提升约 3 倍,且步骤明确、边界清晰。适合需要处理海量日志、网络包或持续解析 IPv4 的性能敏感型开发者,以及希望学习 .NET 向量化编程的读者。其掩码加载和 UTF-16 处理思路可以迁移到其他短文本解析任务,但代码复杂度较高且受 AVX-512 硬件限制,需要在实际项目中权衡。

工程实践Xe Iaso

Anubis continues to expose new ways people configure webservers

本文是作者在开发 Anubis 反爬虫验证系统时对 CSP(内容安全策略)与 Web Worker 交互问题的技术复盘。文章首先说明 CSP 默认禁用所有浏览器特性,再按需放行,并给出 Anubis 的示例策略。作者发现当 CSP 禁止从 blob: URI 加载 Worker 时,错误不会在构造 Worker 时抛出,而是异步出现在 onerror 回调中。为了减少并行 Worker 带来的服务端请求压力,Anubis 改为先用 fetch 一次性加载 Worker 源码,再打包成 blob: URL 使用,同时保留旧逻辑以兼容禁止 blob: 的 CSP 配置。文章还讨论了 proof of work 计算中单个 worker 失败时的容忍策略。最后指出这些边界情况是日常维护中的常见问题,体现了浏览器安全策略与前端性能优化之间的实际权衡。

推荐收录,因为文章基于真实项目记录了 CSP 与 Web Worker 的兼容性细节,包括异步错误的行为差异和通过 blob: URL 减少请求的优化方案,这些内容在官方文档中较少被集中说明。适合前端工程师、Web 安全策略制定者以及需要做浏览器端并行计算的开发者阅读,能帮助理解安全策略对性能的约束,并迁移类似需求下的取舍经验。

工程实践Crunchy Data Blog

Postgres 19: How Our Advice Has Changed Since We Wrote It

文章围绕 Postgres 19 的 beta 功能,回顾 Crunchy Data 多年来关于数据加载、TOAST、BRIN 索引、覆盖索引和分区管理的既有建议,并逐项说明哪些版本改变了这些建议的落点。作者指出核心原则仍成立:批量导入优先用 COPY,JSON 存 jsonb,索引是权衡,分区主要服务生命周期管理。主要变化包括 async I/O 显著加速堆扫描与 vacuum,COPY 新增 ON_ERROR 与 REJECT_LIMIT 等容错选项,LZ4 成为默认 TOAST 压缩算法,BRIN 增加 minmax_multi 与 Bloom 形状,B-tree skip scan 覆盖更多查询,以及并发 detach、merge/split 分区等新 DDL。文章给出了大量可直接使用的 SQL 示例和调参建议,并强调这些功能基于 beta,正式发布细节可能调整,升级后应结合 EXPLAIN (ANALYZE, BUFFERS, IO) 重新验证。

建议收录。它不是零散的版本新闻,而是把 Postgres 11 到 19 的功能演进与真实运维建议逐条对照,给出了从 COPY 容错、LZ4 压缩、BRIN 调优到分区在线操作的可执行路径。适合数据库管理员、后端工程师和依赖 PostgreSQL 的团队在升级前做功能核查与基准测试;文中先验证再调整的决策方式,也能迁移到其他数据库平台。注意文章内容基于 beta,部分行为需以正式版文档为准。

工程实践Dropbox Tech

Improving infrastructure efficiency for growing demand in the age of AI

这篇文章介绍了Dropbox在面对AI带来的基础设施需求增长时,如何通过系统级方法提升现有基础设施效率。文章涵盖容量规划、主动车队优化、深度睡眠(Deep Sleep)降低空闲功耗、跨车队负载均衡、通过叠瓦式磁记录等技术提高存储密度、硬件生命周期延长,以及重新设计机架电源架构以支持第七代服务器。关键数据包括自2020年以来存储基础设施的瓦特/拍字节改善超过50%。文章强调效率是持续的工程问题,需要在电力、冷却、空间和硬件可用性等约束下进行跨层权衡。边界在于这是公司实践分享,部分方案依赖Dropbox的混合数据中心模式和特定硬件环境。

推荐收录。文章来自Dropbox官方工程博客,提供了真实的基础设施效率实践细节,包括Deep Sleep机制、瓦特/拍字节指标、硬件生命周期决策和机架电源再设计的完整案例,而非泛泛而谈。适合数据中心规划、容量管理、存储系统和基础设施成本优化相关工程师阅读,其中的系统级权衡思路和验证方法具有很强的可迁移性。需要注意的是,文章带有公司宣传色彩,但技术数据和案例足以支撑长期参考。

工程实践DuckDB Engineering Blog

Reconciling JSON in DuckDB, One Patch at a Time

本文是 DuckDB 工程博客的客座文章,介绍 DuckDB v2.0 JSON 扩展新增的四个标量函数:json_merge_patch_diff(计算 RFC 7396 merge patch 的逆)、json_deep_merge(null 表示跳过合并的递归合并)、json_normalize(递归排序键以生成规范形式)和 json_strip_nulls(递归删除 null 值键)。文章以 Atlan 的元数据同步场景为背景,展示这些函数如何组合成端到端的状态对账流程,用 SQL 单查询完成清洗事件、计算最小补丁、应用补丁和规范化哈希。作者在 50 万条合成 CDC 事件上对比了 Python 实现,DuckDB 获得 10 到 123 倍的加速,并说明性能来自 yyjson 原地操作和向量化执行。文章也明确了函数语义边界,如 SQL NULL 与 JSON null 的差异、数组元素顺序保留等。

推荐收录,因为这是一篇来自数据库核心团队的一手设计解读,包含函数语义、实现机制、组合用法和可复现基准,不是泛泛的功能介绍。对使用 DuckDB 做数据管道或 JSON 对账的工程师、数据库内核开发者都有直接借鉴价值,其 diff/merge/normalize/strip 的抽象也可迁移到其他数据处理系统。

工程实践ClickHouse Engineering

Why strict memory overcommit matters for Postgres

文章解释 Linux 内存 overcommit 策略为何对 Postgres 格外关键:默认策略下 OOM killer 会 SIGKILL 某个 backend,而 Postgres 只能假设共享内存段可能已损坏,于是终止所有 backend 并走崩溃恢复,等于整个实例重启。严格 overcommit(vm.overcommit_memory=2)让内核在物理内存耗尽前就以 ENOMEM 拒绝分配,Postgres 将其视为普通错误,仅报错并回滚当前事务。作者在同一台 EC2(m7i.2xlarge)上用相同 pgbench 负载对比两种策略,并给出 commit limit 的推导:先扣除预留的 huge pages,再按剩余内存的 80% 加 2GB 作为 sidecar 头寸,约为总内存的 60% 加 2GB。实验显示默认策略下 20 个旁观连接全部被断开、新连接中断约 30 秒,严格策略下仅 1 个查询失败、0 个连接受影响,且两者吞吐差异落在噪声范围内。边界是结论基于单一硬件与特定 shared_buffers、huge pages 配置。

推荐收录:文章用同一台 EC2 上默认与严格 overcommit 的对照实验,给出 CommitLimit 推导依据、OOM 杀死 backend 后的崩溃恢复日志以及 pgbench 吞吐对比,证据完整而非泛泛而谈。适合负责 Postgres/Linux 生产部署的 DBA 与 SRE,可把内存耗尽的影响从实例级重启降为单查询失败;限额计算与验证方法也可迁移到其他数据库。风险是结论依赖单一硬件与 huge pages 配置,需按实际内存布局重新核算。

工程实践vLLM Blog

Distributed Layerwise Offload: Scaling Toward 200B+ DiT Models Efficiently in vLLM-Omni

本文介绍 vLLM-Omni 的分布式逐层卸载(DLO),用于在多 NPU/GPU 上运行超出单卡 HBM 的 DiT 模型(如 64B/124GB Cosmos3-Super)。方案结合 meta device+mmap 加载、权重分片+AllGather 重建、双缓冲预取与计算重叠、DP 多并发。实测 Ascend 910B3 上冷启动 cgroup 峰值由 178GB 降至 47GB,主机内存从 O(dp×model) 降为 O(model+dp×常数),4 并发吞吐达 HSDP 单请求的 3.3 倍;B300 上 DLO+AG DP4 吞吐为 HSDP+USP4 的 1.39 倍且 HBM 仅 30%。MiniMax-H3 表明 DLO 模式依赖拓扑:DP1×SP8 宜用 AllGather,DP8×SP1 宜用 rank-local。但 400GB 外推未实测,最大块尺寸、带宽与输出质量在该规模仍未验证。

推荐收录:文章给出可复现的系统级设计,四项技术分别对应明确的内存/吞吐瓶颈,并附 Ascend 与 B300 实测数据及失败边界。对从事大模型推理基础设施、显存受限模型部署和分布式并发的工程师有直接迁移价值;需注意 400GB 外推未实测,拓扑结论限于单节点单输入集,不能直接当作通用生产结论。

工程实践QuestDB Engineering

Read QWP: QuestDB's own binary wire protocol for ingestion and queries

QuestDB 10.0引入新的二进制列式线协议QWP,用于替代ILP(文本摄取)和PGWire(行式查询)的组合。文章介绍了QWP的设计动机:性能差距(QWP摄取19M行/秒,ILP仅5.3M;查询结果回传220M行/秒)以及单一客户端同时支持读写、DataFrame和Arrow双向传输、内置故障转移的需求。QWP在线上传输类型化列而非行,SYMBOL列字典编码,客户端将批量数据零拷贝映射到Arrow缓冲,但可空列、位压缩时间戳和zstd压缩仍需额外处理。文章还详细说明了多主机故障转移机制(服务器通告角色和区域,客户端路由至主或副本)、存储转发队列(支持磁盘持久化和重放)以及至少一次语义,建议在表上声明DEDUP UPSERT KEYS。作者对比了ILP/PGWire/REST的使用场景,并指出QWP适合新项目和自己编写的客户端,第三方工具仍应使用既有兼容协议。

这是一篇来自QuestDB官方工程博客的技术文章,提供了QWP协议的完整设计细节和基准数据,包括性能对比、柱式格式、Arrow集成、故障转移和存储转发机制,内容有实质深度而非单纯宣传。适合数据库内核开发者、时序数据库用户以及需要设计高性能数据摄入/查询协议的系统工程师阅读。文章中的协议取舍、迁移路径和客户端行为规范具有可迁移价值,但需注意官方立场可能对性能数字偏乐观,读者应结合自身场景验证。

技术文章DuckDB Engineering Blog

A Preview of DuckDB v2.0

DuckDB v2.0预览文章由核心开发者撰写,概述了即将发布的重大版本的主要特性。文章首先介绍了DuckDB作为服务器的新模式,通过Quack协议和CONNECT语句实现客户端/服务器架构,支持远程查询生产数据库。随后重点讲解了VARIANT类型的深化应用,使其能高效处理半结构化数据,并配合一系列variant_*函数。文章还介绍了触发器、丰富SQL方言(如NEAREST连接、CTE内DML、嵌套schema等)、全引擎异步I/O、大量查询性能优化(如重写递归CTE、聚合下推、分区感知规划)、新存储格式、全新PEG解析器,以及用自研实现替代ICU库带来的体积和性能优势。最后强调了稳定C API和自定义扩展仓库,使扩展编写和分发更加便捷。文章以预览形式呈现,强调细节可能在正式发布前调整,并提到部分破坏性变更。

本文是DuckDB官方工程博客的权威技术预览,内容详实,包含具体代码示例、性能基准和设计动机,展示了嵌入式数据库向客户端/服务器模式演进的关键架构决策。适合数据库内核工程师、数据分析平台开发者和对查询引擎优化感兴趣的读者。文中关于异步I/O、存储格式演进和扩展稳定ABI的设计思想具有可迁移性,但需注意各功能为预览状态,正式发布可能调整。

工程实践Simon Willison

Qwen 3.8 27B is excellent, but it defaults to wildly overthinking things

文章基于一手实测,评估了开源视觉语言模型 Qwen 3.8 27B 在消费级硬件上的实际表现。作者发现其默认的 xhigh 推理级别会导致严重过度思考,简单任务也会消耗数分钟和大量上下文,因此建议默认使用低或关闭推理级别。在边界框检测测试中,该模型在 0-1000 尺度下给出了精确坐标,并展示了仅凭单条提示词构建完整标注工具的案例。作者还验证了其作为编码代理的能力,并配置 Pi 成功完成代码库问答和脚本生成。针对速度问题,文章测试了 llama.cpp 的 Multi-Token Prediction 优化,使生成速度提升约 72%,但整体仍受限于内存带宽。文章强调 17GB 量级模型即可实现长上下文、视觉、工具调用和代码生成,但当前性能仍不足以完全替代托管 API 模型。

本文基于作者在 MacBook Pro 和 DGX Spark 上的真实使用数据,提供了关于推理默认值、速度瓶颈和 MTP 加速的可复现经验。对希望部署本地大模型或进行推理调优的开发者来说,文中的边界框示例、编码代理配置和性能对比都有直接参考价值。需要注意文章针对特定模型版本,但关于 reasoning effort 影响和推理加速的结论可迁移到其他本地 LLM 场景。

技术文章Daniel Lemire

Go 1.27 will make some allocations cheaper

文章以Go语言的内存分配机制为背景,对比栈分配和堆分配的成本差异。堆分配需要回收管理,且Go中返回指针或逃逸变量时也会进入堆分配。Go的堆分配器按尺寸类(8字节、16字节等)取整,并带有额外开销。作者指出Go 1.27以前所有堆分配都走通用函数,1.27开始对小于80字节的小对象使用专用分配路径,以减少函数调用和尺寸类查找。基准测试显示,16字节且含指针的节点分配从9.5ns降至5.5ns,提速约1.8倍。文章同时说明该优化仅对大量小对象分配的程序有效,并非所有负载都能受益。

推荐收录。文章用可复现的基准测试直接量化了Go 1.27小幅优化带来的分配性能提升,并解释了栈/堆分配原理与尺寸类机制,内容深入且边界清晰。适合关注Go性能调优、运行时分配或做性能评测的开发者阅读;其“用小路径替换通用路径”的优化思路也可迁移到其他语言的性能设计。需注意结论限于小对象分配场景。

工程实践Daniel Stenberg

curl performance

本文是 curl 项目维护者 Daniel Stenberg 发布的博客,介绍为 curl 新建性能测试系统的过程和设计思路。作者从零开始搭建了一套自动构建与测试流程:每二十分钟通过 cron 触发脚本,自动更新代码、构建并运行多种性能测试,汇总后生成图表并发布到 curl 官网。文章详细说明了如何用 gnuplot 生成可视化、用箱线图展示数据分布,以及引入“stakes”阈值来识别性能回归,并尝试用 Mann-Kendall 趋势检测辅助分析。作者也坦诚地讨论了方案的局限:测试结果依赖特定本地硬件和环境,短期内更适合发现细微回归,长期数据需要重新设计。文中还展示了优化分配数与结构体大小之间的权衡实例。

推荐收录。文章呈现了一个真实开源项目从零搭建性能监控系统的完整工程案例,包含脚本化构建、数据可视化、回归阈值设定等可复现实践,且强调了“先做起来再完善”的务实思路。对于需要建立持续性能跟踪的开发者或维护者,文中关于测试环境、数据展示和权衡取舍的经验具有直接可迁移价值。

工程实践vLLM Blog

Adaptive Verification in vLLM: DSpark confidence-scheduled verification

该文介绍 vLLM 中基于 DSpark 置信度头的自适应推测解码验证机制。问题在于:固定 num_speculative_tokens(如 7)在低并发内存受限时收益高,但高并发下草稿 token 与真实 token 争抢算力,被拒 token 会浪费有效计算并拉低吞吐,且最优长度随负载变化无常量解。作者用 DSpark 置信头给出每个草稿位置的存活概率,将其转为全局 top-B 选择,B 由「每步期望产出 token / 单步耗时」最大化决定,并配合 varlen decode CUDA graph、启动期 profiled 成本表和单调化查表来降低决策开销。实测在 DeepSeek-V4-Pro-0813、8×B300 上,自适应验证使推测解码在并发 1 到 256 全程保持帕累托前沿,低并发表现为长草稿、高并发自动缩短。文末给出启用条件与限制:需 AttentionCGSupport.ALWAYS、不支持 --enforce-eager/LoRA/流水线并行,且开启后无法输出 logprobs。

推荐收录。它完整呈现了从现象(高位草稿接受率低于 10%)、成本模型、调度算法到 CUDA graph 与实测帕累托曲线的工程闭环,附可复现命令与明确限制。适合做 LLM 推理服务、吞吐优化的工程与研究者,其按负载动态分配验证预算、profiled 成本表驱动决策的思路可迁移到其他投机/批处理调度场景。

技术文章Phil Eaton - databases

Writing a SQL database from scratch in Go: 3. indexes

文章在 gosql 项目中扩展索引支持,涵盖 PRIMARY KEY 词法解析、红黑树索引创建、插入时索引维护和 SELECT 查询优化。作者使用 GoLLRB 红黑树存储索引项,通过识别 WHERE 条件中可应用索引的模式,先用索引预筛选行再执行过滤。文章分析当前查询计划仅支持 AND 连接和列与字面量比较,不能合并范围条件,且索引并非总是优于线性扫描。基准测试显示 100 万行插入时带索引内存和耗时增加,但等值查询从秒级降至微秒级,体现空间换时间的权衡。

推荐收录,因为文章通过写一个 Go 语言 SQL 数据库的索引模块,完整展示主键约束解析、红黑树索引构建、插入维护和查询预筛选的端到端实现,并给出有/无索引的实测性能对比。适合想理解数据库索引原理、查询规划和存储引擎实现的读者;其简化取舍与限制分析也可作为进一步阅读真实数据库文档与源码的入门桥梁。

技术文章Phil Eaton - databases

How do databases execute expressions?

文章调查了 Cockroach、ClickHouse、DuckDB、PostgreSQL、SQLite、MySQL/MariaDB、MongoDB、TiDB 等系统如何执行查询表达式。作者通过阅读核心源码并以控制流函数为判断依据,区分了树遍历解释器、栈/寄存器虚拟机和 JIT 编译三类实现。结论显示多数数据库仍采用树遍历解释器,PostgreSQL 与 SQLite 使用虚拟机,MongoDB SBE 为栈式虚拟机,部分系统支持 JIT;ClickHouse、DuckDB、TiDB、Cockroach 还采用向量化执行。文章认为向量化和 JIT 更契合列存分析负载,事务系统迁移到编译器架构的收益未必显著;局限是结论来自源码阅读,可能存在误判且缺少性能基准。

本文通过大量数据库源码调查,给出了表达式执行模型的一手判断,具有长期技术索引价值。适合数据库内核开发者、查询引擎研究者以及想理解解释器与虚拟机差异的读者。其源码判断方法可直接迁移到其他系统,但需注意结论为静态阅读而非基准验证。

工程实践Phil Eaton - databases

Go database driver overhead on insert-heavy workloads

文章针对 Go 语言中插入密集型数据库工作负载,对比 SQLite 和 PostgreSQL 的流行驱动与替代驱动的性能。作者使用统一基准:1000 万行、两种列数和数据大小,每个测试运行 10 次,记录中位数、标准差、最小/最大和吞吐量。结果表明,最流行的 SQLite 驱动 mattn/go-sqlite3 比作者维护的 gosqlite 慢约 20-40%;PostgreSQL 的 lib/pq 比 pgx(绕过 database/sql)慢约 44-76%,且 lib/pq 已停止开发。作者推测 database/sql 接口可能是开销来源之一,但未完全证明。对于小结果集查询,驱动间差异不大。结论是建议 Go 开发者在插入密集型场景中自行基准测试驱动,并优先考虑 pgx。

推荐收录,因为文章提供了可复现的、具体数据支撑的驱动性能对比,直接指导 Go 开发者在批量插入场景下的技术选型。文章不仅给出结论,还公开了基准测试方法和代码仓库,便于读者验证和扩展。适合后端工程师、数据库应用开发者参考,可迁移价值在于提醒性能敏感场景避免盲从默认驱动,且需关注 database/sql 接口的潜在开销。

技术文章Phil Eaton - databases

An intuition for distributed consensus in OLTP systems

文章旨在建立对OLTP系统中分布式共识(尤其是Raft算法)的直觉。作者先解释Raft的基本机制:领导者选举、日志复制、提交和跟随者追赶,然后阐明分布式共识通过副本提供高可用和线性一致性,同时强调其本身并不提供水平扩展,水平扩展需通过分片实现。文章讨论了添加节点对延迟和可用性的权衡,并列举了实际优化技术,包括快照、批处理、磁盘/网络优化和灵活法定人数。此外还涉及安全与测试方法,如Jepsen、确定性测试和TLA+规格验证。最后指出共识开销大,应根据一致性需求选择合适方案。文章主要适用于OLTP系统,未深入非OLTP共识算法或具体实现细节。

推荐收录,因为文章用简洁直观的方式梳理了Raft在OLTP系统中的运作机制,并纠正了分布式共识常被误解为水平扩展的问题。作者从线性一致性、可用性、节点扩展、优化和测试等多个角度展开,既有理论直觉也有工程实践视角,适合分布式系统初学者和数据库工程师建立基础框架,同时为进阶读者提供了丰富的进一步阅读线索。

工程实践LinkedIn Engineering - Architecture

How we reduced latency and cost-to-serve by merging two systems

本文介绍 LinkedIn 将身份服务中的 midtier 和 data service 两层合并为一个服务的实践。原架构中 data service 仅提供数据验证和 Espresso 存储访问,业务逻辑薄弱但维护成本高,且增加网络跳数。团队在保持对外 API 不变的前提下,先将 data service 的 REST API 作为本地库嵌入 midtier,随后通过 T-REX 框架逐步灰度、下线旧服务并清理技术债。性能测试使用 Dark Canary 复制生产流量对比,结果显示 p50、p90、p99 延迟分别降低 14%、6.9%、9.6%,内存分配率下降 28.6%。最终下线整个 data service 集群,节省超过 12000 核和 13000GB 内存。文章强调这是针对特定场景的权衡,并非所有微服务都应合并。

推荐收录,因为文章提供了完整的工程案例:从问题动机、架构决策、灰度实施到性能验证,数据详实。直接证据包括 p50/p90/p99 延迟改善、内存分配下降和资源节省。适合关注微服务粒度、性能优化和成本控制的架构师与后端工程师。可迁移价值在于展示了当数据服务逻辑薄弱时合并服务的考量方法,以及利用灰度发布和流量镜像降低高风险变更的实践。

工程实践LinkedIn Engineering - Scalability

How LIquid Connects Everything So Our Members Can Do Anything

本文介绍 LinkedIn 自研图数据库 LIquid 如何支撑其经济图谱(2700 亿条边、200 万 QPS)的实时访问。文章以 People You May Know 功能为例,说明从遗留系统 GAIA 迁移到 LIquid 的架构:用声明式 Datalog 查询做图遍历,再由 Venice 和 Pinot 提供特征与排序。迁移后 QPS 从 120 提升到 18000,延迟降到平均 50ms 以下,CPU 降低 3 倍以上,并支持更细粒度、可解释的推荐和快速 A/B 实验。作者也指出当前同质化架构在数据规模扩大时的低效问题,以及未来分层存储与工作负载优化的方向。

文章以真实生产系统为例,提供了从离线批量到实时图查询的完整迁移路径和可量化性能结果,证据具体、架构清晰。适合关注大规模图数据库、实时推荐或高并发基础设施的工程师借鉴,其关于声明式查询、索引优化和成本控制的方法具有跨团队可迁移价值。

工程实践LinkedIn Engineering - Scalability

Revenue Attribution Report: how we used homomorphic encryption...

本文介绍 LinkedIn 收入归因报告系统如何用加法对称同态加密(ASHE)替代逐行 AES 解密。原系统每次查询都从 Pinot 拉取全部相关记录、解密敏感列后在明文上聚合,导致网络和 CPU 开销大且暴露明文。新方案把 ASHE 加密列和标识符一起存入 Pinot,将聚合下推到存储层,利用 Pinot 内建聚合与 ArrayAgg 拼接标识符,API 服务器仅对每列聚合结果做一次解密。对于按敏感状态分组的查询,还结合确定性加密防止频率攻击。实际效果显示网络响应从 2MB 降至约 5KB(降幅 99%),CPU 尖峰缓解,端到端时延基本持平。方案适用于数据所有者与查询方为同一实体的场景,依赖支持聚合下推的 OLAP 存储。

推荐收录。文章提供了真实系统中同态加密落地的完整工程案例,包含原方案瓶颈、ASHE 原理、Pinot 集成细节、扩展方案和量化性能对比,证据充分。对需要隐私保护分析、加密数据聚合或优化 OLAP 查询的工程师有直接迁移价值,尤其展示了如何将密码学原语与存储层能力结合。

工程实践LinkedIn Engineering - Architecture

Open Sourcing iris-message-processor

文章介绍了 LinkedIn 开源的新组件 iris-message-processor,用于替换原有 Iris 事件管理系统中单 leader 的 Python 子进程 iris-sender。旧架构串行处理消息、依赖 Galera 强一致数据库作为消息队列,在高负载下出现延迟激增和复制死锁。新服务用 Go 编写,采用分布式 bucket 动态分配,节点可水平扩展,数据库不再充当队列。压测显示高负载下性能提升约 86 倍,6000 条突发消息处理时间从近 30 分钟降至 10 秒内,节点失效后 30 秒内自动重平衡。该组件已生产运行一年无中断,并与现有 Iris-api 保持兼容,支持渐进式切换。

推荐收录,因为文章提供了从单点瓶颈到分布式架构的完整演进案例,包含明确的问题定位、设计取舍、压测数据和生产验证。对负责高吞吐消息处理、事件驱动系统或 on-call 基础设施的工程师有直接参考价值,特别是水平扩展、去数据库队列和渐进式上线策略可迁移到类似场景。

工程实践LinkedIn Engineering - Scalability

Accelerating LinkedIn’s My Network tab by reducing latency and...

文章复盘了LinkedIn My Network页面加载缓慢和内容跳动的问题,旧架构中移动端与Web端并行请求多个API,独立渲染不同推荐区块,导致首屏等待近两秒并出现UI闪烁。作者团队将多端点统一为单一API并引入分页,把无限滚动的PYMK拆成多个小cohort,预构建后放入缓存,后续按页获取;同时采用渲染模型,由API定义通用banner和内容容器,减少客户端业务逻辑。优化后P90延迟下降43%,成本节省七位数,Web端LCP和FID显著改善,会员参与度提升。文章未深入讨论缓存一致性、失败处理和更复杂个性化场景,但提供了可工程迁移的架构权衡。

推荐收录,因为文章给出了完整的性能优化工程案例:从多端点并行到统一API、分页和预构建缓存,再通过渲染模型简化客户端,并用量化指标验证收益。适合后端、前端及系统设计工程师参考,其中缓存设计、API收敛和渲染模型解耦的思路可直接迁移到类似推荐流或内容聚合页面的优化中。

工程实践LinkedIn Engineering - Scalability

FishDB: a generic retrieval engine for scaling LinkedIn’s feed

文章介绍了 LinkedIn 用 Rust 构建的通用检索引擎 FishDB,替换了运行近十年的 Java 系统 FollowFeed。文章首先分析了旧系统的局限:Java 对象内存开销大、GC 导致高尾延迟、数据模型僵化且业务逻辑耦合,限制了推荐系统的扩展和迭代。随后解释了选择 Rust 的原因,并通过对比实验展示 Rust 在内存效率上的显著优势。FishDB 采用 scatter-gather 架构和 lambda 架构,提供了灵活的命令式查询语言和多种索引结构,包括倒排索引、前向索引、引用索引和基于 RocksDB 的属性存储,以支持图状数据模型和高效过滤排序。迁移采用分层渐进方式,通过 JNI 桥接保持 API 不变,实现了零中断切换,最终取得 2 倍效率、减少 50% 硬件、p99 延迟 40ms 的成果,并将实验周期从数周缩短到数天。文章也指出当前查询语言仍为命令式,未来计划引入声明式语言和向量搜索。

本文是一份高度完整的工程案例,从问题诊断、技术选型、系统架构、索引设计到灰度迁移提供了详实细节和量化结果,展示了如何用内存安全的高性能语言重构大规模检索基础设施。适合负责推荐系统、搜索引擎、分布式存储或性能优化的工程师阅读,可迁移的经验包括内存数据结构设计、Rust 在服务端的应用模式、分层迁移策略以及如何平衡灵活性与性能。

工程实践LinkedIn Engineering - Scalability

Turbocharging LinkedIn’s Recommendation Systems with SGLang

文章详细介绍了 LinkedIn 如何集成 SGLang 来优化其基于 LLM 的推荐系统,重点解决长输入短输出场景下的推理延迟问题。作者提出了多项目评分(MIS)方法,通过自定义注意力掩码复用成员前缀,将单个请求的延迟降低 69%,并进一步通过 FA3 内核和逐 token FP8 量化获得额外加速。此外,文章还介绍了 Knock-Knock 技术,利用预取成员上下文 KV 缓存并与项目检索并行,将整体延迟从 520ms 降低到 200ms。文中包含具体性能数据和开源贡献,展示了从内核到系统层面的优化路径。

文章展示了 LinkedIn 在真实生产环境中优化推荐系统推理的完整工程案例,提供了多项目评分、FP8 精细量化、延迟隐藏等可复用的技术方案和量化指标。适合从事推荐系统、LLM 推理优化和基础设施建设的工程师参考,其从内核到系统的优化顺序和取舍思路可迁移至类似长上下文低延迟场景。

工程实践LinkedIn Engineering - Scalability

Scaling maintenance: Rethinking HDFS block placement for exaby...

文章介绍了LinkedIn在管理约5EB数据和100亿对象的HDFS集群时,如何通过重新设计块放置策略来加速维护操作。默认BPP在维护时会导致大量数据复制和网络拥塞,而采用升级域BPP并定义20个升级域,将同一机架节点归入同一升级域,可以消除维护时的数据复制需求。文章详细描述了对3+EB存量数据进行分批再分布的过程,以及发现开源升级域BPP的写性能问题并开发新BPP排除已选升级域节点的改进。最终实现了每天升级约4.5%节点,显著提升了可靠性和安全性。

推荐收录,因为文章提供了真实超大规模HDFS集群维护中的完整工程案例,包含问题定义、架构取舍、数据迁移方案和性能优化细节,证据充分。适合负责分布式存储、大规模基础设施或HDFS运维的读者参考,其中升级域划分、利用维护模式减少复制和分批迁移的策略可直接迁移到类似系统。

工程实践SelectDB 技术分享

97% 召回率、900 QPS:Apache Doris 4.1 生产级向量检索的工程实践 针对大模型应用中专用向量库成本高、混合查询难的痛点,本文深入拆解 Apache Doris 4.1 原生...

文章针对大模型应用中专用向量库成本高、混合查询难的问题,深入剖析 Apache Doris 4.1 原生向量检索的工程设计。作者先比较专用向量数据库、关系型数据库扩展和分析型数据库原生支持三条路径,论证原生集成路线的优势。随后详细阐述 IVF 索引降低内存、IVF_ON_DISK 冷热分层、SQ/PQ 量化压缩以及 ANN Index Only Scan 优化查询性能的具体实现和 DDL 示例。文章还演示了结构化过滤联合查询与基于 RRF 的多路召回融合在 SQL 中的落地方式,并给出 VectorDBBench 基准数据。测试表明该方案在 100 万 768 维向量上取得 900 QPS、97% 召回率,构建速度最快,形成成本与性能的均衡。不过文中基准硬件规格不一,实际部署需根据工作负载进行验证。

推荐收录,因为文章不是简单的功能罗列,而是系统拆解了 Doris 4.1 向量检索的工程实现,包括 IVF 降本、磁盘索引、量化压缩、Index Only Scan 等关键设计,并提供了混合检索的 SQL 实现和基准数据。适合数据库内核、AI 基础设施和 RAG 系统开发者参考,其存储分层、覆盖索引和融合排序思路可迁移到其他 OLAP 或向量检索场景。需注意部分内容来自厂商,基准配置存在差异,应结合自身负载验证。

工程实践SelectDB 技术分享

时间序列近邻关联性能实测:Doris ASOF JOIN 领先 ClickHouse、DuckDB Doris 在 4.0.5 和 4.1.0 版本引入的 ASOF JOIN,把时间序列近邻关联做成一个能在大规模、...

文章对 Apache Doris 4.0.5/4.1.0 引入的 ASOF JOIN 进行系统性能实测,该功能面向时间序列近邻关联,可在按业务键分组后找到不晚于左侧记录的最近右侧记录,适用于交易行情补全、事件归因等场景。测试设计覆盖大小表组合、1 亿行对 1 亿行、不同 NDV、长序列、短序列、乱序存储和过滤条件等六大类典型场景,并与 ClickHouse、DuckDB 在相同硬件和并发参数下对比。结果显示 Doris 在绝大多数用例中显著领先,例如大小表 JOIN 低至 0.15-0.38 秒,1 亿对 1 亿约 0.97-1.13 秒,短序列和乱序场景优势更明显。文章强调该实现具有低延迟和高稳定性,适合大规模、复杂分布的真实业务。需注意内容来自 SelectDB 官方技术团队,测试带有厂商视角,但其测试设计和场景覆盖可作为数据库选型与性能评估参考。

推荐收录,因为文章提供了 ASOF JOIN 系统化的性能基准测试,从测试设计、环境配置到多维度场景结果均有详细说明,对需要处理时间序列近邻关联的数据库工程师和架构师有直接参考价值。其可迁移价值在于展示了如何设计覆盖真实业务复杂度的数据库功能基准测试,但需注意来源为厂商官方,数据结论应结合独立验证或实际业务场景再判断。

工程实践SelectDB 技术分享

秒级弹性、最高降本 70%:SelectDB Serverless 如何重塑云数仓资源效率 阿里云 SelectDB Serverless 可实现资源按需供给与按使用量计费,在负载高峰时补齐资源,...

文章讨论云数仓资源管理中长期存在的矛盾:业务负载波动大,固定规格资源常按峰值锁定,导致平均利用率低;传统存算分离架构弹性慢,扩容伴随缓存预热和数据重分布,容易引发查询延迟抖动。作者提出 SelectDB Serverless 的解决方案,通过计算、缓存、存储三层独立解耦,支持秒级原地纵向伸缩,单集群最高16倍弹性区间,并采用“扩快缩慢”策略——CPU 5秒均值或内存瞬时利用率超过60%触发扩容,CPU与内存同时低于30%且持续1分钟才渐进缩容,同时引入AI辅助决策。文章还给出选型参考:峰谷特征明显、可释放计算资源超过28%时Serverless才具成本优势;纵向弹性有16倍边界,极端场景需横向伸缩约3分钟。内容主要基于产品设计与机制说明,缺少独立用户验证数据。

推荐收录,因为它不只是产品宣传,而是提供了具体的弹性架构设计:三层资源解耦、扩缩容触发阈值、原地纵向伸缩机制和选型成本阈值,对云数仓、Serverless 或弹性架构设计的读者有直接参考价值。可迁移的是“扩快缩慢”的弹性策略和计算/缓存/存储解耦思路;需注意其厂商视角,部分性能数据未经独立验证。

技术文章SelectDB 技术分享

Apache Doris 在 AgentLogsBench 中领先,支撑 Agent 可观测性生产负载 Agent 可观测性需要一种能够统一承载多种访问模式的新型系统能力 Apache Doris可观测性与...

文章分析了 AI Agent 生产环境中可观测性负载的新特点:文本主体大且无结构、关键字段高度动态、trace 有序嵌套、看板需与持续写入并存。作者指出传统搜索、OLAP、文档库难以单独胜任,需要统一混合负载数据系统。AgentLogsBench 用单表 1 亿行 observation 数据评测六种引擎,覆盖 trace 回放、短语搜索、动态 JSON 过滤和实时聚合。结果显示 Apache Doris 综合 slowdown 1.28 领先,hot/cold 均第一,但在长文本 cold phrase search 上仍落后 Elasticsearch。文章解释了 Doris 领先原因包括倒排索引、VARIANT 子列、按 trace_id 分布与排序键、分区裁剪和缓存机制。该文可作为选型或理解混合负载数据系统的参考,但数据来自合成 benchmark,结果需结合实际验证。

推荐收录,因为文章不是空泛宣传,而是给出了 Agent 可观测性基准的具体设计、完整查询负载和跨系统实测数据,并逐项解释 Doris 架构优化如何影响性能。适合从事可观测性、OLAP 或 AI 平台基础设施的读者,用于理解混合负载系统选型与优化。可迁移价值在于把文本搜索、动态 JSON、trace 回放和实时聚合放在同一存储上权衡;主要风险是来自 SelectDB 官方且数据为合成,需结合其他评测交叉验证。

工程实践SelectDB 技术分享

Apache Doris 倒排索引工作原理:全文检索提速 59 倍,点查提速 14 倍 我们基于开源分析型数据库 Apache Doris,针对包含 1.35 亿条数据的亚马逊评论数据集进行...

文章介绍 Apache Doris 内置倒排索引解决 OLAP 稀疏扫描问题的技术机制与实测效果。针对传统 OLAP 依赖列存、排序和 Zone Maps 在稀疏查询下全表扫描的局限,文章详细解析了三种索引结构:字符串精确匹配用 Posting List,数值范围过滤用 BKD 树,非结构化文本检索用分词器结合倒排列表。在 1.35 亿条亚马逊评论数据集上,50 并发测试显示全文检索提速 59 倍,按 ID 点查提速 156 倍,多维组合查询提速 10 倍。同时评估了资源开销:新增 7 个索引后存储从 26GB 增至 47GB,写入耗时增加约 6%,主要来自大文本列。结论认为 OLAP 内置倒排索引可简化 Elasticsearch+OLAP 双引擎架构,但应根据查询特征选择性建索引以控制成本。

推荐收录,因为文章基于 1.35 亿条真实数据给出可复现的建表、索引和查询测试,定量对比了性能提升与存储/写入开销。适合数据库内核开发者、 OLAP 架构师和数据平台团队参考,其倒排索引设计思路可迁移到类似分析型系统或评估 Elasticsearch 替代方案。需要注意的是测试仅基于单节点和特定数据集,索引列选择需按业务权衡。

技术文章SelectDB 技术分享

宽表元数据膨胀怎么解?Doris Segment V3 对比 Parquet、Lance 要让查询真正只为目标列付出元数据成本,思路无非有三种:让 Footer 更容易定位,把重型列元数据...

文章围绕宽表场景下 Footer 元数据膨胀问题展开,对比 Parquet、Lance 与 Doris Segment V3 的解决思路。作者首先指出列式存储中 Footer 会随列数和 Row Group 增长,在数千列、复杂 JSON/Variant 子列时可达数 MB 甚至数十 MB,拖慢查询启动与元数据解析。随后分析三种格式的约束:Parquet 受生态兼容限制,通过 FlatBuffer 随机访问、裁剪冗余和兼容扩展降低开销;Lance 从文件结构重设计,将列元数据独立存储并放弃传统 Row Group;Doris 则在保留 OLAP 能力前提下,将每列 ColumnMetaPB 外置到独立 Column Meta Region(CMR),并在 Footer 中仅保留轻量目录,同时为 Variant 增加路径索引。性能测试显示极端宽表下 Segment 打开时间从 65 秒降至 4 秒,内存从 60 GB 降至不足 1 GB。适用边界是数千列宽表、复杂 Variant 和大量 Segment 场景,窄表收益有限。

推荐收录,因为文章对列式存储元数据膨胀问题提供了清晰的问题拆解和三种主流格式的取舍对比,并详细说明了 Doris Segment V3 的 CMR 外置、Variant 路径索引以及性能验证数据。适合数据库内核、存储引擎、数据仓库以及对宽表/半结构化数据查询优化感兴趣的工程师阅读。可迁移价值在于理解文件格式设计中的兼容性、功能完整性与查询性能之间的权衡;主要风险是内容带有 Apache Doris 厂商视角,但对 Parquet 和 Lance 的分析仍较客观。

技术文章SelectDB 技术分享

Agent 场景动态 JSON 性能拆解:Apache Doris 比 ClickHouse 快 7 倍、比 Elasticsearch 快 2 倍 为什么同样都支持 JSON,不同数据库在 Agent 日志场景下的性能...

文章围绕 Agent 日志中动态 JSON payload 的性能挑战展开,基于 AgentLogsBench 基准测试对比了 Apache Doris、ClickHouse、Elasticsearch/OpenSearch 和 DuckDB/Parquet Variant。作者剖析了 Doris VARIANT 将常用 JSON Path 转化为列式 subcolumns 的机制,并通过高频路径列式化、低频路径 sparse columns 和 Storage Format V3 来优化宽 JSON 查询。测试显示 Doris 在动态字段聚合、rollup 和低基数过滤上延迟优势明显,平均比 ClickHouse 快 7.4 倍,比 Elasticsearch 快 2.4 倍,存储占用接近 ClickHouse 且远低于 Elasticsearch。文章还分析了其他系统的取舍,如 Elasticsearch 搜索强但动态聚合成本高、ClickHouse 压缩好但长尾路径查询慢、DuckDB/Parquet Variant 开放格式强但在线分析不足。结论指出,将动态 JSON 纳入列式存储、索引和向量化执行链路是决定搜索后分析体验的关键。边界在于结果来自厂商基准,可能带有一定倾向性,但技术原理和权衡分析具有参考价值。

推荐收录。文章不仅给出了性能对比数据,还深入解释了 Doris VARIANT 的 subcolumnization、Storage Format V3 机制,并对比了 ClickHouse、Elasticsearch、DuckDB/Parquet Variant 的架构取舍,技术细节和可迁移性强。适合数据库内核、OLAP、可观测性和大数据工程师理解动态 JSON 在不同系统中的处理方式,为 Agent 日志分析、技术选型和优化提供依据。尽管来自商业公司,但内容以基准和原理为主,推广成分较低,长期参考价值较高。

技术文章SelectDB 技术分享

Apache Doris Python UDF:让 SQL 直接调用 Python 生态,支撑 Agent 时代复杂业务逻辑 Doris Python UDF 提供的不只是一个函数扩展机制,而是一条连接 Doris 高...

文章系统介绍 Apache Doris 的 Python UDF 功能,旨在让 SQL 直接调用 Python 生态以应对 AI 和实时分析中日益复杂的业务逻辑。核心方法是通过 Arrow RecordBatch 批量传输数据到独立 Python Server 执行,并支持 Pandas Series 向量化计算,减少跨语言和跨进程开销。Doris Python UDF 完整支持标量 UDF、UDAF 和 UDTF,提供内联与 ZIP 模块化加载方式,并内置进程隔离、复用和自愈机制以保证生产环境稳定性。文中给出支付风险分级和金额分桶等示例,展示在数据不离开分析链路的情况下完成规则判断、特征加工和模型打分。该能力已在 SelectDB 商业化产品中提供,适合需要将 Python 逻辑嵌入实时分析查询的场景,但部署前需在所有 BE 节点配置 Python 环境并安装 pandas/pyarrow。

本文对 Doris Python UDF 的设计机制、使用方式和生产化保障做了完整阐述,包含 Arrow 批量执行、向量化优化和故障恢复等关键细节,而非泛泛介绍。适合数据库内核开发者、数据工程师和需要在 SQL 引擎中集成 Python 生态的读者,可迁移到其他分析型数据库的扩展机制设计,帮助理解如何平衡灵活性、性能与可运维性。

技术文章SelectDB 技术分享

Apache Doris 4.1 Spill to Disk:避免运行内存密集型查询发生 OOM Apache Doris 4.1 的 Spill to Disk 是一套深度融合了内存预留、智能调度、压力感知的现代化...

文章系统解析了 Apache Doris 4.1 的 Spill to Disk 机制,用于避免哈希关联、聚合、排序等内存密集型查询触发 OOM。核心增强包括核心算子全覆盖、递归重分区应对数据倾斜,以及基于内存压力感知的主动落盘触发。文章详细说明了由控制层、算子层、基础设施层和内存管理层组成的统一架构,以及预留、暂停、落盘、恢复四阶段流程。针对 Hash Join、Aggregation、Sort 分别给出了化整为零、临时状态落盘和外部归并排序的具体实现策略。基准测试显示,在单 BE 16GB 内存下运行 TPC-DS 10TB 查询,复杂查询全部完成且内存被控制在 8GB 以内,部分场景落盘数据量超过 1000GB,验证了以磁盘 I/O 换取内存空间的可行性。当前 Intersect/Except 算子暂不支持直接 Spill,需要通过等价 Join 改写。

推荐收录,因为文章不仅介绍功能,还深入解释了内存压力感知、算子级落盘策略和统一架构设计,并给出了可验证的基准测试数据。对从事数据库内核开发、性能调优或超大规模分析查询的读者具有直接参考价值,其“预留-暂停-落盘-恢复”的资源控制方法和外部归并排序等思路也可迁移到其他内存受限的查询引擎中。

技术文章pganalyze Blog

Postgres in Production Special Series: Diagnosing High Cardinality Workloads in pg_stat_statements (Part 6)

本文是 pg_stat_statements 深度系列第六篇,聚焦高基数查询负载的诊断。作者将高基数定义为工作负载持续产生的唯一归一化查询数超过 pg_stat_statements.max 容量,导致扩展无法保留调优所需指标。文章指出唯一查询主要来自 ORM、动态 SQL、即席报表、AI 辅助工具以及 Postgres 17 及以下的变长 IN 列表。通过 Bluebox 演示,相同负载在 Postgres 17 产生 671 条唯一语句,Postgres 18 仅 120 条,验证了 IN 列表归一化的效果。文章给出五项诊断检查:了解 max 设置、观察重置后回填速度、监控释放计数器、查找缺失查询、观察 top 查询变化;并建议调整设置、升级到 Postgres 18、与开发团队协作。边界是演示基于特定工具,经验性建议需结合具体环境。

推荐收录。文章提供了可操作的五项诊断检查(如观察 pg_stat_statements_info 释放计数器、重置后回填速度),并给出 Postgres 17 与 18 的量化对比(671 vs 120 条唯一语句),帮助 DBA 和 SRE 判断监控数据是否因高基数负载而丢失。适合 PostgreSQL 运维、性能调优和可观测性建设场景,其诊断思路和工具来源分析可迁移到其他数据库监控实践。风险在于内容源于厂商博客且为经验总结,需结合自身负载验证。

工程实践JuiceFS 工程技术

GPFS vs. Alluxio vs. JuiceFS: Architecture and Use Cases Compared

本文系统比较了GPFS、Alluxio和JuiceFS三种存储系统在AI工作负载下的架构与适用场景。作者首先梳理了自动驾驶、LLM训练、多模态、计算平台、量化金融和AI代理等场景的I/O特征与存储挑战。随后深入分析GPFS的元节点和分布式令牌锁机制,说明其强一致性与高性能依赖稳定网络和硬件,运维复杂;JuiceFS采用元数据与数据分离架构,结合对象存储实现弹性和成本优势。性能测试显示GPFS在高并发随机读写和顺序写方面领先,JuiceFS在低深度随机读和写回缓存下有竞争力。对Alluxio与JuiceFS的比较则突出透明缓存层与完整文件系统的定位差异。文章来自JuiceFS官方,存在厂商视角,但提供了具体测试数据和架构权衡,适合存储选型参考。

推荐收录,因为文章详细对比三种主流AI存储系统,包含具体性能测试数据和架构机制解析,而非单纯产品宣传。适合从事AI基础设施、存储选型、分布式系统设计的工程师和架构师参考。可迁移价值在于提供了评估存储系统的维度:I/O模式、一致性、缓存策略、成本与运维;主要风险是厂商立场可能对自家产品有所偏重,阅读时需结合独立评估。

工程实践Max Bernstein

Another partial SSI trick with canonicalize

本文介绍了一种在编译器中间表示(IR)中实现 canonicalize 传递的方法,用于通过类型保护重写合并冗余的 GuardType 指令。作者首先描述了一个块局部的版本,该版本在每个基本块内重映射操作数,使后续的常量折叠能消除多余的检查。随后,作者基于支配树实现了全局版本,通过在支配树中沿支配者向下级联重写来扩大优化范围,并讨论了慢速但易于验证的实现策略。文章进一步扩展该传递,当块是条件分支的目标时,在 rewrite_map 中预先填入条件变量的真假常量,使分支体得以了解其条件值,从而简化 30k_ifelse 等基准中的分支链。作者还提到该传递可能需要常量驻留来保证幂等性,并说明了其依赖 SSA 最小化传递的效果。文章以具体代码和 PR 为证据,展示了编译器优化开发中的工程取舍与实证验证。

推荐收录,因为文章详细记录了一个现实编译器中的优化实现过程,既有算法伪代码,又有对支配树、SSA 形式、常量驻留等底层概念的透彻解释。编译器开发者或编程语言研究者可以从中学习如何设计传递以利用支配关系传播类型信息,以及如何在正确性和性能之间做工程取舍。文中所探讨的块局部与全局重写级联技术,以及条件分支信息播种方法,均具有较强的可迁移性。

工程实践ClickHouse Engineering

What's new in pg_clickhouse v0.10.0: Subqueries, TPC-H Speedups, C Driver, and Aggregates

文章介绍 pg_clickhouse v0.10.0 的更新,重点是扩大 PostgreSQL 查询向 ClickHouse 下推的范围。作者以 TPC-H 为度量,将完全下推的查询从 22 条中的 12 条提升到 16 条;Q17 从 32.7 秒降至 37 毫秒,并快于原生 PostgreSQL 的 2.1 秒。技术核心是把相关子查询与 NOT IN 下推为半连接/反连接,同时用额外空值守卫弥合 PostgreSQL 三值逻辑与 ClickHouse 二值逻辑在 NULL 上的语义差异。工程侧还改用 clickhouse-c 重写 C 驱动,统一 HTTP 与二进制 Native 协议,修复并发扫描连接冲突,并扩展统计聚合、有序集聚合和分区聚合下推。文章明确仍剩 6 条 TPC-H 查询未下推,受限于 join tree 两侧遍历,且相关子查询要求 ClickHouse 25.8 以上,否则回退本地执行。

推荐收录:文章不仅列出 pg_clickhouse 新功能,还给出可验证的 TPC-H 性能改进(Q17 32.7s→37ms)、三值/二值逻辑差异导致的正确性陷阱及守卫实现,以及驱动层从 C++ 到 C 的架构权衡和并发修复。对使用 PostgreSQL FDW、构建异构数据库查询下推、OLAP 加速或数据库扩展开发的工程师具有直接参考价值,其语义兼容性验证思路可迁移到其他数据源集成场景。

技术文章NVIDIA Technical Blog

NVIDIA Nemotron 3.5 Lightning Delivers Fast, Accurate Specialized Task Execution for Long-Running Agents

NVIDIA 发布 Nemotron 3.5 Lightning,一个 30B 参数的 Mixture-of-Experts 模型,仅激活 3B 参数,专为长期运行 AI 代理的高频执行层设计。文章阐述了为何代理架构中需要专用执行模型以替代昂贵的前沿推理模型,并详细介绍了模型架构、基于 Llama-Nemotron-Nano-8B-v1 的微调方法、高级知识蒸馏技术、学习率调度等训练细节。在 BFCL v3、Berkeley Function Calling Leaderboard 等基准上的评估显示,该模型在工具调用、指令遵循等任务上达到高精度且保持低延迟。文章还指出了模型的开源策略、适用场景(如工具调用、结果验证、子代理委派)以及与其他模型的性能对比。不足之处在于未深入探讨长上下文推理或复杂思维链场景的局限性。

推荐收录,因为文章不是单纯的产品公告,而是提供了明确的模型设计动机、架构选择、训练策略和可复现的基准评估,对 AI 代理工程化实践具有直接参考价值。适合关注 LLM 推理优化、代理架构设计或函数调用性能的开发者,其中的蒸馏思路和评估基准选择可迁移到类似系统设计中。

工程实践PlanetScale Blog

The dangers of Postgres subtransactions

文章深入分析PostgreSQL子事务缓存溢出机制及其双重危害:当单个事务累积超过PGPROC_MAX_CACHED_SUBXIDS(默认64)个子事务时,快照标记溢出,迫使所有查询走pg_subtrans SLRU查找,导致集群吞吐量骤降;同时在构建新只读副本时,溢出的RUNNING_XACTS记录使副本无法获取完整活动事务快照,长期无法启用热备模式。作者通过WAL解码、基准测试和火焰图验证了性能退化路径,并给出事务超时监控、pg_stat_slru跟踪等检测与缓解方法。指出重建PostgreSQL或等待CSN快照补丁合并是根本性方向,但当前需依赖运维手段降低风险。

推荐收录,因为文章不仅解释了子事务缓存溢出的原理,还提供了可复现的基准测试和火焰图分析,并展示了从现象到机制、从监控到缓解的完整工程路径。对于PostgreSQL数据库管理员、后端开发者及高可用架构师,本文能够帮助他们识别和规避这类集群级性能悬崖,其故障排查思路和监控设计也可以迁移到其他数据库系统的类似内部机制问题中。

技术文章NVIDIA Technical Blog

Run Local Agentic AI Workflows with Meta’s Muse Glimmer on NVIDIA

文章介绍了Meta开源的Muse Glimmer模型,这是一个30B参数的密集模型,拥有120K+上下文窗口,专为本地AI代理工作流设计。通过NVIDIA的优化,该模型可在边缘、桌面和工作站等GPU平台上高效运行,单GPU推理速度可达20K tokens/sec。文章详细说明了模型在本地运行时的优势,包括数据隐私保护、低延迟以及始终在线的能力,并展示了其在复杂代理任务中的表现。内容侧重于技术部署和性能基准,为开发者在本地构建和运行代理AI提供了实践指导。适用边界主要在于依赖NVIDIA GPU生态,且模型尺寸对硬件资源有较高要求。

推荐收录,因为文章不仅提供新模型的关键技术特性,还给出了在NVIDIA平台上的具体性能数据和部署方法,为需要本地运行大模型代理的工程师提供了可参考的优化路径。适合关注隐私、低延迟和边缘AI的开发者和研究者,其性能基准和硬件适配经验对类似场景具有直接迁移价值。

技术文章Thomas Schatzl

JDK 27 G1/Parallel/Serial GC changes

本文由 HotSpot GC 开发者撰写,综述了 JDK 27 中停止-世界(STW)收集器(G1、Parallel、Serial)的变更。最重要的变化是 JEP 523 使 G1 在所有环境中都成为默认垃圾收集器,彻底取代了 Serial GC 在某些场景下的默认地位。文中详解了 G1 的堆大小调整逻辑修正(不再受 Min/MaxHeapFreeRatio 影响)、自适应并发标记改进、大对象回收与弱引用交互的 bug 修复。Parallel GC 获得了自适应年龄阈值双向调整和堆扩容修复。还提及了 TLAB 大小优化和字符串去重增强。文章内容聚焦于特定 JDK 版本,不涉及 ZGC 等并发收集器,但提供了来自核心实现者的直接解读。

推荐收录,因为文章来自 OpenJDK 长期 GC 贡献者的一手总结,系统梳理了 JDK 27 中 G1 和 Parallel GC 的关键行为变更、现有缺陷修正及设计动机,引用特定 bug ID 并提供背景解释。对于需要升级 JDK、调试 GC 问题或调优 JVM 的性能工程师和后端开发者,这些细节可直接指导实践,避免性能回退,并理解默认开关背后的工程考量。

工程实践Andy Atkinson

Adding and Removing Big Indexes in PostgreSQL

文章介绍了在 PostgreSQL 大型表上安全添加和删除大索引的完整操作方案。针对创建索引可能持续数小时且需与线上查询并发执行的场景,作者详细说明了使用 CONCURRENTLY 选项避免写操作阻塞、设置 lock_timeout 和 statement_timeout 保护、在 screen/tmux 后台运行、通过特殊查询监控多阶段进度(扫描堆、排序元组、加载元组等)以及调整 maintenance_work_mem 和 max_parallel_maintenance_workers 优化资源的具体方法;同时提供了失败后清理 invalid 索引和处理唯一性限制的注意事项,并给出了最终可直接执行的命令模板。文中基于真实操作给出了各阶段耗时(总计约 6 小时)和性能特征,但方案仅适用于非分区表,且要求手动监控和串行执行并发构建。

推荐收录,因为它不是简单的语法介绍,而是生产环境中管理大表索引的实战手册,包含锁定超时、语句超时、并行度设置、进度监控查询等可复用的工程实践。适合数据库管理员、PostgreSQL 运维人员和后端工程师参考,文中的参数调整思路和阶段监控方法可直接迁移到其他长时 DDL 操作的安全执行中。

技术文章Daniel Lemire

Profile-guided optimization in Go

文章介绍了 Go 语言的 Profile-guided optimization (PGO) 原理与使用方法。作者解释了编译器在缺乏运行时信息时依赖启发式做优化决策,而 PGO 通过收集 CPU profile 让编译器了解热路径,从而更激进地内联热函数和去虚拟化接口调用。文中通过三个 JSON 文档的解析基准测试,展示了 PGO 可带来 2–4% 的吞吐量提升,但效果因训练数据与工作负载匹配程度而异,甚至可能出现略微性能回退。作者指出 Go 的 PGO 优化幅度有限但成本近乎为零,适合在发行版构建中默认启用。整体内容提供了可操作的实践指南和定量参考,但仅覆盖单个简单解析场景,未涉及更复杂的工作负载或 profile 采样策略。

本文以清晰的步骤和实际数据展示了 Go PGO 的用法与效果,避免了纯理论描述,为需要优化 Go 程序性能的开发者提供了可直接尝试的方法和预期参考。实验规模虽小,但结论谨慎,强调了 workload 匹配的重要性,可迁移到其他 Go 项目的构建流水线中。适合关注编译器优化、性能工程和 Go 工具链的读者。

工程实践Fzakaria Blog

nixpkgs-multiverse: every version that ever existed

文章介绍 nixpkgs-multiverse 项目,通过一个 flake 输入提供 Nixpkgs 所有历史版本的惰性访问,解决多版本依赖时需固定多个 flake 输入的性能和易用性问题。核心方法是用 revisions.json 与 versions.json 索引包版本到修订的映射,并利用 builtins.fetchTree 按需获取;数据编码仅保留每个版本的最新出现修订,将索引大小控制在 5 MB 左右。性能实验表明,相比急切获取多个 flake 输入,该方案解析开销极低且遵循按修订计费原则。项目不构建或镜像任何内容,仅是对已有 Hydra 缓存的映射层,适合需要在 Nix 生态中灵活组合不同版本包的开发或构建环境。

推荐收录,因为它展示了一个真实的工程问题(Nix flake 多版本输入的性能与可用性冲突),并给出了完整的设计方案、数据优化与性能对比,具备可迁移的工程判断和工具设计思路。对使用 Nix、关注包管理与依赖分析的读者有直接参考价值,其惰性索引与按修订计费的设计也可启发其他需要高效版本查询的系统。

技术文章Simon Willison

SQLite compressed text-history prototypes

文章探索在 SQLite 关系数据库中高效存储文本修订历史的方案。作者提出将文档的每个历史版本完整放入 JSON 字符串数组,再整体用 zlib 或 Zstandard 压缩,以 BLOB 形式存储;另用整数数组列保存时间戳,避免压缩。通过 GPT 辅助生成 Python 原型并模拟 1000 次修订,实验显示 20.4MB 原始修订文本压缩后仅 80.3KB,验证了冗余重复带来的高压缩比。为规避每次编辑全量解压重压缩的开销,进一步提出将历史拆分为多行,每行最多保留 128 个修订或 3MB 未压缩 JSON。该方案实现简单,适用于编辑频繁且文本重复度高的历史记录场景,但尚未评估高频写入、版本检索和并发冲突等生产级问题。

推荐收录,因为文章给出了一个可复现的原型验证:1000 次修订从 20.4MB 压缩至 80.3KB,并明确了拆行存储的工程折衷。这种利用全文冗余进行压缩的简单方案对处理版本历史、审计日志或文档快照的工程师有直接参考价值,可迁移到其他需要高效存储多版本文本的场景。主要风险是未与增量存储或事件溯源等常见方案做对比,也未覆盖高并发写入和随机版本读取的约束。

技术文章MaskRay

Estimating branch probabilities

文章深入解析LLVM分支概率信息(BranchProbabilityInfo)在没有PGO(Profile-Guided Optimization)资料时的静态估计机制。作者首先梳理了LLVM估算分支概率的多级回退流程,重点剖析了calcEstimatedHeuristics算法,该算法利用不可达、noreturn、cold等区块的种子权重,通过支配树和后支配树反向传播,并结合循环结构对出口边进行缩放,从而为多后继终结指令分配概率。文中给出了独立的C++实现,并详细讨论了权重标度、边分类、循环嵌套森林的作用,以及不可归约循环对概率计算的影响。此外,还指出了与LLVM源码bit-per-bit匹配所需注意的实现细节,如种子顺序和工作列表顺序。该方法展示了静态分析中如何仅凭控制流图和循环结构生成合理分支猜测,对理解编译器优化有重要参考价值。

本文为编译器开发者、程序分析研究人员或对底层代码优化感兴趣的人员提供了LLVM分支概率静态估计的深入技术剖析,不仅解释了算法原理、设计取舍和工程考量,还附带可复现代码和对比案例。其详细程度足以帮助读者迁移到其他编译系统或静态分析工具的开发中,适合作为长期技术参考资料收录。

工程实践Netflix TechBlog

How and Why Netflix Built a Real-Time Distributed Graph: Part 3 — Querying the graph with gRPC…

本文详细介绍了Netflix实时分布式图(RDG)的查询服务层设计,阐述如何在高吞吐、低延迟要求下高效查询包含数十亿节点和边的图。文章首先分析了浅宽与深窄两类查询场景的挑战,随后说明广度优先遍历、异步优先架构、选择性缓存等关键设计决策及其取舍。接着以具体查询为例,逐步展示请求解析、存储读取、层次化遍历、并行执行、智能过滤和缓存等环节的实现与优化。最后给出系统性能指标(P50/P99延迟、缓存命中率)和经验总结,强调前沿思维、尽早过滤、有界并行和缓存策略等通用原则。其方法适用于高并发、IO密集型的分布式图查询系统,但一致性模型为最终一致,且依赖特定内部存储。

本文是Netflix技术博客的深度工程案例,展示了在真实约束下构建高性能图查询层的完整思考过程,包含具体的设计权衡、量化效果和可迁移原则。适合分布式系统工程师、架构师以及需要处理图数据查询的开发者参考。文中的广度优先遍历策略、异步执行模型和智能缓存方法可直接应用于类似的大规模在线服务场景,有效降低延迟和资源消耗。

工程实践知乎 - 携程技术

200G内存尖峰、数十万Pod迁移:携程Karmada规模化治理实录

文章系统回顾了携程从Kubefed到Karmada的多集群治理演进,重点围绕架构选择、生产落地和规模化优化展开。核心方法是在联邦层保留低频全局能力(资源分发、策略表达、跨集群迁移),将高频局部能力(实时扩缩容、流量切换)留在成员集群,并通过权重驱动的状态机实现数十万Pod的平滑跨集群迁移。文中详细分析了Karmada控制面在几十万级资源规模下遇到的高频状态同步、启动延迟和200G内存尖峰等问题,以及通过折叠Work、降低更新频率、分批对账、watch list等优化手段。适用边界是交易型业务的Kubernetes多集群场景,强调联邦控制面不应成为运行时强依赖。

本文是来自携程生产一线的深度工程案例,不仅解释了为什么从Kubefed切换到Karmada,更给出了清晰的架构原则、迁移机制和规模化治理细节。文中200G内存尖峰、每秒数百次Work更新导致409冲突等具体数据有很强说服力,优化思路可直接指导类似场景。适合云原生平台团队、SRE和架构师参考,可迁移的职责边界划分和控制面优化方法在多集群治理领域有长期参考价值。

工程实践TiDB 社区博客 - 实践案例

openEuler 部署 TiDB:锁索引故障 + Sysbench 实战

文章记录了在 openEuler 22.03 SP4 国产化操作系统上部署 TiDB v8.5 的完整实践过程,包括 TiUP Playground 快速测试和 TiUP Cluster 单机模拟生产两种方案。作者详细列出了与官方 CentOS/RHEL 文档差异导致的典型问题,如 bash_profile 环境变量不生效、Playground 监听 127.0.0.1、openEuler 默认 MaxSessions=10 导致 SSH 并发连接失败、禁止 root 运行 TiDB 进程、防火墙端口放行、随机密码保存等,并给出对应解决命令。随后使用 Sysbench 进行只读和读写混合压测,复现了读写混合场景下的锁等待超时故障,分析了热点索引页、乐观事务冲突等成因,并通过调整隔离级别、增加 TiKV scheduler-concurrency、使用 --skip-trx 等方法缓解。文章适用于国产化环境部署 TiDB 和初步进行基准测试与故障排查的读者,但部分建议需根据实际业务场景谨慎采用。

推荐收录,因为它是真实环境下的部署与压测案例,覆盖了国产操作系统与分布式数据库兼容性问题、SSH 并发限制、权限管理等工程约束,以及基于 Sysbench 的锁等待故障分析。适合需要在 openEuler 等信创系统上部署 TiDB 或学习分布式数据库基准测试和初步排障的工程师,文中命令和排查路径可直接迁移到类似环境。主要风险是部分优化建议如降低隔离级别需结合业务正确性验证,不宜直接照搬生产环境。

工程实践vLLM Blog

Efficient Decode Context Parallelism with vLLM for Long Context Workloads

文章介绍 vLLM 的 Decode Context Parallelism(DCP)如何服务长上下文与 agentic 推理。传统张量并行按注意力头切分 KV cache:GQA 受 KV 头数限制,MLA 只有单一 latent KV 头,因此超出后 KV cache 会在 TP rank 间复制,挤占显存并限制并发。DCP 改为按序列维度切分 KV cache,每个 GPU 只保存一段 token 的 KV,并通过 AllGather Q、本地 attention 计算、AllGather+ReduceScatter 与 LSE 在线 softmax 合并局部结果。在 8×B200 上用 Kimi K2.6 NVFP4 与长上下文 agent trace 实测,基线 TP 在并发 64 触顶约 1863 tok/s/GPU,DCP 可扩到并发 512、约 6091 tok/s/GPU,并在 200k+ 序列保持稳定。文中给出 MLA/GQA 的启用方式与并行度约束,也指出其依赖高带宽 GPU 互联,对 MTP、推测解码和 P/D 分离等支持仍在演进。

推荐收录:文章用可复现的 8×B200、Kimi K2.6 NVFP4 和 64K–1M agent trace benchmark,量化了 DCP 相对 TP 在并发与吞吐上的收益,并解释了 MLA/GQA 下 KV cache 复制机制、DCP 通信流程与并行度约束。适合 LLM 推理基础设施、长上下文服务和推理优化方向的读者参考;其按序列切分 KV cache 并用 LSE 合并局部 attention 的思路可迁移到其他推理引擎,但部署时需评估高带宽互联依赖以及 MTP/推测解码等尚未覆盖的边界。

工程实践QuestDB Engineering

Read Streaming 500 million rows into Apache Arrow in 2.3 seconds

文章测试 QuestDB 新 QWP 协议将查询结果流式传输到 Apache Arrow 的性能,并与 ClickHouse、TimescaleDB 对比。作者用简单查询和并行读取器基准,测量 500M 行数据的导出速度。最初几轮结果受磁盘 I/O、Python GIL 等因素影响,修正后 QuestDB 达到 220M 行/秒,首批数据仅 32ms,比 ClickHouse 最快流式路径快 2.35 倍。文章还分析了每行字节数、存储占用、扩展性和协调成本,并指出测试的局限(单一 schema、低基数字符串等)。该文提供了可复现的测试方法和详实的过程反思。

推荐收录,因为它不是简单的产品宣传,而是深入的工程基准测试,展示了如何识别并消除磁盘、GIL、协调成本等测试伪影,并提供了可复现的仓库和明确的局限声明。适合数据库选型、性能评估或数据管道设计的读者,可迁移价值在于严谨的流式数据导出基准测试方法和工程分析框架。

工程实践PlanetScale Blog

Concurrency vs. Throughput: why more parallelism can make databases slower

文章复盘了一次 MySQL 生产事故:一个长事务导致 InnoDB 版本历史膨胀,使读查询成本随并发量平方级增长,最终拖垮数据库。作者运用 Gunther 通用可伸缩性定律解析了争用系数 α 与一致性开销系数 β,阐明为何超过临界并发数后吞吐量反而下降。解决方案是将 Vitess 事务池从一万降低到约一千并引入排队,模拟原有线程池的反压行为,从而避免大量并发请求涌入存储引擎。配置变更后,系统在类似流量尖峰下吞吐稳定、无报错,MySQL 内部并发数控制在两百以内。文章强调此策略适用于悲观锁、热点行等高争用场景,且思路可迁移至 Postgres 等系统。

推荐收录,因为文章通过真实事故展示了并发与吞吐的逆向关系,并用通用可伸缩性定律提供量化分析。对负责高并发数据库、稳定性工程及反压机制设计的读者具有直接参考价值,可迁移到类似数据库和分布式系统中。文中提供的实验数据和配置对比使其结论可信,且明确给出了适用边界。

工程实践Cloudflare Blog

Introducing Kitesurf: The agent-first browser that runs in V8 isolates on Cloudflare Workers

Cloudflare推出Kitesurf,专为AI代理设计的轻量浏览器,运行于Cloudflare Workers的V8隔离环境中。文章阐述了为何需要新浏览器:传统Chromium对代理而言资源开销大,而代理更关注令牌数、上下文窗口和成本。团队采用Rust编译为WebAssembly、借助Web Platform Tests驱动开发、强调组件隔离与无状态设计。整体架构分为Engine处理CDP/HTTP、PageScript利用动态Worker解析HTML/CSS/JS、PageRenderer光栅化生成截图。性能上比Chromium节省3-7倍内存和CPU,但渲染速度慢1.7倍。当前兼容性有限,不支持视频和WebGL,适合一次性截图、PDF生成等简单任务。项目仅12周,开源在即。

推荐收录,因为文章并非产品发布,而是深入的技术工程案例,详尽阐述了为AI代理构建轻量浏览器的设计决策、架构实现和性能权衡。适合从事浏览器、AI代理或边缘计算基础设施的工程师阅读,其中的隔离、无状态设计与WPT测试驱动开发方法可迁移到类似复杂系统的构建中。但需注意项目尚处早期,兼容性有限。

工程实践Stanford Hazy Research

Retire the Abstractions

本文以编写 CUDA megakernel 的经验为起点,提出 AI 编程智能体正在取代传统软件抽象层的认知卸载功能。作者回顾了去年依靠 C++ 抽象管理复杂性的痛苦,以及今年借助 agent 直接将不完整的提示转为优化代码的实践,由此预言 CUDA DSL 等抽象层即将退役。文章进一步讨论代码库角色的迁移:精确的代码库变得脆弱,而模糊但可传递的意图提示更适应智能执行器;信任将更多放在规约、测试和不变量等 oracle 上,而非实现细节。同时,作者也指出抽象层作为共享验证面、知识传递手段仍具价值,且专家经验在此转型中不可或缺。全文核心观点是抽象会退役,但领域知识永存。

推荐收录,因为本文不是泛泛而谈的未来预测,而是基于真实 megakernel 工程演进提出的具体论证,提供了从认知外包到代码生命周期重估的完整视角。适合关注 AI 辅助系统编程、DSL 设计与软件工程演化的研究者与工程师,可迁移的思考在于如何重新权衡代码、测试与意图描述在智能工具介入后的角色。

工程实践ClickHouse Engineering

What is WAL backpressure, and why does ClickHouse Managed Postgres need it?

文章解释 ClickHouse Managed Postgres 为何以及如何对 Postgres 施加 WAL 写入背压。Postgres 先把所有变更写入 WAL,归档器再把完成的段上传到对象存储,未上传的段无法删除;一旦写入快于归档,WAL 会堆积直至撑满磁盘,而磁盘耗尽会触发 PANIC 导致实例宕机。系统用一个 systemd 定时器每 15 秒统计积压段数,通过 cgroup v2 I/O 控制器按 80%/50%/20% 三档限制客户端后端的写带宽,并把归档、检查点、日志等排空路径按进程名划入不受限的 immune 组。作者在单台 m7i.2xlarge、500MB/s gp3 上以限速 4MB/s 的 archive_command 做 35 分钟 pgbench 实验,验证分级限流按阈值触发、积压清零后自动解除、数据盘始终未超 33%。文中也指出一个边界:该负载写入几乎全是 WAL,限流对吞吐的削减远大于对 WAL 生成的抑制(仅约 10%),效果取决于写负载的数据密度。

推荐收录。文章把“WAL 归档跟不上会导致磁盘写满并 PANIC”这一真实运维风险,拆解为基于 cgroup v2 的分级写带宽限流方案,并给出可复现的 35 分钟压测时间线、cgroup 分类证据和限流对 WAL 生成抑制有限的明确边界。适合负责 Postgres/数据库托管、可靠性与容量控制的工程师,其中“不限制排空路径、只在数据面自我保护、按积压分级降速”的取舍可迁移到其他写入放大与异步归档场景。

工程实践Meta Engineering

GEM Training: How Meta Doubled the Efficiency of Its LLM-Scale Ads Foundation Model

本文介绍了Meta如何将广告推荐基础模型GEM的训练规模提升至LLM级别,并在12个月内将端到端训练效率提升一倍至20-25%模型算力利用率(MFU),同时训练算力规模扩大4倍。文章从计算效率和扩展效率两个维度分别展开:计算效率通过定制化推荐内核库(Jagged Flash Attention、Generalized Dot-Product Attention、BlockAttention)和混合超低精度训练(MXFP8注意力与MLP)实现;扩展效率则依靠拓扑感知的5D并行策略(2D FSDP加专家并行处理稠密参数,全分片2D模型并行处理稀疏参数)配合SM-free通信、自动激活检查点及序列长度感知负载均衡。所提方案针对推荐系统特有的变长序列、非对称交互和数值敏感性等挑战进行了专门设计,其方法论和具体技术对大规模推荐模型训练具有参考价值,但部分优化(如内核定制)与特定GPU架构强相关,迁移时需适配自身硬件和数据特性。

本文是真实的工业级工程案例,完整展示了在数千GPU上训练万亿参数推荐模型的全栈优化过程,涵盖内核、精度、并行、网络和内存的协同设计,而非孤立技巧罗列。适合负责大规模深度学习训练、推荐系统基础设施或GPU性能优化的工程师,可迁移价值在于其将MFU分解为计算效率和扩展效率的分析框架,以及针对混合架构和变长数据的特定解决方案,对类似规模系统的构建与调优具有直接借鉴意义。

工程实践NVIDIA Technical Blog

NVIDIA Vera Storage Benchmarks: Faster Encryption, Compression, Integrity Checking, and Recovery for AI-Native Storage

文章探讨了NVIDIA Vera处理器在AI原生存储中的加速能力,通过基准测试对比了加密、压缩、数据完整性校验等关键存储操作在Vera与AMD EPYC、Intel Xeon平台上的性能。作者指出,在代理式AI工作流中,存储需要频繁进行检索、持久化内存和KV缓存等操作,传统CPU在加密和压缩计算上成为瓶颈。Vera集成的数据流加速器能高效卸载这些任务,在加密吞吐量和压缩延迟/吞吐方面均取得显著提升。文章以VAST Data的Cosmos平台为例,展示了Vera如何实现端到端数据完整性、快速恢复和数据缩减,从而减轻CPU压力并提升整体系统效率。结论认为Vera可作为AI存储基础设施的核心加速部件,适用对性能和安全性有苛刻要求的环境,但其结果基于特定硬件和软件组合,未涵盖所有部署场景。

推荐收录,因为文章提供了具体的硬件加速基准测试数据,直观展示了NVIDIA Vera在加密和压缩等任务上相比传统x86服务器的性能优势。对于从事AI基础设施、存储系统设计或性能优化的工程师,这些数据可用于评估硬件加速方案的收益,了解如何将专用加速器集成到AI存储栈中以降低成本并提升吞吐。尽管局限于特定厂商产品,其评估思路和卸载设计可作为类似系统设计的参考。

工程实践Cloudflare Blog

Smaller, faster, safer: running Kimi and GLM at scale

文章介绍了在 Cloudflare Workers AI 上运行大型长上下文 MoE 模型 Kimi 和 GLM 时,为应对内存限制而采用的三项优化技术:将 KV 缓存从 BF16 量化为 FP8,使上下文容量翻倍,峰值吞吐提升 41%;将模型权重从 FP8 压缩为 INT4,显存占用降低 40%,解码加速明显;以及构建 KV 缓存完整性检查机制,防止多请求共享时发生数据错乱,且开销低于 1%。所有优化均通过分离 prefill 和 decode 阶段,在各自优势场景下使用不同精度,从而在保持模型准确度不变的前提下,显著提高并发并降低单位 token 成本。这些实践基于 SGLang 框架和 H200 GPU,验证了工程方案的有效性和边界。

推荐收录,因为文章不仅是孤立的性能技巧,而是展示了从内存瓶颈分析、多策略选择(量化、压缩)、安全防护到阶段分离的完整工程决策过程。文中提供了大量对比测试数据、精度验证和架构取舍说明,对负责大模型推理部署、AI 基础设施优化的工程师具有直接的可迁移价值,其中的阶段性精度切换和多请求缓存保护思路尤其值得借鉴。

技术文章Daniel Lemire

How fast is C++26’s std::hive?

文章对 C++26 标准库新增容器 std::hive 进行了性能基准测试,并与 std::vector 和 std::list 在插入、遍历、删除和内存占用等方面进行对比。实验使用特定编译器、硬件和测试数据,测量了纳秒/元素、指令数和周期数。结果显示 hive 的插入成本约为 vector 的两倍,遍历速度与链表相当且远慢于 vector,主要因跳过字段和缺乏自动向量化;但在元素删除和内存占用上优于 list。作者指出 hive 不是更快的 vector,而是提供了稳定引用和常数时间删除的更好 list。该基准测试为 C++ 开发者在选择容器时提供了具体的性能参考,但结论受限于合成负载和单一硬件平台。

推荐收录,因为文章提供了针对 std::hive 的详细基准测试,用数据揭示了其与 vector 和 list 的性能差距和原因(如指令开销、缓存局部性、自动向量化影响),并给出了实际使用建议。适合 C++ 系统编程和性能优化场景的读者,可帮助他们在需要稳定引用与快速删除时做出容器选择,且评测方法论可迁移至其他数据结构的性能对比。

工程实践GitHub Engineering

Don’t stop early: Case-folding source code at memory speed

文章介绍了 GitHub 代码搜索引擎中实现高速 Unicode 大小写折叠(case‑folding)的技术方案。核心优化是在 ASCII 路径中去除提前退出分支,采用无分支循环配合自动向量化,使纯 ASCII 折叠速度超过 45 GiB/s。对于 Unicode,设计了一种仅 1776 字节的紧凑查找表,结合页位图、区间编码与字节级差值运算,避免码点解码而直接在字节空间完成折叠,将非 ASCII 路径开销降到最低。该方案在常见输入上显著超越其他实现,且已开源为 Rust crate casefold。文章还详细讨论了分支消除、向量化、内存带宽等权衡,以及该方法依赖小端字节序和合法 UTF‑8 的边界条件。

推荐收录,因为文章深入剖析了大规模文本处理中的极致性能优化方法,从分支消除、向量化到创新的字节空间 Unicode 折叠,展示了完整的工程决策过程和量化对比。对于从事搜索、编译、系统编程或性能优化的读者,文中的无分支循环设计、紧凑查找表结构和“一次扫描检测+转换”等技巧具有直接的可迁移价值,是真实的工程案例而非泛泛调参记录。

工程实践Crunchy Data Blog

Hybrid Search Patterns with Postgres and pgvector

文章系统探讨了在PostgreSQL和pgvector中实现混合搜索(向量相似度加标量过滤)的工程模式。首先阐述了pgvector迭代索引扫描如何平衡召回与性能,然后分析了向量优先和标量优先两条路径各自的适用场景与局限。作者进一步提供了三种实用工作区:为低基数过滤构建部分HNSW索引;通过过采样再过滤应对高基数或临时过滤器;以及利用缓存加速重复查询。文中给出了过采样的估算公式、查询计划诊断方法以及各方案的决策指南,并强调了每种模式在召回率、性能和维护成本之间的权衡。

推荐收录,因为本文是针对Postgres+pgvector混合搜索问题的实战指南,从问题根源到四种解决方案给出了完整的权衡分析、代码示例和调优公式,远超简单教程。适合正在构建带标量过滤的向量搜索系统的工程师,文中部分索引、过采样和缓存等模式可直接应用于生产环境,决策树和EXPLAIN诊断方法具有跨场景的可迁移价值。

工程实践ClickHouse Engineering

Benchmarking NVMe-backed Managed Postgres: PlanetScale and ClickHouse

文章基于开源可复现的 PostgresBench 基准,用 pgbench 的类 TPC-B 短事务高并发负载,在相同 AWS r8gd 实例(本地 NVMe、一主两同步备、quorum 复制)上对比 ClickHouse Managed Postgres 与 PlanetScale Metal。结果显示 ClickHouse 在 16vCPU/128GB 与 4vCPU/32GB 两种配置下均领先:100GB 数据集吞吐高约 34%–51%,500GB 数据集高约 54%,平均延迟与 P95/P99 也更低。作者把差异归因于系统级优化,如 2MB 大页、wal_compression=lz4、按实例规模调整 max_wal_size 等,并指出 PlanetScale 暴露的配置中巨大页与 WAL 压缩关闭、max_wal_size 仅 8GB。文章也承认仍存在未通过 pg_settings 暴露的实现差异,建议用户用自己的负载做概念验证。

推荐收录,因为它提供了可复现的开源基准 PostgresBench、明确的 pgbench 命令与硬件/复制配置,并对比了两项服务可见的 Postgres 配置差异(大页、WAL 压缩、max_wal_size),这些调优要点可迁移到自建或托管 Postgres 的运维中。适合评估托管 Postgres 或做 OLTP 性能调优的读者。主要风险是它由 ClickHouse 自测、属厂商对比,具体 TPS 数字会随产品迭代过时,应结合自身负载验证。

工程实践Cloudflare Blog

Dogfooding at scale: migrating cdnjs to Cloudflare’s Developer Platform

文章详细记录了 cdnjs 从旧架构(GCP Cloud Functions + GitHub 仓库 + Workers KV)迁移到 Cloudflare 全栈开发者平台(Workers、Workflows、R2、KV、Queues、Containers 等)的过程。旧架构痛点包括无共享追踪、双活存储、对象事件粘合流水线、26 个分片函数和臃肿的 GitHub 仓库;新架构以 R2 为文件单一真实源,KV 存元数据,Workers Cache 提供分层缓存,Workflows 编排流水线,并通过 Queues 和 Durable Object 实现异步阻塞。迁移中遇到字节级一致性和子请求限制等挑战,最终通过原样复制而非重新压缩解决了 SRI 哈希问题,并倒逼平台提升子请求上限至 1000 万、Workflow 步数上限至 10000 步。文章展示了该架构的弹性、可扩展性,并为未来支持 ES 模块等现代功能奠定基础,但 SRI 校验修复等遗留工作仍待完成。

这是一篇稀缺的大规模 CDN 服务迁移工程实录,直面真实约束与架构取舍,并记录了平台为适配需求而改进的共演过程。对基础设施工程师、平台架构师和 SRE 极具参考价值,可迁移经验包括可观测性设计、存储一致性保障、无服务器工作流编排及平台限制突破策略;文中的坦诚复盘(包括迁移失败回滚)使内容更可信。

工程实践知乎 - 鹅厂架构师

内核全栈诊断工具:一体化解锁稳定性与性能

文章介绍了 TencentOS 内核全栈诊断工具的设计理念、功能组成和定制方法。工具覆盖 fs/io、网络、内存、KVM 等领域,沉淀了超过 20 个子工具,已在线上部署并解决上百例稳定性与性能问题。核心能力包括函数级时延分析(支持 running 时延、block 时延以及多函数横向时延追踪)、稳定性问题检查(如页缓存扫描、内存踩踏、挂载数量检测等),以及通过修改 scene_template.c 模板快速定制诊断逻辑的机制。文章详细说明了积木式组合和槽位填空式架构,使已有工具可自由组装,也允许在预留槽位中插入新函数,极大降低了定制门槛。文中给出具体代码示例和命令行接口,展示了从定位时延瓶颈到沉淀子工具的完整工程实践路径。该工具依赖 TencentOS 内核特性,需安装专用 rpm 包和内核开发包,定制需具备内核代码理解能力。

推荐收录,因为文章不是简单的工具使用手册,而是系统阐述了内核诊断工具的整体设计思路、定制框架和工程落地经验,并提供真实代码与线上案例。对内核开发者、SRE 及从事操作系统性能与稳定性优化的工程师具有直接参考价值,其积木式、槽位式的可扩展架构设计可迁移至其他内核可观测性系统的建设中。

技术文章Kubernetes Blog

How the controller-runtime Cache Actually Works, and Why Your Controller Does Not Crash the API Server

本文深入剖析了 controller-runtime 缓存的内部机制,解释了为何控制器不会压垮 API 服务器。核心原理是:r.Get 和 r.List 并非直接查询 API 服务器,而是读取由 Reflector 通过 list+watch 构建、存储于 Indexer 的本地内存副本;写操作则直接发往 API 服务器,并通过 watch 异步反馈到缓存。文章详细拆解了 DeltaFIFO 的有序分组与去重、workqueue 的 key 级合并、索引器如何提供类 SQL 的快速查询、选择性缓存及 Transform 等内存优化策略,并列举了读后写期待、共享对象突变、resync 误解等常见误区。全文基于 client-go 原语,提供了从启动阶段到生产调优的完整心智模型,适用于已经编写 Go 控制器但希望深入理解其行为以避免生产意外的工程师。

推荐收录。文章深入揭示了 controller-runtime 缓存的底层模型和常见误区,为 Kubernetes 控制器开发者提供了可迁移的内部视角和防错指南。内容覆盖了从原理、设计取舍到实战优化的完整链路,长期计算参考价值显著,尤其适合需要在高负载集群下保障控制器稳定性和性能的工程团队。

工程实践BAIR Blog

From CUDA to MLX: How K-Search Brings Decades of Kernel Expertise to Apple Silicon

本文介绍了一种将NVIDIA CUDA GPU的kernel优化知识自动迁移到Apple Silicon MLX框架的方法。作者基于K-Search进化搜索框架,构造了结构化的CUDA-to-MLX翻译层,通过概念映射表、MLX特定模式与硬件约束,将数十年的CUDA优化经验转化为Apple GPU可用的指导。K-Search利用LLM迭代推理、生成和实测kernel,通过世界模型树搜索实现自动优化。实验表明,在Attention kernel上达到原生MLX性能的0.97倍,在Mamba SSM kernel的prefill阶段获得了相对社区实现的20倍加速。文章展示了瓶颈在于提供给LLM的上下文质量而非代码生成能力,该方法不限于MLX,可扩展到其他硬件生态。当前仅在两个kernel上验证,广泛适用性有待进一步检验。

本文详细记录了利用AI驱动的进化搜索实现跨硬件平台kernel优化的工程实践,提供了从原理到实现的完整路径,并包含可复现的实验对比。适合GPU kernel开发、AI系统优化和跨平台移植的研究与工程人员,其结构化翻译思路和领域知识注入方式对降低kernel开发门槛具有明确的迁移价值。

工程实践Marc Brooker

Lorenz and Little: How Much Does Your Tail Cost?

本文从成本和容量角度切入尾部延迟分析,通过Lorenz曲线量化不同百分位延迟对平均延迟的贡献比例,并结合Little法则说明这一比例同时对应系统并发所占份额。作者提供了基于分位数向量的数值计算方法,并讨论了插值假设和尾部帕累托外推的局限性。文章指出,在许多服务中p99及以上延迟可能贡献超过一半的平均延迟和并发寸,因此优化尾部能显著降低容量需求、锁争用和成本,而不应简单截断。这一视角将延迟分析从用户体验延伸至系统经济性,适合拥有可观测性指标的工程团队。

推荐收录。文章不是泛泛谈论尾部延迟的重要性,而是引入了Lorenz曲线这一经济学工具提供量化框架,并通过Little法则建立延迟与并发成本的直接关联,给出了可复用的计算方法和工程洞察。对于需要平衡服务性能与基础设施成本的后端工程师、SRE和架构师来说,该思路可直接迁移到容量规划和瓶颈识别中,具有长期参考价值。

技术文章Max Bernstein

The inliner is yielding benefits for ZJIT

文章详细介绍了 Ruby 的 ZJIT 编译器中内联器(inliner)如何通过方法内联优化块(block)调用,从而提升性能。作者首先回顾了 Ruby 解释器中块的工作机制,随后解释 JIT 编译器如何通过类型特化来优化方法调用,并指出核心库方法(如 Array#each)因多态块调用导致优化困难。ZJIT 采用将 callee 的代码内联到 caller 中的方式,利用调用上下文将动态的 invokeblock 转换为直接的块调用和循环,消除了间接调用开销。文章展示了内联前后 HIR 的变化与微基准测试结果(如 cfunc_itself 达到 35 倍加速),并说明当前块内联尚未完全实现,内联阈值等参数仍在调优。适合对编译器设计、JIT 优化和 Ruby 运行时性能感兴趣的读者。

本文深入剖析了 ZJIT 内联器的设计动机、实现细节和实际收益,通过具体示例和基准数据展示了如何解决动态语言中块调用的优化难题。它对编译器开发者、语言虚拟机工程师和关注 Ruby 高性能优化的从业者具有直接的参考价值,其中基于调用上下文的代码重组思路也可迁移到其他 JIT 系统。

工程实践Spotify Engineering

Indexing the Data Lake for Online Point Queries

文章介绍 Spotify 提出的 Random Access Parquet(RAP)方案,让数据湖中的 Parquet 文件直接支持在线点查询,服务个性化功能与 AI Agent 的上下文检索。作者指出瓶颈不在存储层,而在 Trino、BigQuery 等分布式 SQL 引擎的调度与查询规划开销,以及文件内查找所需的链式依赖读取。RAP 通过外部索引把 key 直接映射到文件与行号,再发起精确的 ranged read,索引实现为可追加的 multimap。文章进一步给出面向预写文件的优化(按 key 排序、co-grouping、粗粒度分区、每 key 一页、ZSTD frame reset、存储对齐、blob/Variant、列交织、覆盖索引)及其对分析负载的取舍。结论是同一份 Parquet 文件可同时服务分析与交互式访问,避免重复存储,但部分优化会牺牲列裁剪等分析能力。

推荐收录:文章来自 Spotify 一线实践,清晰定义了数据湖点查询这一真实工程问题,并给出索引结构、文件布局优化与逐项取舍,证据具体。适合数据平台、存储与后端工程师,尤其在构建低延迟检索或为 AI Agent 供给上下文时,其“一份数据双访问模式”思路与 Parquet 改造技巧可直接迁移。

技术文章LWN.net

[$] Hazard pointers for the kernel

文章介绍了hazard pointers作为内核RCU机制的替代方案,用于实现无锁数据更新。作者从原理层面比较了两者的内存开销、延迟和回收确定性,指出hazard pointers在低内存占用和及时回收方面的优势。文章还结合内核社区正在评估的实现,讨论了并发内存排序、安全语义以及实际部署中的工程权衡。内容适合理解内核无锁、垃圾回收机制和并发数据结构的读者,但未深入特定硬件架构或极端性能测试。

文章从原理、优缺点和工程可行性多角度剖析了hazard pointers在内核中的应用,具备深度的技术比较和清晰的适用边界说明。对于系统开发者、内核工程师或关注高性能并发的读者,本文可作为理解无锁同步替代方案的优质参考,迁移价值高。

技术文章Fzakaria Blog

The mean means nothing

文章以一次误导性的平均延迟指标为切入点,系统介绍了如何通过多种可视化手段正确理解性能分布数据。作者使用一个合成数据集模拟 Web 服务缓存上线场景,展示平均值、中位数、百分位数给出矛盾结论的原因,并依次通过密度图、累计分布函数(CDF)、位移函数、山脊图、热力图和联合图揭示数据呈双峰分布的实质:缓存命中导致低延迟,缓存未命中的大请求造成长尾。文章重点强调 CDF 能同时展示所有分位数的变化,尤其当两条 CDF 曲线交叉时,单一统计量无法概括整体效果。文中所有图表附有可复现的 Nix 脚本,便于读者在自己的数据上实践。该文既是一堂生动的可视化教学,也是工程师避免数据误读的实用指南。

这篇博文通过清晰的可视化对比,有力地揭示了仅依赖平均值或单一百分位数做技术决策的陷阱,并提供了可直接复现的分析方法。其核心方法(尤其是 CDF 对比和位移函数)可迁移到任何涉及分布变化分析的场景,如性能优化、A/B 测试或系统监控。适合所有需要从数据中提取可靠结论的后端工程师、SRE 和数据分析师,是一份长期值得参考的实践指南。

工程实践Elastic Security Labs

Inside Elastic InfoSec's agentic SOC: How we cut AI agent LLM calls by 60%

Elastic InfoSec 团队针对其安全运营中心中 14 个 AI 代理的 LLM 调用成本过高问题,提出并实施了一个五步优化循环,最终将单次调查的 LLM 调用次数从 14–19 降低到 7–9,降幅约 60%。方法包括:测量基线消耗指标;用自建凭证捕获代表性测试对话;分析对话轨迹找出低效模式(如缺乏明确停止条件、冗余查询、缺失字段投影等);基于分析结果修订代理指令并验证;最后通过持续监控防止性能回退。文章区分了代理优化与传统提示工程的差异,强调优化目标是稳定、可预测的成本而非单次输出质量,并列举了具体的反模式与修复技巧,如用检查清单替代文本预算、添加禁止重复查询规则等。该方法基于 Elastic 的 Agent Builder 平台,但核心思维可迁移至任何具备可观性指标的代理系统,主要依赖人工分析对话痕迹,适用于大批量、自动化工作流场景。

推荐收录。文章提供了一套系统、可复现的 AI 代理优化方法论,包含完整的测量、分析、修订、验证和监控流程,并配有具体代码示例和清晰的问题‑解决方案对照表。适合构建和维护生产级 AI 代理的工程师,尤其是需要兼顾成本、行为一致性与长期可维护性的团队;其数据驱动的诊断思路与结构化修正流程可直接移植到其他代理框架与业务场景,帮助团队从临时调整 prompt 转向工程化优化。

技术文章Daniel Lemire

Memory-level parallelism: AMD is the king

文章通过 pointer chase 基准测试,系统测量了 Intel、AMD 和 Graviton 处理器的内存级并行度(MLP)演化。核心方法是构建 1 GiB 的随机循环数组,同时运行多条独立的指针追逐路径(lanes),通过观测吞吐量饱和点确定单核可维持的最大并发内存请求数。结果显示,AMD Zen 5(Turin)达到 58 条并发缓存行请求和 24.5 GiB/s/s 随机访问带宽,约为 Intel Granite Rapids 的两倍;Intel 十年间从 10 增长至 30,主要提升在最近两代;Graviton 5 延迟显著改善,但 MLP 停滞在 19。测试在 AWS 云实例上进行,数据与脚本公开。该研究为理解处理器内存子系统的实际能力提供了可重复的实验框架和跨代对比。

推荐收录。文章不是泛泛的性能宣传,而是给出了可复现的指针追逐实验设计、完整的跨平台数据及演化趋势分析,直接揭示了 MLP 这一隐藏关键参数对软件性能的实质影响。对从事性能调优、系统选型或体系结构研究的读者极具参考价值,其测量方法和结论可迁移至各类内存敏感型工作负载的优化中。

科研议题知乎 - 哔哩哔哩技术

CVPR 2026 Highlight 丨 用“几何感知”把扩散 Transformer 采样做成免训练加速器

本文解读CVPR 2026 Highlight论文GeoRK2,提出一种免训练的扩散Transformer加速框架。作者指出高加速下生成质量下降的根源是流形漂移,即大步采样时轨迹偏离模型内部低维弯曲特征流形。方法将二阶Runge-Kutta积分与黎曼几何结合,利用激活谱分析揭示前64个主方向解释99%以上方差,并设计几何感知预测、低秩度量校正和自适应稳定机制。在DiT-XL/2、FLUX.1-dev和HunyuanVideo等模型上实现4-5倍加速,同时保持低FID和语义一致性,消融实验验证各组件必要性。该方法无需重训练,仅增加约5%计算开销,适用于图像和视频生成场景,明确了扩散采样必须尊重特征几何结构的关键原则。

本文以一篇高亮论文为载体,清晰剖析扩散模型加速中的几何本质,融合动机分析、方法设计和多维实验验证,展示了从问题洞察到算法落地的完整链路。适合从事生成模型推理优化、计算机视觉研究的技术人员,文中几何感知加速思想可迁移至其他深度生成模型的加速设计中,具有明确的长期参考价值。

技术文章PlanetScale Blog

What's new in Postgres 19

文章详细介绍了 Postgres 19 的三个主要变化:在线表压缩 REPACK、默认禁用 JIT 以及查询规划器的多项改进。REPACK 功能将 VACUUM FULL 和 CLUSTER 整合为一个支持在线操作的命令,使用逻辑解码与复制槽实现非阻塞重写,但存在额外磁盘空间和 MVCC 安全等限制。默认禁用 JIT 是因为其对 OLTP 查询可能引入的编译开销,转而允许用户按需启用。查询规划器新增了早期聚合优化,可在特定条件下将聚合下推到连接之前,并改进了 NOT IN 的处理。文章通过示例和对比展示了这些特性的用法与边界,还简要提及了 lz4 默认 TOAST 压缩、并行 autovacuum 等其他改进,为 PostgreSQL 用户和管理员提供了全面的升级指导。

推荐收录,因文章不仅列出新特性,还深入解析了设计动机、内部机制(如 REPACK CONCURRENTLY 使用复制槽与快照实现在线重写)和实际影响(JIT 默认禁用的权衡),附带代码示例和注意事项。适合数据库管理员、后端开发者了解 PostgreSQL 19 的关键变化与适用场景,其技术深度和实用性对长期运维参考价值显著。

技术文章NVIDIA Technical Blog

Make Long-Running NVIDIA TensorRT Engine Builds Observable and Cancelable in Python or C++

本文针对长时间运行的NVIDIA TensorRT引擎构建过程缺乏可观测性和中断能力的问题,提出了一种在Python和C++中实现的方案。作者首先分析了构建耗时场景,包括强类型模型、深度策略搜索和冷缓存,指出传统集成因缺乏进度反馈和取消机制常导致开发者盲目等待或浪费资源。随后介绍通过进度回调、剩余时间估计和取消令牌等机制,使构建过程透明化并可安全终止。文中还讨论了多线程环境、跨平台兼容性及不同TensorRT版本下的适用边界与潜在风险。该技术适用于模型部署、自动化推理优化和AI工具链中TensorRT引擎生成环节,特别在批量构建和无人值守场景中可显著提升开发效率和资源利用率。

推荐收录,因为它针对TensorRT工程化中的真实痛点提供了可复用的解决方案,有效提升了构建过程的透明度和可控性。文章源自NVIDIA官方技术博客,具备较高的技术可靠性,适合所有使用TensorRT进行模型部署和优化的AI工程师、研究者参考,尤其对于自动化构建流水线和大规模模型调优场景具有直接可迁移价值。

科研议题知乎 - 微软亚洲研究院

OSDI上新 | 探索分布式系统公平性与操作系统性能优化新路径

本文介绍了微软亚洲研究院在OSDI 2025入选的两篇论文。第一篇针对区块链共识协议的排序公平性问题,借鉴机会平等理念,定义了ε-排序平等和Δ-排序线性化两个可量化属性,并设计秘密随机预言机与Bercow协议,通过调整随机噪声强度在公平性和时效性之间取得可控平衡,实验表明能显著降低地理偏差和抵御三明治攻击。第二篇针对操作系统内核中编译期常量导致性能潜力未释放的问题,提出Xkernel,支持在运行内核中动态修改固定性能决策,其核心的Scoped Indirect Execution (SIE) 机制通过二进制差分和符号执行推导常量表达式,实现安全、有作用域、毫秒级生效的参数替换,性能调优可提升数倍,并具备让AI agent安全操作内核参数的潜力。两篇工作从不同层面展示了系统设计的创新,为分布式公平性和内核可调性提供了理论与工程参考。

文章对OSDI顶级会议的两篇系统领域论文进行了深度解读,覆盖问题动机、方法创新和实验验证,为分布式系统公平性和操作系统内核动态调优提供了清晰的理论框架和工程路径。对从事区块链、分布式系统、操作系统性能优化的研发人员和研究者具有直接的参考价值,文中提出的机会平等排序机制和SIE内核调优方法具备可迁移的设计思路,是计算机系统方向高质量的长期参考内容。

工程实践Datadog Engineering

Unbiased Java CPU profiling with JFR in JDK 25

本文介绍了JDK 25中JFR新增的CPU时间采样事件,旨在解决传统Java profiler因依赖JVM内部未公开接口而导致的CPU分析偏差。作者详细阐述了由Datadog、SAP、Amazon等公司和OpenJDK社区共同推动的设计背景,解释了新事件如何基于操作系统线程调度数据实现无偏采样,避免基于栈采样或线程跟踪的常见误差。文章还讨论了该事件的实现原理、性能开销、使用方式以及与现有JFR事件的集成,并说明了其适用于Linux等支持OS级线程调度的平台。该工作为Java应用性能分析提供了更可靠的CPU数据基础,但对JDK版本和操作系统有要求。

本文深入剖析了JDK 25 JFR CPU时间采样事件的工程背景和实现细节,是由多家企业合作解决真实性能分析问题的案例,具有明确的长期技术参考价值。适合Java性能工程师、JVM研究者和可观测性平台开发者阅读。文中展示的偏差分析方法和跨社区协作经验可迁移至其他性能工具的设计与改进,帮助读者理解无偏CPU profiling的难点和解决方案。

技术文章Mitchell Hashimoto

Everyone Should Know SIMD

文章倡导所有开发者了解 SIMD(单指令多数据流)并破除其过于复杂的迷思。作者以 Zig 语言为例,展示了一套通用的五步模式来将标量循环向量化:广播常量、按向量宽度迭代、执行向量操作、归约向量结果、处理标量尾部。通过终端模拟器 Ghostty 中查找控制字符的真实案例,详细解释了每步的实现细节和寄存器位运算。文章还讨论了编译器自动向量化的局限性,强调手动编写 SIMD 可以在可预测的情况下获得显著性能提升,同时指出该方法主要适用于大量连续数据的处理场景,对于复杂算法则需更高技巧。整体内容清晰、可迁移,降低了 SIMD 的入门门槛。

本文以易懂的案例和通用模板系统讲解了 SIMD 的基本模式,适合希望提升循环密集型代码性能的软件开发者。其提出的五步法具有高度的可迁移性,能帮助读者跨语言理解向量化思维,避免过度依赖容易失效的编译器自动向量化。对于日常优化中处理扫描、比较、计数等任务的工程师,本文是一份低门槛、高回报的入门参考。

工程实践ClickHouse Engineering

PostgresBench: Measuring the impact of High Availability on Managed Postgres performance

文章介绍 ClickHouse 团队开源的 PostgresBench 在加入高可用(HA)配置后的第二轮结果,对比 ClickHouse Managed Postgres、Crunchy Bridge、AWS RDS、Aurora 与 Neon 在匹配主库算力、相近持久化级别下的表现。作者把托管 Postgres 的 HA 实现分为共享无(本地存储 + PostgreSQL 流复制 + 热备节点)与共享存储(计算存储分离、提交路径写多份 WAL)两类,并以“主库故障后 2 分钟内恢复且零数据丢失”作为 HA 定义。在 16 vCPU/64 GB、500 GB 数据集、10 分钟压测下,同步复制代价明显:ClickHouse 双同步备库 TPS 降至单机 79%、p99 升至 254%,RDS Multi-AZ 集群 p99 升至 627%。结论是匹配持久化级别时 ClickHouse Managed Postgres 吞吐与延迟优于其他托管服务;但数据为厂商自测、存储后端冗余配置未公开,对 Neon 的评价带明显倾向,需谨慎解读。

推荐收录:文章给出可复现的开源基准、明确的 HA 定义(2 分钟 RTO + 零丢失)、各厂商实例配置,并用数据量化同步复制对 p99 尾延迟的放大(最高 6 倍以上),对做数据库选型与 HA 架构权衡的工程师有直接参考价值。风险在于这是厂商自测且对比自家产品的稿件,Aurora/Neon 存储冗余未公开、对 Neon 评价带倾向,建议以方法学与相对趋势为主,而非绝对排名。

工程实践Spotify Engineering

Content Ingestion & Podcast Video Incident Report

本文是 Spotify 工程团队对 2026 年 6 月 24 日播客视频发布延迟事故的完整复盘。事故由四个因素叠加造成:视频转码基础设施余量不足、定时批处理任务争用容量、为提升画质降低码率而抬高的单项处理成本,以及硬件迁移后调度 bug 导致约 10% 算力未被利用,最终形成数小时的发布积压并引发创作者重复上传。文章给出精确到分钟的 UTC 时间线,指出从首批告警到正式响应延误约四小时,并列出已采取的处置动作(停止批处理、修复调度 bug、扩容、次日凌晨清空队列)与整改计划(容量提升约 67%、改进监控、优先级调度、限流与背压、创作者通知)。局限在于仅覆盖单一公司管线,未披露具体架构细节与量化验证结果。

推荐收录:这是一份结构完整、证据具体的事故复盘,明确列出四个叠加根因、分钟级时间线与处置及整改动作,展示了容量规划、队列优先级和背压设计的真实取舍。适合负责媒体处理、数据管线或高可用服务的工程师参考,其中告警与响应脱节、批处理与实时流量争抢资源的教训可直接迁移。

科研议题知乎 - 微软亚洲研究院

SlideSparse:拓展结构化稀疏边界

文章提出 SlideSparse,首次在 NVIDIA GPU 上使 6:8、4:6 等温和结构化稀疏模式利用稀疏张量核加速,填补了长期技术空白。核心方法是通过滑动窗口将不满足 2:4 约束的权重块分解为多个重叠的 2:4 子块,以适度数据膨胀换取硬件加速,理论加速比约 1.33 倍。权重变换离线完成,输入侧重排融合进推理 kernel,系统集成于 vLLM。实验在多种 GPU、精度和模型上验证,Prefill 阶段接近理论上限,Decode 阶段也有一定提升,证明了通用性与实用性。该工作将稀疏优化从极端二选一扩展为灵活配置,使稀疏成为与量化并列的推理优化维度。

SlideSparse 解决了温和稀疏无法硬件加速的长期痛点,通过滑动窗口分解实现计算套利,有扎实的理论分析和充分的工程验证。文章适合关注大模型推理优化、稀疏压缩或系统部署的读者,其思想可迁移至其他稀疏模式或硬件后端,具有较高的长期参考价值,推荐收录。

技术文章PlanetScale Blog

Every UPDATE Leaves a Ghost: MVCC, Bloat, and VACUUM in PostgreSQL

本文深入解析 PostgreSQL 的 MVCC 实现,从元组(tuple)层面阐述多版本并发控制的原理。文章详细介绍了系统列 xmin 与 xmax 如何记录事务可见性,以及快照隔离如何通过 xmin/xmax/xip_list 决定事务看到的数据版本。进一步讲解了子事务、命令 ID(cmin)在解决 Halloween 问题中的作用,并通过 pageinspect 扩展展示页面布局与 VACUUM 的清理过程。还讨论了标准 VACUUM 与 VACUUM FULL 的区别、HOT 链的指针重定向机制,以及事务视界对死元组回收的影响。全文结合大量可执行的 SQL 示例,对理解 PostgreSQL 的膨胀(bloat)与维护具有长期参考价值,但内容仅适用于 PostgreSQL 及其特定版本。

这是一篇高质量的 PostgreSQL 内部机制讲解,不仅涵盖了 MVCC、元组可见性和快照隔离等概念,还通过 pageinspect 和实际操作演示了 VACUUM 的底层行为。对于需要深入理解 PostgreSQL 表空间膨胀原因、定位长事务阻塞 vacuum 的数据库管理员和开发者来说,这些可复现的分析方法可以直接应用到生产问题的排查与预防中。

工程实践Netflix TechBlog

In-House LLM Serving at Netflix

本文详述了 Netflix 内部 LLM 服务平台的工程实践,涵盖引擎选择、模型打包、API 设计与部署策略的权衡。平台基于 vLLM 和 Triton 构建,通过 OpenAI 兼容 API 与 gRPC 统一前端,并提供了 Red-Black 与 Versioned 两种发布策略以应对接口变更。文章重点揭示了生产环境中的意外问题,如 vLLM 与 Triton 版本不匹配、冷启动延迟、指标碎片化,并深入分析了约束解码从 vLLM V0 到 V1 的性能演进与状态管理难题。这些经验对构建大规模 LLM 推理基础设施具有直接参考意义,尤其展示了从实验到生产的平滑过渡如何通过工程细节落地。

推荐收录,因为文章不是浅层的工具介绍,而是基于 Netflix 真实生产环境给出了系统性的设计取舍和踩坑记录。约束解码的缩放瓶颈、指标融合、版本协调等细节可直接帮助平台工程师避坑,适合负责 LLM 基础设施、模型部署或高性能推理系统的读者借鉴。

工程实践Julia Evans

Learning a few things about running SQLite

Julia Evans 分享了她近期在 Django 网站中使用 SQLite 时积累的几个运维经验。她首先发现对 4000 行的表使用 FTS5 全文搜索耗时 5 秒,运行 ANALYZE 后降至毫秒级,推测是查询计划不佳所致。清理大量行时,删除操作超过 5 秒会导致其他工作线程写入超时崩溃,她通过小批量处理来规避。备份方面,最初使用 sqlite3 VACUUM INTO 加上 restic 上传到 S3,但偶尔 OOM 并产生锁问题;近期改用 Litestream 进行增量备份。她还提到拆分多个数据库文件有助于管理。文章基于个人小型项目,作者坦言若需要多写入支持可能得迁移到 PostgreSQL。

本文来自真实工程实践,详细记录了 ANALYZE 优化查询、批量清理避免写入冲突以及两种备份方案的具体步骤,对使用 SQLite 搭建个人或小型 Web 应用的开发者有直接参考价值。虽然深度有限,但作者的反思和解决方案具有可迁移性,适合作为入门级运维经验收录。

技术文章Crunchy Data Blog

Postgres 19 Compression: from pglz to LZ4

Postgres 19计划将默认TOAST压缩算法从pglz切换为LZ4。本文追溯了从Postgres 7.0引入lztext到7.1实现TOAST与pglz的历史,解释了pglz设计的取舍:速度优先、极小内存占用、快速终止和零外部依赖。然后对比了LZ4的优势:更快的压缩速度(测试中提速约8倍)、更大的滑动窗口带来更好的压缩率,并保留了快速终止特性。文章详细说明了变长类型的varlena格式、EXTENDED/PLAIN/EXTERNAL/MAIN四种存储策略,以及写入时的压缩决策树:行大小超过约2KB阈值时,依次压缩前列大对象或移入TOAST表。此外,还介绍了B树索引中机会主义压缩的机制:当键值超过510字节时尝试压缩,并举例说明可压缩与不可压缩数据对索引的影响。整体内容既包含机制解析也包含实践测试,展示了Postgres团队在压缩演进上的谨慎策略。边界在于测试非科学化,且未深入LZ4算法内部细节。

本文系统梳理了Postgres压缩框架的历史、原理与决策路径,并结合代码示例和对比数据说明LZ4替代pglz的收益。适合需要理解Postgres存储优化、TOAST机制或索引限制的DBA与开发者,可迁移的价值在于掌握如何诊断压缩效果、选择存储策略以及评估算法升级对性能的影响。内容详实且有长期参考价值。

工程实践知乎 - NGINX洪志道

10 | 好的软件设计,是 AI 编程的天花板

作者基于NGINX嵌入Lua开发了一个Web Runtime(nginx-lua-web),并借助AI辅助完成完整实现、自动化测试和性能对比。文章核心论点是:软件原有设计的质量决定了AI编程所能达到的天花板。项目难点在于端到端异步流式处理,涉及读、写、超时、背压等交织的复杂性,NGINX清晰的事件驱动架构、内存池、cleanup机制和模块边界为AI提供了可推理的上下文,使AI能够有效生成符合规范的C代码,并维持约7/10的代码质量和连贯设计。性能测试表明,增加Lua层后未付出失控代价。作者总结,AI加速了理解系统的过程,但理解本身才是对抗复杂性的基本能力,好的设计是AI放大的基础。文章以单个C扩展项目为案例,结论可能受限于特定技术栈,但提供了关于AI与系统设计关系的可迁移洞见。

推荐收录,因为文章结合真实工程案例和AI辅助开发经验,具体展示了软件设计如何制约AI生成代码的质量与系统复杂度管理。适合关注AI工程化、系统架构和扩展设计的读者,其分析方法、性能验证手段和设计原则可迁移至其他类似异步高并发系统的开发中。

工程实践ClickHouse Engineering

Replacing the HDB: ClickHouse for historical ticker data

文章以 Binance 公开行情归档为数据源,演示如何用 ClickHouse 承载历史 tick 数据:实时层之外的历史层是低风险试验场,适合引入新数据库。核心手段是列式存储配合针对性编码——LowCardinality 处理低基数 symbol,DoubleDelta 压缩单调递增的 ts 与 trade_id,ZSTD/LZ4 利用重复字节模式。作者给出完整建表、写入与查询示例,覆盖 VWAP、OHLC K 线、ASOF JOIN 计算滑点等交易台常用分析,并用量表统计验证:一个月 191 GiB 原始 CSV 压缩至约 10 GiB,十个月 162 亿行仅 76 GiB,Cloud 成本约每月 1.88 美元,且查询延迟不随数据量增长,因为主键 (symbol, ts) 稀疏索引将扫描裁剪到万分之一。边界在于不按 symbol 与时间过滤的查询仍需全表扫描。

收录理由:文中不仅有可直接复用的建表结构、编码选择与 VWAP/OHLC/ASOF JOIN 查询,还给出压缩比、成本与查询计划等可验证证据,属于有取舍、有量化的真实工程案例。适合从事时序/行情数据、OLAP 选型与压缩调优的读者迁移到类似高写入、按维度过滤的分析型负载。风险在于内容为厂商博客,读者需注意其面向 ClickHouse 的视角,未与其他方案横向对比。

工程实践LWN.net

[$] Lockless MPSC FIFO queues for io_uring

文章介绍了 Linux 7.2 内核中 io_uring 子系统将工作项跟踪机制从标准链表替换为无锁多生产者单消费者(MPSC)队列的工程实践。作者逐步解释了无锁队列的设计原理,包括原子操作、内存顺序和使用场景,并展示了该变更带来的显著性能提升。文章还讨论了无锁算法在正确性与性能之间的权衡,以及该实现为何适用于 io_uring 的特定工作负载。内容聚焦于真实工程问题、具体实现取舍和可验证的效果,为理解内核并发优化提供了清晰的案例。

推荐收录,因为该文不仅报告了性能提升结果,更深入解析了无锁 MPSC 队列在内核中的具体设计和正确性保障,展示了从问题识别到算法选择、验证的全过程。对从事内核开发、高性能系统设计或对无锁编程感兴趣的读者有直接参考价值,其设计思路和分析方法可迁移至其他并发场景。

工程实践ClickHouse Engineering

@clickhouse/rowbinary: when your library is also a parser compiler

文章介绍 ClickHouse 发布的 @clickhouse/rowbinary —— 一个读取/写入 RowBinary 格式的 Node.js 库,其独特之处在于同时以 Agent Skill 形式发布。库的第一层是按类型拆分的读取原语(覆盖 Nullable、Array、Map、Tuple、LowCardinality、DateTime64、Variant、Dynamic、JSON 等),每个原语被刻意写小、单一用途、避免 megamorphic 分派以便被 V8 单态化内联;第二层是 SKILL.md,教导编码 agent 依据查询的实际列类型把这些原语组装成专用解析器,而非在运行时逐格做类型分派。作者用基准证明:RowBinary 比正确的 JSON 路径快约 2.1–3.3 倍,agent 生成的解析器又比组合式通用读取器快 1.5–3.4 倍,每个解析器生成成本约 0.20 美元。文章还强调关键风险:从零手写解码器会静默损坏数据(UUID 字节序错误、UInt64 被舍入为 float64),而复用手写且经过测试的原语可做到“构造即正确”。适用边界明确:字符串密集型日志场景 RowBinary 反而慢于 JSONCompactEachRow,skill 自身也建议此时不要使用。

推荐收录。文章不是产品发布稿,而是用真实基准、生成成本与失败模式分析论证一个可迁移的工程范式:把传统代码生成编译器(protoc/flatc/Cap'n Proto 那种带 IR、后端和选项矩阵的形态)替换为“库作为参考实现 + agent 按查询特化”的技能,并强调生成代码是可审阅、可测试、由人提交的普通源码。对从事数据接入、数据库客户端、性能优化与 AI 工程化的读者尤其有价值;“防止 AI 生成代码静默损坏数据”以及“面向被阅读而非被调用的库该如何写注释与保持一致”的经验可直接迁移。风险在于结论依赖具体模型能力与基准环境,作者也承认小模型退化明显(Haiku 需聚焦子代理才从 52% 提升到 86%)。

工程实践Simon Willison

lobste.rs is now running on SQLite

文章记录了社区站点 Lobsters 从 MariaDB 迁移到 SQLite 的完整工程实践。自 2018 年起计划切换数据库,最初考虑 PostgreSQL,2025 年转向 SQLite 评估,并于近期完成迁移并稳定运行。新架构中 Rails 应用运行在单台 VPS 上,使用多个 SQLite 文件分别管理内容、缓存、队列和限流数据,总大小约 5.7GB。迁移后 CPU 与内存占用均下降,站点响应提升,VPS 成本减半。文章引用了详细的 PR 和讨论,展示了代码变更量、关键决策和验证过程,为类似规模站点的数据库选型与迁移提供了可参考的真实案例。

推荐收录,因为本文提供了从 MariaDB 到 SQLite 的真实迁移案例,包含决策背景、架构变化、性能对比和成本收益等具体证据。适合后端开发者、架构师及运维人员在评估轻量级数据库方案时参考,其单机多文件部署模式及限流中间件集成具有可迁移价值。

工程实践Netflix TechBlog

Building Service Topology at Scale: Architecture, Challenges, and Lessons Learned

本文详细介绍了Netflix构建实时服务拓扑系统的完整工程历程,涵盖架构设计、生产环境挑战与持续优化。系统采用流式优先的三阶段分布式聚合流水线,结合反向压力、动态一致性哈希和时间窗口聚合器,实现了对网络流日志、IPC指标的高吞吐处理与历史拓扑查询。文章重点分析了Kafka消费滞后、热点节点、内存与GC压力、响应式流复杂性等关键问题,并通过重分布、使用可变数据结构替代不可变对象、更换通信协议等务实手段解决。作者强调,在超大规模下测量驱动迭代优化比遵循教条更重要,同时也指出了响应式流心智模型的高成本。该案例为构建大规模分布式数据流水线提供了可迁移的架构模式与性能调优经验,但部分技术选型需结合自身场景评估。

本文收录理由在于它提供了从0到1构建大规模服务拓扑系统的完整工程案例,而非浅层介绍。作者坦诚分享了架构权衡、失败教训和优化方法论,对分布式系统、流处理和可观测性领域的工程师有直接参考价值。可迁移的核心经验包括多阶段重分布解决数据倾斜、背压实现优雅降级以及性能优化时的务实取舍,但采用时需结合自身规模与技术栈做适配。

工程实践美团技术团队

正式开源!美团 LongCat-2.0 同步开放国产卡推理代码

本文介绍美团万亿参数大模型 LongCat-2.0 在国产算力集群上的推理优化与开源实践。面对国产芯片显存、带宽和互联受限的挑战,团队从模型架构(LongCat 稀疏注意力、ScMoE 核心级并行、N-gram Embedding)、芯片适配(Super Kernel、Weight Prefetch、KV-cache 传输)和部署策略(PD 分离、EP 负载均衡、多推理特性适配)三个层面进行深度协同优化,实现了百万级上下文的高效推理。此外,模型通过多教师在线蒸馏和 MOPD 架构融合了 Agent、推理与交互能力。文章指出,该方案已在真实 Agentic Coding 任务中稳定运行,验证了国产芯片承载复杂大模型的可行性,并通过开源提供可复现的技术路径。

推荐收录,因为本文详细展示了在显存与带宽受限的国产硬件上部署万亿参数大模型的完整工程方案,包括模型、芯片适配和部署多个层面的协同优化,有明确的技术细节、架构取舍和验证结果。对于从事大模型推理优化、国产算力适配或大规模分布式服务的工程师,文中的稀疏注意力、ScMoE 算子融合、PD 分离部署和 EP 负载均衡等实践具有直接的迁移价值,也体现了在约束条件下进行系统设计的工程思维。

工程实践Meta Engineering

Modernizing the Meta Ads Service With an Open-Source Kernel Scheduler

文章介绍 Meta 广告服务在 Linux 内核升级至 6.9 时遭遇 EEVDF 调度器导致的延迟回归,影响广告排序。团队利用开源的 sched_ext(BPF 扩展调度框架)构建了面向广告交付的自定义调度策略,通过将 CPU 软分区为延迟关键池和非关键池,并根据负载动态调整池大小,显著提升最后一级缓存局部性。初始部署在最大广告服务器上后,广告检索的 p99 延迟降低 28%,功耗节省 3.28 兆瓦,加权广告排名提升 1.1%,后续两次用户空间策略更新进一步降低延迟并减少超时错误。该方案将调度优化从依赖内核发版的路径中解耦,使迭代周期从数月缩短至数天,并将 sched_ext 从短期修复发展为持续优化平台,同时已上游化至 Linux v6.12。文章未探讨该策略对其他混部负载的公平性影响,且定制策略需依工作负载特性重新设计。

推荐收录,因为它提供了一个完整的高负载服务调度优化工程案例,从问题诊断、基于 sched_ext 的自定义策略实现到量化效果验证,证据充分。适合基础设施、后端性能优化和 SRE 读者,文中展示的软分区、缓存局部性利用以及借助 BPF 快速迭代的方法可迁移至其他延迟敏感系统。

工程实践PlanetScale Blog

When the Postgres query planner goes rogue

文章记录了一次 PostgreSQL 生产事故:在没有代码或流量变化的情况下,数据库 CPU 飙升,查询延迟从毫秒级恶化到约 10 秒。通过监控工具定位到一个特定查询模式,发现其执行计划突然放弃索引而进行全表扫描。根因在于 PostgreSQL 查询优化器基于统计信息生成计划,而数据增长导致统计信息演变,使得优化器在罕见情况下选择次优计划。团队临时使用 Database Traffic Control 立即拦截该查询以恢复数据库健康,随后在安全环境通过 EXPLAIN 分析计划变化,并提出长期修复方案,包括执行 ANALYZE 刷新统计、调整索引或重写查询。文章展示了从发现现象、定位根因、应急止损到永久修复的完整工程流程,并点明查询计划不稳定的普遍风险与应对思路。

这篇文章是典型的数据库性能事件复盘,有明确的故障现象、诊断过程(延迟关联、计划变化对比)和分级应对方案。它不仅展示了应急响应手段,还解释了 PostgreSQL 优化器行为的技术背景,为 DBA 和开发者在类似场景下快速识别和修复计划退化提供了可迁移的经验。文中虽有产品功能描述,但技术分析独立且扎实,适合作为数据库稳定性实践案例收录。

工程实践NVIDIA Technical Blog

Reducing High-Bandwidth Memory Bottlenecks in JAX-Based LLM Training with Host Offloading

本文针对大型语言模型训练中 GPU 高带宽内存(HBM)容量不足的瓶颈,提出并详细讲解了基于 JAX 的主机内存卸载方案。作者将模型参数、梯度、优化器状态等张量通过 JAX 的分片与异步传输机制卸载到主机内存,结合激活重计算进一步降低 HBM 占用,同时利用主机内存带宽和传输隐藏策略减少吞吐损失。文章给出了完整的代码示例与性能分析,在 LLaMA 风格模型上实测了显著的 HBM 节省效果,并讨论了该方案适用的模型规模、序列长度及通信环境约束。

推荐收录,因为文章不是简单的 API 介绍,而是深入剖析了 LLM 训练的内存瓶颈,并提供了一套可复用的主机卸载方案,包含具体实现、性能数据和工程取舍。对从事大模型训练、GPU 内存优化或 JAX 框架开发的工程师和研究者有直接的参考价值,其中的异步卸载策略和内存–计算权衡思路可迁移到其他框架和硬件平台。

技术文章NVIDIA Technical Blog

Kernel Fusion in NVIDIA CUDA: Optimizing Memory Traffic and Launch Overhead

本文深入探讨了CUDA中的内核融合技术,旨在缓解GPU计算与内存带宽之间的瓶颈。文章从GPU内存带宽不足以完全利用计算能力这一常见问题出发,详细解释了内核融合如何通过合并多个CUDA内核来减少内存传输和内核启动开销。文中介绍了多种实现融合的方法,包括手工编写融合内核、利用CUDA图动态融合以及通过编译指示自动融合等,并对比了各自的适用场景和潜在局限。文章还指出,内核融合虽然能够提升性能,但可能增加寄存器使用量和代码复杂度,需在具体情况下权衡。整体而言,该文为GPU性能优化提供了系统性的实践指导,特别适用于受内存带宽或启动延迟限制的计算密集型应用。

本文来自NVIDIA官方技术博客,从问题背景、优化原理到多种实现方式进行了系统阐述,并提供了可操作的代码示例和权衡分析。对于从事GPU编程、性能优化或HPC领域的开发者,文中关于减少内存瓶颈和启动开销的策略具有直接指导意义,可迁移至其他受类似约束的计算架构中。因此,该文具备长期参考价值,适合收录为技术深文。

技术文章NVIDIA Technical Blog

AI Model Co-Design: Hardware-Friendly LLM Design

文章探讨了AI模型与硬件协同设计的方法,旨在在不牺牲准确性的前提下提升LLM推理的吞吐量和交互延迟。作者分析了Transformer、Mamba等模型架构对GPU内存带宽、计算利用率和KV缓存等硬件资源的影响,指出减少注意力头的GQA等变体能有效降低内存压力。通过对比不同模型在NVIDIA H100 GPU上的推理性能,展示了选择硬件友好架构(如状态空间模型)带来的吞吐量提升。文章还讨论了量化、批处理等优化技术的权衡,并强调协同设计需贯穿模型开发早期阶段。结论是,通过架构层面的针对性设计,可显著提升LLM推理效率,但需要根据具体硬件特性进行定制化权衡。

该文不是泛泛的性能调优介绍,而是深入模型架构与硬件底层特性的匹配原理,通过具体数据对比和工程分析展示了协同设计的实际价值。适合从事AI推理部署、模型优化或系统架构的工程师和研究者参考,其方法论可迁移至其他模型或硬件平台的性能优化。因此推荐收录。

工程实践GitHub Engineering

Better tools made Copilot code review worse. Here’s how we actually improved it.

GitHub 工程团队分享了将 Copilot 代码审查代理从专用代码探索工具迁移到 Copilot CLI 共享工具(grep、glob、view)时遇到的性能退化问题:审查成本上升、捕获的有效问题减少。通过离线基准测试中的代理追踪,他们发现代理的行为从聚焦 diff 的审查模式变成了泛化的代码库浏览。团队通过迭代重写工具指令,引导代理模仿审查者的工作流:从 diff 出发,用 grep/glob 定位、批处理搜索、仅在需要时用 view 读取确凿范围。最终在保持同等审查质量下,平均审查成本降低约 20%。文章揭示了工具指令对代理注意力、上下文消耗及最终效果的关键影响,强调不同产品需匹配不同的工具使用策略,并展示了如何利用追踪和基准测试调试代理行为,而非仅依赖分数。

推荐收录。这是一次真实的 AI 工程实践复盘,完整展示了从问题定位(代理行为回溯)、假设验证(工具指令与工作流不匹配)到解决方案(重写指令对齐审查场景)的过程,并提供了 20% 成本优化的量化证据。文章对构建 Agent 系统的工程师具有可迁移价值:它揭示了工具描述如同 API 文档一样影响代理决策,且基准的追踪细节比最终得分更有调试价值。适合从事 AI 工程、开发者工具或 LLMOps 的读者。

工程实践Cloudflare Blog

Improving Smart Tiered Cache for Public Cloud Regions

文章详细说明了 Cloudflare Smart Tiered Cache 在公共云 anycast 源站上遇到的挑战:anycast IP 导致延迟探测无法锁定唯一最优上层数据中心,可能产生跨洲回源和缓存效率下降。解决方案是引入云区域提示,用户指定源站所在云区域后,系统利用各云厂商的 IP 范围文件和持续延迟探测为每个区域赋予主上层和备用上层,并在探测数据不足时回退到地理近似。文章介绍了 anycast 检测原理、区域到上层映射的投票机制,以及通过控制台、API 和 Terraform 进行配置的方式。该功能目前支持 AWS、GCP、Azure 和 Oracle Cloud,旨在提升缓存命中率、降低延迟,但需手动提供提示且仅适用于已支持的云提供商,边界清晰。

推荐收录,因为文章不是简单的功能通告,而是深入剖析了 Smart Tiered Cache 在 anycast 公共云环境中的局限、解决方案的技术细节和配置方法。适合负责 CDN、边缘网络、缓存策略或基础设施性能优化的工程师参考,其中的问题分析框架和自动化映射思路可迁移到类似分布式系统的网络拓扑优化场景。

工程实践知乎 - SmartCode 得物技术

得物 OceanBase 落地实践

文章详细记录了得物将 OceanBase 作为多模数据库引入的完整工程实践。面对 MySQL 在 TP/AP 混合负载下性能瓶颈、存储成本高和运维复杂等问题,DBA 团队从选型对比、性能压测、复杂 SQL 优化到业务迁移全流程展开验证。通过计划缓存、分区裁剪、列存索引、并行执行和 Hint 干预等五步优化,将两类聚合查询的执行时间分别从 1.3s 和 3.9s 降至 0.01s 和 0.02s,并获得与 DuckDB、StarRocks 对比的详细性能数据。在真实业务迁移中,SQL 平均耗时下降 88.3%,存储压缩率超过 80%,总体降本 43%,并消除了异构数据同步和手动分流风险。文章同时总结了迁移中遇到的实时物化视图与 DDL 冲突、SQL 语法兼容等具体问题及应对方案,并规划了运维体系转型和团队能力建设路径。该实践适用于有 TP/AP 混合负载、追求成本与可用性平衡的场景,但需注意新功能边界和版本限制。

推荐收录。文章不是泛泛的产品介绍,而是提供了从选型对比、性能压测到生产迁移的完整技术链条,包含具体的 SQL 优化思路、量化收益(近 200 倍提升、43% 降本)和踩坑记录,对考虑 OceanBase 落地或从 MySQL 迁移到分布式数据库的架构师、DBA 有直接可复用的参考价值。文中的五步优化法、物化视图使用约束和运维体系转型经验均具备可迁移性,风险提示也较为坦诚。

工程实践Cloudflare Blog

Introducing Meerkat: an experiment in global consensus

这篇文章介绍了 Cloudflare 为全球 330+ 数据中心控制面状态设计的实验性一致性服务 Meerkat。作者先明确需求:既要线性一致、又要在机器宕机、链路抖动和部分数据中心失效时保持可写可读,因此传统依赖主节点和超时的 Raft 在广域网里容易因 leader 故障或误判超时而不可用。Meerkat 采用 EPFL 提出的 QuePaxa,让任意副本都能发起提议,多个副本并发提案不会像 Raft 那样互相干扰,从而在多数派可通信时维持进展。文章还用日志槽位解释了如何通过一致的决议顺序实现 linearizability,并说明读写都可能进入日志以保证一致性。它也坦陈系统的边界:共识带来多轮往返和较高延迟,因此更适合写入稀少但必须强一致的控制面场景,而不适合通用数据库或低延迟业务。

推荐收录,因为文章给出了从 Raft 痛点到 QuePaxa 选择、再到 Meerkat 架构落地的完整论证链条,并明确展示了广域网一致性系统的可用性与延迟权衡。适合做分布式系统、控制面设计和一致性协议选型的参考,但需注意它仍是实验系统,结论主要适用于多数派可达、写入较少的场景。

工程实践PlanetScale Blog

Deadlocks and downtime

文章围绕数据库死锁导致的排队、重试风暴和潜在宕机展开,先解释 Postgres 如何在 deadlock_timeout 之后检测锁环并回滚一个事务。作者指出,单次死锁通常可恢复,但当高并发下死锁频繁出现时,等待队列会迅速堆满连接池,死锁检测本身反而成为系统压力源。文中给出两类缓解手段:在查询与事务层面保持一致的加锁顺序、缩短事务并尽量晚加锁;在应用层对 40P01 错误做指数退避加随机抖动的重试,避免立即重复触发同一冲突。最后还介绍了通过 PlanetScale 的 Traffic Control 和 Resource Budget 在数据库侧限制问题查询并先以 warning 观察影响,再切换到 enforce 阻断锁竞争。文章适合处理高并发数据库系统的工程实践参考,但其效果依赖于死锁场景的规模、查询模式以及应用是否具备正确重试逻辑。

推荐收录,因为文章明确给出了死锁从“可恢复错误”演变为“队列堆积和宕机”的链条,并提供了查询顺序、事务长度、重试退避和数据库侧限流的组合治理方案。适合做数据库稳定性、故障预防和高并发系统设计的参考,且这些做法可迁移到其他关系型数据库与在线服务场景。

技术文章LWN.net

[$] Faster RCUs and lockless memory allocation

文章围绕 Linux 内核里两项彼此关联的改进展开:一是 Puranjay Mohan 关于提升 RCU 性能的工作,二是 Harry Yoo 和 Alexei Starovoitov 提出的 kmalloc_nolock(),后者允许在任意内核上下文中进行无锁分配。作者先解释 kmalloc_nolock() 如何借助 RCU 保证并发安全,再回到 RCU 本身的开销来源,说明这些优化为什么能缓解热点路径上的锁竞争。文章强调,这类改动主要服务于高并发、上下文受限的内核路径,并不意味着所有分配都可以无条件去锁。它提供了从 API 设计到同步语义的完整背景,但结论高度依赖 Linux 内核的实现细节。

收录理由很明确:文章直接讨论了 RCU 性能优化与 kmalloc_nolock() 无锁分配这两个内核机制,并交代它们之间的同步关系和性能动机。适合内核、存储、BPF 和系统性能工程读者,尤其是需要理解高并发路径上锁竞争与内存分配约束的场景;可迁移价值在于同步语义和 API 设计的权衡方法。

工程实践NVIDIA Technical Blog

Enhancing Goodput in Large-Scale LLM Training with Nonuniform Tensor Parallelism

文章讨论大规模 LLM 训练在上千张 GPU 上运行时,因设备短暂不可用、资源波动和长尾故障而导致的 goodput 损失问题。作者提出非均匀 tensor parallelism:不再强制所有并行分片使用相同的张量并行度,而是根据可用硬件与作业状态动态调整不同分片的并行配置,以减少阻塞和重分配开销。文中把目标从单纯吞吐转向有效训练产出,强调在恢复、容错和资源利用之间做权衡。该方法更适合超大规模训练集群和频繁扰动环境,对稳定、小规模或编排能力有限的场景收益可能较弱。

收录价值在于它直面大规模训练中“有效产出”而非表面吞吐的问题,并给出非均匀 tensor parallelism 这一可迁移的系统思路。适合做 LLM 训练平台、GPU 集群调度和容错优化的工程师参考,但其收益依赖集群规模与故障/波动频率。

工程实践Cloudflare Blog

Your Worker can now have its own cache in front of it

这篇文章介绍了 Cloudflare Workers Cache:一种位于 Worker 前面的分层缓存,开启后可直接命中缓存而不执行 Worker,从而减少延迟并避免 CPU 计费。作者说明它完全由 HTTP 语义驱动,主要通过 Cache-Control、stale-while-revalidate、Vary、Cache-Tag 和程序化 purge 来控制缓存行为,而不是依赖 zone 级规则。文章进一步强调这是“Worker 自己的缓存”而非站点缓存,缓存会跟随 Worker、preview、workers.dev 和多租户场景,并支持按 ctx.props 构造多租户安全的 cache key。对于复杂应用,它还能插在多个 entrypoint 之间,让认证、归一化、重度计算和数据层分别决定是否缓存,组合出“近用户 + 近数据”的执行路径。文末也指出一些边界:认证请求需避免自动 bypass、需要控制 Vary 维度膨胀,且部分与 Smart Placement 的协同和响应体大小限制仍在演进中。

收录理由很明确:文章给出了可直接落地的缓存架构、HTTP 控制面设计、按入口点组合缓存的方式,以及多租户安全与失效策略的具体实现。适合做边缘计算、SSR 性能优化、平台架构和缓存设计的长期参考,尤其对使用 Workers、服务绑定或多入口应用的工程师有迁移价值。

工程实践Grab Tech

Migrating Counter Service storage: Design choices and learnings

文章复盘了 Grab 将 Counter Service 从宽表数据库迁移到 Aerospike 的全过程,核心不是简单换存储,而是先重构读写分层,再按访问模式重新设计数据模型。读路径上,作者把存储访问从业务逻辑中抽出,采用带枚举分发的 facade,并通过 shadow read、split traffic 和配置切换实现无停机、可回滚迁移。写路径上,团队尝试了按桶存行、Secondary Index 和 BatchGet,最终选择“单 counter 单记录 + 有序 map”的结构,用原子 MapIncrement 和显式清理旧桶来降低索引和磁盘占用。文中还记录了 Rust 客户端不成熟、DNS 解析和 NVMe 索引实验带来的问题与回退原因。最终系统在读延迟、成本和存储 footprint 上都有明显收益,但这些收益主要来自 schema 与架构重构,而非数据库替换本身。

推荐收录,因为文章给出了迁移前后的存储分层、影子流量、逐步切流、数据建模和回退验证等完整证据,而不是泛泛谈“换数据库”。适合做存储迁移、在线系统无停机改造和性能/成本权衡的参考,尤其对需要处理高 QPS 计数服务的工程师有直接迁移价值。

技术文章LWN.net

[$] Efficient access to local storage for BPF programs

这篇文章围绕 BPF 程序访问内核本地存储时的效率问题展开,说明该能力常被用于在网络路径中为数据包关联附加信息。作者结合 Linux Storage/Filesystem/Memory-Management/BPF Summit 上的两场分享,分别讨论了通用性能瓶颈,尤其是锁带来的开销,以及网络子系统中本地存储的具体使用方式。文章的核心结论是:本地存储虽然语义简单,但在高频访问场景下容易成为热点,优化必须同时考虑锁竞争、访问路径和数据布局。它更偏向内核机制与性能分析,而不是面向普通 BPF 开发者的入门教程。适合关注 Linux 内核、网络栈和 BPF 性能优化的读者参考。

推荐收录,因为正文明确讨论了 BPF 本地存储的访问效率、锁竞争和网络子系统中的实际使用,这些都是可迁移的内核性能分析点。适合做 Linux/BPF、网络栈优化和系统性能调优的读者阅读,但它偏会议讨论转述,深度主要来自问题分析而非完整实现细节。

工程实践Meta Engineering

Meta’s AI Storage Blueprint at Scale

文章系统复盘了 Meta 为 AI 工作负载重构 BLOB 存储的过程,目标是同时提升 GPU 利用率与研究迭代速度。旧架构沿用多层状态化元数据与全局默认复制,面对闪存级低延迟和 pMax 要求时,跨层查询与跨地域访问会把元数据延迟放大到毫秒乃至百毫秒级,直接造成 GPU stall。新方案将元数据压平为统一 schema 并由 ZippyDB 支撑,去掉数据面代理,改为客户端 SDK 直接从 Tectonic 拉取数据,同时按区域部署以贴近 GPU。为应对热点和突发流量,文中引入 GPU 主机分布式缓存、read-plan 缓存、hedged read 与动态并发控制,并通过预取、显式 hydration 和分层缓存把跨地域等待降到分钟级。文章也明确了边界:该架构更适合写一次、多次读取的训练数据与检查点场景,未来还需继续解决更高规模的网络上限与推理负载。

推荐收录,因为文章给出了从旧版全局存储到 AI 友好型区域化存储的完整重构证据,包括元数据压平、客户端直连、缓存分层和并发控制等可验证设计。适合做大规模训练存储、GPU 利用率优化和数据分发架构的参考,迁移价值高,但也明确依赖写多读多、可预取的训练型负载。

工程实践NVIDIA Technical Blog

Optimizing a Neural Reconstruction Pipeline Using NVIDIA Nsight Developer Tools

文章围绕 NVIDIA Omniverse NuRec 神经重建流水线的性能优化展开,目标是把来自相机、激光雷达等多传感器数据构建为高保真三维环境的过程做得更快、更稳定。作者以 Nsight 系列开发者工具为核心,先从端到端剖析 CPU、GPU、内存拷贝和各阶段调度开销,再定位流水线中的主要瓶颈与资源空转点。随后通过针对性的 kernel 优化、执行重排和数据搬运改进,验证了性能收益并说明了优化前后的差异。文章的重点不在算法创新,而在如何借助 профiliing 工具建立可重复的性能诊断流程。其方法适合 GPU 密集型 AI/图形管线,但结论会受具体硬件、数据分布和 NVIDIA 工具栈限制。

推荐收录,因为它明确展示了用 Nsight 工具从端到端定位 GPU 管线瓶颈、再逐步验证优化收益的完整过程。对做 AI 重建、仿真、图形或其他 GPU 密集型系统的读者,文中的分析框架和排障顺序具有直接迁移价值,但结果依赖 NVIDIA 生态与具体 workload。

工程实践Salesforce Engineering

Inside Unified Planner: The AI Brain Behind Agentforce

文章介绍 Salesforce 为 Agentforce 构建的 Unified Planner:一个统一的 AI 执行与推理运行时,用来同时支撑语音、文本、聊天以及 MuleSoft 等场景。作者解释了旧体系中 Agent Graph 与 Voice Planner 各自演进导致的能力割裂、重复实现和运维不一致,并通过将平台级职责与客户业务流程解耦来完成统一。性能上,团队把原先串行的提示注入检测、检索、校验、上下文收集等步骤改为可并行执行,并允许多工具调用并发,从而把部分响应延迟从约 20 秒降到 2.3 秒。文章还讨论了模型选择、迁移生产代理的安全验证、特性分阶段放量,以及面向视频等未来多模态交互时在表示、推理和扩展性上的新挑战。整体更偏真实平台重构与 AI 运行时设计经验,适合关注低延迟 AI 系统、统一架构和生产迁移的读者。

收录理由明确:文中给出了统一运行时、并行化执行和生产迁移验证的具体做法,并量化说明了延迟从 20 秒降到 2.3 秒。适合做 AI 平台、Agent 运行时和多模态系统设计的参考,尤其对需要在低延迟、可扩展与一致性之间做取舍的工程团队有直接迁移价值。

工程实践Instacart Tech Blog

Leveraging PyFixest for High-Cardinality Marketplace Modeling at Instacart

文章面向 Instacart Marketplace 的实验建模,讨论在 geo:time switchback 和 static-geo 场景下,如何用高基数固定效应控制区域与时间异质性,并缓解 treatment spillover 带来的偏差。作者先从 OLS 正规方程和 Gram 矩阵求逆的复杂度解释,为什么在数千到数万类别时,传统哑变量回归会在时间和内存上失控。随后用 Frisch-Waugh-Lovell 定理说明可通过去均值消去固定效应,再用交替投影法处理多重固定效应的反复污染与收敛问题。文章指出 fixest/pyfixest 通过这些算法在保持系数估计一致性的同时显著降低计算成本,但会少掉固定效应的直接标准误输出,部分估计还依赖后处理。基准测试和真实案例显示,PyFixest 在速度、内存和统计精度上明显优于 statsmodels 与朴素 scikit-learn 实现,适合大规模实验分析。

推荐收录,因为文章明确给出了高基数固定效应为何难算、以及如何用 FWL+MAP 在工程上解决的直接证据,并结合 benchmark 和线上实验结果验证收益。适合做增长实验、因果推断和高维回归的读者参考,但结论仍受固定效应结构和实现后端影响。

工程实践Netflix TechBlog

GenPage: Towards End-to-End Generative Homepage Construction at Netflix

文章介绍 Netflix 将首页推荐重构为端到端生成式系统 GenPage:把用户历史、画像和请求上下文序列化为提示词,再由单个 decoder-only Transformer 自回归生成整页首页,包括行、实体和布局。训练上沿用 LLM 方案,先做 next-token 预训练学习“首页语言”,再用加权二分类或强化学习做后训练,以对齐用户满意度和页面级奖励。工程上作者重点解决了实时延迟、冷启动、目录更新、业务规则约束和增量训练等问题,采用领域定制分词、语义 embedding 融合、fallback token、约束解码与混合行解码来兼顾可控性与效率。离线实验显示,丰富上下文往往比单纯扩大模型更有效,RL 还能提升页面多样性;在线 A/B 中,GenPage 在核心参与度指标上显著优于成熟多阶段基线,同时将端到端延迟降低约 20%。文章也指出当前仍依赖部分手工摘要,长上下文与更通用的语言/多模态能力仍是后续方向。

推荐收录,因为它给出了把推荐系统改造成生成式 Transformer 的完整工程链路:数据表示、训练范式、RL 对齐、业务规则约束与线上验证都有直接证据。适合做个性化推荐、AI 工程化和大模型落地的读者参考,尤其可迁移的是“先丰富上下文再扩模型”“用约束解码保业务规则”“用混合解码降延迟”的方法。

个人心得知乎 - 皮振伟

一个“外行人”与Redis/Valkey的六年

文章回顾作者从 Linux 内核、KVM 和存储虚拟化背景切入 Redis/Valkey 社区的六年经历,强调自己并非缓存数据库“专家”,却能借助外行视角持续发现内核、网络与数据库之间的协作点。前半部分列举了线程命名、CPU 亲和性、THP 开关和 LTTNG trace 等改动,说明这些功能如何帮助观测、隔离和排查长尾延迟。后半部分重点讲述 Valkey Over RDMA 与 Valkey Over MPTCP:前者围绕 RESP3 与 RDMA 消息语义的适配、连接抽象层改造和上游合入,验证了高性能网络可带来约 2.5 倍性能提升;后者则面向跨机房同步与多路径容错完成了客户端、服务端和工具链适配。文章也交代了从 Redis PR 长期无回应到 Valkey 社区推进落地的过程,并记录了社区协作、测试验证和发行版打包的推进路径。整体更像一篇带有技术细节的开源成长记录,适合想参与基础设施和数据库开源项目的读者参考,但方法论总结偏经验化而非系统化教程。

推荐收录,因为文章给出了从“外行”切入核心开源项目的具体证据:RDMA、MPTCP、THP、LTTNG 等改动都落到可验证的代码与性能结果上。对想参与基础设施开源、做跨层性能优化或理解社区协作流程的读者,具有可迁移的实践参考价值。

工程实践MaskRay

A deep dive into SmallVector::push_back

这篇文章围绕 LLVM SmallVector 的 push_back 热路径优化展开,分析了约 trivially copyable 元素在容量不足时为何会把本应只发生在慢路径的状态保存,意外带到快路径上。作者通过 clang、GCC 和不同库实现的汇编对比指出,fast/slow 合流会迫使 this 和元素值占用被调用者保存寄存器,shrink wrapping 无法消除这些开销。随后提出把 grow-and-store 拆成独立的尾调用慢路径,让快路径只保留一次比较、一次存储和一次递增,从而显著缩短指令序列并减少寄存器压力。文章还验证了 libc++、libstdc++、Boost small_vector 的类似问题,并说明这个改动对二进制体积、编译时指令数和少数内联阈值敏感点的影响。其边界在于慢路径会更慢且 noinline 很关键,但由于扩容本就要搬移元素,额外一次调用的代价通常可接受。

收录依据很明确:文章给出了汇编、shrink-wrap 诊断和编译时统计,证明问题出在快慢路径合流导致的寄存器溢出,而非简单的代码风格差异。适合做 C++ 标准库、LLVM/编译器后端和性能优化的参考,尤其对需要理解尾调用、内联与寄存器分配权衡的读者可迁移价值很高。

工程实践NVIDIA Technical Blog

Creating the NVIDIA Nemotron 3 Ultra NVFP4 Checkpoint with NVIDIA Model Optimizer

文章介绍了如何借助 NVIDIA Model Optimizer 将 Nemotron 3 Ultra 转换为 NVFP4 checkpoint,以降低大模型权重搬运成本并提升长上下文场景下的推理效率。核心思路是利用 Blackwell 架构引入的 NVFP4 4-bit 浮点格式,对模型权重进行量化压缩,在尽量保持模型质量的同时显著减少显存占用和带宽压力。文中强调这种做法并不是通用“无损压缩”,而是依赖特定硬件与工具链的协同,适合追求吞吐、延迟和部署成本平衡的 LLM 推理链路。其价值主要在于给出从原始模型到可部署 checkpoint 的实际路径,但适用边界也很明确:需要 Blackwell 相关能力,且对精度敏感任务仍需额外验证。

推荐收录,因为文章直接给出了基于 Model Optimizer 生成 NVFP4 checkpoint 的工程路径,明确涉及 Blackwell、4-bit 量化和推理性能优化。适合做大模型部署、显存压缩和 GPU 推理优化的读者参考,但需注意它强依赖特定硬件与量化误差验证。

工程实践知乎 - 腾讯技术工程

腾讯混元AI Infra如何优化Hy3 Preview:一次大模型推理性能提升的技术拆解

本文拆解了腾讯混元 Hy3 preview 在 Hopper 96G 上的推理全栈优化,围绕算子优化与融合、并行策略、多级缓存、MTP 异步调度、量化与稀疏五个方向展开。作者针对 Attention、MoE、Router、采样、AllReduce 等关键路径做了动态调度、双 BF16 GEMM、FusedMoE、通算融合和算子级融合,显著减少 HBM 往返与 Kernel 启动开销。系统层面又通过 TPSP、DP+EP、三级缓存和按最大接收长度预组装输入,缓解长上下文、MoE 与 MTP 带来的通信、显存和 CPU 气泡问题。文中给出了真实请求集与多组实测指标,如 TTFT 降幅约 24.5%~29.9%、端到端吞吐提升 15.7%~44.7%、量化后吞吐提升 28%+、稀疏注意力在 128K 上将 Prefill 延迟降低 3.6 倍。整体方法高度依赖 Hopper 架构、自研 kernel 与腾讯内部基础设施,迁移到其他模型或硬件时需要重新验证边界与收益。

收录,因为文章给出了真实请求集、Hopper 96G 和 W8A8C8 约束下的系统性优化路径,并明确量化了 TTFT、吞吐和单算子加速收益。适合做大模型推理、GPU Kernel 融合、并行与缓存设计的参考,但方案强依赖特定硬件与自研栈,迁移时需重做适配验证。

工程实践NVIDIA Technical Blog

Streamlining Resource Binding with End-to-End Support for Vulkan Descriptor Heaps

文章围绕 Vulkan 中的资源绑定机制,讨论如何通过 descriptor heaps 让着色器访问纹理、缓冲区等 GPU 资源时减少繁琐的逐项绑定操作。作者先解释传统绑定方式的管理成本与 CPU 开销,再介绍端到端支持的实现思路,即把资源组织、句柄分配和运行时访问路径统一起来,以降低绑定频率并改善提交效率。文章还强调这种方案对驱动、API 和应用侧需要协同适配,不能简单理解为“更快的接口”,而是绑定模型与资源生命周期的整体重构。其价值主要体现在资源数量大、绑定切换频繁的渲染场景,但收益会受硬件、驱动成熟度和应用架构影响。

文章直接讨论 Vulkan 资源绑定模型、descriptor heaps 的端到端支持路径,以及它对 CPU 开销和绑定管理复杂度的影响,属于可迁移的 GPU 图形系统经验。适合做图形引擎、渲染管线和底层 API 设计参考,但其收益依赖具体驱动与使用场景,不宜脱离上下文套用。

工程实践知乎 - TencentDB腾讯云数据库

腾讯云 NoSQL 技术之 MongoDB 篇:物理备份磁盘膨胀率减少 90% 的内核优化实践

文章围绕 MongoDB 基于 WiredTiger 的物理备份在 hidden 节点上持续膨胀的问题展开,指出根因是 backup cursor 将历史 checkpoint 持续 pin 住,导致旧 extent 不能回收,新写入只能不断追加到文件尾部。作者进一步分析了 oplog.wt 在备份期既最容易膨胀、又几乎没有回档价值的特点,并给出按表级粒度释放 checkpoint 的内核接口 `WT_CONNECTION::backup_release_checkpoint`,让旁路备份服务在拷完单表后即时通知引擎恢复空间回收。针对 oplog,则在备份开始即释放并跳过拷贝,同时配合元数据处理避免恢复失败。文章还补充了 crash recovery 场景下的 sentinel 文件方案,用于区分备份中断与备份完成,避免错误进入 hot backup restore 路径。实测显示,在多表场景下备份耗时约减半,hidden 节点峰值占用和物理膨胀率显著下降,但方案强依赖 MongoDB/WiredTiger 备份与恢复语义。

推荐收录,因为文章给出了从根因分析、内核改造到恢复语义兜底的完整闭环,并用线上实测数据证明了膨胀率和回档成本的下降。适合做数据库存储引擎、备份系统和稳定性优化的参考,尤其对需要处理 checkpoint、快照一致性和 crash recovery 的读者有直接迁移价值。

技术文章LWN.net

[$] Reports from OSPM 2026, day two

这篇文章是对 OSPM 2026 第二天会议内容的整理报道,聚焦 Linux 内核中的电源管理与调度议题。涉及的主题包括设备频率调节、基于时间片时长进行 CPU 选择、多簇 Arm 系统的调度域设计、LAVD 调度器等,反映了内核社区在性能、能耗和调度策略上的最新讨论方向。文章价值主要在于把多个分散的会场议题串联起来,帮助读者把握当前 Linux 内核相关子系统的演进脉络与权衡点。

推荐收录,因为它围绕 Linux 内核电源管理和调度这一长期重要主题,汇总了多个具体技术议题,适合系统方向读者跟踪社区讨论和设计取舍。虽然它是会议报道而非深入教程,但对理解内核调度与能耗优化的演进方向仍有较强参考价值。

工程实践Cloudflare Blog

Unlocking the Cloudflare app ecosystem with OAuth for all

这篇文章复盘了 Cloudflare 将 OAuth 从少数人工接入伙伴扩展到所有客户的工程改造过程,重点讲解了如何升级底层 Hydra OAuth 引擎、处理数据库 schema 迁移、设计蓝绿切换方案以及在迁移窗口内保证授权与撤销语义不被破坏。文章还披露了升级前后的性能指标变化和线上问题修复细节,说明这次改造不仅是产品能力开放,也是一次围绕一致性、可用性和安全性的系统性工程升级。

推荐收录,因为它不是简单的产品发布,而是完整展示了一个高流量授权系统如何在不中断用户的前提下完成大版本升级与能力开放。对做平台、基础设施、认证授权或大规模数据库迁移的工程师来说,文中关于蓝绿迁移、撤销事件回放、刷新令牌处理和性能观测的做法都很有迁移价值。

工程实践Meta Engineering

How Meta Engineered Ultra-Narrow Batteries for AI Glasses

这篇文章围绕 Meta 为 AI 眼镜定制超窄钢壳电池的工程实践,解释了为什么传统软包电池难以适配眼镜镜腿这种极窄空间,以及他们如何通过改变电芯形态、极片结构和制造公差来提升可用体积与峰值供电能力。文中还讨论了双电池系统的同步、交叉充电风险、不同代际产品的容量提升与系统级续航优化,展示了硬件、固件和结构设计协同迭代的思路。

推荐收录,因为它不是单纯的产品宣传,而是给出了在极端尺寸约束下重做电池形态、降低内阻、处理双电池协同的具体工程思路。对可穿戴设备、嵌入式硬件和低功耗系统设计读者都有较强迁移价值。

工程实践NVIDIA Technical Blog

Boost Inference Performance up to 15x on NVIDIA Blackwell Using DFlash Speculative Decoding

这篇文章讨论了在 NVIDIA Blackwell 上通过 DFlash speculative decoding 提升大模型推理性能的方法,核心问题是自回归 LLM 逐 token 生成导致的低 GPU 利用率和高延迟。文章强调用轻量 draft model 先预测候选 token,再由主模型验证,以此在延迟敏感和多智能体工作流场景中提升吞吐与响应速度,并给出最高可达 15x 的性能提升结论。其价值主要在于解释 speculative decoding 的推理瓶颈缓解思路,但具体收益高度依赖模型、提示分布、硬件与服务配置。

推荐收录,因为它围绕大模型推理的核心瓶颈给出了具体优化路径,且 speculative decoding 本身是可迁移到多种推理系统的通用思路。虽然标题带有明显的硬件性能宣传色彩,但文章主题对关注低延迟 serving、GPU 利用率和推理加速的读者仍有参考价值。

工程实践知乎 - 手抓饼熊

GTC 2026 技术分析:通过 CUTLASS Python 在 Blackwell GPU 上实现 GEMM 峰值 Tensor Core 性能

这篇文章基于 GTC 2026 关于 CUTLASS Python 的演讲,系统分析了如何在 Blackwell GPU 上围绕 GEMM 逐步逼近 Tensor Core 峰值性能。文章从基础 GEMM 的分块、TMA 传输、TMEM/RMEM/SMEM 流水线讲起,进一步比较了 2CTA、Warp Specialization、TMA Store、Persistent Kernel、Preferred/Fallback Cluster、Dynamic Scheduler 和 PDL 等优化手段在不同矩阵规模与瓶颈条件下的收益与边界。全文不仅给出性能数据,还强调了不同规模下瓶颈会从 DRAM 延迟、epilogue 开销转向 L2 命中率和调度效率,适合作为 Blackwell 上高性能 GEMM 编程的系统性参考。

推荐收录,因为它不是单纯介绍 CUTLASS Python,而是把 Blackwell 架构特性、内存层次、调度机制和性能结果串成了一条完整的优化路径。对做 GPU kernel、推理加速或高性能矩阵计算的读者来说,这些关于瓶颈切换、流水线隐藏和 cluster 调度的结论具有很强的可迁移性。

工程实践LWN.net

Sunsetting Tor 0.4.8

这篇文章讨论 Tor 项目计划停止支持 0.4.8 及更早版本的原因与时间表,核心动机是 0.4.9 中将移除旧的目录数据字段,尤其是 TAP onion keys 和 family lines,以显著降低客户端目录带宽并加快网络启动。文章同时说明了兼容性代价:旧版本客户端和中继将因依赖这些字段而失效,因此项目需要提前设定明确的日落日期来完成协议演进与版本切换。

推荐收录,因为它展示了一个典型的网络基础设施演进案例:为了整体性能提升而主动收缩旧协议兼容面,并明确处理版本退役带来的风险。对做安全网络、分布式系统或长期维护协议的人来说,这类兼容性与性能的权衡具有可迁移参考价值。

工程实践Xe Iaso

I taught a bucket to speak git

这篇文章讲的是作者如何把一个对象存储 bucket 改造成能直接承载 Git 仓库的后端,并基于 go-git 与 billy 这些抽象实现了一个纯 Go 的 git server。正文不只是展示“能跑”,还系统复盘了 rename 原语、packfile 写入与读取、stat/list 级联、clone 过程中的随机读放大,以及用本地缓存缓解对象存储高延迟等关键问题,并明确指出哪些地方只是实验性权衡、并不适合直接用于生产。

推荐收录,因为它把“把 Git 放到对象存储上”这个看似奇技淫巧的问题,拆解成了可验证的系统设计与性能问题,具有很强的迁移价值。读者可以从中学习如何用抽象层适配存储语义、如何识别网络存储与本地文件系统的性能鸿沟,以及如何用指标驱动优化。

工程实践Cloudflare Blog

How we found a bug in the hyper HTTP library

这篇文章复盘了 Cloudflare 在 Images binding 迁移后遇到的一起间歇性响应截断问题,最终定位到 Rust HTTP 库 hyper 的 HTTP/1 连接状态机里:flush 还没完成就被当作已完成,随后触发过早 shutdown,导致大响应在 socket 背压下被截断。作者通过复现工单、分层排除、分布式 tracing 和 strace 观察系统调用,最终用一个可控的“满缓冲 socket”测试稳定复现并修复了这个 race condition。文章特别说明了该问题只在特定时序、大响应、真实生产并发和读取方稍慢时出现,curl 等快速读取场景很难触发,因此很适合作为连接层故障排查与异步 I/O 正确性案例参考。

推荐收录,因为它不是简单的 bug 通报,而是完整展示了从现象、复现、分层排除到根因确认与最小修复的工程分析链路。文章对理解异步 flush/shutdown 顺序、socket 背压、以及为什么应用层观测可能看不到底层丢包问题,很有迁移价值。

工程实践Meta Engineering

Adopting AV1 for Real-Time Communication (RTC) at Scale

这篇文章系统复盘了 Meta 在实时通信场景大规模引入 AV1 的全过程,覆盖编码器/解码器选择、移动端功耗与内存约束、二进制体积控制、Android 设备准入、以及基于编码/解码延迟的动态码率与码流切换策略。作者进一步讲解了面向 RTC 的关键质量优化,包括更精确的 CBR rate control、VBV delay 评估、Temporal Layer、自适应 FEC 和 Long-Term Reference 等抗丢包机制,并说明这些设计如何在低带宽、弱网络和低端设备上兼顾清晰度、时延与稳定性。文章最后给出当前覆盖进展与后续扩展到群聊、硬件 AV1 的边界和方向。

推荐收录,因为它不是泛泛介绍 AV1 优势,而是完整呈现了一个大规模 RTC 系统从选型、落地到持续优化的工程路径,尤其适合关注端侧性能、网络适应和多约束权衡的读者。文章对 device eligibility、rate control、error resilience 的处理方式具有较强迁移价值,能为音视频、移动端和实时通信系统提供可复用的方法论。

技术文章知乎 - 手抓饼熊

Tensor Core 编程与优化深度技术解析 — GTC 2026

这篇文章系统梳理了 NVIDIA Tensor Core 的编程模型与优化方法,覆盖 Warp Level、Warpgroup Level 到 Blackwell 第五代 Tensor Core 的演进,并把 Nsight Systems/Nsight Compute 的分析方法、TMA 流水线、CuTe/CUTLASS 编程框架串成一条完整优化路径。文章不仅解释了 MMA、tiling、寄存器/共享内存/TMEM 的数据流关系,还通过具体矩阵尺寸、SASS 形态和 profiling 指标说明如何判断瓶颈与选择合适的实现策略。适用边界主要在 NVIDIA CUDA GPU 生态,且部分 Blackwell/GTC 2026 相关特性具有较强版本依赖。

推荐收录,因为文章把 Tensor Core 的硬件代际、编程接口和性能分析工具放在同一框架下讲清楚,兼具原理、方法和实战排查路径。对于做 CUDA 算子优化、GPU 性能分析或 AI 基础设施开发的读者,它提供了可迁移的心智模型与调优抓手。

工程实践Netflix TechBlog

The Evolution of Cassandra Data Movement at Netflix

这篇文章复盘了 Netflix 将 Cassandra 数据搬迁从旧的 Casspactor 架构演进到新的分层数据移动引擎的过程,核心目标是提升可靠性、可扩展性和成本效率。文章重点解释了新方案如何直接从 S3 中的备份元数据读取单一事实来源、在 Spark DataFrame 层处理数据、通过 Connector Factory 支持多种数据抽象,以及如何解决大分区、元数据脆弱、间接表膨胀和时间回溯等问题。文中还系统总结了迁移方法论:通过 shadow 验证、可观测性建设和 Decider pattern 实现对线上用户零影响切换,适合作为大型数据平台重构与平滑迁移的参考案例。

推荐收录,因为它不是简单的系统替换公告,而是完整展示了一个高风险数据平台迁移如何从架构、验证、观测和回滚机制四个层面设计。对做数据基础设施、平台工程和大规模迁移的读者来说,文中的分层架构、单一事实来源、shadow 对比和安全切换方法都具有很强的可迁移价值。

技术文章知乎 - 腾讯技术工程

拆解大模型几项核心操作背后的数学与 Infra 优化逻辑

这篇文章从大模型推理与训练中的几个核心算子入手,系统拆解了 RMSNorm、Softmax、Causal Mask、Online Softmax、FlashAttention、采样等操作背后的数学等价变换与硬件实现逻辑。作者把“数值稳定性”“访存带宽”“寄存器/SRAM 压力”“并行度与同步开销”串成一条线,说明现代 AI Infra 的核心思路是在尽量不损失模型效果的前提下,通过重写公式、融合 Kernel、减少 HBM 访问和降低数据依赖来换取吞吐与延迟优势。

推荐收录,因为它不是单纯讲概念,而是把大模型常见算子如何从数学形式落到 GPU Kernel 优化讲清楚了,适合做 AI Infra、CUDA/Triton、推理引擎方向的长期参考。文章兼顾理论直觉与工程实现,读者能迁移到归一化、Attention、采样和分布式推理等多类优化问题中。

工程实践知乎 - 千问云

Tair 联手 SGLang 共建 DeepSeekV4 分层缓存架构

这篇文章围绕 DeepSeek V4 的长上下文推理,系统讲解了 Tair KVCache 与 SGLang 如何通过分层缓存来同时缓解 Prefill 和 Decode 两侧的显存压力。核心思路是用 Shadow Radix 统一逻辑前缀坐标,再分别用 HiCache 处理前缀复用的多级存储回落与恢复,用 HiSparse 处理 Decode 阶段 C4 压缩历史的按需加载,从而在多轮对话场景下提升 Prefill 吞吐接近 3 倍,并在高并发下显著抬升 Decode 的 batch size 与峰值吞吐。文章也明确了这套方案的适用边界:它依赖 DeepSeek V4 的混合注意力与压缩 KV 结构,收益主要出现在长上下文、前缀复用强和并发较高的服务场景。

推荐收录,因为文章不是简单介绍一个缓存产品,而是把模型结构、推理阶段划分、KV 物理形态和缓存层级之间的关系讲清楚了,具有较强的系统设计参考价值。对于做大模型推理服务、长上下文优化和显存治理的读者,这篇内容能直接迁移为架构分析框架和实现思路。

工程实践Cloudflare Blog

Scaling Security Insights: how we achieved a 10x increase in global scanning capacity

这篇文章复盘了 Cloudflare 为 Security Insights 扫描系统做的整体扩容:从每周/每两周扫描一次、部分免费用户未自动扫描,提升到峰值每秒 120 次以上的扫描吞吐,并将免费用户默认扫描和全量扫描频率提升到更高水平。作者按链路拆解了多个瓶颈,包括 Kafka 消费的 head-of-line blocking、Postgres 批量写入效率、跨地域 API 延迟导致的连接池耗尽,以及调度器造成的扫描洪峰,并逐一用批量并行、快慢车道、UNNEST/COPY 混合写入、active-passive API 和自适应限流等手段解决。文章的核心结论是:在大规模系统里,先理解现有架构和真实瓶颈,再针对性优化,往往比简单加机器、加分区或抬超时更有效。

推荐收录,因为它不是泛泛的“扩容故事”,而是完整展示了一个安全扫描平台在消息队列、数据库、调度和跨地域部署上的系统性性能治理。对做后端、基础设施、安全平台或高并发任务调度的读者来说,这篇文章提供了很强的可迁移方法论:如何定位瓶颈、如何权衡架构改动、以及如何用指标验证收益。

技术文章Xe Iaso

Why are cached input tokens cheaper with AI services?

这篇文章解释了为什么大模型 API 里的 cached input tokens 通常比未命中的输入 tokens 便宜,核心原因是服务方可以复用前缀计算结果,避免对相同上下文重复做推理。作者用聊天消息不断累积的调用方式说明了 KV cache / prefix cache 的工作思路,并把它和延迟、算力成本以及用户侧费用直接联系起来。文章也给出一个实用建议:尽量保持推理设置和前置消息稳定,以提高缓存命中率、降低成本并改善响应速度。

推荐收录,因为它用通俗但正确的方式解释了大模型服务定价背后的系统原因,帮助读者把“缓存更便宜”从现象理解到机制层面。内容对做 AI 应用、推理优化或成本控制的人都很有参考价值,且经验可以迁移到其他依赖前缀复用的系统设计中。

工程实践Amazon Science

Graviton5&#8217;s improved design increases speed and energy efficiency &#8212; beyond Moore&#8217;s law

这篇文章介绍了 AWS Graviton5 的整体设计升级,包括从 96 核提升到 192 核、采用 3nm 工艺、支持 DDR5-8800 与 PCIe Gen6,以及更大的 L3 缓存和改进后的芯粒互联。作者进一步解释了这些变化如何通过更好的分支预测、缓存层级、NUMA 划分和芯粒内互联来提升真实负载表现,尤其是数据库、Web 应用和机器学习推理等场景。文章还补充了 Nitro Isolation Engine 的正式验证隔离机制,强调了硬件设计与云安全之间的结合。

推荐收录,因为它不仅是产品发布,更提供了 CPU、缓存、芯粒互联、NUMA 和云安全隔离的具体设计思路,适合关注云基础设施和处理器演进的读者。尽管带有厂商宣传色彩,但其中关于真实工作负载优化与形式化验证安全性的论述具有较强的迁移价值。

工程实践NVIDIA Technical Blog

Model Quantization: Turn FP8 Checkpoints into High-Performance Inference Engines with NVIDIA TensorRT

文章围绕模型量化后的部署流程,说明如何将 FP8 checkpoint 转换为 NVIDIA TensorRT inference engine,并把“模型优化”与“生产推理”连接起来。核心价值在于展示量化模型进入推理引擎后的落地路径,以及这种做法在吞吐、延迟和 GPU 利用率上的收益。文章的适用边界主要在 NVIDIA GPU 与 TensorRT 生态,以及已具备 FP8 量化能力的模型和工作流。

推荐收录,因为它提供了从量化 checkpoint 到高性能推理引擎的完整工程思路,适合关注模型部署、推理加速和 GPU 资源利用的读者参考。虽然带有明显的 NVIDIA 生态属性,但其中关于量化、引擎生成和性能收益验证的思路具有较强迁移价值。

工程实践知乎 - 腾讯技术工程

横向拆解Claude Code、Codex等六大Agent上下文压缩策略后,我们做了第 7 个

文章横向拆解了 Claude Code、Codex CLI、OpenCode、Cline、Cursor、Amp、MemGPT/Letta 等多种 Agent 上下文压缩方案,归纳出分层渐进、真实 token 计量、保护近端信息、增量摘要和稳定缓存前缀等共识。随后作者结合 MUR AI 这一云端多用户 Agent 的实际约束,落地了四级水位线(Snip/Prune/Summarize)方案,并补充了日志落盘、工具差异化、跨轮 ReplacementCache 和多租户隔离等工程设计。文章的核心结论是:上下文压缩不是一次性清理,而是持续维护模型注意力与缓存稳定性的系统能力,且在云端场景需要额外处理审计、重启一致性与权限边界。

推荐收录,因为它不是单纯介绍某个产品功能,而是把主流 Agent 压缩策略、失败模式和工程落地方案放在同一框架下比较,适合长期参考。尤其对做云端 Agent、长上下文管理、缓存优化和多租户系统的团队,这篇文章提供了可直接迁移的设计原则与踩坑经验。

工程实践知乎 - 皮振伟

漫谈AI推理与存储

这篇文章围绕 AI 推理中的存储需求展开,重点分析了模型权重加载、KV Cache 的数据形态、外部存储布局,以及单机和分布式场景下的 IO 路径选择。作者把 LLM 推理中的启动延迟、GPU 空转、缓存共享、存储分层和成本控制串成一条完整链路,并系统比较了 mmap、GDS、Direct IO、RDMA、NVMe-oF、对象存储等方案的适用边界。最后,文章结合自研 GD2FS 和若干实测数据,提出了面向推理场景的 GPU 直连分布式存储架构,但也明确这些优化高度依赖数据对齐、缓存形态和具体工作负载。

推荐收录,因为它不是泛泛谈“AI 存储”,而是从推理引擎的数据特征出发,逐层分析了存储栈、网络栈和 GPU 直连路径的取舍,具有很强的工程可迁移性。文中还给出了自研系统和实测结果,适合做 AI 基础设施、推理优化和分布式存储方向的长期参考。

技术文章Max Bernstein

A survey of inlining heuristics

这篇文章系统梳理了动态语言 JIT 和多种编译器中的内联启发式,重点讨论“何时内联”比“如何内联”更难。作者从代码体积、编译时延迟、缓存压力、递归、调用深度、调用频率、调用上下文和 profile 传播等维度,比较了 Cinder、PyPy、V8、JavaScriptCore、SpiderMonkey、HotSpot、.NET、Dart、ART、HHVM 等实现差异,并补充了机器学习、部分内联和 AOT 信息辅助等研究方向。文章的结论是:内联本质上是一个全局收益与局部预算之间的权衡问题,启发式设计必须结合目标运行时、可观测性和分层编译策略。

推荐收录,因为它不是泛泛而谈“内联能提速”,而是把多个真实编译器/JIT 的决策规则、预算约束和调用上下文处理方式放在一起比较,长期参考价值很高。对做编译器、语言运行时或性能优化的读者来说,这篇文章能直接提供可迁移的启发式设计框架和调参视角。

工程实践Instacart Tech Blog

From Scoring to Spelling: Rebuilding Ads Retrieval at Instacart

文章复盘了 Instacart 广告召回系统从“对固定候选集打分”转向“按 token 自回归生成”的重构过程。作者先分析了旧式 BERT 检索在词表膨胀、冷启动和候选结构漂移上的瓶颈,再介绍用 Semantic IDs 作为新产品词汇、用上下文模板组织训练输入、以及通过 beam search 生成候选并映射回商品索引的完整方案。为了支撑新模型,团队还重建了 GPU serving 栈(TensorRT-LLM、Triton、Go-native 服务),最终在两条发现型广告位上取得了约 +5% CTR、+34% add-to-carts 的线上收益,并显著提升了长尾类目和品牌多样性。

推荐收录,因为它不是单纯的产品宣传,而是把广告召回从建模、表示、训练、检索到推理基础设施完整串起来,呈现了一个可迁移的工业级重构范式。对于做推荐系统、检索系统和大模型推理落地的读者,这篇文章能直接提供“何时从打分转向生成”“如何重做表示层”“如何为生成式召回重建 serving 栈”的判断框架。

工程实践Cloudflare Blog

How we reduced core unit boot time from hours to minutes

这篇文章复盘了 Cloudflare 核心裸金属服务器在固件更新后启动时间从几分钟恶化到数小时的问题,根因不是单一故障,而是 UEFI/iPXE 启动流程中对网络启动接口进行顺序探测时,反复命中超时导致的级联等待。作者通过串口观察、启动链路拆解和与 OEM 协同,最终把正确的网络启动接口前置声明,并处理了旧版 UEFI 不支持、升级后配置丢失、不同 NIC 字符串不一致、iPXE 读取配置受限等工程边界。文章最后把固件升级总耗时从接近 4 小时压到 3 分钟,后续单次启动也从约 20 分钟缩短到 1 分钟以内,适合作为裸金属自动化、UEFI 启动排障和固件配置管理的参考案例。

推荐收录,因为它不是简单的性能优化报道,而是把裸金属启动链路、固件行为、供应商差异和自动化控制串成了一条完整的工程排障路径。对于做基础设施、SRE、系统启动和硬件自动化的读者,这篇文章提供了可迁移的诊断框架和规避超时放大的方法。

工程实践Amazon Science

How flat is replacing fat in AWS data center networks

文章介绍了 AWS 在数据中心网络中用“准随机”平面网络替代传统 fat-tree 的方案,核心包括拓扑设计 RNG、路由算法 Spraypoint,以及用于落地布线的被动光学组件 ShuffleBox。作者不仅解释了为什么随机平面拓扑在理论上更优,还给出了可计算的性能模型、530 个 CPU 年规模的仿真实证,以及在真实生产环境中的部署结果。文章最后总结了该方案在路由器数量、吞吐量和能耗上的收益,同时说明其适用前提是需要配合专门的物理布线与路由机制。

推荐收录,因为它把网络拓扑理论、路由算法设计、物理布线约束和生产验证完整串联起来,属于典型的高质量工程研究案例。对做数据中心网络、系统架构和高性能基础设施的读者来说,这篇文章提供了可迁移的设计思路:如何把“理论最优”转化为“可部署、可验证、可规模化”的方案。

工程实践知乎 - SmartCode 得物技术

HorizonVault 技术深潜:如何在 HDD 上做出 100GB/s+ 级大吞吐分布式存储|得物技术

文章深度解析了得物自研分布式存储引擎 HorizonVault 的设计,目标是在通用 HDD 上支撑 Kafka 远程存储、冷热数据下沉等场景,并实现 100GB/s+ 级别的集群吞吐。作者围绕 Broker、Meta、Store、Network、HA 等模块,说明了如何通过顺序追加、小索引定位、磁盘状态治理、线程隔离、网络背压和 follower 主动追赶,把 HDD 的随机 I/O 短板限制在系统可控范围内。文章的核心结论是:高吞吐并不只靠单盘性能,而是依赖资源调度、路由打散和副本同步等机制的组合;但这种方案主要适用于大对象、顺序写占主导的远端存储场景。

推荐收录,因为它不是泛泛介绍“做了一个存储系统”,而是完整讲清了面向 HDD 的高吞吐分布式存储如何在架构、路由、索引、复制和背压上协同工作。对做存储、Kafka Tiered Storage、分布式系统和性能治理的读者来说,这篇文章提供了可直接迁移的设计思路和边界判断。

工程实践知乎 - 皮振伟

LLM分布式推理终极方案——以GPU为中心的云原生架构

文章围绕 LLM 推理部署中 KV Cache 依赖带来的扩缩容困难、命中率波动、内存冗余和成本不透明等问题,提出以 GPU 为中心、通过 GD2FS 这类分布式文件系统承载 L2 缓存的无状态化推理架构。作者进一步用 Kubernetes 的弹性调度类比互联网后端演进,说明显式 KV Cache、零拷贝数据路径、预读分层缓存和可调副本策略如何提升资源利用率、降低主机内存占用,并给出了一组 RDMA/TCP 与多节点推理测试数据作为支撑。文章的主要边界在于:它更像一篇面向落地的架构提案与实践总结,部分性能结论需要结合具体硬件、负载和实现细节理解,不能直接泛化到所有推理场景。

推荐收录,因为它不是单纯讨论 LLM 推理概念,而是把缓存层级、调度弹性、状态管理和存储协议放到同一套架构框架里分析,具备较强的工程可迁移性。对做大规模推理平台、云原生基础设施和 GPU 资源调度的读者来说,这篇文章能提供有参考价值的设计思路、性能指标视角和权衡点。

工程实践知乎 - TencentDB腾讯云数据库

腾讯云Agent Memory节省61% Token提升52%成功率的诀窍:Mermaid无限画布×上下文卸载

文章围绕 Agent 长任务中的短期记忆压缩问题,提出“上下文卸载 + Mermaid 无限画布”的组合方案:将完整工具结果、网页正文和日志等原始信息卸载到外部文件系统,同时用 Mermaid Flowchart 维护任务结构、状态与索引,使上下文只保留高密度摘要和可恢复入口。作者还系统比较了 Flowchart 与 StateDiagram、上下文卸载与画布的分工边界,以及从 raw 原文到 JSONL、MMD、metadata 的分层折叠/恢复路径。文章给出多组长 Session 实验结果,在 SWEbench、Toolathlon、WideSearch、AA-LCR 等场景中实现了最高 61.38% 的 Token 节省,并在部分任务上提升通过率/准确率,说明该方案更适合长任务、多工具调用和反复迭代的 Agent 场景,但对摘要质量与外部索引设计仍有依赖。

推荐收录,因为它不是泛泛介绍“省 Token”的产品稿,而是把 Agent 记忆管理拆成了可复用的工程机制:信息卸载、结构化画布、分层恢复与实验验证。对于做 LLM Agent、工具链、长上下文管理或记忆系统设计的读者,这篇文章能直接迁移其分层存储和任务状态外化思路。

技术文章知乎 - 腾讯技术工程

AI Infra源码入门:大模型是如何高效推理的

这篇文章以 vLLM 源码阅读为主线,系统拆解了大模型推理的完整数据流:从 tokenization、embedding、Transformer block、Attention、FFN 到 LM head 和 sampling,并用 Llama 3 的张量维度变化把“模型怎么算”和“代码怎么跑”对应起来。文章重点解释了 continuous batching、PagedAttention、FlashAttention、KV Cache 组织、prefill/decode 差异、抢占与调度策略等 AI Infra 核心机制,同时穿插了算力密度、访存带宽、kernel fusion、在线 softmax 等工程取舍与性能边界。整体上它不是泛泛讲 Transformer,而是从源码和运行时视角揭示大模型高效推理的关键实现路径,适合作为 AI 推理系统入门与复盘参考。

推荐收录,因为文章把大模型推理的核心机制、张量形状和工程优化串成了一条完整链路,既能帮助读者理解原理,也能帮助读者读懂 vLLM 这类推理系统的实现。它对做 AI Infra、GPU 推理优化、模型服务和系统架构的人都有较强迁移价值。

工程实践知乎 - 腾讯技术工程

腾讯云Agent Memory节省61% Token 提升52% 成功率的诀窍:Mermaid无限画布×上下文卸载

文章围绕 Agent 短期记忆压缩展开,提出“上下文卸载 + Mermaid 无限画布”的组合方案:把完整工具结果、网页正文和日志移到外部文件系统,只在上下文中保留高密度摘要、任务状态与索引路径,再用 Mermaid Flowchart 组织成可导航的任务拓扑。作者还比较了 Flowchart 与 StateDiagram 的适配性,给出分层存储链路(refs、JSONL、MMD、metadata)和分级召回机制,说明这种结构化记忆比单纯压缩文本更能维持长任务连续性。 实验部分在超长 Session 场景下验证了效果:在 SWEbench、Toolathlon、WideSearch、AA-LCR 等任务中,方案在显著节省 Token 的同时,任务完成率或准确率未下降,部分场景还有提升;其中 WideSearch 的 Token 节省最高可达 61.38%,成功率相对提升 51.52%。文章也指出该方案更适合长任务、多轮工具调用、反复改写与跨轮次恢复的场景,而不是依赖严格状态机的短流程任务。

推荐收录,因为它不是泛泛讨论“记忆很重要”,而是给出了可落地的 Agent 记忆架构、信息分层方式和实验验证,能直接启发长上下文、工具调用和任务恢复设计。对于做 AI 工程、Agent 框架、上下文工程或记忆系统的读者,这篇文章具有较强的可迁移价值和工程参考意义。

工程实践NVIDIA Technical Blog

Unlock Exascale Performance on NVIDIA GB200 NVL72 with Slurm Topology-Aware Job Scheduling

文章围绕 NVIDIA GB200 NVL72 这类高密度 GPU 机架如何通过 Slurm 的拓扑感知调度来提升作业性能,核心关注点是“任务如何放置”而不仅是“硬件有多快”。它强调在共享集群里,调度器需要理解节点、机架和互联拓扑,才能更好地把大模型训练或推理作业映射到合适的资源上,从而更接近整机架的性能上限。文章的适用边界主要在于面向 AI/HPC 集群管理与 Slurm 调度实践,尤其是对 NVIDIA 这类高带宽、强拓扑约束平台的资源编排问题。

推荐收录,因为它讨论的是大规模 GPU 集群中非常典型且长期存在的问题:如何通过拓扑感知调度减少性能损失、提升资源利用率。对做 AI 基础设施、HPC 集群管理和高性能作业编排的读者来说,这类经验具有较强的可迁移价值。

工程实践知乎 - 鹅厂架构师

Elasticsearch 实战 | 客户的 ES 2.4 集群跑了 10 年没动,这次我们把它搬上腾讯云了

这篇文章复盘了一个真实的 Elasticsearch 迁移项目:将客户长期运行的 ES 2.4、Solr 5.3.1 以及相关业务索引,迁移到腾讯云 ES 7.14.2,并覆盖了全量/增量同步、灰度切流和回滚双写等完整链路。作者重点讲解了跨 5 个大版本迁移中遇到的关键问题与处理方式,包括多 type 合并到单 type、字段类型一旦落地不可修改、_id 元数据与 source 字段冲突、ngram 分词导致索引膨胀、默认模板影响全文检索,以及按月拆索引配合 index sorting 提升范围查询性能等。

推荐收录,因为它不是泛泛而谈的迁移宣讲,而是把真实生产环境里最容易踩坑的 ES 迁移、建模和性能优化问题逐一拆开,给出了可复用的定位思路和配置方案。对做搜索系统迁移、索引设计、同步链路和线上切流的工程师来说,这篇文章具有很强的迁移价值和实战参考意义。

科研议题Amazon Science

Making LLMs faster without sacrificing accuracy

这篇文章基于一篇 ICLR 论文,讨论如何在不牺牲准确率的前提下提升大语言模型推理效率。作者指出,传统 Chinchilla scaling law 只覆盖参数量与训练数据量,而没有把隐藏维度、MLP 与注意力参数比例、以及 GQA 这类架构选择纳入优化框架;因此他们进一步建立了“条件缩放律”,把这些架构变量与损失和吞吐量直接关联起来。文章还通过训练 200 多个不同架构模型验证了该方法,给出了 Panda 与 Surefire 两类在准确率或准确率-效率帕累托前沿上更优的模型家族,并说明这些结论在不同 GPU 和推理框架上具有较强一致性,但仍主要适用于 Transformer 风格的 LLM 及其服务场景。

推荐收录,因为它不是泛泛介绍模型加速,而是把缩放规律、架构设计与推理吞吐放进同一个可计算框架里,具有很强的方法论价值。对做 LLM 训练、架构搜索和推理系统优化的读者来说,这类“如何在精度与效率之间做定量权衡”的结论很有迁移性。

科研议题Stanford Hazy Research

From Minions to OpenJarvis: A Retrospective on Two Years in Local AI

这篇文章是 Stanford Hazy Research 对两年本地 AI 研究路线的回顾,串联了 Minions、Intelligence per Watt 和 OpenJarvis 三个项目,核心论点是“混合式推理应以云端做搜索/规划、本地做执行为默认范式”。文章分别从长上下文任务协作、单位能耗智能密度测量、以及本地优先的个人 AI 技术栈三个层面,给出了实验结果、系统设计和发布内容,并用统一的效率视角解释为什么本地与云端不是替代关系而是互补关系。

推荐收录,因为它不是单一产品介绍,而是把三个相互关联的研究项目串成了一条清晰的方法论主线,并且给出了可量化的实验结果与系统化设计。对关注本地推理、混合部署、能效评估和个人 AI 架构的读者,这篇文章有很强的迁移价值。

工程实践Microsoft Research Blog

mimalloc: A new, high-performance, scalable memory allocator for the modern era

这篇文章系统介绍了 mimalloc 现代内存分配器的设计目标与实现取舍,包括线程本地 heap、按页组织的固定大小块、三层 free list、跨线程释放的原子 CAS 路径,以及通过 page stealing 在可扩展性和内存共享之间取得平衡。作者还给出了小对象分配/释放的快路径、跨线程同步开销为何可控,以及在大规模并发服务和超大内存工作负载中的基准表现,说明它既能支撑高吞吐也能保持较低碎片与可接受的提交内存比例。

推荐收录,因为它不是泛泛介绍 malloc,而是把并发分配器的关键设计点、数据结构、快慢路径和性能边界讲得很清楚,适合长期作为系统性能与内存管理参考。文章对“低争用、高局部性、可迁移到真实服务”的工程取舍有很强的迁移价值,尤其适合做系统编程、运行时和基础设施方向的读者学习。

工程实践知乎 - 携程技术

9亿数据归因分析跑进15秒:携程智能归因系统如何用 Ray+DuckDB 破解算力危机?

这篇文章复盘了携程智能归因系统在9亿+数据规模下的性能重构:原先依赖 ClickHouse 的集中式重计算导致查询超过40秒并影响集群稳定性,随后通过将数据提前导出为 Parquet、放到 S3/Ceph 中,并用 Ray 负责任务调度、DuckDB 负责单节点高性能执行,把归因分析压到15秒以内。文章不仅解释了 Ray + DuckDB 的分工、任务拆分、分区剪枝、Actor 共享本地磁盘等实现细节,还展示了在 K8s/KubeRay 上的弹性伸缩、可观测性和 CI/CD 集成方式,适合大规模分析计算与资源隔离场景参考。

推荐收录,因为它不是单纯的技术宣传,而是一个有明确前后对比、瓶颈定位和架构取舍的真实工程案例。对于做大规模分析、工作负载隔离、分布式任务拆分和嵌入式分析引擎选型的团队,这篇文章具有较强的可迁移参考价值。

工程实践知乎 - 鹅厂架构师

两个字符让Django接口快了8倍:一次险些翻车的线上性能排查实录

这篇文章复盘了一次老 Django 接口的线上性能排查,围绕 10000+ 条数据、7MB 响应体和高频调用场景,逐步验证了 ORM 对象构造、values() 直出、字段裁剪、JSON 序列化、gzip 等多个假设。作者最终通过 TTFB/Total 对比、本机回环测试和代码审查,发现真正的瓶颈不是数据库或网络,而是把完整字符串错误地交给 StreamingHttpResponse 导致逐字符输出,修复后接口从 13.6 秒降到 1.7 秒。文章还总结了如何用数据而不是直觉定位 HTTP 性能问题,并说明了该结论对真正流式接口与大对象返回的适用边界。

推荐收录,因为它不是单纯的“改一行代码变快”故事,而是完整展示了从经验判断到数据验证、从错误归因到根因定位的工程排查过程。对做 Web 后端、Python/Django、线上性能治理的读者都有很强的迁移价值,尤其适合理解 TTFB、响应体输出链路和“看起来没错的代码”带来的隐性性能坑。

工程实践知乎 - 携程技术

携程 JDK25 升级踩坑记:一场由 G1GC “偷走”对象引发的数据静默损坏

这篇文章复盘了携程在将大数据计算集群升级到 JDK25 过程中遇到的一起极其隐蔽的数据静默损坏事故:Spark/Flink 写出的 Parquet、ORC 文件表面写入正常、校验也通过,但下游读取时出现 Zstd/Zip 解压失败。作者通过列级定位、排除存储介质、构造复现环境、JDK 版本二分和自建可指定 commit 的编译环境,最终将根因锁定为 JDK25 G1GC 的一个 bug:Optional Evacuation 错误移动了被 JNI 临界区锁定的对象,进而导致 native 压缩写入指向失效内存。 文章不仅给出了从现象到根因的完整排查链路,还解释了 G1 GC、pinned 对象、GetPrimitiveArrayCritical 这类底层机制之间的关系,并验证了影响范围、规避方案与 OpenJDK 后续 backport 修复。整体上它既是一次高质量线上事故复盘,也是对 JDK 升级、JNI 交互和 GC 风险的可迁移经验总结。

推荐收录,因为它不是简单的“踩坑记录”,而是完整呈现了线上数据损坏问题的定位方法、验证手段、复现路径和最终根因确认过程。对于做 Java 基础设施、计算引擎、存储格式或 JDK 升级治理的读者,这篇文章具有很强的可迁移参考价值。

技术文章知乎 - 南山烟雨珠江潮

std::networking最新动向:依然是源自asio的协程原生I/O

这篇文章系统梳理了 C++ 标准网络库 std::networking 的最新提案方向,核心观点是:网络 I/O 更适合直接建立在 C++20 协程之上,而不是继续沿用 sender/receiver 的 std::execution 抽象。作者从性能开销、复合结果处理、编译时间、ABI 稳定性、学习曲线和生产部署等多个维度对比了两类方案,并详细解释了 IoAwaitable、io_env、Executor、any_stream 等设计如何继承并简化 Asio 的成熟思路。

推荐收录,因为文章不只是转述标准化动态,而是把 C++ 网络编程的关键设计分歧、工程权衡和迁移路径讲得非常完整,适合作为理解标准库网络化方向的长期参考。它对正在使用 Asio、关注 C++ 协程或评估异步 I/O 架构的读者都有直接迁移价值。

工程实践知乎 - 胡津铭

Caliby:面向 AI Agent 的嵌入式高性能向量数据库,我们把它开源了

这篇文章介绍了一个面向 AI Agent 和 RAG 场景的嵌入式向量数据库 Caliby,核心卖点是把文本、向量、元数据统一放进同一套进程内引擎,并通过 HNSW、DiskANN、IVF+PQ 三类索引覆盖不同规模与延迟需求。文章还说明了它在磁盘持久化、SIMD 加速、Python 绑定、批量并发检索上的设计思路,并给出与 pgvector、FAISS 的性能对比,强调“pip install 即可用”的本地化部署体验。需要注意的是,正文更偏项目发布与产品介绍,性能数字和结论主要来自作者展示,适合作为选型与架构参考,但不宜当作严谨基准报告直接引用。

推荐收录,因为它不是单纯的产品宣传,而是把“AI Agent 需要什么样的数据引擎”这个问题具体化到了嵌入式、持久化、索引选择和文本/向量统一管理等工程决策上。对做向量检索、RAG、Agent 记忆系统或本地优先工具的读者,这些设计取舍和场景划分具有可迁移价值。

工程实践知乎 - 携程技术

执行个 systemd 命令,竟然让容器CPU“打架”?一文看懂绑核错乱的根因

这篇文章复盘了一起发生在 K8s 宿主机上的线上故障:执行 systemd 相关发布操作后,绑核容器的 cpuset 配置被意外改写,多个容器被分配到相同 CPU 核,最终引发算力竞争和业务超时。作者通过 Perfetto、BPF 和 cgroup 相关排查,逐层定位到 runc 1.1.5 向 systemd 传递 cpuset 参数时的顺序错误,并用升级到 runc 1.1.6 的验证闭环确认根因。文章不仅解释了现象背后的调度与绑核机制,还清楚展示了如何从“CPU load 升高”这种表象反推真正的资源错配问题。适合关注容器运行时、Kubernetes、Linux 调度和线上故障分析的读者参考。

推荐收录,因为它不是简单的故障描述,而是把容器绑核、cgroup、systemd 与 runc 的交互链路完整串了起来,并给出了可复现、可验证的定位过程。文章对排障思路、工具选择和版本回归验证都有明确沉淀,具有较强的跨团队迁移价值。

科研议题知乎 - 手抓饼熊

利用Eagle3加速RL Rollout

这篇文章围绕“用 EAGLE-3 加速 RL 训练中的 rollout”展开,核心是在强化学习训练阶段引入推测采样/草稿模型,把原本昂贵的轨迹展开与策略前向计算做协同优化。作者解释了在线草稿自适应的必要性:策略参数在训练中不断更新,部署侧和草稿模型都必须及时跟随当前策略,否则会出现分布不一致导致的加速失效。文章还描述了与 vLLM、MegatronLM 的整体协作方式,以及通过缓存隐藏状态和对数概率、并用梯度分离避免干扰策略梯度的实现思路。

推荐收录,因为它不仅转述论文结论,还抓住了 RL rollout 加速的关键瓶颈、系统协同方式和训练时一致性问题,具有明确的可迁移价值。对于做大模型训练、RLHF/GRPO 优化或推测解码系统设计的读者,这类方法能直接启发性能优化与训练架构改造。

工程实践知乎 - 鹅厂架构师

如何让 AI 在我睡觉时把性能优化 20%?- Harness 框架分享

文章围绕 AI coding agent 的 harness 设计,系统讨论了如何把“智能”转化为可管理的“自主性”:通过把约束从执行路径转移到目标、边界、验收标准和升级条件上,让 agent 在无人持续盯控的情况下自主规划、执行、验证并交付结果。作者以从 procedural harness 迁移到 Agency harness 为主线,提出了 declarative 任务描述、最小化常驻上下文、从真实失败中生长规则、质量关卡、持久化状态、subagent 协作、跨模型互审和反思进化等机制。

推荐收录,因为它不仅讨论了 AI agent 的使用方式,还给出了可落地的 harness 设计原则、任务编排机制和验证闭环,具有明显的工程方法论价值。文中还用真实性能优化案例证明了框架如何帮助 agent 独立完成复杂排障和性能提升,适合做 AI 工程化与人机协作的长期参考。

工程实践Blender Developers Blog

Cycles Texture Cache

这篇文章介绍了 Blender Cycles 在 5.2 LTS 中引入的纹理缓存系统,目标是在大量图像纹理参与渲染时显著降低显存和内存占用。作者不仅说明了功能入口和 tx 文件生成流程,还系统解释了 GPU/CPU 统一缓存策略、基于 tile 的虚拟纹理映射、ray differentials 计算 mipmap 层级,以及在大规模渲染中如何通过分块调度与淘汰策略保持较稳定的内存使用。文章同时给出了适用边界:收益高度依赖场景纹理占比,旧 GPU、viewport 交互、packed textures 和过滤细节仍有后续优化空间。

推荐收录,因为它不是单纯的功能发布,而是把一个真实图形渲染系统中的纹理缓存设计、GPU 约束和内存权衡讲得比较完整,具有长期参考价值。对于做图形渲染、GPU 计算或资源管理的读者,这篇文章能直接借鉴虚拟纹理、批量失效重跑和分块驱逐等设计思路。

工程实践NVIDIA Technical Blog

Advancing Emerging Optimizers for Accelerated LLM Training with NVIDIA Megatron

文章介绍了高阶优化算法在大模型训练中的应用进展,重点提到 Shampoo 与 Muon 这类方法如何用于提升 LLM 的训练效果。作者结合 NVIDIA Megatron 说明,虽然这类优化器在收敛性和模型质量上有潜力,但其矩阵运算、通信和显存开销也更高,因此需要借助 GPU 侧和分布式训练框架做专门加速。文中还指出,Muon 已被用于训练 Kimi K2、GLM-5 等开源模型,说明这类“新优化器 + 系统加速”的组合已经进入实际训练场景。整体论点是:优化算法不应只看理论收益,还要看是否能被工程化地高效实现。适用范围主要是超大规模 LLM 训练;若模型规模较小或训练基础设施不足,收益可能不明显。

推荐收录,因为标题和正文片段都明确指向“优化算法 + Megatron 加速 + LLM 训练”这一可复用工程主题,并给出了 Shampoo、Muon 及实际开源模型训练的直接证据。适合做大模型训练、GPU 优化和训练系统设计的读者参考,但需要注意其收益依赖模型规模与系统实现,不能直接照搬到小规模训练。

工程实践Google DeepMind Blog

Decoupled DiLoCo: A new frontier for resilient, distributed AI training

这篇文章介绍了 DeepMind 提出的 Decoupled DiLoCo 分布式训练架构,目标是在跨机房、跨区域乃至跨代际硬件上训练大模型时,降低同步通信开销并提升故障韧性。其核心思路是把训练切成多个彼此解耦的“计算岛”,岛内局部推进,岛间通过异步数据流交换,从而避免传统数据并行在大规模同步时的阻塞。文章给出了两类证据:一方面在 chaos engineering 注入硬件故障后,系统能继续训练并在节点恢复后重新并入;另一方面在 Gemma 4 实验中,带宽需求显著下降,仿真中的 goodput 明显高于基线,且最终 ML 性能基本持平。作者还展示了一个 12B 参数模型跨 4 个美国区域、以 2–5 Gbps WAN 完成训练的案例,速度比传统同步方法快 20 倍以上。该方案的边界在于它依赖特定的异步训练栈与系统整合能力,且部分收益来自 Google 自身的基础设施条件与 TPU 生态。

推荐收录,因为文章直接给出了带宽、goodput、故障恢复和跨区域训练的量化结果,并明确说明了 Decoupled DiLoCo 的系统机制与实验边界。适合做大模型训练基础设施、容错分布式系统和 AI 工程化方案的参考,尤其对关注跨机房训练与资源弹性利用的读者有迁移价值。

技术文章NVIDIA Technical Blog

Maximizing Memory Efficiency to Run Bigger Models on NVIDIA Jetson

文章围绕 NVIDIA Jetson 这类边缘设备的内存瓶颈,讨论如何让更大的开源生成式模型在受限硬件上稳定运行。作者指出,随着多十亿参数模型从数据中心下沉到物理世界中的 AI 代理和机器人场景,显存/内存效率已成为部署成败的关键。全文重点不在训练新模型,而在推理部署侧通过压缩占用、减少运行时冗余和优化内存分配来扩大可运行模型规模。它强调必须在模型大小、吞吐、延迟和平台资源之间做权衡,适合 Jetson 与边缘 AI 场景参考。其边界也很明确:这些方法主要缓解内存压力,不能替代算力不足或模型本身结构不适配的问题。

推荐收录,因为标题和导语直接指向 Jetson 边缘部署中的内存效率优化,覆盖了多十亿参数模型落地这一长期问题。适合做边缘 AI、机器人和嵌入式推理选型参考,但方案强依赖 Jetson 平台,迁移到其他硬件时需要重新评估资源与性能权衡。

工程实践NVIDIA Technical Blog

Run High-Throughput Reinforcement Learning Training with End-to-End FP8 Precision

文章面向大模型强化学习训练的吞吐优化问题,讨论如何在端到端流程中引入 FP8 精度,以提升训练效率并降低算力与显存开销。作者指出,RL 训练通常分为采样/生成与策略更新两类高强度阶段,二者对计算、带宽和数值稳定性的要求不同,因此单点加速往往不足。文中围绕 NVIDIA 的 GPU 与软件栈,说明 FP8 在推理、前向与反向计算中的应用方式,以及如何在保持训练可用性的前提下扩大吞吐。其核心结论是:对于支持该精度路径的硬件和框架,端到端 FP8 可以显著提升高强度 RL 训练效率,但需要配合数值验证与实现适配,不能简单地对所有模型直接替换。

收录理由直接而明确:文章围绕“端到端 FP8 精度”提升 RL 训练吞吐展开,属于可迁移的工程优化经验,而不是单纯产品宣传。适合做大模型训练、GPU 性能优化和数值精度权衡的参考;但其效果依赖支持 FP8 的硬件与软件栈,迁移时需要验证稳定性。

工程实践NVIDIA Technical Blog

Cut Checkpoint Costs with About 30 Lines of Python and NVIDIA nvCOMP

文章介绍在大模型训练中,如何借助 NVIDIA nvCOMP 和约 30 行 Python 为 checkpoint 加入压缩,以降低频繁保存模型权重、优化器状态和梯度带来的存储与传输开销。作者以 70B 模型每次约 782GB、15-30 分钟一次的检查点为背景,指出 checkpoint 已成为训练预算中的重要成本项。方案核心是把压缩与解压尽量放到 GPU 侧处理,减少写盘数据量,同时保持训练中断后的可恢复性。文中展示了接入方式与落地路径,适合 I/O 或存储受限的训练任务,但在算力已接近饱和或检查点规模较小的场景,收益会下降并引入额外压缩开销。

推荐收录,因为文章给出了大模型 checkpoint 降本的具体工程做法,并用 70B 模型 782GB、15-30 分钟一次的量化背景证明问题真实存在。适合训练平台、GPU 基础设施和存储优化读者参考,但需注意压缩会带来额外算力与延迟,效果依赖 I/O 是否为主要瓶颈。

工程实践NVIDIA Technical Blog

Running AI Workloads on Rack-Scale Supercomputers: From Hardware to Topology-Aware Scheduling

文章围绕 NVIDIA GB200/GB300 NVL72 这类 rack-scale 超级计算机,说明其以 Blackwell 架构、18 个紧耦合计算托盘、GPU fabric 和高带宽网络组成统一系统。作者强调,AI 任务在这种硬件上运行时,关键不只是“把机器装进机柜”,而是要理解通信拓扑并据此做作业放置与调度。文章从硬件层次、网络/互联特性讲到 topology-aware scheduling,重点讨论如何减少跨托盘通信、匹配计算与通信密集型负载,并提升整体吞吐和资源利用。结论是,软硬件协同设计能明显改善大模型训练与推理的扩展性,但方案强依赖特定 rack-scale 平台,不宜直接照搬到普通集群。

有明确的硬件细节与调度方法,不是单纯产品介绍:文章直接讨论 rack-scale 互联结构、负载拓扑感知放置和性能收益。适合 AI 基础设施、HPC 平台和集群调度读者参考,但迁移时要注意它主要针对 NVIDIA NVL72 这类特定架构。

工程实践Anthropic Engineering

Scaling Managed Agents: Decoupling the brain from the hands

本文介绍 Anthropic 为 Managed Agents 设计的“元 harness”架构,核心是把 Claude 的“脑”(模型与调度逻辑)、“手”(沙箱和工具)以及“会话”(持久事件日志)解耦。作者先回顾了早期把所有组件放进单容器的方案,说明这种耦合会把容器变成难以替换的“宠物”,带来故障难排查、用户数据与调试冲突、以及 VPC/外部系统接入困难等问题。随后文章给出新的接口设计:harness 通过 execute/provision/wake/getSession/emitEvent 等稳定边界与沙箱和会话交互,使容器、harness、会话都能独立失败、重启或替换。安全上,凭据被移出沙箱,Git 与 MCP/OAuth 通过受控初始化或代理访问,避免提示注入直接接触 token。作者还指出这种解耦显著降低了 TTFT,p50 约下降 60%,p95 超过 90%,但前提是系统愿意承担更复杂的编排与多环境 reasoning 负担。

推荐收录,因为文章给出了面向长时运行 agent 的完整接口分层、故障隔离和凭据边界设计,并用 TTFT 数据验证了架构收益。适合做 AI 平台、Agent 基础设施和安全设计的参考,尤其能迁移到需要多沙箱、多工具、可恢复会话的工程场景。

工程实践Amazon Science

Verifying and optimizing post-quantum cryptography at Amazon

文章介绍 Amazon 围绕后量子密码 ML-KEM(原 Kyber)构建高保障实现 mlkem-native 的工程实践。作者将前端高层逻辑与面向不同架构的性能后端拆分,前端保留可维护性,后端针对 AArch64、x86_64、RISC-V64 做汇编/内建优化。为同时保证安全与性能,团队用 CBMC 为 C 代码添加可机检契约,证明内存安全和整数边界安全;对关键汇编则结合 SLOTHY、HOL Light 和 s2n-bignum 做形式化正确性证明,并尽量让证明对指令调度和寄存器分配不敏感。文章还专门说明了形式化验证的可信边界,公开 SOUNDNESS.md 记录假设、残余风险和缓解措施。该实现已集成进 AWS-LC,并在 c7i/c7g 上相对参考实现取得明显吞吐提升,但文章也强调验证仍依赖模型、工具链和人工桥接,不能被理解为绝对无风险。

收录价值明确:文章给出了从参考实现到高性能、可验证生产代码的完整链路,且用 CBMC、HOL Light、SLOTHY 等工具说明了具体做法。适合密码工程、系统安全和高性能基础设施读者,尤其可迁移到需要同时兼顾正确性、性能与可维护性的关键代码场景。

工程实践Yelp Engineering

Zero downtime Upgrade: Yelp’s Cassandra 4.x Upgrade Story

文章复盘 Yelp 数据库可靠性团队如何将一千多台 Cassandra 节点从 3.11 升级到 4.1,并做到全程零停机。作者先说明 Cassandra 在 Yelp 中承载主数据与衍生数据,且集群运行在 Kubernetes 上、由 operator 编排,因此升级必须兼顾状态迁移、回滚和服务连续性。文中强调此次升级的驱动力不仅是版本更新,还包括更好的可观测性、可靠性和性能,且决策参考了公开基准。整体上,它展示了大规模有状态服务在成熟运维体系下的分批规划、验证与上线思路,但其可迁移性明显依赖现有自动化、编排和回滚能力。

有明确工程证据:超过一千台 Cassandra 节点、Kubernetes + operator、3.11 到 4.1、零停机升级,说明这是大规模状态系统的真实复盘。适合做数据库可靠性、滚动升级和有状态服务编排的参考,但方法强依赖现有自动化与回滚机制,迁移时需评估自身条件。

工程实践Dropbox Tech

Improving storage efficiency in Magic Pocket, our immutable blob store

文章复盘 Dropbox 在 Magic Pocket 这个不可变 blob 存储中的一次空间效率退化事件:新上线的 Live Coder 改变了数据放置方式,虽然降低了写放大,却意外制造出大量极度稀疏的卷,导致碎片化和实际复制开销迅速上升。作者先解释不可变存储里删除不会立刻释放空间、只能依赖垃圾回收加压缩回收的基本机制,再说明原有 L1 只能维持“接近满卷”的稳态,无法快速处理长尾稀疏卷。为此团队引入 L2,用动态规划把多个中度稀疏卷合并到近满新卷;又引入 L3,把最稀疏的卷交给 Live Coder 流式重写回收。文章进一步给出动态阈值、候选排序、速率限制、机房内本地化等控制手段,并指出元数据压力是主要约束。最终该方案把膨胀的 overhead 拉回到可持续水平,甚至低于之前基线。

推荐收录,因为它给出了 exabyte 级不可变存储中“碎片化—压缩—元数据压力”三者联动的完整工程解法,且明确展示了 L1/L2/L3 分层策略、动态阈值和限流边界。对做存储系统、容量治理或大规模后台任务调度的读者,具有很强的可迁移参考价值。

工程实践Lyft Engineering

Predicting Rider Conversion in Sparse Data Environments with Bayesian Trees

这篇文章介绍 Lyft 用于预测乘客下单转化率的一种 Bayesian Trees 建模框架,目标是在高基数、极度稀疏的上下文中仍能做出稳定预测。作者先指出常规 GBDT 在细粒度分桶后会因样本过少而过拟合,而深度模型虽可能缓解稀疏性,却不适合需要实时响应的线上场景。其核心做法是把会话按地域、时间、供需等层级拆成树状节点,每个子节点复用与父节点相同的参数化模型,并通过以父节点参数为中心的 L2 正则实现 Gaussian prior 形式的 Bayesian smoothing。这样,叶子节点样本很少时会更多依赖上层先验,样本积累后再逐步向局部数据靠拢。文章还强调用简单模型并施加单调约束来保证“历史转化率越高、当前预测越高”等业务一致性。该方案的边界在于依赖合理的层级划分与正则强度设定,且更适合可解释、低延迟、强稀疏分布的线上预测任务。

文章给出了从稀疏数据过拟合、实时推断约束到 Bayesian smoothing 训练方式的完整工程解法,直接说明了为何要用层级先验和单调约束。适合做推荐/转化率预测、广告或 marketplace 线上建模的读者参考,尤其适用于高基数特征和低延迟服务场景。

工程实践Max Bernstein

Using Perfetto in ZJIT

文章围绕 Ruby JIT 实现 ZJIT 如何借助 Perfetto 做性能诊断展开,核心目标是把“侧退出栈计数”这类静态统计,升级为能看时间分布、调用栈和热点聚集位置的可视化追踪。作者先说明仅靠 --zjit-stats 只能知道退出原因数量,却难以定位它们发生在哪些 Ruby 方法中、集中在启动期还是稳态阶段,因此需要引入 trace。随后通过 Perfetto 的时间线和 SQL 接口,把 slice 与 args 表关联起来统计退出原因和顶层方法,直接找到了 ActiveRecord 相关的 shape/type guard miss 热点。实现部分展示了如何导出 trace、为何 JSON 格式会膨胀到 8GB,以及改用更紧凑的 FXT 二进制格式和采样后将体积降到约 100MB。文章也提到还可以继续追踪编译阶段、代码大小、失效、分配和 GC 等事件,但当前结论依赖采样与单次基准,适合做定位和直觉建立,不适合替代完整性能评测。

文章给出了从计数器到可视化 trace 的完整落地路径,并用真实 JIT 热点证明 Perfetto 能直接帮助定位 side-exit 归因。适合做编译器、运行时和性能排障的参考,尤其对需要把追踪数据转成可查询、可视化分析流程的工程场景有可迁移价值。

工程实践Dropbox Tech

Reducing our monorepo size to improve developer velocity

文章复盘了 Dropbox 如何把服务器 monorepo 从 87GB 压缩到 20GB,并将首次 clone 时间从 1 小时以上降到 15 分钟以内。作者指出,问题并非提交量异常,而是 Git 默认基于路径末尾 16 个字符做 delta 配对,导致 i18n 目录下跨语言文件被错误比较,生成了过大的 pack 文件。团队先用实验性的 --path-walk 在本地验证了按目录结构配对能显著缩小仓库,但该方案与 GitHub 依赖的 bitmap 和 delta islands 等服务器优化不兼容。随后他们与 GitHub Support 合作,改用更激进但兼容的 repack 参数,在镜像仓库上验证后分阶段上线,并监控 fetch 延迟、push 成功率和 API 延迟。文章最后总结了三点经验:仓库膨胀可能是结构性问题、解决方案往往需要平台方协作、repo 健康应按生产基础设施来治理,并建立持续监控机制。

有明确的量化结果和诊断链路:从 87GB 降到 20GB、clone 时间从 1 小时降到 15 分钟,并解释了 Git 压缩启发式如何与目录结构产生冲突。适合维护大规模 monorepo、CI 性能或平台协作的工程团队参考,尤其有助于借鉴“先本地验证、再与平台方联合上线”的排障方法。

工程实践Datadog Engineering

When upserts don’t update but still write: Debugging Postgres performance at scale

这篇文章复盘了 Datadog 在高流量场景下排查 Postgres 性能退化的过程:一次 upsert 操作表面上没有“更新”数据,却仍然引发了磁盘写入翻倍。作者从现象出发,结合数据库监控与写放大分析,最终定位到 Postgres 的 WAL 行为和 upsert 语义带来的隐藏成本。文章进一步说明,问题并不在业务逻辑本身,而在查询写法与存储引擎内部机制的交互。团队通过重写查询,去掉不必要的写入路径,恢复了写放大和 IO 压力的正常水平。它的价值主要在于揭示了高并发写场景下,SQL 语义、日志机制和性能表现之间的非直观关系,但结论对 Postgres 语义和负载形态有明显依赖。

推荐收录,因为文章给出了明确的工程证据:高频 upsert 导致磁盘写入翻倍,且根因落在 Postgres WAL 与查询语义的组合效应上,而不是泛泛的“数据库慢”。适合做数据库性能优化、线上故障定位和写放大分析的参考案例,但迁移时要注意它强依赖 Postgres 的实现细节。

工程实践Amazon Science

Formally verified AES-XTS: The first AES algorithm to join s2n-bignum

这篇文章介绍了 Amazon 将 Arm64 汇编实现的 AES-XTS 加密/解密加入 s2n-bignum,并用 HOL Light 对其做形式化验证的过程。作者先从 AWS-LC 的现有实现出发,重整了原本为避免 buffer overread 而非常复杂的 5x 展开循环,把轮密钥常驻寄存器、拆分尾块处理,以便 SLOTHY 进一步优化指令调度。随后,他们依据 IEEE 1619 写出可测试的规格,再证明汇编代码与规格一致,并补充常量时间与内存安全性质。文章还说明了用 CI 持续约束证明、用硬件随机测试校验指令模型的做法。结果是在部分 Arm 核心上获得小幅性能收益,同时把高风险密码实现纳入可维护、可复用的证明框架。

推荐收录,因为它直接给出了“优化汇编 + 形式化证明 + CI 持续约束”的完整证据链,且落地在真实的 AES-XTS 密码库实现上。适合密码工程、系统安全和形式化验证读者参考,尤其对需要兼顾性能与正确性的底层实现有可迁移价值。

科研议题Amazon Science

Optimizing LoRA target module selection for efficient fine tuning

本文围绕 LoRA 微调中“把适配器插到哪些模块”这一关键问题展开,基于 Amazon Nova 2.0 Lite 做了系统性消融实验。作者比较了 qkv、o_proj、fc1/fc2 以及多种组合在文本、长上下文、结构化 JSON 和多模态任务上的效果,评估指标覆盖准确率、ROUGE 和延迟。结果显示,o_proj 作为单模块目标最稳健,几乎不失手且通常接近最佳;qkv-only 波动较大,容易在复杂任务上欠拟合。对于更难的任务,o_proj + fc2 往往能取得更高精度,但相对单独 o_proj 只带来小幅收益。文章最终给出面向效率与精度的配置建议,并指出模块选择仍受基座模型、任务类型和模态影响,难以一刀切。

文中明确给出了跨 7 个数据集的消融结果、延迟对比和可落地的模块选择建议,不是泛泛而谈的 LoRA 介绍。适合做 LLM 微调、推理成本优化和生产化适配器设计的参考,但结论主要基于 Nova 2.0 Lite,迁移到其他基座模型仍需复验。

技术文章Go Blog

Allocating on the Stack

文章系统介绍 Go 编译器在切片分配上的栈化优化演进:从原先 append 扩容时频繁产生 1、2、4… 的堆分配和 GC 压力,到 Go 1.25 对小尺寸 make([]T,0,n) 的推测性栈分配,再到 Go 1.26 对 append 扩容场景也能先用栈上小缓冲、必要时再转堆。作者解释了返回切片等逃逸场景下,编译器如何借助 runtime.move2heap 把最终结果搬到堆上,同时尽量保留中间阶段的栈分配收益。文章还点明这些优化依赖切片最终大小、是否逃逸以及 32 字节等边界条件,并给出关闭优化的调试开关。整体上它展示了 Go 通过编译器与运行时协同减少分配、降低 GC 负担的具体机制与适用边界。

推荐收录,因为文章直接给出了 Go 1.25/1.26 在切片分配上从堆到栈、再到自动回迁堆的实现路径,属于可长期参考的编译器优化案例。适合关注 Go 性能、编译器和运行时协同的读者,也能帮助工程师判断哪些写法会触发或错过这些优化。

工程实践Stanford Hazy Research

ThunderKittens 2.0: Even Faster Kernels for Your GPUs

这篇文章发布了 ThunderKittens 2.0,一个面向 GPU 的 CUDA 内嵌 DSL,并顺带给出一篇面向 Blackwell 的内核优化复盘。新版增加了 MXFP8/NVFP4 支持、调度与 tensor memory 控制能力、简化的构建结构,并把多个示例内核升级到更现代的 API。技术部分重点解释了为何原先放在 GEMM 路径中的两类 fence 实际上并非必需,作者通过 PTX 的因果顺序与 proxy 规则证明共享内存和 tensor memory 的可见性已被保证,去掉后带来约 20 TFLOP/s 的收益。文章还分析了 tcgen05.cp 与 tcgen05.mma 的隐式流水、PTX assembler 对单线程指令的保守串行化、cluster size 对占用率的影响,以及 tensor memory 触发的单 SM occupancy 限制。最后给出较完整的 GPU kernel benchmark 规范,强调输入分布、L2 冷热状态、warmup 和温度稳态都会显著影响 TFLOPs。整体内容适用于做 Blackwell/CUDA 内核、性能分析和基准设计的人,但结论主要建立在特定硬件与 PTX 行为之上,跨架构迁移时需要重新验证。

推荐收录,因为文章不是单纯发布稿,而是给出了 Blackwell GPU 内核优化的具体证据:PTX 因果/代理模型、assembler 生成差异、cluster 占用率和基准方法都配有可验证的观察。适合做 CUDA 内核、性能调优和基准设计的读者参考,但其结论强依赖 Nvidia 新架构与特定指令语义,迁移到其他 GPU 时需重新实测。

工程实践Datadog Engineering

How we reduced the size of our Agent Go binaries by up to 77%

文章复盘 Datadog Agent 的 Go 二进制体积膨胀问题,目标是在不牺牲功能的前提下显著缩小分发包。作者先用依赖图和链接器输出定位体积占比最高的模块,区分出业务依赖、重复引用和可裁剪的标准库/第三方包。随后通过移除冗余依赖、按平台或功能拆分构建、调整编译与链接参数等手段,把不可见但昂贵的体积成本逐步压缩。最终部分目标二进制缩小最多 77%,同时验证启动、发布和维护流程没有被破坏。文章也说明这类优化强依赖 Go 项目结构与构建链,若程序本身耦合过深或功能必须全量打包,收益会明显下降。

收录,因为文章给出了从体积测量、依赖分析到构建裁剪的完整路径,并用“最多 77%”的结果证明优化有效。适合维护 Go CLI、agent、sidecar 或容器镜像的工程师参考;但许多手段依赖项目结构和构建链,迁移时要先做体积画像。

工程实践Blender Developers Blog

Winter of Quality 2026

这篇文章回顾了 Blender 在 2025—2026 冬季进行的“质量季”工作,重点不是新功能,而是围绕稳定性、缺陷修复、测试补强和技术债清理展开。两个月内修复了 350+ 个用户报告的问题,并按动画、建模、节点、渲染、界面、视口等模块给出分布,说明质量投入是按子系统推进的。正文还列出多项结构性工作,例如将代码从旧式 C 接口迁移到更现代的 C++ 风格、补充自动化测试、优化性能、完善文档,以及完成 Mesh 属性存储格式切换等。文章也展示了缺陷分流和 triage 的进展,未分配问题显著下降,说明质量治理不仅是修 bug,也包括流程改进。其边界在于这是项目回顾而非深入技术复盘,很多条目只给出结果和方向,缺少实现细节与量化对比,但仍适合作为开源大型工程做稳定性治理的参考案例。

推荐收录,因为它明确给出了 350+ 缺陷修复、自动化测试补强、代码现代化和 triage 流程改进等直接证据,体现了大型开源项目如何系统性提升质量。适合做开源维护、稳定性治理和技术债清理的参考,但读者需注意它偏项目总结,细节深度有限。

技术文章Max Bernstein

Type-based alias analysis in the Toy Optimizer

文章延续 Toy Optimizer 系列,围绕加载/存储转发中的别名分析展开,先指出仅按偏移量划分 alias class 太粗,会把不同类型对象上同一偏移的访问误判为冲突。作者借鉴 type-based alias analysis,用类型层次树的前序/后序区间表示各 heap region,将“是否可能别名”转化为区间重叠查询,并在缺少类型信息时退化到 Any。随后又补充了对象来源、分配点、常量对象和已知内建函数副作用等更强的别名线索,用于局部保留或部分失效缓存的 heap 信息。文章还讨论了未知调用、逃逸对象与保守失效的边界,强调这种做法在 JIT 和受控语言中能以较低成本提升优化精度,但在通用 C-like 场景下需要更强的分析配合。

推荐收录,因为文章给出了从偏移量别名到类型层次 TBAA 的具体改造路径,还展示了与对象来源、内建副作用和未知调用的联动处理。适合做编译器、JIT 和语言运行时优化的参考,尤其对需要在精度与分析成本之间取舍的读者很有迁移价值。

工程实践Dropbox Tech

How low-bit inference enables efficient AI

这篇文章系统梳理了低比特推理如何通过量化降低大模型在生产环境中的显存、算力和能耗成本,并以 Dropbox Dash 的部署场景说明为什么效率优化会直接影响延迟、吞吐和服务成本。作者先解释了注意力模型中线性层与 attention 的主要开销,再从硬件角度说明 GPU Tensor Core 在精度降低时能获得更高吞吐,因此量化不仅是压缩表示,更是面向 MMA 指令和带宽瓶颈的执行优化。文章重点比较了 pre-MXFP 时代的 A16W4、A8W8、AWQ、HQQ、FlashAttention 3 等方案,指出权重量化更适合小批量、带宽受限场景,而激活量化更适合高吞吐和长上下文预填充。随后作者介绍 MXFP/NVFP4 等新标准,强调其把微缩放和量化支持下沉到硬件后可减少显式反量化开销,但不同 GPU 架构和框架支持仍不统一。文章结论是:低比特推理的收益很大,但真正可落地的前提是硬件、编译器、内核和推理框架协同成熟,当前 FP4 生态仍存在兼容性与模型质量边界。

文章直接给出了量化格式、硬件指令和推理场景之间的取舍证据,不是泛泛介绍概念,而是面向生产部署的效率分析。适合做大模型推理、GPU 优化和 AI 基础设施选型的长期参考,尤其对关注吞吐、延迟与生态兼容性的工程团队有迁移价值。

职业经验Brendan Gregg

Why I joined OpenAI

这篇文章是 Brendan Gregg 解释自己加入 OpenAI 的个人职业选择与工作动机,核心围绕 AI 数据中心在成本、能耗和规模上的压力,以及性能工程在其中的价值。作者结合与多位从业者、朋友和普通用户交流的经历,说明 ChatGPT 已经成为大众高频工具,这种真实使用场景改变了他对 AI 落地的判断。他还回顾了自己从少年时期想做“Orac”式对话系统,到后来从事数据中心性能工作的长期兴趣脉络,强调自己希望把性能优化方法直接用到 ChatGPT 性能团队。文中也交代了他在 OpenAI 的岗位、远程办公地点、初始项目方向,以及会继续使用 eBPF、Ftrace、PMCs 等手段寻找更大优化空间。整体属于职业决策与岗位展望,而非系统化技术教程,技术细节主要停留在方法与方向层面。

推荐收录,因为文章直接给出了顶级性能工程师选择 AI 公司与岗位的依据:真实用户规模、算力/能耗压力、团队能力和个人兴趣的交汇。适合关注 AI 基础设施、性能工程或职业转型的读者参考,但需要注意它是带强烈个人色彩的叙述,不是可复用的完整方法论。

工程实践Lyft Engineering

Lyft’s Feature Store: Architecture, Optimization, and Evolution

这篇文章系统复盘了 Lyft Feature Store 的架构、演进和优化实践,重点解释了如何用统一的特征平台支撑大规模 ML 训练与在线推理。文章把系统拆成批处理、在线服务和流式三条路径:批特征由 Spark SQL+JSON 配置生成 Airflow DAG,在线侧以 DynamoDB 为持久存储、ValKey 作写穿缓存,并为 embedding 引入 OpenSearch。作者进一步说明了特征治理机制,包括版本、血缘、元数据、数据质量检查、Amundsen 可发现性,以及 Kyte 本地开发和 SDK 提升迭代效率。平台演进部分展示了从 Flyte 迁移到 Astronomer、收缩少数边缘能力、增加 staging、数据契约和实时特征抽象的取舍。性能优化则聚焦于缓存现代化、payload 精简、pod 规格调整、重试/超时策略和 TTL 管理,最终把读路径 P95 降低约三分之一。文章的边界在于大量方案高度依赖 Lyft 内部工具链与 AWS 生态,但整体方法论具有较强可迁移性。

文章给出了特征平台从架构、治理到性能优化的完整工程证据,不是泛泛介绍概念,而是包含具体存储选型、缓存策略、DAG 生成和迁移取舍。适合数据平台、ML 平台和基础设施团队参考,尤其可迁移的是“统一接口+分层存储+可观测治理+围绕 P95 做瘦身”的方法。

工程实践Lyft Engineering

From Python3.8 to Python3.10: Our Journey Through a Memory Leak

文章复盘了 Lyft 将 Python 服务从 3.8 升级到 3.10 后,某个服务在测试环境出现延迟尖刺、下游 5xx 和内存缓慢增长的排障过程。作者先用统计指标和基于 tracemalloc 的内部内存 профiler 采样,并尝试通过 USR2 信号在 gunicorn worker 上抓取堆栈;但由于启用了 preload,信号处理器只在 leader 进程注册,导致 worker 被误杀。关闭 preload 后,采样堆栈最终指向 pynamodb/botocore/urllib3 的连接池路径。根因是 urllib3 1.26.16 在 gevent 场景下与 weakref.finalize 和 monkey patch 存在不兼容,连接未能及时归还池中,进而引发池耗尽、请求阻塞以及内存上涨。团队先回退到 1.26.15 解除故障,后续在 gevent v25.4.1 与修复后的 urllib3 组合上恢复升级。文章同时说明 Python 版本并非直接元凶,问题更像是依赖版本与协程运行时组合触发的隐性缺陷。

推荐收录,因为文章给出了从延迟、内存增长到信号采样、preload 坑位和依赖回退的完整证据链,不是单纯经验谈。适合做 Python Web 服务、gunicorn/gevent/urllib3 兼容性和生产排障的参考,但结论强依赖具体版本组合,迁移时需重新验证。

技术文章Crunchy Data Blog

PostGIS Performance: Simplification

这篇文章围绕 PostGIS 中“几何简化”展开,比较了多种常见方法在点数压缩、形状保真和有效性上的差异。作者先用 ST_Letters、ST_Segmentize 和 ST_RemoveRepeatedPoints 构造出可观察的测试图形,再依次展示 ST_Simplify(Douglas-Peucker)、ST_SimplifyVW(Visvalingam-Whyatt)、ST_SnapToGrid 与 ST_ReducePrecision 的效果。文章指出,Douglas-Peucker 更偏向折线压缩,VW 在多边形形状保留上通常更好,而简单网格吸附虽能统一精度却容易产生无效多边形。相较之下,ST_ReducePrecision 在固定精度与几何有效性之间提供了更稳妥的折中。最后还补充了 PostGIS 3.6 新增的覆盖面处理能力:先用 ST_CoverageClean 清理共享边界,再用 ST_CoverageSimplify 对相邻面集合整体简化,适用于需要边界一致性的专题图或覆盖数据。

文章直接比较了多种 PostGIS 简化函数的输出差异、有效性风险和适用场景,不是泛泛介绍 API。对做空间数据处理、地图渲染或数据库性能优化的读者很有参考价值,尤其适合需要在精度、合法性和边界一致性之间做取舍的工程场景。

技术文章Crunchy Data Blog

How to Read Postgres EXPLAIN: A Guide to Scan Types

这篇文章以 Postgres 的 EXPLAIN 输出为切入点,系统讲解了常见扫描类型及其适用场景,帮助读者从执行计划中判断查询为何快或慢。文章依次解释了顺序扫描、索引扫描、位图索引扫描与位图堆扫描、并行顺序扫描、并行索引扫描以及索引仅扫描,并配合真实的 EXPLAIN ANALYZE 示例展示各自的计划形态和指标。作者不仅说明了这些扫描方式的工作机制,还强调了优化器的选择逻辑,例如小表、返回比例较高或需要随机访问过多时,顺序扫描可能优于索引扫描。对于索引仅扫描,文章进一步讨论了覆盖索引带来的收益,以及写放大、索引体积和适用列数等边界条件。整体上,这是面向 PostgreSQL 性能排查与执行计划阅读的实用入门,但内容仍以常见扫描类型为主,未深入展开代价模型或更复杂的连接/排序计划。

文章直接给出了多种 EXPLAIN 扫描节点的真实输出和判读方法,适合做 PostgreSQL 性能排查、SQL 优化和执行计划入门参考。它的可迁移价值在于帮助读者建立“选择哪种扫描方式、为什么会选它”的心智模型,但内容主要覆盖基础扫描类型,深层优化仍需结合具体工作负载。

科研议题Stanford Hazy Research

Maximizing American Gross Domestic Intelligence with Hybrid Inference

文章提出“Gross Domestic Intelligence(GDI)”框架,把国家可部署的AI能力近似写成“单位功耗的智能效率(IPW)× 可用于计算的电力”,并用它解释中美在AI竞赛中的不同瓶颈:美国更受电网和数据中心选址约束,中国更受高端芯片与制造工具限制。作者进一步指出,随着推理型服务和Agent需求上升,AI竞争正从训练转向推理部署,因此应把美国境内大量闲置的本地加速器视为战略资源。基于对1M单轮对话/推理查询的研究,文章主张采用本地-云混合推理:简单请求在设备端处理,复杂请求升级到云端。文中声称这种路由可覆盖80%以上的单轮查询,并相对全云方案带来约64%的能耗、62%的算力和59%的成本下降,同时把美国可用推理容量提升约2-4倍。文章的主要适用边界是单轮聊天与推理场景;对强SLA、长上下文和高难度任务,仍需依赖前沿云模型,且文中的国家级容量与政策推论高度依赖若干估算假设。

文章给出了可复用的技术框架:用路由器把本地模型与云端模型组合起来,并用真实流量和能效数据量化收益。适合关注推理系统、端侧AI、容量规划和隐私架构的读者;需要注意的是,其中的地缘政治与国家级GDI推导建立在多项估算上,宜把结论视为策略判断而非精确测量。

工程实践Datadog Engineering

Scaling real-time file monitoring with eBPF: How we filtered billions of kernel events per minute

文章介绍 Datadog 如何用 eBPF 构建实时文件监控,在保持完整检测覆盖的前提下,将内核事件处理规模提升到每分钟 100 亿级。核心问题不是“能否采集”,而是如何在内核态对海量事件做前置过滤,减少无效上报、避免用户态开销和放大效应。作者围绕事件选择、规则匹配、上下文保留与数据路径设计,说明了怎样把原本细粒度的文件访问流量压缩成可分析信号。文中还讨论了性能瓶颈、验证方法以及与检测准确率之间的权衡,强调系统要同时满足低延迟、低丢弃和可维护性。这套经验适合主机安全、可观测性或高频内核事件采样团队,但方案强依赖 eBPF/Linux 环境,迁移到其他平台需重新评估事件模型。

推荐收录,因为文章给出了把 eBPF 文件监控扩展到每分钟百亿级内核事件的具体过滤与数据路径设计,而不是泛泛介绍特性。适合主机安全、可观测性和 Linux 内核工程读者参考,尤其有助于理解高频事件下如何在覆盖率、延迟和开销之间做取舍。

工程实践Stanford Hazy Research

Loads and Loads of Fluffy Kittens

文章系统总结了 ThunderKittens 在多 GPU 计算-通信融合中的设计经验,围绕传输机制、重叠调度和 tile 组织给出可复用原则。作者比较了 copy engine、TMA 与寄存器级指令的适用区间,指出消息粒度、是否需要 in-network reduction、以及能否与计算对齐,决定了最优方案。随后用这些原则实现并评测了数据/张量并行中的 AG+GEMM、GEMM+RS/AR,序列并行中的 Ring Attention 与 Ulysses,以及 MoE token dispatch 融合 GEMM,整体能以几十行 device code 达到或超过手写优化内核。文章也明确了边界:结论主要针对 NVLink/NVSwitch 上的 Hopper/Blackwell,跨节点、不同互联和不同算子仍需重新权衡。

收录,因为它不只是展示结果,而是把多 GPU 算子融合的关键选择——传输机制、调度方式和 tile 划分——用实验和对比讲清楚了。适合做 AI 系统、GPU 性能优化和分布式算子设计的参考,但需要注意其验证平台主要是 NVLink/NVSwitch 体系。

科研议题Stanford Hazy Research

ParallelKittens: Simple and Fast Multi-GPU AI Kernels

这篇文章是 ThunderKittens 新增多 GPU 能力的总览性介绍,核心目标是把 AI kernel 从单卡扩展到基于 NVLink/NVSwitch 的 scale-up 多 GPU 场景。作者提出三条经验:通信启动方式有不同开销,调度可以在主机、SM 乃至 SM 内部多层重叠通信与计算,以及直接手写少量 device 代码往往比 NCCL、NVSHMEM 等现成库更能利用新硬件特性。文章强调 tile 仍然是多 GPU kernel 的基本抽象,因为它既能饱和带宽,又能延续 ThunderKittens 的编程模型。作者用 BF16 all-reduce、all-gather+GEMM 和 Ring Attention 等基准展示更新版实现已能达到或超过现有最优结果。其边界是目前主要聚焦单机多 GPU,后续还计划补充跨节点通信、MoE 负载均衡和文档整理。

推荐收录,因为文章明确给出了多 GPU kernel 的设计原则、通信/调度取舍以及基准结果,并不是泛泛的产品宣传。适合做 GPU 系统、AI kernel 优化和多卡通信设计的参考,尤其对需要从 NCCL 之类库转向自定义实现的读者有直接迁移价值。

技术文章Brendan Gregg

Third Stage Engineering

文章提出一个关于计算机性能评估的“三阶段火箭”比喻:硬件只是第一阶段,软件适配是第二阶段,真正拉开差距的是第三阶段的调优。作者指出,很多厂商和外部评测只比较裸硬件性能,却忽略了面向特定工作负载的软件栈选择、编译/运行时优化以及参数配置,这会导致对真实生产表现的误判。文中把“third-stage engineering”拆成人员、培训、工具和调优能力四部分,强调需要能做观测分析与实验验证的团队,才能把系统性能推到更高水平。其核心结论是:面向客户和生产环境的性能判断,必须同时看硬件、软件与调优三层,而不是只看单点基准。文章更偏方法论与认知框架,适合做性能评测、系统优化和硬件选型时的长期参考。

推荐收录,因为文章直接指出了“只看硬件”会导致性能评测失真,并明确给出了软件适配与第三阶段调优的分析框架。对做基准测试、平台选型、性能优化和供应商评估的读者都很有迁移价值,但它更偏观点总结,缺少具体实验案例与量化数据。

工程实践Instacart Tech Blog

Building The Intent Engine: How Instacart is Revamping Query Understanding with LLMs

文章复盘了 Instacart 用 LLM 重构 Query Understanding 的全过程,目标是提升购物搜索中长尾、口语化和歧义查询的意图识别能力。作者先指出传统方案依赖噪声标签、多个独立模型和碎片化流水线,难以同时兼顾召回、精度与维护成本。新方案以 LLM 为核心,分三层推进:用 RAG 和提示工程注入类目、转化等业务上下文,用后处理 guardrails 约束幻觉和类目偏差,再对关键场景做 LoRA 微调,把领域知识固化到小模型里。文章分别展示了类目分类、query rewrite 和 SRL 三个任务的改造方式,尤其强调“teacher 生成离线高质量数据 + student 承担实时长尾推理”的混合架构。最终他们在 8B 模型上达到接近大模型的 F1,并通过缓存、H100、adapter merge、量化取舍和 autoscaling 把延迟压到约 300ms,证明该路线既能提升搜索质量,也能控制成本,但前提是业务上下文足够丰富且可被持续治理。

收录依据很明确:文章不仅讲了 LLM 替代传统 QU 的思路,还给出了 RAG、guardrails、微调、缓存与延迟优化的完整落地链路,以及精度/召回/成本的结果。适合做搜索、推荐或垂直场景 LLM 工程的参考,尤其对需要处理长尾查询和实时推理约束的团队有直接迁移价值。

工程实践Stanford Hazy Research

AMD GPUs go brrr

这篇文章深入分析了 AMD MI355X/CDNA4 GPU 上 AI kernel 的性能来源,并提出 HipKittens 作为面向 AMD 的编程原语集合。作者先从硬件结构入手,对比了 AMD 与 NVIDIA 在寄存器文件、SRAM、矩阵指令、chiplet/L2/LLC 组织以及编译器支持上的差异,说明许多在 NVIDIA 上有效的做法在 AMD 上会失效。文章重点解释了为什么 wave specialization 在 AMD 上表现不佳:没有寄存器重分配、AGPR/VGPR 约束更强、以及细粒度同步和内存指令行为更复杂。为此,作者提出 8-wave ping-pong 和 4-wave interleave 两种调度模式,并结合 chiplet-aware 的 grid 排布来提升缓存复用。实验表明,这些策略在 GEMM 和 attention 等工作负载上能达到接近或优于现有 AMD 基线的性能,但其方法强依赖 CDNA3/4 细节、HIPCC 行为和底层指令布局知识,移植到其他平台仍需重新验证。

收录依据很明确:文章不仅给出 AMD GPU 的硬件差异分析,还提供了寄存器调度、bank conflict、chiplet cache 复用和基准测试的完整证据链。适合做 GPU kernel、编译器和 AI 基础设施的长期参考,但读者需要接受其强 AMD/CDNA 绑定和大量底层实现细节。

工程实践Stanford Hazy Research

HipKittens: Fast and Furious AMD Kernels

文章围绕 AMD GPU 上的高性能 AI kernel 设计,介绍了 HipKittens 这一套面向 HIP 的 C++ 嵌入式原语。作者先分析现有 AMD 软件栈的问题:AITER、PyTorch、Triton、TileLang 和 CK 在若干 attention/GEMM 场景下难以稳定逼近峰值,部分还受限于寄存器分配、bank conflict、chiplet swizzle 等硬件细节。随后提出核心判断:tile 抽象可以跨架构复用,但真正决定性能的内存访问、调度和后端实现必须按 AMD/ NVIDIA 分开定制。基于这一思路,HipKittens 用约 500 行代码实现 attention 前向、不到 100 行热循环实现 GEMM,并在多项基准上超过现有基线。文章同时指出 wave specialization 在 CDNA3/4 上并不总有效,说明可移植的高层接口并不等于可移植的底层优化。

文中直接给出可验证的性能结果:HipKittens 的 attention 和 GEMM kernel 在 AMD MI355X 上超过多种基线,且代码规模很小,说明其方法不只是概念展示。适合做 GPU kernel、AI 编译器和多硬件适配的参考,尤其能帮助读者理解“统一接口、分离后端实现”的可迁移设计。

科研议题Stanford Hazy Research

Intelligence Per Watt: A Study of Local Intelligence Efficiency

这篇文章提出用“intelligence per watt(IPW)”衡量本地推理的效率,把任务准确率除以推理功耗,试图用一个统一指标比较不同本地模型与加速器的“单位能耗智能产出”。作者从主机时代到PC时代的算力迁移类比出发,认为随着小模型能力提升和本地硬件进步,部分原本依赖云端的大模型请求可以迁移到本地设备。文章基于100万条真实查询与多种基准,评估了20多种本地LLM和多类硬件,发现本地模型已能正确处理88.7%的单轮聊天与推理任务,且2023到2025年间效率提升约5.3倍。研究同时指出,本地加速器与企业级加速器之间仍有约1.5倍的IPW差距,说明硬件侧还有明显优化空间。文章也明确了边界:主要覆盖单轮通用问答与推理,不涉及长链路代理任务、长文档处理或更大批量推理;功耗测量与“准确率=智能”的代理指标也存在近似误差。

推荐收录,因为它不仅讨论本地LLM是否“能用”,还给出了可复现的评测指标IPW、真实查询数据和跨硬件实验结果,证据链完整。适合关注推理成本、边缘部署和模型/硬件协同优化的研究者与工程师参考,但需注意其结论主要适用于单轮通用任务,不能直接外推到agent或长上下文场景。

工程实践Go Blog

The Green Tea Garbage Collector

文章介绍 Go 1.25 中实验性垃圾收集器 Green Tea 的设计与落地。作者先回顾 Go 现有的标记-清扫 GC,指出其主要成本集中在标记阶段,而且大量时间浪费在指针追踪带来的随机内存访问和 CPU 缓存失配上。Green Tea 的核心改动是“按页而不是按对象”组织工作队列:在页级别积累待扫描对象,用 seen/scanned 位图在页内区分已发现和已扫描的对象,从而把零散遍历变成更连续的内存扫描。文章进一步说明它如何借助 AVX-512 和 VGF2P8AFFINEQB 等指令做位图扩展与筛选,把多个步骤压缩到寄存器内完成。实测显示,多数负载可减少约 10% 的 GC CPU 时间,部分负载可达 40%,但结构很不规则、每页常只出现单个待扫对象的场景收益会变小甚至可能回退,因此仍是一个依赖工作负载形态的优化。

推荐收录,因为文章给出了 Go 运行时 GC 的具体瓶颈、页级扫描的新算法、位图与向量化实现细节,以及在生产环境中的量化收益,证据充分且可迁移性强。适合关注运行时、性能优化、缓存友好数据布局和指令级加速的读者;同时也提醒读者该方案对负载形态敏感,实验性开关阶段仍需做基准验证。

工程实践Stanford Hazy Research

How Many Llamas Can Dance in the Span of a Kernel?

这篇文章介绍了 Stanford Hazy Research 的一个吞吐优先版 Llama-70B megakernel:在 8 卡张量并行场景下,把预填充与解码、Paged KV cache、跨 GPU 通信和 CPU 侧调度尽量纳入单个内核的统一执行框架。作者沿用“解释器模板 + 指令序列”的设计,由 CPU 预先生成调度,内核内部按较粗粒度指令执行,从而减少 kernel launch、协调开销和 CPU 参与。文章重点分析了三类重叠:SM 内重叠、跨 SM 重叠和跨 GPU 重叠,并说明如何通过 warp specialization、显式同步和远程读写把这些优化放进同一套 megakernel 里。实测上,该原型在 ShareGPT 65,536 prompts 上端到端比 SGLang 快约 22%。其边界在于依赖较大的算子粒度和复杂的手工调度,当前更适合大模型高吞吐推理,而非所有模型与硬件都能直接套用。

推荐收录,因为它给出了把多 GPU 推理的调度、通信与计算统一进单核框架的直接实现证据,而不只是概念讨论。适合做大模型推理系统、CUDA 优化和高吞吐服务设计的参考,尤其对需要权衡 launch 开销、通信重叠和调度复杂度的工程场景很有迁移价值。

工程实践Stanford Hazy Research

We Bought the Whole GPU, So We're Damn Well Going to Use the Whole GPU

这篇文章介绍了一个面向 Llama-70B 张量并行推理的高吞吐 megakernel,目标是在 H100 上把计算、显存带宽和 NVLink 通信尽量同时吃满。作者先回顾了此前面向低延迟的单卡 megakernel,再说明高吞吐场景下工作负载更异质:矩阵乘法偏计算、RMS norm 和 decode 偏内存、跨 GPU 交换偏通信,因此必须做分层重叠。文中提出新的指令集与解释器执行模型,把 RMS norm、QKV、Attention、O-projection、MLP 等融合为少量指令,并用分布式 transpose 代替部分 reduce-scatter,以便把通信隐藏在后续计算之后。文章还展示了三层优化:SM 内指令流水化、跨 SM 的全局 work queue 动态调度、跨 GPU 的 storer 线程通信重叠,并通过消融实验证明这些策略在大 batch 下能带来数个百分点到十几个百分点的吞吐收益。最终将 megakernel 集成到 Tokasaurus,在 ShareGPT 65,536 prompts 的端到端吞吐上比 SGLang 高约 22%,但作者也明确说明这套代码对编译器版本、GPU 配置和同步细节非常敏感,属于研究原型而非可直接落地的生产实现。

推荐收录,因为文章给出了可复现的系统设计证据:指令/解释器架构、跨 SM 全局调度、跨 GPU 通信重叠,以及对应的消融和吞吐数据。适合做大模型推理、GPU kernel 融合和多卡通信优化的参考,但需注意它是强依赖 H100 和编译环境的研究代码,不宜直接当作生产模板。

工具笔记Go Blog

Flight Recorder in Go 1.25

文章介绍了 Go 1.25 新增的 flight recorder:它基于执行 trace,但不再把全量数据写到文件或 socket,而是将最近几秒的 trace 缓存在内存中,等程序检测到故障时再一次性导出。作者给出 `MinAge`、`MaxBytes`、`Start/Stop` 与 `WriteTo` 的使用方式,并说明该机制特别适合长时间运行的 Web 服务。文中以一个 HTTP “猜数字”服务为例,展示如何在请求耗时超过 100ms 时触发快照,再用 `go tool trace` 查看时间线和 flow event。最终定位到 `sendReport` 中 `defer Unlock` 让锁持有时间被意外拉长,导致偶发长尾延迟。文章也明确了适用边界:它不是全量追踪方案,仍需合理控制内存预算和触发条件。

文中直接给出 flight recorder 的 API、配置参数、快照导出和 trace 分析流程,并用真实并发性能问题证明其定位价值。适合维护 Go 长运行服务、排查线上延迟和锁竞争的工程师,迁移价值在于“先留最近窗口、再按异常触发取证”的诊断思路。

工程实践Stanford Hazy Research

One Kernel for All Your GPUs

这篇文章系统讲解了如何在 NVIDIA 多 GPU 平台上手写高性能通信核,重点面向 NVLink/NVSwitch 互联的单机多卡场景。作者先解释了跨进程共享 GPU 内存的三种路径:UVA、CUDA IPC 和手动 VMM,并说明为何生产环境更需要后两者以及它们的初始化开销与边界。随后文章分析了 NVSwitch 的广播/归约加速机制,以及 copy engine、TMA 和寄存器指令三种通信方式在带宽、并发和可融合性上的差异,给出在 B200 上的实测利用率。最后,作者把这些机制封装进 ThunderKittens 的 PGL 和 TKParallelTensor,展示了不到 100 行代码实现 all-reduce、all-gather、reduce-scatter 和 all-to-all,并在 8 卡 B200 上相对 NCCL 取得最高 2.6x 提升。文章的适用边界也很明确:它主要针对单机 NVLink/NVSwitch 域内的细粒度通信优化,且依赖 VMM、固定粒度显存和较强的 CUDA/编程模型理解,不直接覆盖跨节点通信。

收录价值很高,因为文章不仅给出性能结果,还把多 GPU 通信从内存映射、NVSwitch 机制到 kernel 设计完整串起来,直接提供了可复用的实现路径。适合做分布式训练、MoE、序列并行和自定义 collective 的工程参考;但读者需要接受其局限于单机 NVLink/NVSwitch 域,且实现门槛较高。

工程实践Datadog Engineering

From hand-tuned Go to self-optimizing code: Building BitsEvolve

文章介绍 Datadog 如何把 Go 热路径上的人工性能调优,抽象为一个可持续运行的自优化系统 BitsEvolve。作者围绕热点识别、候选优化生成、自动基准验证、收益评估与安全护栏,构建了 AI 辅助的连续优化流程,使性能改进不再完全依赖手工介入。文中强调,这种方法更适合重复出现、可量化收益、且回归风险可控的局部优化问题,而不是任意复杂业务逻辑。最终该系统在真实线上场景中节省了数千个 CPU core,体现出把性能优化工程化、平台化的价值。其适用边界也很明确:必须有稳定基准、可观测指标和严格回滚机制,否则自动优化可能放大风险。

收录依据很直接:标题与简介明确给出“self-optimizing code”“AI-assisted performance improvements”和“saved thousands of cores”,说明这是可落地的性能工程案例,而非概念展示。适合做 Go 服务、基础设施和成本优化的参考,尤其对需要把热点优化自动化、平台化的团队有迁移价值。

工程实践Datadog Engineering

Scaling down to speed up: How we improved efficiency of live process metrics by 100x

文章复盘 Datadog 为 Processes 和 Containers 视图重构实时数据管线的过程,目标是在保留在线进程指标可用性的同时显著降低采集与传输成本。作者先说明原方案在流量规模、处理链路和基础设施占用上的瓶颈,再介绍新的架构拆分与数据处理方式,最终把流量压缩 100 倍、基础设施消耗降低 98%。文中强调的不是单点优化,而是围绕实时性、可见性和成本之间的取舍重新设计系统边界。它对可观测性平台、高基数指标处理和流式管线重构都有迁移价值。需要注意的是,方案效果依赖 Datadog 的数据形态与产品场景,未必可直接照搬。

推荐收录,因为正文直接给出了“流量减少 100x、基础设施减少 98%”的量化结果,并明确讨论了实时指标管线的架构重构与系统取舍。适合做可观测性平台、流式处理和高基数指标设计的工程参考,尤其适合需要在实时性与成本之间权衡的团队。

工程实践Blender Developers Blog

Blender for Windows on Arm

这篇文章回顾了 Blender 在 Windows on Arm(WoA)上的移植与加速进展,说明该项目在 Microsoft、Linaro 和 Qualcomm 的合作支持下,已能在 Snapdragon 等 ARM64 Windows 设备上稳定运行。文章重点介绍了从 Blender 4.3 开始的官方 WoA 支持,以及在 4.5 LTS 中引入 Vulkan 后,EEVEE 视口播放和渲染性能得到显著提升。作者还给出了针对 Adreno GPU 的基准测试,显示 Vulkan 相比 OpenGL 在不同示例场景下有明显收益,尤其是播放帧率和渲染耗时改善突出。文中进一步指出,当前优化重点仍在着色器优化、Adreno 瓦片架构利用和 UI 性能,长远目标是到 2026 年为 Snapdragon GPU 上的 Cycles 提供硬件加速光追。整体来看,这是一篇围绕跨平台图形栈迁移、驱动适配与性能验证的工程案例,但结论主要适用于具备 Vulkan 和特定 ARM GPU 支持的环境。

推荐收录,因为文章给出了 WoA 移植、Vulkan 后端切换和实际基准数据,能直接看到图形应用在 ARM Windows 设备上的性能收益与边界。适合做跨平台图形开发、GPU 适配和开源工程协作的参考,但其结论强依赖 Blender、Adreno 和 Vulkan 生态。

职业经验Brendan Gregg

When to Hire a Computer Performance Engineering Team (2025) part 1 of 2

本文讨论在什么情况下应成立计算机性能工程团队,以及这类团队的投资回报如何评估。作者从多年在 Netflix、Intel 等公司的经验出发,指出性能工程的主要价值不只是降本,还包括降低延迟、提升可扩展性与可靠性,以及加快研发推进。文中详细列举了团队的工作范围:测试和推动新软硬件采纳、构建内部观测与分析工具、深入定位瓶颈和尾延迟、调参优化、做容量规划与知识分享等。作者给出粗略的组建门槛和规模建议,例如当基础设施支出达到百万美元级别就应考虑专职人员,并强调已有的 SRE/高级开发者会部分覆盖这类工作。文章也说明这些建议更适用于技术消耗型公司,且实际收益依赖栈的复杂度、现有优化基础和团队成熟度。

文中直接给出了性能工程团队的职责边界、ROI 构成和规模判断规则,并用 Netflix、Sun 等案例说明其可迁移的判断方法。适合负责基础设施、SRE、技术管理和成本优化的读者参考,但结论依赖公司体量与技术栈复杂度,不宜机械套用。

工程实践Datadog Engineering

How we tracked down a Go 1.24 memory regression across hundreds of pods

这篇文章复盘了 Datadog 在大规模将服务升级到 Go 1.24 后,如何在数百个 Pod 中发现并定位一次内存回归。作者先通过系统级指标和线上观测确认问题不是单点实例异常,而是与新版本运行时相关的整体性内存上升。随后他们逐步缩小排查范围,最终把根因指向 Go runtime 的分配器缺陷,并与 Go 团队协作推动修复。文章的价值在于展示了从真实生产信号、跨层指标关联到运行时 bug 定位的完整排障链路,但其结论也明确依赖于特定 Go 版本与运行时实现环境。

推荐收录,因为它直接给出了“Go 1.24 内存回归—系统指标定位—runtime 分配器 bug”这一完整证据链,而不是泛泛讲升级经验。适合做生产排障、性能回归分析和运行时问题定位的参考,尤其对大规模 Go 服务团队具有可迁移的方法价值。

工程实践Datadog Engineering

How Go 1.24’s Swiss Tables saved us hundreds of gigabytes

文章介绍 Datadog 在 Go 1.24 引入 Swiss Tables 后,对内部高流量服务中的 map 内存占用和性能收益做的实测复盘。作者说明旧版 Go map 在某些业务场景下会带来较高的内存开销,而新实现通过更紧凑的布局和更高效的查找方式,能在 map 密集型工作负载中把内存使用降低最高约 70%。文中重点不是泛泛宣传新版本,而是展示他们如何用 profiling 和线上指标确认收益、识别适用场景,并把改动控制在可验证的范围内。文章也暗示这类收益依赖键值分布、访问模式和业务负载,并非所有程序都会得到同等改善。

推荐收录,因为它给出了明确的工程证据:围绕 Go 1.24 Swiss Tables 的真实工作负载剖析、内存节省幅度和性能验证,而不是停留在版本公告。适合关心 Go 运行时、服务内存优化和性能排障的工程师参考,尤其适合把“新 runtime 特性是否值得升级”转化为可测量、可回滚的决策流程。

科研议题Stanford Hazy Research

BWLer 🎳 (Part 2): Navigating a Precision-Conditioning Tradeoff for PINNs

文章围绕 PINN 在高精度求解 PDE 时常见的精度瓶颈,提出 BWLer(Barycentric Weight Layer)作为一种以重心拉格朗日插值为核心的高精度替代层。作者将函数表示与导数计算解耦:一种模式让 MLP 只预测插值节点值,再由 BWLer 统一完成全局插值与谱导数;另一种模式则直接把节点值作为可学习参数,形成显式 BWLer。实验表明,前者在三个基准 PDE 上可把误差降低 10 到 1800 倍,后者甚至能把相对误差推到 10^-12 量级,接近机器精度。文章进一步指出,精度提升与条件数恶化之间存在显式权衡:节点越多越精细,但导数矩阵越病态,优化越困难。作者也明确了边界条件:对不连续解、复杂几何或需要快速训练的场景,BWLer 目前仍可能比标准 MLP-PINN 更慢、更依赖二阶优化。

收录证据很明确:文章给出可复现的方法设计、三组基准 PDE 结果、误差与条件数的权衡分析,以及对不连续/复杂域的局限说明。适合做科学机器学习、PINN 和数值方法结合方向的长期参考,尤其对关注高精度训练与优化病态性的读者有可迁移价值。

科研议题Stanford Hazy Research

Cartridges: Storing long contexts in tiny caches with self-study

文章提出一种面向长上下文推理的新方法:不再直接用一次前向传播生成巨大 KV cache,而是离线用梯度下降“训练”一个更小的缓存,称为 cartridges。为避免只会死记上下文,作者引入 self-study:先让模型基于上下文生成合成问答/对话,再用 context distillation 训练缓存,从而兼顾压缩率与泛化。实验显示,cartridge 在保持接近常规 KV cache 质量的同时,可将内存占用降低 38.6 倍、峰值吞吐提升 26.4 倍,并能把有效上下文长度扩展到训练时窗口之外。文章还给出一个简化的理论分析,说明梯度下降在某些关联回忆任务上能比注意力或线性注意力更省内存。其局限是训练需要额外离线算力,且方法效果依赖合成数据质量与特定上下文形态,仍需更强的训练效率和理论解释。

文中给出了可量化证据:38.6 倍压缩、26.4 倍吞吐提升,以及在 LongHealth、MTOB 等基准上的结果,说明这不是概念性设想,而是有实验支撑的研究方案。适合做 LLM 长上下文服务、KV cache 压缩和 test-time training 方向的读者参考,但需注意其依赖离线训练与合成数据,落地时要评估训练成本和泛化边界。

科研议题Stanford Hazy Research

Look Ma, No Bubbles! Designing a Low-Latency Megakernel for Llama-1B

本文聚焦低延迟、batch size=1 的 Llama-1B 推理优化,指出 vLLM 和 SGLang 在 H100 上因大量小 kernel、launch/teardown 开销、以及严格的 kernel 顺序同步而只能利用约一半 GPU 带宽。作者提出把整层前向传播融合为一个“megakernel”,并用 GPU 端解释器统一调度各类指令。为解决资源竞争与依赖同步,他们设计了共享内存分页机制和基于计数器的显式同步,把权重加载、激活读写和计算更紧密地流水化。实验显示,H100 上前向传播可达到约 78% 内存带宽利用率,较基线提速 1.5x 至 2.5x;B200 上单次前向可压到 680 微秒以内。文章同时说明该方法主要适用于内存带宽主导、且追求极低延迟的场景,仍受激活加载、原子操作和同步开销限制。

文中给出了可验证的性能数据、明确的瓶颈分析和完整的实现取舍,不是泛泛而谈的加速口号。适合做 LLM 推理、GPU runtime 和系统优化的参考,但其收益主要局限于 batch=1 的低延迟内存受限场景。

工程实践Stanford Hazy Research

Mind the Trust Gap: Fast, Private Local-to-Cloud LLM Chat

这篇文章讨论了如何在云端 LLM 聊天中消除“信任云厂商”的前提,核心方案是把本地客户端与远端机密计算环境连接起来,采用临时密钥交换、CPU/GPU 双重远程证明、端到端加密与带 nonce 的消息传递,让提示词和回复只在 TEE 内明文出现。系统基于 AMD SEV-SNP 与 NVIDIA H100 Confidential Computing 构建嵌套 TEE,覆盖从传输、CPU 进程到 GPU 推理的完整链路。作者同时给出原型实现和性能测量,指出初始 attestation 有 2–6 秒固定开销,但消息加解密几乎可忽略。实验显示小模型与高批量场景下开销较明显,而 10B 以上模型、长上下文和常见在线聊天批次下,额外延迟可降到 1% 左右。文章也明确了边界:原型尚未第三方审计,且演示环境仍依赖 Azure 的虚拟化栈信任。

收录依据很直接:文章不仅讲了机密计算的思路,还给出威胁模型、双层 TEE 协议和实际延迟数据,能支撑对“安全是否必然慢”的判断。适合做 AI 系统、安全工程和隐私推理的参考,但需注意它仍是未审计原型,生产落地前还要补充虚拟化与运维侧的安全验证。

工具笔记Brendan Gregg

Doom GPU Flame Graphs

文章介绍了 Brendan Gregg 团队开源的 AI Flame Graphs 新能力:在 Intel Battlemage GPU 上生成完整的 GPU flame graph,并与 FlameScope 结合做 CPU/GPU 的亚秒级可视化分析。作者用 GZDoom 作为案例,通过自制的高负载地图把不同房间的渲染、后处理、stencil 和 sprite 开销拆开观察,并用 GPU flame scope 定位到具体时间窗口。文中还展示了 CPU 端的 shader 编译与 NIR 预处理如何对应到 GPU 空转区间,说明这种图形化方法能快速建立跨 CPU/GPU 的因果关联。与此同时,文章明确列出使用门槛:需要 Linux root 权限、较新的内核与显卡驱动、启用 eustalls/eudebug 接口,以及带 frame pointers 的系统库和应用。它的适用边界也很清楚:当前主要面向 Intel 硬件与 Linux,且采样开销、驱动支持和环境准备仍在完善中。

推荐收录,因为文章给出了可操作的 GPU 性能剖析方法、命令示例和完整环境要求,而不是停留在概念介绍。适合做图形渲染、GPU profiling 和性能诊断参考,但当前局限于 Intel/Linux 生态,部署门槛较高。

科研议题Stanford Hazy Research

BASED ✌️: our one year retrospective

这篇文章是 Stanford Hazy Research 对 BASED 发表一年后的回顾,核心在于重新总结高效语言模型的设计原则与影响扩散路径。作者认为,推理时真正的关键权衡不是“是否使用 Transformer”,而是上下文回忆能力与 state size 之间的关系;BASED 通过“短程精确混合 + 大状态线性注意力”的组合,把这一帕累托前沿向外推进。文章进一步强调了 MQAR、EVAPORATE 等回忆评测任务如何成为衡量高效模型的重要基准,并回顾了该路线如何影响 Mamba-v2、RWKV-v5/v6、MetaLA、MiniMax、Liger attention 等后续架构。实现层面,作者强调从硬件出发设计内核,利用 H100 的 WGMMA/TMA 以及二阶 Taylor 近似的软最大核,在保持高质量的同时提升吞吐,并指出 k=2 在质量与性能间较平衡。文章也给出局限:高效模型仍存在“没有免费午餐”,且结论依赖具体工作负载与硬件平台,迁移时需要重新评估边界。

收录依据明确:文中不仅复盘了 BASED 的设计逻辑,还给出了可复用的评测基准、硬件优化手段和后续模型扩散证据。适合做高效 LLM、线性注意力和 GPU 内核设计的研究参考;但内容带有项目回顾色彩,部分效果宣称仍需结合原论文与独立复现交叉验证。

工程实践Stanford Hazy Research

ThunderKittens Now on Blackwells!

文章介绍了 ThunderKittens 针对 NVIDIA Blackwell/B200 架构的新一代 GEMM 与 Attention kernel 实现,并解释其为什么能接近或超过 cuBLAS、FA3 的性能。作者把重点放在“数据流”而非传统 CUDA 控制流上,围绕 5 代 tensor cores、tensor memory 和 CTA pairs 设计更深的流水线,通过 producer/consumer warpgroup 协作、persistent kernel、跨迭代预取 K/V、以及把输出累积器逐级写回共享内存和 HBM,尽量消除 pipeline bubble。文章还指出 B200 的 tensor core 更大,微基准上更像 128×128 systolic,因此只有当 M、N 维度足够大时才能充分吃满算力,小尺寸 GEMM 会按比例降速。它同时展示了如何把 Hopper 上的 kernel 结构迁移到 Blackwell,并说明 tensor memory 如何缓解 backward pass 的中间状态压力。整体结论是:Blackwell 的性能优化核心是提高并行数据供给深度,而 TK 的 tile 抽象恰好适配这一点,但收益依赖于特定硬件与形状假设。

推荐收录,因为文章直接给出了 Blackwell 上 GEMM/Attention kernel 的实现思路、硬件特性利用方式和明确的性能对比结果,而不是泛泛介绍新卡参数。适合做 GPU kernel、AI 加速和高性能计算的长期参考,尤其对需要把 Hopper 代码迁移到 Blackwell 的读者有可迁移的流水线设计价值;但其结论强依赖 B200 的 128×128 计算单元和特定 tile 形状。

工程实践Stanford Hazy Research

ThunderMLA: FlashMLA, Faster and Fused-er!

本文介绍 Stanford Hazy Research 的 ThunderMLA:针对 LLM 推理中变长请求和小批量 decode 的性能瓶颈,把原本分开的 attention/归约 kernel 融合成一个可由指令张量驱动的 megakernel。作者提出 ThunderKittens 的 interpreter template,在 GPU 上用虚拟指令集组织子 kernel,并通过全局 tensor 做依赖同步,从而减少 kernel launch、尾部效应和中间结果写回。文中还给出两种调度器:静态调度器与基于 makespan 反推的调度器,后者能进一步压缩执行时间约 10%。在 H100 上,ThunderMLA 相比 DeepSeek 的 FlashMLA 在多个 workload 上提升约 20–35%,但调度生成本身仍较慢,主要依赖可复用 schedule,适合推理场景而非通用低延迟单次执行。作者还强调该思路可迁移到 GQA、tensor parallel 的通信重叠以及 MoE 等数据流型 AI 工作负载。

收录价值明确:文章给出了可复现的性能证据、具体的 megakernel 设计和两类调度策略,而不是泛泛谈“更快”。适合做 LLM 推理、CUDA kernel 融合、GPU 调度与性能分析的参考,尤其对需要处理变长序列和小批量 decode 的工程场景可迁移。

科研议题Stanford Hazy Research

Minions: the rise of small, on-device LMs

文章提出 Minions 协议,探索让小型端侧模型与云端前沿模型协作,把长上下文读取、任务分解和部分推理迁移到本地,从而显著降低云端 API 成本。作者先验证了一个较朴素的 Minion 聊天式方案:它只消耗约 3.3% 的云成本,却能保留 87% 的云端性能,但会受到小模型长上下文能力弱、难以稳定执行多步指令等限制。随后 Minions 采用“分解—执行—聚合”循环,由云端模型生成切分与分解代码,本地模型并行处理子任务并筛选结果,再由云端汇总或继续迭代,在金融、医疗和论文问答任务上达到 97.9% 的云端精度,成本仅为 17.5%。文章进一步指出,3B 以下本地模型通常不足以支撑该协议,推理时扩展、细粒度分解和更多通信轮次可继续提升效果,但会带来更长时延和更高本地算力消耗。整体上,它给出了端云协同推理的一种可操作协议,而不是试图用小模型完全替代大模型。

推荐收录,因为文章给出了明确的协议设计、对照实验和成本-精度数据,而不是停留在“小模型很有潜力”的泛论。适合关注端云协同、长上下文任务和推理成本控制的研究者与工程师参考,但其收益依赖较强本地模型与特定数据密集型场景。

工程实践Stanford Hazy Research

ThunderMittens For Your ThunderKittens

文章记录了 Stanford Hazy Research 将 ThunderKittens 这一面向 NVIDIA GPU 的 AI kernel DSL 移植到 Apple Silicon/Metal 的过程,并把新版本命名为 ThunderMittens。作者先分析了 M2 Pro 的硬件特征:内存带宽相对算力更高、共享内存收益有限、bf16 编译优化不稳定、占用率对性能影响很大,因此更适合用直接寄存器加载和更简单的 kernel 组织方式。移植时,用户侧几乎只需把基础 tile 从 16x16 改成 8x8;内部则删去 swizzling、WGMMA/TMA 和异步读写等 NVIDIA 特定机制,并通过不同寄存器布局适配 Metal 指令。文中给出 GEMM 与注意力推理 kernel 的实现片段,说明 DSL 抽象在不同硬件上基本保持稳定,但具体优化手段会随平台变化。性能上,注意力 kernel 与 MLX 相差约 ±15%,GEMM 在多数尺寸上快约 9%,同时代码行数显著减少,但作者也承认当前仍处早期阶段,且调试依赖反复试验与 Xcode GPU 工具。

收录依据很直接:文章不仅给出跨平台 kernel 迁移的设计原则,还提供了具体实现、硬件约束和性能数据,能支撑读者判断 DSL 在异构 GPU 上的适用性。适合做 AI 系统、GPU kernel 和编译/DSL 设计的长期参考,但需要注意其结论主要基于 M2 Pro 与特定 kernel,泛化到其他平台仍需验证。

工程实践Stanford Hazy Research

ThunderKittens: Bringing fp8 to theaters near you

这篇文章介绍 ThunderKittens 为 fp8 新增算子与 GEMM kernel 的实现思路,目标是在保持统一编程接口的同时支持量化数据类型。作者重点解释了 fp8 与 fp16/bf16/fp32 在寄存器布局上的差异,以及为何需要额外的线程间 shuffle 来完成数据重排,而不是简单复用原有 tile 逻辑。文章进一步分析了 ldmatrix/stmatrix 与 WGMMA 在 H100 上的使用方式,说明 fp8 在共享内存到寄存器加载时仍受 16 位指令接口限制,只能通过“先按 16 位加载再拆成两个 fp8”的方式绕过。为了降低 bank conflict,作者讨论了 32/64/128-byte swizzling 的适用条件,并把 fp8 tile 宽度下限提高到 32,以匹配更大的 core matrix 和更好的硬件利用率。整体结论是:fp8 kernel 可以复用 bf16 的整体结构,但必须围绕数据布局、bank conflict 和硬件指令约束做针对性改造,且效果高度依赖 NVIDIA H100 这类支持 WGMMA 的平台。

文中直接给出了 fp8 kernel 的布局、shuffle、swizzle 和 bank conflict 处理细节,并用 H100/WGMMA 约束解释了为何要这样设计。适合做 GPU 算子、AI 基础设施和高性能 CUDA 编程的参考,但结论明显依赖特定硬件代际。

工程实践Datadog Engineering

How we built a Ruby library that saves 50% in testing time

文章介绍 Datadog 用 Ruby 实现测试影响分析库的过程,目标是在代码改动后只运行真正受影响的测试,从而缩短 CI 时间。作者先梳理 Ruby VM 中方法调用、对象分配和加载行为,借助 tracing 记录代码间依赖,再把生产代码与测试用例建立映射。文章详细讨论了 Ruby 动态特性、monkey patch、反射和框架层封装带来的分析误差,以及如何通过过滤规则和采样降低开销。最终该方案在内部场景把测试耗时减少约 50%,但对强动态、依赖隐式副作用的项目效果会下降。全文属于真实工程经验,适合需要优化 CI、构建测试选择或理解 Ruby 运行时可观测性的读者。

收录,因为文章直接给出了“受影响测试选择”这一工程问题的实现路径,且用 Ruby VM tracing、依赖映射和约 50% 的测试时间下降作为明确证据。适合做 CI 优化、测试基础设施或运行时可观测性的读者;同时也提醒动态特性强的代码库会带来准确率风险。

工程实践Stanford Hazy Research

Easier, Better, Faster, Cuter

这篇文章介绍了 ThunderKittens 的第二轮升级,重点是把它从“可玩”推进到“可用”的 GPU kernel 工具箱。作者发布了多类新算子与实现,包括 fused Mamba-2、长卷积、线性注意力、RoPE、LayerNorm 和线性层,并给出在 H100 上相对现有 Triton/FlashFFTConv 实现的性能提升数据。文章还展示了 Llama3、Qwen2.5、nanoGPT、PyTorch Lightning 等集成示例,说明这些 kernel 已能用于推理和训练。除了算子本身,TK 2 还强化了构建系统、自动共享内存布局、全局 layout 描述、类型支持和大规模测试,降低了编写 kernel 的复杂度。作者强调,注意力加速的主要收益并非来自复杂算法,而是更好地利用 GPU、控制寄存器与内存流动;但当前实现仍偏向特定硬件与模型形态,且 FP8 支持尚未完善。

文中直接给出多项 kernel、注意力实现和基准对比,且附带可运行 demo 与训练集成,说明它不是概念展示而是可落地的工程经验。适合做 GPU kernel、LLM 推理/训练加速和算子设计的参考,但读者需要注意其性能结论强依赖 H100 与特定布局。

工具笔记Brendan Gregg

AI Flame Graphs

这篇文章介绍了 Intel 正在试验的 AI Flame Graphs:把传统 CPU flame graph 扩展到 GPU/AI 加速器,统一展示加速器指令、源代码和触发它们的 CPU 调用链。作者强调其核心目标是像 CPU 性能分析那样做到低开销、生产安全、随时可用,并通过 EU stall profiling 与 eBPF 结合,定位 AI 工作负载中的热点和停顿原因。文中还展示了 SYCL 矩阵乘和 PyTorch/Llama 2 的示例,说明它能把看似混乱的 AI 栈收敛到少数关键瓶颈函数或指令。作者同时指出当前仍处于早期阶段,PyTorch、符号化、驱动和运行时适配都较困难,部分场景还有中等开销,离大规模通用化还需要较长时间。

推荐收录,因为文中明确给出了新型 AI 性能分析工具的设计目标、实现思路和适用边界,而不是停留在产品宣传层面。适合做 GPU/AI 性能优化、可观测性和开发工具演进的参考,尤其对需要把加速器热点与上层代码关联起来的工程团队有直接迁移价值。

科研议题Stanford Hazy Research

Linearizing LLMs with LoLCATs

文章介绍了 LoLCATs,一种把现有 Transformer 大模型“线性化”为亚二次推理结构的方法。核心思路不是从头设计新架构,而是先用线性注意力替换 softmax 注意力,再通过 attention transfer 让新注意力近似原模型行为,并用 LoRA 这类参数高效微调恢复质量。作者声称该方法在 Mistral 7B、Llama 3 8B 等模型上显著优于传统线性化方案,且在零样本任务上接近原始 Transformer,同时把训练参数和 token 成本压到很低。更重要的是,他们把方法扩展到 Llama 3.1 8B/70B/405B,展示了在“学术算力”下线性化超大模型的可行性。文章适合关注高效推理、模型压缩和 Transformer 结构替换的读者,但其结论主要依赖论文与基准评测,实际部署仍需结合任务分布和质量回归风险验证。

有明确的研究问题、方法链路和量化结果:attention transfer + LoRA 低成本线性化,并给出 7B 到 405B 的实证。适合做 LLM 高效推理、结构替换和模型压缩的参考,但落地时仍需关注任务迁移与质量回归。

科研议题Stanford Hazy Research

LoLCATs Blog Part 2: How to Linearize LLMs for Me and You

文章介绍 LoLCATs,用于把已有 Transformer 线性化为子二次复杂度 LLM。方法在保持预训练骨架不变的前提下,先用可学习线性注意力/滑窗混合层做 attention transfer,再用少量 LoRA 重新连接 QKVO,并在 405B 场景加入按层分块训练以降低显存和磁盘开销。作者报告在 7B/8B 上仅用约 0.2% 参数、4000 万 token 即可弥合超过 80% 的线性化质量差距,并将 70B/405B 线性化成本压到远低于既有方法。局限是它依赖现成 Transformer 作为起点,主要验证于 LM Eval 等基准,且更像“后转换”而非从零设计新架构。

推荐收录,因为它给出了从软注意力迁移到线性注意力的完整训练配方,并用 7B/70B/405B 结果证明能显著降低线性化成本。适合关注高效注意力、大模型压缩和架构替换的研究者,但结论主要建立在预训练模型与基准评测上。

工程实践PlanetScale Blog

Anatomy of a Throttler, part 2

本文继续分析 throttler 的部署形态,先比较单体服务、独立多实例、主备切换以及引入 agent/API 的方案。作者指出,加入采集代理或跨节点协作后,系统会从单一同步组件演变成分布式多组件系统,复杂度、权限边界和版本兼容问题都会上升,同时采样间隔叠加也会让指标更陈旧。随后文章给出分布式 throttler 的几种切分方式:按可用区、按功能、按主机或按服务粒度,并以 Vitess tablet throttler 为例说明如何在 shard 范围内聚合 replica lag,让 primary 代表整个 shard 做限流判断。最后,文章讨论如何降低 throttler 自身开销,包括客户端退避、空闲时降低采样频率或休眠、以及在无大任务时减少 heartbeat 生成,避免 binlog、磁盘和备份成本被额外放大。其边界在于,这些策略都依赖对业务负载形态、重试行为和一致性要求的准确预判。

收录价值明确:文章直接比较了 throttler 的单体、分布式与 agent 化方案,并用 Vitess 的 shard 级限流给出可落地的架构证据。适合做 MySQL/Vitess、SRE 和基础设施设计参考,但需要注意其结论高度依赖心跳粒度、轮询频率和客户端重试假设。

技术文章PlanetScale Blog

B-trees and database indexes

文章系统解释了 B-tree 与 B+tree 的结构差异、节点有序性、查找/插入路径,以及它们为何特别适合磁盘上的持久化数据。作者进一步结合 InnoDB 说明:表数据和二级索引都会落到 B+tree 上,查询通常需要先查索引再回表,因此访问的页数直接决定性能。文章重点比较了自增整数、UUIDv4、UUIDv7 等主键选择对树深度、页分裂、写放大和数据局部性的影响,指出随机键会导致插入路径不可预测、叶子分散、缓存命中更差,而顺序键更利于保持浅层和连续访问。文中还说明了页大小、buffer pool 和表宽度对单页可容纳行数的影响,并给出主键大小与可扩展性的权衡。整体适合理解数据库索引底层机制,但内容主要面向 MySQL/InnoDB 场景,结论迁移到其他存储引擎时需结合其页布局和实现差异。

文中直接给出 B+tree、InnoDB 页和二级索引回表的工作方式,并用主键选择解释性能差异,证据充分、可验证。适合数据库开发、后端和性能优化读者,尤其是需要评估主键设计、索引布局和随机写放大风险的场景。

工程实践PlanetScale Blog

Instant deploy requests

文章介绍了 PlanetScale 为符合条件的 deploy request 新增的“instant deployment”能力,用于把数据库 schema 部署时间从小时级压缩到接近秒级。其核心前提是请求中的所有变更都必须能被 MySQL 的 INSTANT DDL 满足,例如符合条件的 ALTER TABLE,以及可选的建表、删表、建视图、改视图和删视图。系统会在部署前自动判断是否满足条件,并让用户在 instant deployment 与默认的 Online DDL 之间做显式选择。文章同时强调了边界:instant deployment 不可 revert,在某些负载下迁移表仍可能出现数秒级锁,因此它只适用于少量明确可瞬时执行的 schema 变更。

推荐收录,因为文章给出了数据库 schema 变更加速的具体判定条件、系统预评估机制和不可忽略的风险边界,而不是单纯宣传新功能。适合做数据库平台、迁移系统和 SRE 设计参考,尤其对需要在“速度”和“可回滚/稳定性”之间取舍的场景有直接迁移价值。

工程实践PlanetScale Blog

Anatomy of a Throttler, part 1

本文讨论数据库节流器(throttler)的设计原则,目标是在批量导入、ETL、在线 DDL、清理和重分片等长耗时操作中保护数据库整体健康。作者先解释节流不应只按固定速率控制,而要围绕数据库是否“健康”来判断,因此重点分析了复制延迟、threads_running、队列延迟、队列长度、Load Average 和连接池占用等指标。文章强调单一指标往往只是症状,真正有价值的是能预测 SLO 的组合指标及其阈值,并说明阈值必须结合业务、硬件和部署形态来设定。文中还指出节流系统上线后会改变系统行为,健康状态常表现为指标围绕阈值上下波动而非持续低位。最后讨论了采样间隔与指标粒度的关系,认为过慢的采样会造成滞后和突发释放,应按阈值范围进行更高频的测量;但该文只覆盖系列的第一部分,分布式节流器与节流器自身影响留待后文。

推荐收录:文章不是泛泛讲限流,而是以数据库健康为中心,系统讨论了指标选择、阈值设定、队列含义和采样粒度等可落地问题。适合做数据库平台、批处理控制和稳定性治理的参考,尤其对需要设计自适应节流机制的工程师有直接迁移价值。

工程实践PlanetScale Blog

Increase IOPS and throughput with sharding

文章围绕数据库在云上扩容时最容易被忽视的 IOPS 和吞吐量成本展开,先解释 AWS EBS 中 IOPS 的计量方式、顺序/随机读写对有效带宽的影响,以及 gp3、io1、io2 的配额与价格差异。随后作者用 RDS、Aurora 和 PlanetScale 的月费对比,说明当单体数据库从中等规模增长到 8 倍需求时,单机方案往往要付出显著更高的 I/O Premium。文章的核心观点是:对 I/O 密集型数据库,分片可以把计算、存储和 I/O 压力拆散到多个 primary 上,从而继续使用更便宜的存储层。文中还指出分片带来的额外收益包括故障隔离、备份更快和长期线性扩展,但没有给出实际压测结果,因此结论更偏成本与架构层面的比较,而非纯性能评测。

文中直接用 EBS 的 IOPS/吞吐限制和三种数据库方案的月费对比,证明了单体扩容会迅速推高 I/O 成本,而分片能把需求摊平到多个 shard 上。适合做数据库容量规划、云成本评估和分片选型的读者;但价格结论依赖区域、流量形态和分片键设计,落地时需要按自身 workload 复算。

工程实践PlanetScale Blog

Tracking index usage with Insights

这篇文章介绍了 PlanetScale Insights 新增的“索引使用跟踪”能力,目标是在真实生产流量中观察每个查询模式实际命中了哪些索引,以及这种使用如何随时间变化。作者先比较了 EXPLAIN、MySQL performance schema 等现有手段,指出它们要么只能分析单条手工输入的查询,要么只能提供服务器级累计计数,难以关联到具体查询模式和趋势。随后文章给出实现思路:利用 InnoDB 的索引初始化流程,在查询执行过程中记录被选中的索引,将结果随响应返回到 VTGate,再按查询模式聚合并以时间序列方式写入 Insights 流水线。这样可以在几乎不增加 MySQL 开销的前提下,获得覆盖全部查询的索引使用统计,并支持反向检索“哪些查询在用某个索引”或“哪些查询完全未命中索引”。但它也明确了边界:索引信息目前只对 SELECT 统计,删除索引前仍需独立核实 UPDATE/DELETE 的使用情况。文章的价值在于把数据库可观测性、查询归因和索引治理串成了一套可落地的方法。

收录价值明确:文章不仅解释了功能,还给出从 MySQL/InnoDB 到 VTGate 和 Insights 的完整实现链路,以及为何 EXPLAIN 和 performance schema 不足以支撑生产趋势分析。适合做数据库性能优化、索引治理和可观测性设计的参考,但需注意它只覆盖 SELECT 场景。

工程实践PlanetScale Blog

Zero downtime migrations at petabyte scale

文章系统拆解了 PlanetScale 在 TB 到 PB 级 MySQL 迁移中实现零停机的流程:先做一致性且不加锁的快照,再持续复制 binlog 追平增量,并用 VDiff 对源端与目标端做全表校验。切流阶段通过 VTGate 缓冲请求、等待复制追平、建立反向复制链路,使切换可在秒级完成且可随时回滚。作者进一步说明了底层依赖 Vitess 的 VReplication、MoveTables、路由规则、序列和 sidecar 元数据,展示了按表、按分片串并行协作的实现方式。文章也明确了适用边界:切流前经 PlanetScale 转发会引入额外网络开销,建议使用只读副本作为迁移源;而超过约 250GiB 的库通常应结合分片来控制成本与性能风险。

推荐收录,因为文章不是泛泛谈“零停机”,而是给出了快照、GTID、binlog 追平、VDiff 校验、反向复制和请求缓冲等完整证据链。适合做数据库迁移、分库分表和在线切流的工程参考,尤其对需要评估回滚能力与迁移风险的团队很有迁移价值。

工程实践PlanetScale Blog

Faster backups with sharding

文章系统解释了 PlanetScale 在 Vitess 体系下的备份流程:先从对象存储取回上一次备份,恢复到专用 VTBackup 实例,再让其通过主库做短暂追平,最后生成新的全量备份写回 S3/GCS。作者强调,单库越大,顺序备份越容易被网络与恢复耗时拖慢;而分片后每个 shard 可并行执行同样流程,从而把总体备份时间显著压缩。文中用 161GB 未分片库与 20TB、32 分片库对比,说明总体吞吐提升主要来自并行化,而非单分片传输速度大幅上涨。文章还补充了备份的工程意义:它不仅用于灾难恢复,也用于新副本初始化、误删恢复和 Vitess 的时间点恢复。适用前提是数据库已分片且备份/恢复链路能并行调度;若是单体库或分片不均,效果会明显打折。

推荐收录,因为文章给出了可复用的备份链路设计、分片并行化带来的吞吐收益,以及备份在副本初始化和误删恢复中的真实作用。对做数据库基础设施、MySQL/Vitess、备份恢复或大规模系统运维的读者尤其有参考价值,但前提是系统本身具备分片与并行恢复能力。

工程实践PlanetScale Blog

Optimizing aggregation in the Vitess query planner

这篇文章复盘了 Vitess 查询规划器中的一次聚合优化:一个包含 join、group by 和 order by 的查询因为无法把聚合下推到 MySQL,导致 VTGate 需要拉取大量数据并可能触发 OOM。作者先分析初始计划和树重写过程,说明 ordering under aggregation 过早执行时会把排序卡在 join 上游,从而阻断聚合下推。随后他利用规划器的阶段机制,延后该重写器直到 split aggregation 阶段,再让聚合穿过 join 下推到各个分片。最终 VTGate 只需合并各分片返回的部分聚合结果,而不是承担全量数据排序和聚合。文章的边界也很明确:该优化依赖重写阶段的时机控制,属于规划器内部顺序与算子可交换性之间的权衡。

文中给出了真实的 OOM 问题、初始执行树、重写前后计划和最终下推结果,是典型的数据库查询优化工程案例。适合做查询规划器、分布式 SQL 引擎和算子重写设计的参考,尤其对需要处理聚合下推与阶段控制的读者很有迁移价值。

技术文章PlanetScale Blog

Dealing with large tables

文章以一个健身应用中的 exercise_log 大表为例,解释为什么少数高增长表会先成为数据库瓶颈:写入频繁、历史数据持续被查询,最终把存储、内存和 IO 都推到极限。作者先讨论纵向扩容,即通过增加 CPU、内存和磁盘来延长单机数据库的可用寿命,但指出当数据达到多 TB 时,成本和资源争用会迅速上升。接着介绍垂直分片,把大表从主库中拆出到独立 keyspace,并借助 Vitess 的 MoveTables 平滑迁移和切流,使主业务表与日志表可以分别扩展。最后给出水平分片方案:按 user_id 做哈希分布、使用 sequence 生成全局 ID,再通过 Reshard 把单表扩到多个 shard。文章还总结了分片带来的吞吐提升、备份加速、故障隔离和成本优化,同时提醒分片键选择会直接影响查询局部性和性能。

推荐收录,因为文章明确给出了大表扩容的三级演进路径,并直接展示了 Vitess 的 MoveTables、Reshard 和分片键设计等可操作证据。适合做数据库架构、MySQL 扩容和日志/消息类大表治理的参考,但读者需要结合自身读写模式谨慎选择分片键。

科研议题Stanford Hazy Research

Just read twice: closing the recall gap for recurrent language models

这篇文章讨论了高效递归语言模型在“联想回忆”(associative recall)上的缺口:虽然 Mamba、RWKV、Based 等架构在困惑度和推理效率上接近 Transformer,但在需要从长上下文中准确检索事实时仍明显落后。作者从理论上把联想回忆归约到集合不相交问题,说明仅靠固定大小的因果状态会对输入顺序高度敏感,因此需要更合适的读入顺序或非因果建模。基于这一洞察,文章提出 JRT-Prompt 通过重复上下文来帮助模型在多次扫描中决定“该记住什么”,以及 JRT-RNN 通过非因果编码器加因果解码器提升选择性记忆能力。实验显示两种方法都能在多个问答与信息抽取基准上显著提升准确率,JRT-RNN 可把强递归基线拉近到 Transformer 质量,同时保持线性时间/常数状态优势。文中也指出训练目标如何在因果与非因果模型间公平对齐仍是开放问题,结论主要适用于回忆密集型任务而非所有语言建模场景。

收录理由充分:文章不仅给出召回缺口的理论解释,还提供 JRT-Prompt/JRT-RNN 的具体方法、实验对比和 CUDA 实现结果。适合研究高效 LLM、线性注意力和长上下文检索能力的读者,迁移价值在于“重读/非因果”这类设计思路,但其收益主要集中在召回型任务。

工程实践Datadog Engineering

How we migrated our static analyzer from Java to Rust

文章介绍 Datadog 团队将静态分析器从 Java 迁移到 Rust 的工程过程,核心目标是提升吞吐并降低内存占用。作者围绕旧实现的性能瓶颈、迁移后的实现方式,以及如何保持分析语义一致展开说明,属于一次以性能和资源效率为导向的重写。文中给出的结果很明确:迁移后性能提升约 3 倍,内存使用下降约 10 倍。它展示了在计算密集型开发工具场景中,语言迁移如何换取更好的成本曲线,但也意味着需要承担重写、验证和生态适配的代价。

收录依据很直接:标题和摘要都给出了从 Java 迁到 Rust 的具体改造目标,以及 3 倍性能、10 倍内存下降的量化结果。适合做静态分析器、代码扫描或其他性能敏感开发工具的架构参考,但读者也要注意迁移成本、语义一致性验证和语言生态差异。

工程实践Stanford Hazy Research

GPUs Go Brrr

文章围绕如何让 NVIDIA H100 的 Tensor Core 尽可能持续工作展开,作者先拆解 H100 的计算、共享内存、L2、寄存器和 TMA/WGMMA 等关键硬件资源,再用微基准说明真正的瓶颈不只是 HBM,而是共享内存延迟、地址生成开销和银行冲突。文章强调 WGMMA 与 TMA 是榨干算力的必要条件,同时指出其共享内存布局和 swizzle 规则文档混乱、易出错,需要精细控制数据布局与流水线。基于这些经验,作者发布了嵌入 CUDA 的 DSL ThunderKittens,用 tiles 抽象寄存器和共享内存中的张量操作,让复杂 kernel 代码显著简化。文中给出 FlashAttention-2 和线性注意力的实现与性能结果,说明在 H100 上可比常见实现进一步提升约 30%,但也暗示该方法高度依赖特定 GPU 架构与手工调优边界。

推荐收录,因为文章给出了 H100 上从硬件特性、布局约束到 kernel 实现的完整证据链,并以实际基准证明 ThunderKittens 能带来可观性能提升。适合做 GPU kernel、AI 加速和底层 DSL 设计的参考,但读者需注意其结论强依赖 Hopper 架构,且 swizzle/TMA 细节具有较强平台特定性。

工程实践Datadog Engineering

How we built the Datadog heatmap to visualize distributions over time at arbitrary scale

这篇文章讲的是 Datadog 如何把“随时间变化的分布热力图”做成可在任意规模数据上工作的可视化。作者先指出传统 heatmap 在高基数、长时间窗和细粒度分桶下会遭遇内存、计算和渲染压力,且容易丢失分布形状。为此,他们引入 DDSketch,把原本需要精确直方图的聚合改造成带相对误差保证的近似分布表示,从而在保持尾部分布与整体趋势可读性的同时显著降低存储和计算成本。文章还讨论了桶设计、时间维度聚合和前端展示之间的配合方式。其适用边界也很明确:它更适合观测分析和趋势探索,不适合要求绝对精确数值的场景。

文中直接给出了用 DDSketch 改造 heatmap 的工程方案、问题来源和规模化收益,属于可复用的观测系统设计案例。适合做可视化、指标聚合或高基数分布分析的工程师参考,尤其能迁移到需要在精度与成本之间权衡的场景。

技术文章PlanetScale Blog

The MySQL adaptive hash index

这篇文章系统解释了 MySQL InnoDB 中的自适应哈希索引(AHI)是如何在 B-tree 索引之上再加一层内存加速的。作者先回顾了 B-tree、InnoDB buffer pool 和普通哈希查找的差异,说明 InnoDB 虽然不支持磁盘上的 HASH 索引,但会在运行时为高频访问的索引值或前缀构建 AHI 条目,把键映射到 buffer pool 中的数据位置。文章还说明 AHI 会根据访问模式和 buffer pool 命中情况自动增减,适合重复查同一批热点值的场景,不适合缓存很小或数据访问很分散的负载。通过 3.9 亿行表上的基准测试,作者展示了开启 AHI 后约 16% 到 20% 的 QPS 提升,并用 InnoDB 状态输出验证了哈希搜索确实被使用。结论强调:AHI 不是通用银弹,但在高并发、热点明显且索引较深的系统中,哪怕单次收益不大,也可能显著影响整体延迟和服务器容量。文章的边界也很清楚:收益高度依赖工作负载、buffer pool 大小和重复访问模式。

推荐收录,因为文章不仅解释了 AHI 的工作机制,还给出了 buffer pool、哈希命中统计和真实基准测试结果,能帮助读者判断它为什么快、何时有效。适合做 MySQL/InnoDB 性能优化、热点查询分析和存储引擎原理参考;但收益强依赖访问模式,不能把文中的提升直接外推到所有业务。

工程实践PlanetScale Blog

Introducing global replica credentials

文章介绍了 PlanetScale 新增的 global replica credentials:用户只需一套复制库密码,即可在全球范围内自动路由到最近的只读副本,并在同一区域内对多个 replica 做负载均衡。作者说明了其默认拓扑是一个 primary 加多个跨可用区 replica,而新凭据可以在新增或删除只读区域时自动更新路由,无需修改应用代码或重新连接。文中进一步拆解了 PlanetScale Global Network 的工作方式:在边缘层终止 MySQL 与 TLS、进行连接池化,并通过低延迟 DNS 选择就近入口。实现上把 Credential、Route 和 Endpoint 分离,Route 由 etcd 监听并按实时延迟排序,从而把下一跳决策稳定地落到最优副本。该方案的价值主要体现在跨地域读扩展和连接管理简化上,但也明显依赖 PlanetScale 自身的全局网络与内部路由体系,通用性受平台约束。

文中给出了凭据、路由、端点三层拆分,以及边缘终止 MySQL/TLS、按延迟排序副本的具体实现证据,不是简单的产品宣传。适合做数据库代理、跨地域读扩展和连接层设计的参考,但迁移时要注意它强依赖 PlanetScale 的全局网络基础设施。

工程实践PlanetScale Blog

Profiling memory usage in MySQL

文章介绍如何利用 MySQL 的 performance_schema 对单个连接执行中的内存占用进行剖析。作者先说明 memory/% 相关 instrument 以及 memory_summary_by_thread_by_event_name 等统计表的含义,再通过把 CONNECTION_ID 映射到 thread_id,实时查看某条长查询在文件排序、InnoDB、会话对象等类别上的内存消耗。由于 MySQL 没有直接的 per-query 内存视图,文章采用对连接线程做周期采样的办法,并给出一个用 Python/MySQLdb 实现的轮询脚本。随后进一步用 matplotlib 将近 50 个样本绘成堆叠图,便于观察内存随时间的增长和峰值。文章的边界也很明确:它更适合秒级到分钟级的长查询,短查询可见性有限,且结果受采样频率和线程共享影响。

推荐收录,因为它给出了从 system tables 到 Python 可视化的完整 MySQL 内存剖析链路,证据充分且可直接用于排查高内存查询、排序和建索引等场景。适合数据库工程师和 SRE 参考,但需注意它是线程级采样,不是真正的 per-query 计量,短查询和剧烈波动场景下精度有限。

工程实践Datadog Engineering

.NET Continuous Profiler: Exception and lock contention

文章讲解 Datadog 在 .NET 连续性能分析器中,如何识别并处理异常与锁竞争这两类对性能影响很大的运行时事件。作者先说明连续采样式 profiler 的约束:既要尽量低开销,又要在高频事件下保留足够语义,因此不能简单依赖传统的堆栈采样。随后分别讨论异常与锁竞争的采集思路、事件归因方式,以及如何把运行时信号映射成可分析的性能数据,同时避免对应用造成过多扰动。文中也强调这些机制依赖 .NET 运行时能力与事件可见性,适用于需要在线观测异常风暴、锁争用和尾延迟问题的场景,但对非 .NET 平台的直接迁移有限。整体来看,它提供的是一篇围绕真实产品实现的 observability 工程经验,而不是泛泛介绍 profiler 概念。

推荐收录,因为文章直接围绕连续 profiler 的实现细节展开,明确讨论了异常与锁竞争的采集、归因和低开销约束,属于可复用的工程方法而非产品宣传。适合做 APM、性能分析、运行时观测和 .NET 工具链设计的参考,但需要注意其方案强依赖 .NET 运行时特性,跨语言迁移时要重新评估事件模型。

技术文章PlanetScale Blog

Identifying and profiling problematic MySQL queries

这篇文章系统介绍了如何用 MySQL 原生能力定位并剖析性能异常查询,适合在大规模数据库和复杂业务负载下做问题排查。作者先从 performance_schema 的 events_statements_summary_by_digest 入手,借助 avg_timer_wait、count_star 等指标找出高代价语句,再结合 sys 库中的 statements_with_runtimes_in_95th_percentile、statements_with_full_table_scans 等视图,从“慢查询”和“全表扫描”两个角度缩小范围。随后文章用 EXPLAIN ANALYZE 展示如何根据执行计划中的 cost、rows、table scan 和索引回表路径判断瓶颈是否来自索引缺失或 SQL 改写空间。最后通过开启 instruments、consumers 和 history 记录,利用 stage 历史表拆分一次查询在执行、优化、加锁等阶段的耗时,并提醒这些监控手段会带来一定开销,需要按需选择范围。文章也提到 PlanetScale Insights 可将同类分析可视化自动化,但核心方法仍然适用于原生 MySQL 环境。

推荐收录,因为文章直接给出了 performance_schema、sys、EXPLAIN ANALYZE 和 stage profiling 的完整排查链路,而不是停留在“查慢 SQL”的泛泛建议。它特别适合 DBA、后端和平台工程师在生产环境中定位索引缺失、全表扫描和执行阶段耗时问题,方法可迁移性强,但需要注意 profiling 本身有一定开销。

技术文章PlanetScale Blog

The Problem with Using a UUID Primary Key in MySQL

本文系统解释了 UUID 各版本的结构差异,并将讨论重点落在 MySQL 中把 UUID 作为主键时的代价。作者通过 B+Tree 索引、页分裂和 InnoDB 页填充机制说明:随机 UUID 会打乱主键顺序,导致插入时更频繁地重平衡索引,从而拖慢高写入场景的性能。文章进一步指出,UUID 以字符串形式存储会显著放大主键和二级索引体积,即使用 BINARY(16) 也仍比自增整数更占空间。针对这些问题,作者给出几类缓解方案,包括改用二进制存储、采用有序 UUID 版本(如 v6/v7)、利用 MySQL 的 UUID_TO_BIN swap flag,或直接选择 Snowflake、ULID、NanoID 等替代 ID 方案。整体结论是:UUID 能提升分布式唯一性,但在 MySQL 中并非默认的最优主键选择,是否采用应结合写入模式、索引数量和存储成本综合判断。

推荐收录,因为文章不仅说明“UUID 不适合当主键”的结论,还用 B+Tree、页分裂、二级索引膨胀和页利用率等机制给出直接证据。适合做数据库设计、主键选型和性能排障的长期参考,尤其对需要在分布式唯一性与写入性能之间权衡的工程场景很有迁移价值。

科研议题Stanford Hazy Research

Based: Simple linear attention language models balance the recall-throughput tradeoff

这篇文章围绕“检索能力(recall)—生成吞吐—显存占用”之间的权衡展开,指出许多高效架构虽然推理更快,但在长上下文回忆和 in-context learning 上会明显弱于 Transformer。作者通过可控的合成关联回忆实验和真实语言建模评估,比较了注意力、滑窗注意力、线性注意力和 Mamba 等方法,发现单一原语都难以同时兼顾局部精确对齐与全局信息传递。基于这一分析,文章提出 Based:将极小窗口的滑窗注意力与二阶 Taylor 近似的线性注意力结合,用固定大小的递归状态在 recall 与 throughput 之间移动到更优的 Pareto 前沿。实验显示它在信息抽取、阅读理解和回忆型任务上优于先前子二次架构,同时在大模型推理吞吐上显著快于 FlashAttention-2 和 Mamba;但它仍未完全追上最强 Transformer,且效果强依赖特征映射与状态设计。文章还给出 IO/数据流感知的 CUDA 实现思路,说明算法与硬件协同对最终速度至关重要。

推荐收录,因为文章同时给出了问题定义、实证曲线、架构设计和 CUDA 实现优化,直接证明了其不仅是模型概念介绍,而是可复用的研究与工程方法。适合做长上下文模型、线性注意力和高吞吐推理系统的读者参考,但需注意其结论仍受任务类型和状态规模限制,未完全超越 Transformer。

工程实践PlanetScale Blog

Introducing schema recommendations

文章介绍了 PlanetScale Insights 新增的 Schema recommendations 功能,目标是基于生产流量自动给出可直接执行的 MySQL 架构优化建议。作者说明系统如何结合表结构变更事件、近期查询表现、Vitess 解析器和列基数统计,生成索引、冗余索引清理、主键 ID 耗尽预警和未使用表删除等建议。其核心特点是把推荐结果以 DDL 形式输出,并支持先在分支上验证,再安全发布到生产。文中还给出新增索引的完整示例,展示了随着数据量增长,p50 延迟上升后如何通过推荐索引显著降低查询时间。需要注意的是,这类建议依赖近期查询与统计信息,仍需结合业务语义、写入成本和迁移风险人工评估。

文章不仅是功能发布,还给出了推荐系统的判定信号、实现链路和落地流程,尤其包含查询解析、基数估计与分支验证这些可迁移的工程细节。适合做数据库性能优化、自动化运维和架构诊断的参考,但读者仍需结合自身业务负载与迁移约束来使用这些建议。

技术文章PlanetScale Blog

Three common MySQL database design mistakes

这篇文章围绕 MySQL 数据库设计中的三个常见错误展开:字段类型选得过小或过大、索引缺失或冗余、以及半结构化数据存储方式不当。作者用一个车联网系统的真实案例说明,ID 列早期采用 INT 可能在业务增长后迅速逼近上限,最终甚至会威胁线上可用性;同时也举了 VARCHAR 过短导致写入失败、字段类型过宽造成额外存储浪费的例子。针对索引,文章解释了缺少索引会让大表查询退化为全表扫描,而过多或重复索引又会增加存储和写入维护成本。对于 JSON 数据,作者强调应优先使用 MySQL 原生 JSON 类型,而不是用 TEXT 直接存字符串,因为前者支持更高效的二进制存储、按字段查询和基于 JSON 内容建索引。结尾还提到通过把有符号整型回绕到负数区间临时扩容 ID 的权宜之计,并指出数据库设计必须结合增长预估和业务边界来权衡。

文章给出了字段类型、索引和 JSON 存储三个维度的具体反例与后果,不是泛泛而谈,而是能直接指导 MySQL 表结构设计和性能排查。适合后端开发、DBA 和做系统容量规划的读者参考,尤其对需要在增长、存储和写入成本之间做取舍的场景很有迁移价值。

工程实践Datadog Engineering

.NET Continuous Profiler: CPU and wall time profiling

这篇文章介绍了 Datadog 在 .NET 连续 профiler 中实现 CPU profiling 和 wall time profiling 的方法。作者不仅说明了两类采样各自回答的问题,也分析了它们在低开销、跨线程、跨运行时边界下的实现约束。文中重点讨论了如何持续获取调用栈、如何区分真正占用 CPU 的时间与线程阻塞或等待造成的 wall time,以及这些数据如何帮助定位性能瓶颈。文章还指出,连续剖析必须在精度、性能损耗和运行时安全之间折中,因此采样间隔、信号处理和线程状态判断都会影响结果。它更适合关注性能分析、运行时观测和 profiler 设计的读者,尤其对 .NET 服务的线上诊断有参考价值,但不适合作为通用入门教程。

文中直接讲了 .NET 连续 profiler 的 CPU 与 wall time 实现细节,不是产品介绍,而是可复用的观测与采样设计经验。适合做性能诊断、运行时工具或可观测性基础设施的读者参考,尤其能借鉴其在开销、精度和线程安全之间的取舍。

工程实践Datadog Engineering

.NET Continuous Profiler: Under the hood

文章介绍 Datadog 为 .NET 设计的持续性能剖析器,目标是在生产环境中 24/7 运行且几乎不增加可感知开销。作者从底层实现出发,说明它如何借助 CLR/运行时接口采集 CPU、锁等待与堆栈等信息,并把热路径上的工作尽量压缩到采样和轻量汇聚。文中还强调数据上报、线程安全和后台处理等工程取舍,以避免 profiler 本身成为性能瓶颈。整体结论是:持续 profiler 能在大规模线上系统中提供稳定诊断能力,但必须严格控制采样频率和额外内存、同步成本。

收录理由是文章明确围绕“生产环境 24/7 运行、影响可忽略”这一目标展开,并给出实现层面的约束与取舍,而不是泛泛介绍产品功能。适合 .NET 性能优化、APM/可观测性平台和运行时工程读者参考,其可迁移价值在于低开销采样与后台汇聚思路,但细节强依赖 CLR 和具体实现边界。

科研议题Stanford Hazy Research

Monarchs and Butterflies: Towards Sub-Quadratic Scaling in Model Dimension

文章综述了作者团队围绕“让模型维度计算从二次复杂度走向次二次复杂度”的研究路线,核心对象是 MLP 和投影层中的矩阵乘法。作者先指出:任意稀疏虽能减少参数,但会遇到质量-计算量权衡和 GPU tensor core 利用率低的问题,因此难以在真实硬件上兑现收益。随后文章从 FFT 的 Butterfly 计算模式出发,介绍可学习的结构化稀疏矩阵及其在 GPT-2 上的效果,再进一步过渡到 Monarch 矩阵,通过置换加块对角分解来适配 dense GEMM 硬件。实验显示 Monarch/Monarch Mixer 可在 OpenWebText、BERT、长序列任务上同时保持或接近原始精度,并带来可观的参数与端到端加速。文章的边界也很明确:这些方法主要针对特定线性层与特定结构,仍是研究路线而非通用替代方案。

推荐收录,因为文章不仅讨论了稀疏化,还明确比较了任意稀疏、Butterfly、Monarch 等结构在质量与硬件效率上的差异,并给出 GPT-2、BERT、OpenWebText 等实验结果。它适合关注高效模型结构、GPU 计算映射和线性层替代方案的研究者与工程实践者,尤其有助于理解“结构化算子如何同时兼顾可表达性和硬件友好性”。

科研议题Stanford Hazy Research

Zoology (Blogpost 2): Simple, Input-Dependent, and Sub-Quadratic Sequence Mixers

这篇文章介绍了 Stanford Hazy Research 提出的 Based 序列混合器,并说明其设计动机来自先前对“联想回忆”能力的误差分析:许多亚二次模型在局部建模上表现尚可,但在需要根据上下文检索目标词的 AR 任务上明显落后于注意力。作者将结构拆成短门控卷积和“spiky”线性注意力两部分,用短卷积负责局部依赖,用泰勒展开近似指数函数的线性注意力模拟 softmax 的尖锐匹配,从而保留输入依赖的全局检索能力。文中还给出统一视角,把这两类模块解释为同一种广义门控卷积,并强调该结构可以保持完全亚二次、训练稳定且不需要 KV-cache。实验上,Based 在 Pile 上的困惑度优于强 Transformer 基线,并在合成 AR 任务和 1B 模型推理吞吐上取得显著收益,但当前内容仍属于博客预览,部分结论需要结合后续论文与更大规模实验进一步验证。

收录价值明确:文章同时给出了问题诊断、结构设计、理论解释、合成任务验证和真实语言模型吞吐评测,证据链比较完整。适合研究序列建模、LLM 架构和高吞吐推理的读者参考,但需注意它是博客预览,部分性能与泛化结论仍应以正式论文为准。

科研议题Stanford Hazy Research

FlashFFTConv: Efficient Convolutions for Long Sequences with Tensor Cores

本文介绍了 Stanford Hazy Research 提出的 FlashFFTConv:一种面向长序列卷积的 GPU 加速算法,目标是解决传统 FFT 卷积在 ML 场景中“渐近复杂度好但实际很慢”的问题。作者指出,现代 GPU 上真正的瓶颈已从算术转向内存 I/O,而且 Tensor Core 的矩阵乘远快于通用浮点运算,因此经典 FFT 实现难以充分利用硬件。FlashFFTConv 通过 Monarch/Bailey 四步分解把 FFT 卷积改写成一系列矩阵乘与少量点操作,并用递归分解在 SRAM 限制下尽量融合多步计算,兼顾 FLOPs 与 I/O。实验显示它在 PyTorch 基线下可获得最高 7.93x 的卷积加速,端到端提升最高 4.4x;在长序列上,性能可接近甚至超过 FlashAttention-v2,并在部分模型上达到约 62% MFU。文章也说明了适用边界:短序列更依赖较低阶分解,序列更长时高阶分解才体现优势,因此算法效果强烈依赖序列长度和 GPU 形态。

推荐收录,因为文章把“FFT 卷积为什么在 GPU 上跑不快”这一问题拆成了硬件带宽、Tensor Core 利用率和 SRAM 约束三个直接证据,并给出可实现的 Monarch 分解方案与性能数据。适合做长序列模型、CUDA/ML 系统优化和算子设计的参考,尤其对需要在工程上平衡 I/O、FLOPs 与 kernel 融合的读者有可迁移价值。

科研议题Stanford Hazy Research

Monarch Mixer: Revisiting BERT, Without Attention or MLPs

这篇文章介绍了 Monarch Mixer(M2-BERT)这一新架构,目标是在不使用标准 Transformer 注意力和全连接 MLP 的情况下,仍保持 BERT 级别的效果。作者用 Monarch 矩阵统一替代序列混合与维度混合:前者借鉴 H3/Hyena 的卷积式长程建模,后者用块对角结构替换 MLP,从而把序列长度和模型宽度两侧都做到次二次复杂度。实验部分在 C4 上以 128 长度预训练,80M 与 110M 两个版本在 GLUE 上分别达到 79.9 和 80.9,接近或超过标准 BERT-base,同时在 A100 上长序列吞吐也明显优于 HuggingFace BERT 和 FlashAttention 版本。但文章也明确指出,这仍是早期结果,训练配方、门控设计和长序列能力都还有较大探索空间,结论更适合作为架构方向与初步证据,而非最终定论。

文中不仅提出了用 Monarch 矩阵替代注意力和 MLP 的具体机制,还给出了 GLUE 指标、参数量和吞吐量的对比证据,属于可长期参考的架构研究材料。适合关注高效模型、长序列建模和 Transformer 替代方案的研究者与工程师,但需注意它仍处早期,长序列与训练配方尚未完全验证。

技术文章Stanford Hazy Research

FlashAttention-2: Faster Attention with Better Parallelism and Work Partitioning

这篇文章介绍了 FlashAttention-2 的设计目标:在不做近似的前提下,继续压缩 Transformer 注意力的时间与显存开销,并把算子吞吐尽量逼近高效 GEMM。作者先回顾 FlashAttention 的分块、重算与在线 softmax 思路,再指出其瓶颈主要来自线程块与 warp 的工作划分不够理想,以及非矩阵乘法操作比例偏高。FlashAttention-2 通过减少 rescaling、边界判断和 causal mask 等非 matmul FLOPs,并将并行维度扩展到序列长度,从而在长序列、小 batch 场景下显著提升 GPU 利用率。与此同时,新版把 warp 之间的“sliced-K”改成更少通信的“sliced-Q”划分,减少 shared memory 读写与同步开销。文章还说明其支持更大的 head dimension、MQA/GQA,并在 A100/H100 上给出端到端训练与注意力基准,体现出该方法对长上下文训练和推理都有直接收益,但仍依赖具体 GPU 架构与实现细节。

文中明确给出算法改写、并行划分和 warp 通信优化的具体证据,并配有 A100/H100 与端到端训练基准,属于可复用的高质量系统/模型加速资料。适合做 GPU kernel 优化、注意力实现和长上下文训练的参考,但其收益高度依赖硬件与实现路径,迁移时需重新验证。

科研议题Stanford Hazy Research

The Safari of Deep Signal Processing: Hyena and Beyond

这篇文章系统梳理了面向超长序列的模型设计思路,以 Hyena 为核心,说明如何用可学习的非线性序列处理器替代 Transformer 的二次复杂度注意力。作者先回顾 dense attention、linear attention、AFT 和 RWKV,指出这些方法分别在全局记忆、精度或参数化上存在局限。随后给出 Hyena 的分解:用短卷积提取局部变化,用长卷积或状态空间式归纳实现长程记忆,再通过门控完成信息混合,并强调这些模块可由快速线性算子实现近线性复杂度。文章还讨论了训练与推理效率、FFT 在现代硬件上的瓶颈、Monarch 矩阵等结构化替代方案,以及在关联检索和 100 万长度 DNA 预训练中的初步结果。整体结论是:Hyena 及其“safari”家族在超长上下文上有潜力,但性能、硬件映射和投影压缩仍存在明显权衡,属于仍在快速演化的研究方向。

推荐收录,因为文章不仅介绍了 Hyena,还把长序列建模拆解为投影、归约、归一化和门控四个可复用部件,并给出与 Attention、RWKV、S4 等方法的明确对比。适合研究长上下文、序列建模和高效推理的读者参考,但需注意它仍是研究博客,部分结论和实现取舍属于探索阶段。

技术文章Andy Pavlo Database Blog

Yes, PostgreSQL Has Problems. But We’re Sticking With It!

文章围绕 PostgreSQL 的 MVCC 实现,系统讨论版本复制、表膨胀、二级索引维护和 vacuum 管理四类问题及优化手段。作者指出,更新复制整行、死元组与活元组同页存储、索引写放大以及 autovacuum 配置复杂,会带来存储浪费、I/O 升高和查询变慢,其中版本复制不重写内核难以根治。优化上建议用 pgstattuple 或估算脚本监控膨胀,用 pg_repack 在线回收空间,通过 pg_stat_all_indexes 清理重复和未使用索引;vacuum 方面则需表级调小 autovacuum_vacuum_scale_factor、监控长事务与进度,并调优 work_mem、cost_limit、cost_delay。文章结论是 PostgreSQL 虽有问题仍值得坚持,但优化高度依赖人工判断,pg_repack 和杀事务等操作需在低峰并评估业务风险。

推荐收录,因为文章由数据库研究者撰写,针对 PostgreSQL MVCC 的版本复制、膨胀、索引维护和 vacuum 四个具体问题,给出了 pgstattuple、pg_repack、pg_stat_* 视图与 autovacuum 参数的诊断/调优路径,技术证据明确。适合 DBA、后端工程师和数据库系统研究者用于生产运维、容量规划和 MVCC 权衡;但部分操作需低峰执行并评估杀事务风险,且文中含 OtterTune 产品推广。

技术文章Andy Pavlo Database Blog

The Part of PostgreSQL We Hate the Most

文章由 Andy Pavlo 与 Bohan Zhang 合作,系统批评 PostgreSQL 的 MVCC 实现。核心指出 PostgreSQL 采用 append-only 版本存储、O2N 版本链和每版本索引项,导致版本复制、表膨胀、二级索引写放大和 autovacuum 管理困难四大问题。作者对比 MySQL、Oracle 使用 delta 存储与逻辑指针的做法,说明 PostgreSQL 设计是 1980 年代遗留方案,不推荐新 DBMS 效仿。文中引用 CMU 研究与 OtterTune 客户监控数据,包括 Uber 从 Postgres 迁移 MySQL 的案例,但结论更偏向写密集负载,并非完整中立的 benchmark。

推荐收录:文章以存储布局、版本链、索引维护和 autovacuum 行为等具体机制,直接说明 PostgreSQL append-only MVCC 的性能代价,并给出与 MySQL/Oracle 的对照证据。适合数据库内核、DBA、后端架构师和云数据库选型者阅读,可迁移到 MVCC 设计、写放大评估、索引优化和 vacuum 调优场景;需注意其结论偏向写密集工作负载。

科研议题Stanford Hazy Research

Batch computing and the coming age of AI systems

这篇文章把基础模型应用场景区分为有人在环的交互式系统和无需人工逐条介入的批处理系统,强调后者覆盖医疗、金融、科学与供应链等更大规模的社会计算任务。作者指出,过去这类 AI 批处理应用往往依赖大量领域专家与 PhD 级投入,而基础模型有机会显著降低构建门槛并扩大可用性。文章进一步总结了三类关键研究问题:如何提升高吞吐推理效率、如何重新设计任务分解以获得更好的质量/成本权衡、以及如何建立适合基础模型的评测与错误分析流程。文中以 FlexGen、Evaporate 和 Meerkat 为例,分别展示了离线推理吞吐优化、用代码生成替代直接抽取、以及面向基础模型的新型验证工具。其核心结论是,基础模型真正改变世界的潜力不只在聊天和创作,而在于可靠、低成本地接管大规模批处理工作流,但前提是系统效率和评估体系都要同步升级。

推荐收录,因为文章明确提出了“批处理 AI 系统”这一长期重要的研究与工程方向,并给出了 FlexGen、Evaporate、Meerkat 等直接证据说明具体可行的改进路径。适合关注 AI 系统、离线推理和评测方法的研究者与工程师阅读,其可迁移价值在于帮助读者重构大模型应用的成本、吞吐与验证思路。

科研议题Stanford Hazy Research

From Deep to Long Learning?

这篇博客系统梳理了“把序列建得更长”这一研究方向,核心论点是:Transformer 的注意力在长度上是二次复杂度,若要支持长上下文、多模态和长代码等场景,就需要近线性时间的序列模型。文章按时间线回顾了 Long Range Arena、S4、H3 到 Hyena 的演进:S4 通过结构化状态空间模型把长程依赖建模成本降到 O(N log N);H3 通过门控与少量注意力层补齐语言建模性能;Hyena 进一步用隐式参数化卷积和更多门控替代最后的注意力层,尝试实现全程近线性扩展。作者还讨论了 FFT 在现代硬件上的效率瓶颈,以及将其改写为矩阵乘法、甚至学习变换矩阵的思路,以更贴合 GPU 计算单元。文中给出若干小型与中型实验,显示 Hyena 在 Pile 子集上的困惑度可接近或达到 Transformer 基线,但整体结论仍主要建立在初步实验与特定任务上,是否能稳定迁移到更大规模语言模型仍需后续验证。

收录理由很直接:文章明确给出了从 Transformer 到 SSM、H3、Hyena 的技术演进、复杂度分析和实验结果,不是泛泛而谈长上下文愿景。适合做长序列建模、模型结构替代和计算效率权衡的长期参考,但读者也应注意它是研究博客,结论主要来自初步实验而非完整论文定论。

科研思考Stanford Hazy Research

Is AI Rare or Everywhere?

文章围绕“AI 是稀缺还是无处不在”展开,讨论 foundation models 是否真的依赖一套极其脆弱的配方。作者认为当前模型的可复现性比预想更强:不同团队在足够时间尺度上性能差距会收敛,开源实现也能迅速复制并改进,这让“复制危机”并不明显。接着文章追问 transformer 是否真是唯一关键路径,并以 Hyena 这类无注意力架构为例,说明语言建模可能存在多条可行路线,而且还能借助信号处理等既有理论。作者进一步推演了这种判断对新架构设计、样本效率、测试时计算、模型安全与开放生态的影响。整体是面向研究方向的反思性随笔,强调问题值得深入,但不少结论仍是启发式判断而非严格实验结论。

文章直接讨论 foundation models 的可复现性、transformer 是否必要,以及 Hyena 这类替代架构的意义,属于明确的研究反思而非泛泛评论。适合做研究选题启发、架构比较和生态判断,但其中不少推断仍偏设想,读者应把它当作问题框架而非定论。

科研议题Stanford Hazy Research

Hyena Hierarchy: Towards Larger Convolutional Language Models

这篇文章介绍了 Stanford Hazy Research 提出的 Hyena 层,用长卷积与逐元素门控替代标准注意力,以在保持语言建模质量的同时把时间复杂度从二次降到次二次。作者先从注意力的“数据控制”特性出发,指出早期无注意力替代方案在困惑度和 in-context learning 上存在明显差距,因此设计了一组合成字符串任务来寻找结构缺口,并据此迭代滤波器参数化和输入投影。实验显示,Hyena 在较短序列上可与 FlashAttention 竞争,在长上下文下显著更快,并在 The Pile、PG-19、SuperGLUE 等任务上缩小了与 Transformer 的差距。文章还给出在视觉任务中的初步结果,表明这种基于信号处理的设计可能具有跨模态迁移性。其边界也很明确:当前优势主要体现在长序列和特定参数规模,且仍依赖精心设计的合成基准与参数化选择,离全面替代注意力还有距离。

推荐收录,因为文章直接给出了 Hyena 的核心机制、合成任务驱动的设计方法,以及与 FlashAttention、Transformer 的速度和困惑度对比证据。适合关注长上下文建模、注意力替代结构和高效序列模型的研究者参考;同时也提示了其对参数化与任务选择较敏感的风险。

科研议题Stanford Hazy Research

Simple Long Convolutions for Sequence Modeling

这篇文章讨论序列建模中一种更简单的基线:直接把卷积核参数化为与输入序列同长度的长卷积,并用 FFT 将计算复杂度从 O(N^2) 降到 O(N log N)。作者先指出,朴素长卷积在 Long Range Arena 上明显落后于 S4,主要问题是学到的卷积核在时域过于噪声、频域也不够平滑。为此,他们引入一个很简单的 Squash 正则化,对核权重做阈值收缩,从而得到更稀疏、平滑的核,并把 LRA 准确率提升到与 S4 持平。文章还展示该方法在图像分类、文本建模和脑 fMRI 任务上也有不错泛化,尤其是把 H3 中的 SSM 替换为卷积后,H3-Conv 在 PILE 上接近 H3 并优于 Transformer。与此同时,作者也明确了局限:这种简化版并不具备 SSM 的隐藏状态缓存、参数与长度解耦以及多分辨率扩展等优势。

推荐收录,因为文章给出了从朴素长卷积、问题诊断到 Squash 正则化改进的完整研究链条,并用 LRA、文本建模等实验直接证明了方法有效。适合做序列模型、卷积替代 SSM、以及实验设计与消融分析的参考,也能帮助读者理解何时“更简单的参数化”足以达到竞争性能。

科研议题Stanford Hazy Research

FlashAttention: Fast Transformer Training with Long Sequences

这篇文章介绍了 FlashAttention 面向长序列训练的改进版本:在保持精确注意力、没有近似的前提下,通过 tiling、重计算和更细粒度的并行,把注意力的显存访问从二次复杂度降到线性,并进一步优化超长序列场景。作者指出,原版 FlashAttention 主要按 batch 和 head 维度并行,在长上下文但 batch 很小、head 数有限时会出现 GPU 并行度不足,因此新增了沿序列长度维度的并行。前向传播按行分块,反向传播按列分块,并借助 atomic operations 汇总梯度,从而减少 worker 间通信并提升吞吐。基准结果显示,在 8K 序列长度下,相比 PyTorch 和 Megatron-LM 实现可达 2.2-2.7 倍加速,端到端训练效率最高达 175 TFLOPs/sec/A100。实验还表明,把上下文从 2K 提升到 8K 能稳定改善困惑度和长程任务准确率,但收益主要出现在长序列、小批量训练场景。

推荐收录,因为文章给出了明确的算法改造、并行划分方式和可量化基准,不只是宣讲性能提升,而是解释了为什么长序列下原方案并行不足、如何改、改完后提升多少。适合研究注意力加速、长上下文训练和 GPU kernel 优化的读者,尤其对需要把理论收益落到真实训练吞吐的工程/研究工作很有参考价值。

科研思考Stanford Hazy Research

How Foundation Models Changed our Work

这篇文章从斯坦福 Hazy Research 团队的视角,回顾 foundation models 如何改变他们的研究重心,尤其是围绕数据与系统的工作方式。作者将相关工作分成两类:一类是理解和改进基础模型本身,如 FlashAttention、S4、长序列建模和跨地域的去中心化训练;另一类是把 foundation models 作为数据工具,用于弱监督、数据探索、数据清洗与集成,以及隐私敏感场景中的新型学习方式。文章的核心判断是,FM 不只是更大的模型,而是在重新定义“如何编程数据”和“如何做研究”。不过它更像研究进展综述与方向宣言,缺少统一实验框架和系统性比较,适合把握研究趋势,不适合作为单点结论依据。

文章直接给出了 FlashAttention、S4、弱监督和数据清洗等具体研究线索,说明 foundation models 正在同时重塑模型、系统与数据工作流。适合做研究选题、方向梳理和跨领域方法迁移的读者,但需注意它是团队视角的阶段性总结,证据更偏方向性而非严格综述。

工程实践Stanford Hazy Research

Fast Stable Diffusion with FlashAttention + Diffusers

这篇文章介绍了将 FlashAttention 接入 HuggingFace Diffusers,以加速 Stable Diffusion 推理的工程实践。作者先解释 FlashAttention 的核心原理:在 A100 等现代 GPU 上,注意力计算的瓶颈更多来自显存读写而非算力,因此通过融合 matmul 与 softmax、采用 tiling 和自定义 CUDA kernel 来减少内存访问。随后给出一个不到 70 行的集成方案,并证明生成结果与原版 Diffusers 一致。基准测试显示,相比未优化版本可获得 3-4 倍吞吐提升,相比 Diffusers 0.4.1 仍有约 33% 提升,A100 上最高约 1.04 images/s,T4 上收益更明显。文章还指出该方法能降低显存占用、放大 batch size,但优势主要来自注意力路径,效果依赖具体 GPU 的内存系统和原始实现是否已优化。

推荐收录,因为文中同时给出原理解释、70 行级别的集成路径和可复现的 benchmark 结果,直接证明了 FlashAttention 在扩散模型推理中的工程收益。适合做 GPU 性能优化、生成模型推理加速和框架集成的参考,但读者也应注意其收益强依赖硬件与基线实现。

科研议题Stanford Hazy Research

Simplifying S4

这篇文章以“简化 S4”为目标,从经典线性时不变系统和状态空间方程出发,逐步把连续时间 ODE 转写为积分形式,再用离散采样和矩形求积导出可实现的卷积/递推计算。作者强调 S4 的核心并不神秘,而是把电路与控制理论中的老问题重新用于深度学习:既要稳定,又要高效,还要具备足够表达能力。文中重点解释了为何应让特征值位于左半平面、为何可用复共轭对把矩阵近似为对角形式,以及如何把隐藏状态消去,只预计算长度相关的 kernel 来提升批量训练效率。最后还讨论了初始化如何覆盖多尺度记忆,并补充了零阶保持下的更精确离散化。整体上这是面向 S4/S4D 的机制拆解与实现导向说明,但对更一般非对角 SSM 和严格数值分析仍较简化。

收录依据很明确:文章给出了 S4 从连续系统到离散卷积、从稳定性约束到高效实现的完整推导,而不是泛泛介绍模型。适合研究序列建模、长程依赖或状态空间模型的读者参考;需要注意其结论建立在教程式简化假设上。

科研议题Stanford Hazy Research

Can Longer Sequences Help Take the Next Leap in AI?

这篇文章讨论了“序列长度”作为深度学习新的规模维度,指出 Transformer 虽然强大,但在长输入上受限于二次复杂度、训练不稳定和长程依赖建模困难。作者认为,更长上下文不仅能提升文本、图像等现有任务,还可能催生新的能力,例如更强的 in-context learning、长篇内容生成,以及对时间序列、音视频和多模态数据的自动学习。文中重点介绍了两条推进路径:FlashAttention 通过 IO-aware 设计减少 GPU 内存读写,使 Transformer 能处理更长序列;S4 则借助结构化状态空间模型和初始化技巧,天然适配长序列训练。作者用 Long Range Arena 和 Path-X 等基准说明,单纯拉长序列已能带来可观增益,甚至把部分任务从随机水平提升到显著高于随机。整体上,这是一篇面向研究与工程交叉读者的方向性综述,优点是抓住了长上下文的核心瓶颈,但仍以研究愿景和早期结果为主,距离通用解决方案还有边界。

文章直接给出长序列为何重要的研究证据,并用 FlashAttention、S4、LRA/Path-X 的结果说明可迁移的方法与收益。适合关注长上下文、注意力优化和序列建模的研究者与系统工程师;需要注意它偏研究博客,结论更像方向判断而非完整定论。

工程实践Datadog Engineering

Introducing Husky, Datadog’s third-generation event store

文章介绍 Datadog 第三代事件存储 Husky,核心定位是一个“解耦”的分布式无模式向量化列存,用来承载高吞吐观测事件数据。作者从前两代系统的局限出发,说明为什么需要同时兼顾写入扩展、查询效率和模式灵活性,而不是继续沿用单体式或强绑定架构。文中重点讨论了 Husky 的设计目标:让存储能力随负载独立演进,并为分析型查询提供更适合列式扫描与向量化处理的数据布局。它的价值主要体现在观测平台这类高基数、宽表、模式变化快的工作负载上,但并不等同于通用数据库方案。对存储系统、分布式系统和可观测性基础设施的读者,这是一篇适合理解架构演进与取舍的工程案例。

收录依据很明确:标题和摘要直接表明这是 Datadog 对第三代事件存储 Husky 的设计复盘,强调“how we built it—and why”,属于典型的工程架构案例。适合做观测数据平台、分布式存储和列式查询系统的参考;其可迁移价值在于理解高吞吐写入、分析查询和模式演进之间的权衡,但方案本身强依赖 Datadog 的业务负载。

技术文章Andy Pavlo Database Blog

Ten Database Crack Commandments

文章借用 Notorious B.I.G. 的《Ten Crack Commandments》,提出十条数据库运维与管理戒律。内容涵盖:不向厂商暴露预算、最小权限、监控数据不存回同一 DBMS、应用与 DBMS 分离、避免无休止调参、限制单实例多租户、及时执行维护任务、不要为未到来流量过度配置等。作者结合 Postgres/MySQL 的行级安全、MVCC、自动 vacuum,以及 AWS RDS 的预留实例和维护窗口等具体机制说明取舍。文章带有 OtterTune 产品推广色彩,部分云产品价格与功能具有 2022 年时效性,但多数原则对数据库性能、可靠性和成本治理仍有长期参考价值。

推荐收录。文章虽以歌曲类比并含 OtterTune 推广,但十条规则均给出可验证的数据库运维依据,如行级安全、MVCC、自动 vacuum、多租户资源竞争和云实例过度配置的代价。适合 DBA、后端/SRE 与使用云数据库的工程团队作为检查清单,其中最小权限、监控分离、预留实例和维护窗口等经验可迁移到生产系统;需注意云产品细节和厂商立场带来的时效与偏向。

科研议题Stanford Hazy Research

Pixelated Butterfly: Simple and Efficient Sparse Training for Neural Network Models

文章介绍 Pixelated Butterfly 稀疏训练方法,目标是在尽量不损失精度的前提下,降低大模型训练的计算量与显存开销。作者指出,现有动态稀疏掩码会带来额外开销,非结构化稀疏也难以在 GPU 上真正提速,因此提出静态且硬件友好的稀疏参数化。核心思路是将 butterfly 与 low-rank 结合,并通过 block butterfly 与 flat butterfly 把原本不利于并行的结构改造成块对齐、易实现的形式,再为各个矩阵乘层生成硬件感知的稀疏 mask。实验表明,该方法可让 MLP-Mixer、ViT 和 GPT-2 的从头训练获得约 2.0-2.5 倍 wall-clock 加速,准确率或困惑度基本不变,部分下游任务还有小幅提升。文章也明确了边界:它主要适用于 GEMM 驱动的网络与特定硬件假设,更像是稀疏参数化与软硬件协同设计的研究方案,而不是通用加速器。

文中直接给出 2.0-2.5 倍训练加速、精度基本不降等实验结果,并解释了为何要从动态稀疏转向静态、块对齐的硬件友好结构。适合关注稀疏训练、模型加速和软硬件协同的研究者或工程师参考;其可迁移价值在于提供了稀疏参数化设计思路,但适用范围受限于 GEMM 网络和特定硬件。

科研议题Stanford Hazy Research

Structured State Spaces for Sequence Modeling (S4)

这篇文章是 Stanford Hazy Research 对结构化状态空间模型 S4 的系列导读,重点解释它为何适合建模“连续、超长”的序列数据。作者先指出 Transformer 在中等长度依赖上表现强,但受固定上下文窗口限制,难以处理语音、视频、医疗传感和机器人等场景中的长距离依赖与连续采样特性。随后文章概述 S4 的核心定位:基于状态空间模型,兼具连续时间、递归和卷积三种表示,既能处理不规则采样和无界上下文,又能保持训练与推理效率。文中还给出 Long Range Arena 上的结果,强调 S4 在各任务上取得强基准表现,并首次解决了长度 16384 的 Path-X 任务。需要注意的是,这篇是系列第一篇,更偏动机与总体介绍,具体参数化、算法和理论细节主要留给后续文章和原论文。

文章直接给出 S4 的问题背景、模型定位和基准结果,属于长序列建模方向的重要方法导读。对研究长依赖序列、音频/时序建模或替代注意力机制的读者很有参考价值,但它本身偏概览,深入实现仍需结合论文和后续篇章。

工程实践Andy Pavlo Database Blog

You Are Overpaying Jeff Bezos For Your Databases (And The Things He Does With That Extra Money)

文章由 Andy Pavlo 撰写、原载 OtterTune,讨论 AWS RDS 用户常见的三类数据库过度支出:盲目选择过大实例、沿用默认配置、以及过度购买 Provisioned IOPS。作者用 PostgreSQL RDS 和 TPC-C 基准做对比实验,显示垂直扩容超过 db.m5.8xlarge 后吞吐不再提升,优化配置后较小实例可达到大实例默认配置的吞吐且年成本减半,而写密集负载下 PIOPs 超过 10k 后收益递减。结论是先做数据库调优和容量规划,再决定规格与云资源,可避免为未使用能力付费。边界是实验基于特定 AWS RDS 版本、实例族和 2021 年定价,且文章带有 OtterTune 产品推广倾向。

推荐作为工程案例收录:文中用 TPC-C 对比默认配置与调优配置、实例规格和 PIOPs 曲线,给出“先调优再扩容”的可验证证据。适合 DBA、后端与云成本优化读者,用于评估 RDS 规格、配置和 I/O 预算。需注意作者推广 OtterTune,且 AWS 定价与实例型号已变化,应结合当前环境复测。

工程实践Datadog Engineering

How we optimized our Akka application using Datadog’s Continuous Profiler

文章复盘了一个基于 Akka 的 Java 应用性能问题,核心症状来自 ForkJoinPool 的调度与并发执行方式不匹配,导致吞吐和延迟出现异常。作者借助 Datadog Continuous Profiler 观察线程与 CPU 热点,先确认问题并不在业务逻辑本身,而是在运行时线程池和任务切分策略上。随后文章说明如何用持续剖析数据定位瓶颈、验证假设,并据此调整实现以降低线程争用和调度开销。它的价值在于把“性能优化”从经验调参变成可观测、可验证的工程流程。适用对象主要是 JVM、Akka 或类似 actor/线程池模型的服务,但具体结论依赖真实负载与 profiling 数据,不宜直接照搬到不同并发模型。

推荐收录,因为标题和摘要都明确指向“用持续剖析定位 Akka/JVM 性能瓶颈”,且直接给出了 ForkJoinPool 这一具体问题点。适合做 JVM 服务、线程池调优和可观测性实践的参考,尤其对需要把性能分析从猜测转为证据链的工程场景有迁移价值。

工程实践Datadog Engineering

How we minimized the overhead of Kubernetes in our job system

文章复盘 Datadog 将内部 job system 迁移到 Kubernetes 后,如何压低平台引入的额外开销。作者指出瓶颈并不只在业务计算本身,而常出现在容器启动、调度等待、资源分配和节点利用率等环节。随后通过调整任务模型、批量与复用策略、以及更合理的资源请求配置来减少空转和抖动。文中强调迁移收益不能只看单点指标,而要结合吞吐、尾延迟和资源成本做端到端评估。它适合需要把批处理或异步任务迁到容器编排平台的工程团队参考,但具体方案仍受作业形态与隔离要求限制。

推荐收录,因为标题直接指向“minimized the overhead”和“moving a jobsystem to Kubernetes”,属于典型的真实工程优化案例。对做批处理平台、容器化迁移和成本优化的读者尤其有价值,可迁移的方法是用端到端指标分析调度与资源开销,而不是只盯业务代码。

技术文章Josh W Comeau

The Perils of Hydration

这篇文章围绕 React/Gatsby 中的 hydration(重新注入/再水合)问题展开,指出一个很常见但容易被忽视的误解:预渲染出来的页面并不等于最终可交互状态,服务器输出与客户端首次渲染之间的差异会引发难以定位的界面异常。文章以深度教程的方式解释了静态预渲染、客户端补水以及二者约束之间的关系,说明为什么个性化、依赖浏览器环境或实时数据的内容会与 SSR/SSG 产生冲突。作者进一步讨论了常见的规避方式,例如延后仅客户端逻辑、拆分服务端壳与客户端动态区、用占位内容避免初始不一致。整体结论是:hydration 本身不是 bug,而是预渲染架构的必然边界,真正需要处理的是内容一致性与交互时机的设计。适用场景主要是使用 React、Gatsby 或类似前后端同构方案的网页应用,但对高度动态、强个性化页面仍需谨慎。

收录依据很明确:文章不是泛泛讲概念,而是直接围绕预渲染与 hydration 不一致导致的渲染故障,给出可操作的规避思路。适合使用 React/SSR/SSG 的前端工程师阅读,尤其在排查首屏异常、内容闪烁和服务端/客户端不一致时具有迁移价值。