工程实践 TiDB 社区博客 - 实践案例 2026/09/28
文章复盘某区县级政务云 TiDB 6.5 集群的线上事故：凌晨批量对账把约 4000 行更新包在单个大事务中，提交时间从 30 秒拖到 9 分钟，锁长期不释放，拖垮白天查询。作者用 Grafana 指标、慢日志、cluster_transactions 和 tidb-trace 定位根因，即大事务跨 200 多个 Region 放大两阶段提交开销，叠加热点 biz_no 形成写热点 Region 排队。处理分三步：拆成每 200 行一个小事务、主键加随机分片位打散热点、调整 txn_commit_batch_size 与 txn.max-commit-txn 并错峰调度。改后单事务锁持有时间降至 15 秒内，热点 Region 冲突从数千降到个位数，TiKV CPU 回落到 55%。其排障顺序与拆分思路可迁移，但结论源于单一政务云场景和特定版本，参数调整仍需结合集群规模评估。
推荐收录，因为文章完整呈现了从监控指标异常、捞取长事务、链路追踪到根因归因与效果验证的排障闭环，并给出拆分事务、热点打散、参数兜底三刀的具体做法和量化结果。对使用 TiDB 等分布式数据库、需要写批量任务或排查锁等待与热点 Region 的工程师有直接迁移价值；但结论基于特定版本与政务云规格，参数调整需结合自身集群验证。
工程实践 PlanetScale Blog 2026/09/28
文章以 PlanetScale 的 Neki 分片方案为背景，讨论多租户场景下的热分片问题：按 tenant_id 均匀分布租户在业务增长后会失效，出现超大租户压垮单个分片、跨租户查询增多等情况，即租户均匀不等于数据均匀。作者引用 Slack 使用 Vitess 的真实案例，说明 messages 表从按 workspace 分片改为按 channel 分片后，把常用的单分片查询保持在一起、把跨分片查询限制在批量或管理路径，从而降低热点并获得 CPU 与存储余量。文中给出三级处置路径：纵向扩容、按 key range 隔离大租户，以及最终按访问模式和查询形状重新分片部分表，并说明 Neki 用声明式 data topology 与在线 Reshard 在不停机的情况下迁移数据。边界在于内容带有产品宣传色彩，缺少性能基准和失败案例，Postgres 与 MySQL 的表述也略有出入，读者需结合自身系统验证。
推荐收录：文章把热分片的成因与三类处置路径（扩容、按 key range 隔离大租户、按访问模式重分片）讲得具体，并给出 Slack/Vitess 的迁移决策依据与 key range 配置示例，可迁移到多租户 SaaS 的分片键复审。适合负责分库分表、租户隔离与在线扩容的工程师和架构师；但结论围绕厂商产品，缺少量化基准，引用前需自行压测验证。
工程实践 Netflix TechBlog 2026/09/25
文章介绍 Netflix 如何让托管计算上的 Spark/EMR 工作负载，从仅有 AWS IAM 执行角色换取内部 Metatron PKI 身份。做法是 Data Project 与专用 IAM 角色 1:1 映射，控制平面签发工作负载元数据，工作负载用 AWS 凭证生成 sts:GetCallerIdentity 预签名 URL，身份服务交叉验证 STS 返回角色与签名元数据后签发短期 X.509 证书。面对 driver/executor 扇出，driver 一次证明并通过加密 RPC 分发凭证，避免逐个 executor 调用 STS 造成放大与限流；driver 定时重证，executor 不刷新。结论强调两类独立声明取交集、签名者稀少、在可控运行时挂钩并提前决定放大策略；边界是方案高度依赖具体云/IAM 与内部身份系统，可迁移的是信任模型而非实现。
推荐收录：文章给出生产级 workload attestation 设计，直接证据是控制平面签名声明与 STS 预签名 URL 交叉验证、Data Project/IAM 角色 1:1 映射、driver 向 executor 分发凭证的扇出取舍和短证书续期。适合在托管计算上构建服务身份、PKI 或平台安全信任链的工程师，其中两类独立声明取交集、签名者稀少、提前处理身份放大等原则可迁移；风险是细节绑定 Netflix 内部系统与 AWS。
技术文章 Trail of Bits Blog 2026/09/25
文章讨论在 TEE 中运行 MPC/门限签名的安全边界，强调 TEE 只能作为纵深防御层，不能替代协议本身的安全性。作者先区分半诚实与恶意安全模型，说明 TEE 的机密性、完整性和远程证明可在正确实现时缓解参与者作恶，但会把信任集中到硬件厂商，并引入不可信主机这一新攻击面。文中归纳审计常见陷阱：证明范围不完整、验证步骤缺失、镜像未加固、备份/文件系统回滚、侧信道与物理攻击、厂商默认策略过宽。并以门限签名为例，恶意主机可在预签名删除后回滚文件系统，造成 nonce 复用和私钥份额泄露。最后给出实践建议：证明绑定参与方身份、在 TEE 内终止点对点通信、完整验证测量值、恒定时间实现，并尽量使用多厂商 TEE。
推荐收录：文章不是泛泛介绍 TEE 或 MPC，而是基于安全审计经验给出具体攻击路径（如预签名回滚导致 nonce 复用）和可执行的最佳实践，涵盖证明验证、信任模型、侧信道与厂商默认策略。适合安全工程师、密码协议实现者和机密计算架构师阅读，可作为审查 TEE+MPC 部署的检查清单；需注意部分风险细节依赖具体厂商和版本。
工程实践 Salesforce Engineering 2026/09/24
文章以 Salesforce Cloud Atlas 身份数据存储为例，讨论 Tier-0 身份服务在流量突增和上游重试下如何演变为级联故障。团队原有每实例限流在自动扩缩容和多租户场景中暴露阈值失真、全局容量不可见和 noisy neighbor 问题。重构方案包含基于队列时延提前感知压力、优先削减低优先级请求的智能负载卸载，以及无中心协调器的全局配额管理，由各服务器共享客户用量并独立限流。文章据此总结保护服务而非单机、先观测后执行、优雅降级、简化配置、纵深防御和可逆发布等原则。局限是问答形式偏高层，缺少具体算法、参数、实验数据和故障演练细节，读者难以直接复现，但架构权衡和原则仍有迁移价值。
推荐收录。文章直接呈现 Tier-0 身份平台从每实例限流到智能负载卸载与无协调器全局配额的工程演进，并给出队列时延、优先降级、多租户公平和纵深防御等可迁移取舍。适合 SRE、分布式系统与高可用平台工程师阅读，用于设计限流、过载保护和级联故障防护。局限是未展开算法与实验数据，需结合团队实际验证。
工程实践 TiDB 社区博客 - 实践案例 2026/09/23
文章复盘一个城市大脑 IoT 实时写入项目在 TiDB 6.5 上的写入性能雪崩排查。上线两周后批量写入超时、QPS 从 8k 降至 3k、单个 TiKV CPU 达 90% 而其余空闲，并频繁出现 Region is hot 告警。作者用 pd-ctl region top write 定位到某 Region 占全集群 70% 以上写流量，根因是 AUTO_INCREMENT 单调递增主键使新行持续写入尾部 Region。采用 SHARD_ROW_ID_BITS=4 与 PRE_SPLIT_REGIONS=4 重建表并迁移后，延迟回到 5~8ms；7.x 可改用 AUTO_RANDOM。文末总结高写入表设计、热点观察、压测需模拟真实分布等建议，但属于单一集群案例，未展开其他热点类型与迁移成本。
推荐收录。文章给出从告警、指标异常到 pd-ctl 热点定位、根因解释、表重建与迁移验证的完整闭环，证据具体且可复现。对使用 TiDB 或分布式数据库的工程师，自增主键导致写入热点、SHARD_ROW_ID_BITS 打散和压测需覆盖真实写入分布等结论可直接迁移；但结论主要适用于 TiDB 6.5 单集群，其他系统需自行验证。
技术文章 TiDB 社区博客 - 技术解读 2026/09/23
文章系统梳理 TiDB 的分布式架构原理，围绕分层解耦与计算存储分离展开。先介绍 TiDB Server、PD、TiKV、TiFlash 四组件职责，再说明 Region 分片、RocksDB 双实例、Raft 多副本与 PD 调度机制；随后解释基于 Percolator 和 MVCC 的分布式事务，以及乐观/悲观两种模式。接着讨论 HTAP 双引擎：TiFlash 以 Raft Learner 异步同步、ReadIndex 一致性读取和 MPP 并行执行支撑分析查询，最后总结计算下推等优化原则。内容适合作为入门概览，但对具体源码、调优参数、故障案例与实验数据展开较少。
推荐收录：文章以分层解耦为主线，完整串联 TiDB 四组件、Region/Raft 存储机制、Percolator 事务和 TiFlash HTAP 协同，能帮助读者建立分布式数据库的全局架构认知。对需要理解计算存储分离、多副本一致性与 HTAP 取舍的开发者、DBA 和系统设计者具有迁移价值；不足是偏概念综述，缺少源码、参数调优和故障案例，适合入门与复习而非深度排障。
工程实践 NVIDIA Technical Blog 2026/09/21
NVIDIA 博客介绍 TensorRT 多设备推理与 Dynamo-Triton 26.07 的集成：借助 NCCL 集合通信，单个 KIND_MODEL 实例可跨多块 GPU 执行同一 TensorRT 网络，并暴露单一 gRPC 端点，应用无需协调 GPU rank。文章以 Cosmos 3 Nano 视频生成为例，用 Ulysses 上下文并行将 44,160 个视频 token 分布到最多 8 块 GPU，Triton 服务其 36 层去噪 transformer。基准显示端到端延迟从单 GPU 的 156.6 秒降至 8 GPU 的 34.2 秒（4.58 倍），RPC 加速 6.09 倍，输出按 MAE≤25、PSNR≥18 dB 验证但非像素级一致。该方案以更多 GPU 换取低延迟，未测并发吞吐与 TCO，需结合自身 SLO 评估。
推荐收录：文章给出了 Dynamo-Triton 多设备服务的配置片段、Ulysses 上下文并行方法，以及 1/2/4/8 GPU 的端到端延迟与 RPC 加速数据。适合多 GPU 推理服务与生成式媒体延迟优化的工程师参考，其把分布式 rank 协调封装为单一模型端点的思路可迁移到其他多卡服务。风险是厂商视角且未覆盖并发吞吐与 TCO。
工程实践 Cloudflare Blog 2026/09/18
Cloudflare 复盘 Pingora Backend Router 中 pingora-ketama 一致哈希内存占用过高的问题。文章从一致哈希哈希环和权重路由讲起，用期望值、标准差和变异系数分析每台服务器哈希点数量对负载均衡精度的影响，并指出 32 位哈希在哈希点极多时会因碰撞抵消收益。工程上，作者将 Point 结构改为紧凑字节存储以规避 Rust 对齐开销，带来约 25% 内存下降；又依据推导把每节点哈希数降低 90%，且不造成明显误差。为避免切换哈希环导致缓存大面积失效，团队用新旧双环、按请求哈希稳定选择、数据中心分层灰度、可回滚和多项指标观测完成迁移。最终全球回收超过 100TB 内存，相关能力以 pingora-ketama v2 实验特性提供。其结论依赖连续哈希环近似和碰撞分析，落地时仍需按服务器数、哈希位宽和缓存失效代价验证。
推荐收录。文章给出从算法建模、Rust 内存布局到生产灰度迁移的完整闭环，并用全球回收 100TB RAM 的结果验证；其中一致哈希的统计推导、碰撞分析和双环迁移策略可直接迁移到负载均衡、缓存路由和基础设施性能优化场景。风险在于切换哈希环会引发缓存重分布，读者需结合自身哈希位宽、节点规模和灰度能力评估。
技术文章 TiDB 社区博客 - 技术解读 2026/09/18
文章系统介绍平凯数据库的三层容灾体系。第一层是集群内多副本高可用：数据分片在 TiKV 多副本、经 Raft 多数派写入，可容忍节点、磁盘和局部网络故障，但保护边界限于单集群和单机房。第二层是物理复制，在生产与灾备集群之间建立独立集群级复制，支持跨机房/地域接管，并区别于逻辑复制。第三层是 BR 与 PITR，用于误删、数据污染和勒索后的历史时间点恢复。文章强调三者互补而非替代，但没有给出 RPO/RTO、性能开销和具体运维步骤，偏产品能力概述。
推荐收录，因为它清晰划分集群内高可用、集群级物理复制与 BR/PITR 历史恢复的故障边界，能帮助数据库架构师判断多副本不等于灾难恢复，并理解跨机房容灾与数据回滚的不同目标。主要风险是产品视角较强，缺少 RPO/RTO、性能开销和演练细节，适合作为容灾体系设计的概念框架而非实施手册。
工程实践 TiDB 社区博客 - 实践案例 2026/09/18
文章整理山东腾安信息的 TiDB 实践：政务协同、烟草数据中台、企业知识库、异构迁移和数据库安全五类场景共用一套数据库底座。做法包括将 12 套政务系统收敛为两个隔离集群，用 RU 配额与优先级做多租户调度；烟草中台以 TiKV 行存和 TiFlash 列存同时支撑交易与分析；知识库把 SQL 权限过滤与 HNSW 向量检索结合在同一份数据上。迁移侧用 TiDTS 编排全量与增量同步，安全侧用 DBNginx 将连接入口变为访问治理入口，结论是共性数据能力应下沉为可调度、可分析、可迁移和可治理的基础设施。不足是文章为厂商实践分享，缺少性能、成本、故障和量化收益对比，方案有效性需结合自身规模验证。
推荐收录。文章给出了多系统收敛为两个集群、HTAP 行存列存协同、SQL 权限过滤与 HNSW 向量检索结合、TiDTS 迁移编排和 DBNginx 访问治理等具体证据，适合数据库平台、数据中台和安全治理工程师参考。其可迁移价值在于把重复建设问题拆成资源调度、分析、检索、迁移与安全等可治理能力；风险是厂商视角明显，缺少量化收益与失败边界，选型时仍需独立验证。
技术文章 TiDB 社区博客 - 技术解读 2026/09/18
文章以图书馆编号区间为比喻，纠正“Region 是固定物理格子”的常见误解，指出它是 Key 空间中的连续区间及对应 Raft 副本状态。作者分层解释 Region、Peer、Raft Group、PD 与 RegionCache 的关系，并说明 Split、Merge、副本迁移如何改变逻辑边界和副本分布。文中还串联 RegionEpoch、EpochNotMatch/NotLeader 处理，以及 SQL 请求经 TiDB、RegionCache、Leader Peer 到 RocksDB 的定位路径。核心结论是逻辑分片与物理存储、复制和调度解耦，从而支撑弹性扩展、高可用与负载均衡。边界在于作者声明为个人学习解读，未展开源码、实验和版本差异，阈值与具体机制仍依赖 TiDB/TiKV 配置。
推荐收录：文章用清晰比喻和分层结构，把 Region、Peer、Raft、PD、RegionEpoch 及请求路由串成完整认知链路，并明确 Split/Merge/迁移的边界，能帮助 TiDB/TiKV 初学者和分布式数据库开发者建立正确心智模型。它不是产品发布或泛泛教程，核心概念和排障思路可迁移到分布式分片系统，但读者需注意其个人解读属性，具体阈值应回到官方文档与版本源码验证。
工程实践 PlanetScale Blog 2026/09/18
本文从底层拆解 Neki 的分片架构：它不 fork Postgres，而是在原生 Postgres 实例上扩展，用 PostgresManager 管理实例、Sidecar 连接池，并将主从副本组成 shard。Admin 处理故障检测、切换和持久性策略，Operator 在 Kubernetes 上编排生命周期；Router 对客户端提供单一 wire-protocol 入口，基于权威 shard catalog 解析并规划分片查询，必要时做跨分片 join/聚合。etcd 保存 Data Topology，Replicator 支撑 MoveTables、Reshard 和 OnlineDDL，并通过 Router 缓冲完成 cutover。文章适合理解分布式数据库控制面与数据面设计，但作为厂商架构概览，缺少性能基准、故障边界和成本权衡。
推荐收录：文章把 Neki 的数据库控制面与数据面逐层拆成 PostgresManager、Sidecar、Shard、Admin、Operator、Router、Data Topology 和 Replicator，并说明 OID 一致性、连接池分类、跨分片 join、etcd 拓扑和 cutover 缓冲等具体机制。适合分布式数据库、基础设施和 Kubernetes 平台工程师参考，可迁移到分片系统设计与在线数据迁移场景；但它是厂商架构概览，尚无性能基准和故障边界验证，需结合后续实测判断。
工程实践 TiDB 社区博客 - 实践案例 2026/09/17
文章复盘得物将自建 TiDB 从 v5.3.3 迁移升级到 v7.5.x 的实践。背景是低版本停止维护、TiCDC 同步有延迟/OOM 风险、备份超 8 小时且负载上升，并偶发慢查询和可用性 BUG。团队采用迁移升级而非原地升级，经集群调研、环境准备、升级前验证、流量迁移和旧集群销毁，兼顾灰度与回滚。升级中遇到 v7.5.x 优化器对大表倾向全表扫描、聚合计划不准，通过绑定索引或设置 tidb_opt_objective=determinate 缓解。收益包括应用平均 RT 提升 44.62%、TiCDC 同步与备份效率提升、存储压缩至 MySQL 三副本约 55%，并总结 TiDB 适用于非分片查询、分析 SQL、磁盘瓶颈和数据倾斜场景。
推荐收录，因为它完整展示了一次大规模分布式数据库版本迁移的决策链路：为何放弃原地升级、如何用 TiCDC 做灰度迁移，以及优化器回归（全表扫描、执行计划不准）的定位与缓解。对 DBA、SRE 和数据库平台工程师，文中 RT、备份、TiCDC、存储压缩等量化收益及 TiDB 与 MySQL 的选型边界可迁移；但部分升级步骤仅有标题，落地需结合自身集群验证。
工程实践 TiDB 社区博客 - 实践案例 2026/09/17
文章是 TiDB 大版本升级的操作指南，按升级前置、原地升级和迁移升级三个阶段组织。前置阶段列出 variables/config 比对、应用兼容性回归、集群巡检、Patch 检查、性能压测、升级时长与 DDL 窗口评估、软件包准备和备份清单等检查项。原地升级给出屏蔽告警、按最佳实践调整 config、tiup cluster upgrade、监控 QPS/P99 与 PD Leader、核对版本和调整 variables 等步骤。迁移升级则通过 CDC 搭建备库、VIP 切换、sync_diff_inspector 校验、反向同步来支持回退。整体偏流程清单，缺少真实案例、失败复盘和版本差异细节，需结合官方 Release Notes 与自身环境验证。
推荐收录：文章给出 TiDB 大版本升级的完整检查项与操作步骤，包括升级前变量/参数比对、兼容性回归、压测、备份清单，以及原地升级和 CDC 迁移升级加反向同步的回退路径，并列出具体 tiup 命令与监控指标。对 TiDB DBA/SRE 做升级窗口评估和风险控制有直接参考价值。但内容偏流程清单，缺少实际案例与版本差异分析，使用时需结合官方 Release Notes 和环境验证。
工程实践 TiDB 社区博客 - 实践案例 2026/09/17
本文给出 TiDB 集群从 v6.5.12 升级到 v8.5.x（示例目标版本为 v7.1.8-5.2）的标准操作步骤，覆盖前置评估、原地升级和迁移升级三类流程。前置阶段通过脚本对比升级前后系统变量、TiDB/TiKV/PD 配置差异，并包含巡检、patch 检查、压测、窗口与 DDL 评估、安装包准备，以及系统变量、权限、sequence、view、core variables、meta.yaml 等备份脚本。原地升级使用 tiup cluster upgrade，随后检查 QPS/P99、PD Leader、版本与 git_hash，并按最佳实践微调 config 和 variables。迁移升级给出 BR 全量恢复、TiCDC 同步、sync_diff_inspector 一致性校验、应用切流和反向同步，以及异常时回退流程。文章偏运维 runbook，命令和脚本可复用，但版本号示例与目标不完全一致，部分步骤仅有文字或无截图，需结合实际环境验证。
推荐收录，因为它提供了可执行证据：变量/配置 diff 脚本、完整备份脚本、tiup 原地升级命令、BR+TiCDC 迁移与 sync_diff_inspector 校验、回退步骤，而不是泛泛介绍升级流程。适合 TiDB DBA、SRE 和负责数据库变更的工程团队在制定升级窗口、备份、校验与回滚预案时参考。主要风险是示例版本为 v7.1.8-5.2、部分环境信息被脱敏，且少数步骤缺少截图和验证数据，落地前需在测试环境验证。
工程实践 JuiceFS 工程技术 2026/09/17
文章以 Meta 公开的 AI 存储蓝图为例，剖析其 Tectonic 块存储、BLOB 元数据层、内嵌 BlockClient 的富客户端 SDK、Owl 分布式缓存以及 L1/L2/L3 分级缓存和跨区域全局数据湖设计，说明其如何缓解 exabyte 规模下 GPU 因存储瓶颈而 stall 的问题。作者指出 Meta 最终收敛的核心原则——数据与元数据分离、富客户端直连数据面、多级缓存、跨区域复制——与 JuiceFS 从设计之初的三组件架构（对象存储、元数据引擎、客户端）高度一致，并给出组件对照表和缓存预热（prefetch 对比 juicefs warmup）等具体例子。文中引用 80% 平均缓存命中率、跨区域摄取时间下降 93%/97%、GPU 空转 20% 对应每小时数千万美元损失等数据支撑动机。适用边界在于内容主要基于公开资料做高层对比，缺少可复现的测量细节与失败边界分析，且带有明显的厂商推广立场。
推荐收录，因为它把 Meta 的 AI 存储架构拆成数据层、元数据层、富客户端和分级缓存几个可迁移的设计维度，并给出与 JuiceFS 的逐项对照表、L1/L2/L3 缓存分层以及 prefetch/warmup 预热机制等具体证据，便于读者理解 GPU 训练场景下存储系统的通用取舍。适合从事 AI 训练基础设施、分布式存储或缓存设计的工程师参考。主要风险是内容源自厂商博客且数据多为二手转述，缺少独立验证，阅读时需对产品对比结论保持审慎。
工程实践 Canva Engineering - Backend 2026/09/17
文章介绍 Canva 为队列 worker 设计的 Worker Backpressure 机制：它是队列库内置的反馈回路，worker 记录每次依赖调用的成功/失败结果，由可插拔控制器根据错误率与设定点维护 0.0–1.0 的 backoff factor，并据此动态缩减可并发拉取和处理的 permit 数量，从而在依赖异常时主动降速、恢复后自动提速。机制完全本地、无外部协调器和额外网络调用，运行时仅两次算术操作。两起生产事故验证了效果：云厂商故障约 4 小时内 DLQ 仅增长 1 条，持续过载 32.5 小时内 1.8 百万次失败尝试仅 22 条进入 DLQ，吞吐仍高于事故前基线。作者也指出吞吐成本、单信号（成功/失败）作为依赖健康代理的局限，并预告 Part 2 展开控制器算法与调参。
推荐收录：文章给出真实生产事故中的量化前后对照，而不仅是概念介绍，并清楚说明反馈回路、并发 permit、设定点和本地化实现等工程取舍。适合后端、基础设施、SRE 和消息队列开发者阅读，可迁移到异步 worker 的依赖保护、DLQ 抑制与自适应限流设计中。注意 Part 1 未公开控制器算法与调参细节，且全容量 worker 会承担吞吐下降风险。
工程实践 Oxide Public RFDs
本文是 Oxide 工程经验 RFD，记录控制平面 Omicron 使用分布式 Saga（Steno）执行实例启动、磁盘创建、区域替换等流程时的问题。作者指出 Saga 要求动作幂等、未定错误必须重试、永久错误不可重试、补偿不可失败，这些约束难以编码和验证；静态 DAG 与软件升级强耦合，卡住或废弃的 Saga 无法自动恢复，更新可能阻塞或冒险恢复。文章比较背景任务/协调器模式：周期性重取状态、每次只决定下一步，并用事务、声明式 API 和 generation 号保证并发安全，使错误可由软件更新修复且不阻塞升级。结论是新增工作应优先考虑背景任务，选择 Saga 必须规划废弃与修复；但作者并未主张完全移除 Saga，部分场景改写仍有挑战。
推荐收录：该 RFD 以 Oxide 生产系统为证据，系统梳理了分布式 Saga 在幂等、未定错误、补偿失败、升级和废弃恢复上的具体故障模式，并给出 reconciler/background task 的替代设计与并发安全手段。对构建控制平面、工作流引擎、分布式事务或可靠性系统的工程师与研究者有很高迁移价值，可帮助在 Saga 与协调器模式间做架构取舍；需注意其结论绑定 Oxide 的 Omicron/Steno 场景，并非通用定论。
工程实践 Oxide Public RFDs
RFD 532 讨论 Oxide 内部 HTTP API 在控制面驱动在线升级中的版本化问题。因分布式组件无法原子更新，旧客户端与新服务端混用可能令升级卡死；作者按更新顺序提出 lockstep、仅服务端版本化、客户端版本化三种策略，并优先前两者。系统通过 API 依赖图决定组件更新顺序，并用自动化测试在合入 main 前拦截破坏升级的变更。客户端版本化需 Reconfigurator 告知可用 API 版本，客户端周期性查询并可能持久化，但实现与测试更复杂。该方案只覆盖 API 语法兼容，不解决语义破坏；switch zone、host OS 依赖和客户端元数据仍是开放问题。
推荐收录：这是一份完整的设计决策记录，给出 lockstep、仅服务端、客户端三种 API 版本化策略的选择依据，并把更新顺序、依赖图、自动化测试与开发者工作流放在同一约束下讨论。适合分布式系统、API 平台和基础设施团队参考；可迁移点是先确定组件更新顺序，再选择版本化策略，并用自动化防止依赖假设失效。主要不足是只处理语法兼容，客户端版本化路径尚不成熟。
工程实践 Oxide Public RFDs
Oxide RFD 538 定义了机架控制平面对外提供 Webhook 通知的 API 契约。事件按层级化 event class 分类，订阅支持 * 与 ** 通配符，每个事件带全局唯一 UUID，用于跨接收方关联与去重；接收方需注册 endpoint 与至少一个 HMAC 密钥，密钥只能新增或删除以支持轮换。投递为 HTTP POST JSON，携带 delivery-id、webhook-id、event-class、event-id 与 x-oxide-signature 头，采用至少一次语义，失败最多重试三次（1 分钟、5 分钟后），3xx 视为失败，2xx 即确认且不再重投。文档还用 probe 事件做存活探测与失败事件重发，并附有可靠接收方的实现建议。边界是只保证至少一次、不保证投递顺序，且目前仅 fleet.admin 可创建 Webhook、统一以 fleet.viewer 权限运行，细粒度 RBAC 留待后续。
推荐收录。这是一份生产级 Webhook 接口契约，直接给出了多密钥 HMAC 轮换、至少一次投递与重试退避、3xx 视为失败、probe 探活配合失败事件重发等可迁移的设计决策，并明确写清失败语义与权限边界。适合设计事件推送或对外集成 API 的后端与平台工程师参考，附录的接收方可靠性要求也可直接当作对接方检查清单。
工程实践 Oxide Public RFDs
RFD 373 讨论控制平面中的可靠持久工作流（RPW）：持续将数据库期望状态与 DNS、VPC、软件更新等目标的运行时状态对齐，而非一次性 saga。文章提出三条约束——目标最终获知更新、所有目标按同一顺序收敛、单目标离线不阻塞其他目标，并比较周期激活、全量/增量更新、generation number、目标驱动与 Nexus 驱动等模式。文中否定在 API 请求内联更新、按变更创建 saga 或使用队列，指出会导致顺序错乱、无界积压或惊群；也讨论分布式互斥难题，倾向让目标串行化请求。结论是将 RPW 作为一等抽象并从 DNS 落地迭代；但多数设计未实现，部分示例仍需验证。
推荐收录。该文档不是泛泛介绍，而是给出 RPW 的明确约束、generation number、全量/增量传播、目标驱动与 Nexus 驱动、互斥与队列等模式的逐项取舍，并系统分析内联更新、滥用 saga/队列等反模式；适合构建控制平面、分布式协调、Kubernetes 控制器或自愈系统的工程师。其 reconciliation、激活模型和可观测性设计可直接迁移到类似场景，但部分章节作者自述不确定，落地前需结合实现验证。
工程实践 Oxide Public RFDs
本文是 Oxide Computer 的公开 RFD 419，探讨如何为分布式 saga 编写正确的节点。文章首先定义正确 saga 节点需满足的四个属性：补偿动作应尽量回滚前向动作或使系统保持一致、前向动作必须幂等、原子性（避免多步状态变更）以及必须得到已知结果。随后列举常见陷阱，包括在参数中使用名称引发 TOCTOU、动态状态变更的循环、无补偿动作的节点、中间状态可见导致并发 saga 冲突，以及删除与创建 saga 交错执行。文章强调 saga 并非事务，节点执行间隔可能很长，作者必须考虑重复执行、并发执行和跨时间重复的“企鹅”问题，并建议通过软删除和幂等端点来支持重试。最后指出这些约束需扩展到被调用的守护进程及其嵌套路径，但未给出强制机制，依赖代码作者和评审者的纪律。
推荐收录。本文系统总结了分布式 saga 节点正确性的四个核心属性（补偿、幂等、原子、已知结果），并列举了大量来自 Oxide 真实工程（如磁盘删除、快照创建、NIC 附加）的陷阱与应对模式，如避免参数用名、处理动态步数、防范并发 saga 交错。对设计分布式任务编排、微服务补偿流程或需要保证最终一致性的后端工程师极具参考价值，可直接迁移其检查清单。主要不足是缺少自动化强制手段，依赖作者与评审者纪律。
工程实践 Oxide Public RFDs
该 RFD 解析 Crucible Upstairs 的背压设计，说明现有背压由在途写字节数和活跃作业数决定，取二次延迟曲线最大值，在写返回前施加人工延迟并持锁，避免并发写压垮系统。作者以“吞吐背压”模型解释系统稳定在“一进一出”状态，并指出 IOP/带宽限制未接入背压、MAX_ACTIVE_COUNT 为硬限制、大写在途字节延迟未钳制可能导致故障阈值难触发，以及大量写后 flush/read 延迟变长等不足。文末决定增加在途字节故障条件、调参曲线并移除/重实现 IOP/带宽限制，还讨论曲线形状、其他背压来源与资源受限下的 QoS 安全考量。结论主要基于 Crucible 具体实现，需结合目标系统验证。
推荐收录。它来自 Oxide 公开 RFD，围绕真实存储系统遇到的上层队列堆积问题，给出了背压实现、队列限制、故障阈值和延迟/吞吐权衡的一手设计证据，并明确列出不足与后续决定。适合存储系统、分布式系统、SRE 和性能可靠性工程师阅读，其中“按资源量分级施加背压、同时用故障阈值兜底”的思路可迁移到其他有界资源系统；需注意其参数和结论绑定 Crucible 实现，迁移时要重新验证。
工程实践 Oxide Public RFDs
本文是 Oxide 机架控制平面的 RFD 457，定义物理 sled/磁盘与控制平面 sled/磁盘两类对象及其生命周期。作者先区分 in_service、quiesced、failed、expunged 与 graceful removal，再围绕 sled 和 physical_disk 表设计 policy 与 state，规定添加、优雅移除和 expunge 在分配、信任仲裁、电源、实例迁移、Crucible region 替换和 Omicron zone 重建上的差异。文章用 blueprint planner/executor 流程说明 sled/磁盘的添加与 expunge 顺序，并强调 expunge 必须由运维触发，避免把瞬时故障误判为永久移除。对于 expunged sled 如何确保不再启动，文中比较 Ignition 断电、服务处理器 A2 与 trust quorum，指出仍有开放问题；磁盘误拔重插则要求 Sled Agent 重新建立服务并告警。边界是 quiesce、临时维护和优雅移除细节不在本文范围，部分流程仍为 TBD，且实现与 Oxide 架构强绑定。
推荐收录：该 RFD 给出了 policy/state 分离的硬件生命周期模型，以及 blueprint planner/executor 在 add、graceful remove、expunge 时对分配、信任仲裁、数据重建和电源控制的具体处理，属于可迁移的系统设计证据。适合分布式系统、存储、可靠性与基础设施工程师阅读，尤其可借鉴优雅移除与永久移除的区分、运维触发 expunge 的风险取舍。主要风险是内容高度绑定 Oxide 控制平面，且若干流程仍为 TBD 或超出范围。
工程实践 Oxide Public RFDs
该 RFD 复盘 Oxide Crucible 存储 Upstairs 的重构：重构前多个 async 任务共享一个 tokio Mutex<Downstairs>，单个作业需加锁 11–15 次，io_send 等路径竞争严重，多任务拆分收益有限。作者提出按客户端拆分锁，并用 per-job 原子位标记跨客户端状态；同时给出更激进的“一个大任务”反提案，让同步状态机核心独占数据、异步仅位于边界。基准显示大块随机写提升约 20%–30%，但部分收益来自加解密移出锁范围，早期基准不够严谨。最终因 reconciliation 等路径依赖两个任务同时接触共享数据，无法渐进改造，团队选择并完成了非渐进式重构，消除约 3KLOC。
推荐收录：这是来自生产存储系统的真实架构重构记录，包含锁竞争量化、数据归属表、两种重构方案权衡、失败尝试和最终落地效果。对使用 Rust async、Tokio 或维护高并发存储/分布式系统的工程师尤其有价值，可迁移其从锁拆分到同步状态机核心的设计判断。阅读时应留意基准不严谨及后期归因修正，不能只照搬性能数字。
工程实践 Oxide Public RFDs
本文是 Oxide 的 RFD 459，定义了 Omicron 控制平面各组件的生命周期管理语义与运维动作。作者沿用 RFD 457 的术语，提出在 blueprint 中为每个受管 zone 记录 disposition（in service、quiesced、expunged），并说明 Nexus 如何借此实现 sled 优雅移除、剔除、未来升级和扩缩容。文章以表格和分节方式列出 CockroachDB、External/Internal DNS、Nexus、Oximeter、Boundary/Internal NTP、ClickHouse、ClickHouse Keeper、Crucible Pantry 等组件在加入、quiesce 和 expunge 时所需动作，例如配置重写与 reload、decommission、DNS 更新、停止接收新请求、重新分配 saga 和 metric producer 等。结论是多数组件可归纳为通用 reconfigurator 动作加组件特定操作，但部分组件存在灾难恢复边界。该 RFD 依赖若干未完成 issue 和 RFD，边界服务配置等细节不在本文范围内。
推荐收录：该文档不是泛泛介绍，而是把控制平面组件在加入、quiesce、expunge 三种状态下的具体动作逐项列出，并给出 disposition 模型和 blueprint/Nexus/Reconfigurator 的落地机制。适合负责分布式基础设施、控制平面、SRE 与平台工程的读者，可迁移其状态机设计、组件生命周期操作规程和故障边界分析方法；主要限制是它绑定 Oxide 自有 Omicron 架构，部分步骤依赖未完成 issue，需结合上下文使用。
工程实践 Oxide Public RFDs
该 RFD 讨论 Oxide 控制平面使用 Rust async/await 三年后暴露的任务取消安全问题：Future 在 await 点被 drop 或 task 被 abort 时，内部状态会被丢弃，可能导致互斥锁在保护的不变量恢复前释放。作者用同步 Mutex 与 tokio Mutex 的对照示例复现状态机不变量被破坏，并列出 Dropshot 请求处理、tokio::select!、timeout、try_join 等取消来源。文章指出 tokio 对 cancellation safety 的说明零散且不完整，编译器无法检查，审计成本高。短期内通过让 Dropshot handler 独立成 task 缓解，长期需讨论是否迁移同步线程模型或制定取消安全规范。该文不提供完整解决方案，重点在界定问题、风险与取舍边界。
推荐收录，因为它以 Oxide 真实控制平面 bug 为例，给出可复现的同步/异步 Mutex 对照代码，并系统梳理任务取消安全的来源、风险与 FAQ 取舍。对使用 Rust 构建分布式后端、维护长期控制面或评估 async 架构的读者，文中的 await 点不变量、取消传播和短期缓解策略具有直接迁移价值；需注意它聚焦问题界定，不提供完整解决方案。
工程实践 Oxide Public RFDs
本文是 Oxide 的公开 RFD，讨论分布式 saga 框架 Steno 的升级问题。Steno 将复杂分布式操作拆解为幂等动作并持久化每个动作的输出，导致软件版本变化时恢复旧 saga 状态非常脆弱。作者提出“同一 saga 仅由同一版本 Nexus 执行”的约束，并通过蓝绿部署排空旧实例以及为 saga 存储版本/签名来实现。文章详细分析了签名设计、升级本身也是 saga 的边界情况、回滚与孤儿 saga 的处理，并对比了显式键值存储、Stripe 式 API 版本化和 WASM 等备选方案。该方案可避免跨版本恢复的复杂性，但代价是存在 bug 的在途 saga 无法被新版本修复，且旧版本可能因等待排空而延长暴露时间；文中尚有许多实现细节待定。
推荐收录，因为该 RFD 针对真实分布式系统的升级难题给出了具体约束、机制设计和多种备选方案对比，并讨论了排空、版本签名、回滚失败与安全暴露等工程取舍。适合设计分布式 saga、持久化工作流或升级系统的工程师阅读，其中的问题拆解和权衡方法可迁移到类似场景。但需注意它只是方向性草案，并非已验证实现，适合作为设计推理参考而非直接落地方案。
工程实践 Oxide Public RFDs
Oxide RFD 0301 提出机架级密钥层级策略，以 Rack Secret 为根，保护控制面数据、Crucible 卷加密密钥和 U.2 盘上的 ZFS 加密数据。它基于 Shamir 秘密共享的 Trust Quorum：K 个 share 可重构 rack secret，再通过 HKDF-SHA3-256 为每块 U.2 盘派生独立 ZFS 加密密钥，并用 new/old epoch 信息绑定用途。重配置时，dealer 用新 epoch rack secret 派生包装密钥加密旧 rack secret，随 prepare 消息分发；提交后节点重构新秘密、解密旧秘密、派生并轮换各盘密钥，再安全删除旧秘密。关键结论是每盘独立密钥限制单盘泄漏，epoch 与两阶段提交处理分布式轮换和 false start，且不依赖硬件全盘加密。边界是主要覆盖 MVP 存储加密与 rack secret 包装，证书等留待后续 RFD，故障细节依赖 RFD 238，且方案绑定 Oxide rack 架构。
推荐收录，因为它给出完整可验证的机架级密钥层级设计：从 Rack Secret、Shamir 分享、HKDF info 字符串到每盘 ZFS 密钥与重配置包装/轮换流程，并明确目标、约束与 determinations。适合基础设施安全、分布式存储和密钥管理读者，可迁移其按数据生命周期与空间局部性设计密钥层级、用 epoch 和两阶段提交处理密钥轮换的方法；局限是绑定 Oxide 硬件与 RFD 238，通用性需自行抽象。
工程实践 Oxide Public RFDs
本文是 Oxide RFD 238，定义机架级信任仲裁与磁盘解锁：在不需人工输入密码的前提下，防止 U.2 盘被盗或少于阈值 K 的 sled 被窃后读出数据。方案用 GF(256) 上的 Shamir 秘密共享，初始化时把机架秘密拆成 N 份，每个 sled 持有一份；启动时经 sprockets 的 mTLS 和远程证明向成员取回 K-1 份，重建秘密并派生 ZFS 密钥以解锁本地存储。成员须属于信任组，防止被篡改 sled 插机架偷取份额；重配置通过 epoch、Prepare/Commit、Peer Commit 与取消机制增删节点并轮换密钥。文中给出安全/活性不变量、K=N/2+1 取舍及 TLA+ 规范。适用于 Oxide 机架和非拜占庭、部分同步环境，依赖 RoT、PlatformId、sprockets 等基础设施。
推荐收录。该 RFD 完整覆盖了从威胁模型、Shamir 秘密共享、sprockets 远程证明到重配置协议的工程权衡，并明确安全/活性不变量和 K 值选择依据，属于可长期参考的系统安全设计。适合分布式系统、存储加密、可信计算和基础设施工程师阅读，其协议设计、形式化验证与故障处理思路可迁移到类似集群密钥管理场景；需注意其强依赖 Oxide 的 RoT/PlatformId 等专用硬件。
工程实践 Oxide Public RFDs
RFD 177 描述 Oxide 虚拟存储服务 Crucible 的实现，基于 Northern Mux 设计，将虚拟磁盘按 LBA 划分为多组三副本区域，由 Upstairs/Guest 转发读写，Downstairs 在物理 SSD 上以 extent 文件存储数据。文中详述 Volume 抽象、只读父层与快照/克隆、实时迁移和热插拔，并讨论端到端完整性哈希、AES-GCM-SIV 加密、TLS 传输及崩溃一致性。关键结论包括用 generation/flush/dirty 位驱动三副本 reconciliation 和 extent 修复，通过 WriteUnwritten 后台迁移只读父层，快照与密钥轮换也复用该机制。边界是部分章节因弃用 SQLite 已过时，且 IO 传输、认证、限流等仍有开放问题。
推荐收录：这是一份来自 Oxide 的公开 RFD，具体展示了三副本块存储服务在崩溃一致性、加密完整性、快照/克隆与在线迁移上的架构取舍，而非泛泛介绍。适合分布式存储、云基础设施和虚拟化平台工程师阅读，可迁移到副本选主、修复、只读父层和密钥轮换等设计。注意部分章节已标注因移除 SQLite 而过时，需结合 determinations 和开放问题判断时效性。
工程实践 Oxide Public RFDs
该 RFD 讨论 Oxide 控制平面中的 Workflows Engine，用于编排复杂、可能长时间运行的任务，如 VM 创建、SSD 固件升级、虚拟机迁移和故障服务器替换。作者先以 Terraform 类比解释期望状态、当前状态与 workflow 的关系，再调研 Airflow、Argo、Cadence、Conductor、Prefect、Zeebe 等开源引擎，比较语言、执行语义、部署、失败恢复与人工介入等设计维度。文章将工作流分为一次性、可靠一次性、可靠持久三类，提出用 distributed sagas 处理需要完整完成或回滚的控制平面操作，并讨论 exactly-once、超时、通知和用户可见服务等难点。最终决定优先实现内部 saga 引擎，暂缓可靠持久工作流与客户可见服务，Nexus 中已有用于实例创建的原型。
推荐收录：这是一份真实控制平面系统设计的 RFD，给出了工作流分类、开源引擎横向调研、distributed sagas 的取舍以及明确非目标，证据密度高。适合做基础设施、分布式系统、控制平面或云平台架构的读者参考，其中状态/期望态分离、失败回滚与人工介入边界可直接迁移。风险是它绑定 Oxide 内部场景，读者需自行判断适用范围。
工程实践 Oxide Public RFDs
该 RFD 界定 Oxide 控制平面持久化数据存储需求：需存储实例、虚拟磁盘、网络资源、服务器、用户/SSH 密钥等对象，支持持久 CRUD、分页一致性枚举和乐观并发控制，并讨论 ACID 是否必需。非功能要求包括强一致、有限故障下可读写、零计划停机、无人值守、可诊断、安全、开源与低成本，且把逻辑复制和在线 schema 迁移列为一等能力。文中估算单机架约万级实例、约 100 GiB 数据，外部 API 延迟需数百毫秒内、数据库访问约 150ms 内，短生命周期负载可达千级 rps；作者据此主张先评估现有系统，并给出从调研、Jepsen 失败分析到部署、故障与长时压测的漏斗式选型方法。候选聚焦 CockroachDB、Yugabyte、TiKV/TiDB、VoltDB 等 NewSQL，排除传统 RDBMS、NoSQL、FoundationDB 与 ZooKeeper/Etcd 类系统；但该文仍是早期需求框架，未给出最终基准和选型结果。
推荐收录。该文不是产品宣传，而是把控制平面数据存储的功能/非功能需求、规模与延迟估算、自研与采购取舍、候选 NewSQL 及排除项、以及分阶段评估方法写得很具体，对设计高可用控制平面、做分布式数据库选型或需要向团队说明存储约束的工程师有直接参考价值。局限是它属于早期 RFD，未给出实测基准和最终选型，读者应把它当作需求清单和评估框架而非结论。
工程实践 Oxide Public RFDs
本文是 Oxide 的 RFD 110，评估将 CockroachDB 作为控制平面数据库的可行性。作者先说明控制平面对强一致、高可用、水平扩展和低运维的诉求，再介绍 CockroachDB 的 range 分片、Raft 写、leaseholder 读、自动分裂/合并与故障恢复机制，并汇总在线扩缩容、长跑、schema 变更、备份恢复、滚动升级及多种故障注入测试。结果显示 CockroachDB 无数据丢失、故障后无需人工干预即可收敛，但扩缩容和 schema 变更会造成明显尾延迟上升，非企业版备份恢复与许可证也是主要风险。作者结论是 CockroachDB 足够可靠，值得继续推进，同时列出未测试项和后续风险。
推荐收录，因为它不是产品介绍，而是包含明确选型目标、测试设计、故障注入结果和风险清单的工程评估。对负责数据库选型、分布式存储或控制平面可靠性的读者，文中的测试维度、CockroachDB 行为边界以及备份/许可证风险可直接迁移到类似系统设计。注意其结论基于特定版本、AWS 与 illumos 环境，绝对性能结论有限。
工程实践 Oxide Public RFDs
本文是 Oxide Rack 控制平面需求型 RFD，界定数据平面与控制平面边界，并列出开发者 API、运维 API、生命周期、远程支持和指标采集等功能。作者主张控制平面状态为权威状态并尽量同步传播到数据平面，提出可用性、持久性、强一致性、可扩展性和安全性等非功能要求。存储部分比较 FoundationDB/CockroachDB、PostgreSQL 复制与 Raft 加本地存储等方案，并强调逻辑复制价值。迁移部分区分计划内 live migration 与非计划迁移，讨论自动恢复的分裂脑、故障放大和资源耗尽风险。多机架控制平面被推迟，许多细节仍开放，故本文更像需求与设计取舍清单。
推荐收录。文中以明确的需求条目和设计取舍讨论了控制平面 API、权威状态、同步/异步传播、可用性与持久性目标、存储选型及自动迁移风险，证据密度高。适合云基础设施、分布式系统和控制平面架构读者作为需求清单与风险检查表；但它是需求型 RFD，很多实现细节与多机架方案仍 TBD，使用时需结合后续 RFD 与实现验证。
工程实践 Oxide Public RFDs
该 RFD 讨论 Oxide 机架块存储设施的架构选择，目标是为 VM 提供弹性、安全且性能足够的虚拟块设备，并支持快照、镜像和备份等能力。作者将存储系统抽象为靠近 VM 的 North 与靠近 SSD 的 South，逐项界定数据冗余、修复重建、完整性校验、快照、限流、压缩、加密、分配与设备管理等职责。随后评估 Ceph、Lustre、GlusterFS、OpenZFS、DRBD、分布式 KV 等候选软件，并提出 Southern Volume Manager、Northern Mux、ZFS on ZFS、ZFS with Remote Allocation 四种候选架构。通过 AWS 模拟，Southern Volume Manager 性能约为本地 SSD 的 10%，且失败韧性不足；Northern Mux 则用模拟器验证失败与成功路径算法，早期结果较有希望。最终结论倾向 Northern Mux，并计划继续开发模拟器、AWS 测试台与压测工作负载；v1 优先交付时间、数据完整性和安全，性能与经济性并非首要目标。
推荐收录，因为这是一份真实基础设施架构决策记录：它明确比较四种块存储架构在冗余、修复、校验、快照、加密和分配等职责上的取舍，并用 AWS 模拟与失败场景测试淘汰 Southern Volume Manager。对从事块存储、分布式系统、虚拟化基础设施或可靠性设计的读者，North/South 分层、冗余数据路径、性能压测指标及 ZFS/Ceph 评估方法都有可迁移价值；但结论面向 Oxide 特定机架环境，需结合自身约束判断。
工程实践 Oxide Public RFDs
这份 Oxide RFD 讨论多机架部署的故障域与资源作用域。作者沿用云行业概念，提出从 server、rack、cell、AZ、region 到 fleet 的层级，并定义每层默认故障爆炸半径与共享资源边界。随后给出实例、存储、网络、镜像、项目和认证等资源的建议作用域及汇总表，例如实例归 AZ、存储卷归 Cell、虚拟网络和项目归 Region、认证归 Fleet。文中还讨论客户需自行构建真实独立故障域、跨 AZ/跨 Region 链路信任与加密、管理平面单一视图等开放问题。当前多为设计假设，尚未实现验证，且默认 v1 可能仅面向单机架，细节仍会随其他 RFD 演进。
推荐收录。该 RFD 直接给出从服务器到 fleet 的故障域层级和资源 coherence 汇总表，并系统权衡了多机架下的可用性、网络、存储与 API 作用域，属于可迁移的架构设计材料。适合云基础设施、分布式系统和控制平面设计者阅读，用于设计多 AZ/多 Region 的部署边界；但需注意其尚未落地验证，部分结论仍标注为开放问题。
工程实践 vLLM Blog 2026/09/15
文章介绍 vLLM Speculators 训练库如何为 2.8T 参数的 Kimi K3 训练并部署 DSpark 草稿模型。DSpark 在 DFlash 并行块草稿基础上加入 Markov logit-bias head 和 confidence head，通过顺序校正与硬件感知调度缓解 suffix decay，并提升接受长度。作者在 GB300 NVL72 上验证，数学推理单流交互性从约 110 提升到约 435 tok/s/user，并发下输出吞吐最高约 3.5 倍。为突破单节点显存限制，文章实现 MooncakeHiddenStatesConnector，通过 Mooncake 在 vLLM 推理与 Speculators 训练间流式传输隐藏状态，并采用两节点推理、一节点训练的三节点组拓扑。主要边界是效果依赖大规模 GPU 集群、特定模型量化、负载类型和长上下文配置，性能数字来自特定评测环境。
推荐收录：文章给出了 DSpark 算法组件、Mooncake 隐藏状态传输、三节点训练/推理拓扑和实测吞吐/交互性数据，是可迁移的 LLM 推理优化与分布式训练工程案例。适合 vLLM 部署、推理加速、GPU 集群训练方向的工程师和研究者阅读。风险在于依赖 GB300 NVL72 与 Kimi K3 特定环境，部分收益需在自身负载上复测。
工程实践 ScyllaDB Engineering 2026/09/14
文章记录华沙大学学生与 ScyllaDB 合作，将 QUIC 集成进 Seastar（ScyllaDB 依赖的异步 C++ 框架）的工程实践。作者先剖析 TCP 队头阻塞与握手延迟的缺陷，再以无隐藏 I/O、无隐藏线程、符合 IETF 标准等条件筛选候选库，最终选用 sans-I/O 的 ngtcp2 并复用 GnuTLS。核心工作包括用单 actor 驱动协议状态机、把 QUIC 流适配为 connected_socket、实现用户态连接路由，并调和 QUIC 与 Seastar 两套流控。作者对比一对一适配与 QUIC-Aware 两种 RPC 方案，在无损回环与丢包场景给出延迟、吞吐基准：无损时 QUIC 有固定每调用开销，5% 丢包时 QUIC-Aware 保留约 76% 吞吐并反超 TCP。该实现仍是单机单分片、合成负载下的受控成果，尚未成为生产级传输。
推荐收录：文章完整展示了从协议选型、适配层设计到 RPC 改造与丢包基准的工程闭环，包含候选库对比、约束取舍和可复现的性能数据，而非泛泛介绍。适合从事网络协议、数据库内核或高性能异步框架的工程师，其 sans-I/O 状态机桥接与流控协调方法可迁移到类似系统。需注意结论基于单机单分片合成负载，尚未在生产环境验证。
工程实践 TiDB 社区博客 - 实践案例 2026/09/09
文章介绍了青岛市外贸赋能中心从 MySQL 渐进式迁移到 TiDB 的完整实践。背景是业务规模和数据量持续增长，MySQL 5.6 主从架构在部分大表接近或突破 2000 万行后出现索引、分页、聚合成本上升，单机扩展受限，且分析负载与在线交易相互干扰。团队评估了分库分表等方案，认为其只是转移复杂度，最终基于 MySQL 兼容性、分布式弹性扩展、HTAP 能力以及运维工具链选择 TiDB。迁移没有一次性推倒重来，而是先从物流系统和金融平台两套核心系统开始，保留 MySQL 处理小规模业务。实际效果包括 DDL 从十几分钟缩短到秒级，复杂 SQL 从十几秒降至秒级甚至毫秒级，数据链路从分钟级缩短到秒级、人工干预率降低 90% 以上。文章也明确了边界：并非所有业务都适合分布式数据库，数据量长期稳定、低并发的小系统仍应使用单机 MySQL。
这是一个真实数据库选型与渐进式迁移案例，完整展示了从性能拐点识别、候选方案比较、迁移策略设计到效果验证和适用边界的全过程，不是单点技术技巧堆砌。适合数据库架构师、数据基础设施负责人和需要向分布式架构演进的团队参考，其中的分阶段换道、场景取舍与成本评估方法可直接迁移到类似系统。
技术文章 Kubernetes Blog 2026/09/08
文章介绍 Kubernetes v1.37 在工作负载感知调度（Workload-Aware Scheduling, WAS）上的重要进展。核心内容是 Workload/PodGroup API 与 gang scheduling 从 alpha 升级为 Beta，并引入新的 CompositePodGroup API，以树形层次结构表达复杂分布式负载的层级调度需求。文章详述了多级 gang 调度、workload-aware preemption 对 PodGroup 与 CompositePodGroup 的支持，以及多级 topology-aware scheduling 的自顶向下约束解析机制。同时给出 controller integration APIs 和 workloadbuilder 库，帮助自定义控制器复用标准化的调度原语，并展示原生 Job 控制器新增 .spec.scheduling 字段的集成方式。DRA ResourceClaim 支持也随之进入 Beta，并修复了禁用特性时可能批量创建 ResourceClaim 的问题。所有 Beta/Alpha 特性仍需手动开启，作者还列出了通往 v1.38 的规划，包括 API GA 与 Kueue 对齐等。
文章是 Kubernetes 官方博客对 v1.37 调度新特性的完整技术说明，包含 API 字段示例、调度算法变化、feature gate 与迁移注意事项，是一份可长期查阅的工程参考。适合集群调度开发、平台工程、AI/ML 基础设施相关读者，尤其需要理解 gang scheduling 与层级拓扑约束的实现方式。它的可迁移价值在于提供了标准化的控制器集成构建块，但需注意多数特性仍为 Alpha/Beta 且默认关闭，实际采用前应验证版本兼容与稳定性。
技术文章 TiDB 社区博客 - 技术解读 2026/09/07
本文以“公司多人团购”作为主线隐喻，系统讲解 Google Percolator 分布式事务协议及其在 TiDB 事务实现中的应用。作者从 Prewrite 阶段写入 Data + Lock 但尚未写入 Write Record 的可见性原理入手，对照 default/lock/write 三个列族解释数据状态。随后逐步说明 Primary Lock 的意义，指明故障恢复时只需检查 Primary 是否已提交：已提交则 roll-forward，未提交则 rollback，并提到 TTL 等待逻辑。文章还覆盖 TSO 时间戳排序、MVCC 快照隔离，以及 Commit 阶段对 Lock 冲突和 commit_ts > start_ts 写冲突的检查。最后介绍 Observer 的异步通知和消息折叠优化，强调 Percolator 是在 Bigtable 不支持跨行事务的前提下，把 MVCC、2PC、Primary Lock 与 Observer 组合起来，从而支持 ACID 事务和增量计算。文中也清楚指出 Observer 通知并不具备事务性强一致性，这是重要的适用边界。
推荐收录。它不是浅层概念科普，而是把 Percolator 中最容易混淆的 Prewrite 可见性、Primary Lock 恢复判定、Commit 冲突检查以及 Observer 的局限逐一展开说明，能帮助读者快速建立准确的心智模型。适合数据库内核、分布式事务相关工程师和学习者在阅读原始论文或 TiDB 事务文档前使用。通俗类比简化了延迟、容错和真实锁细节，但主线机制可靠，具有长期参考价值。
技术文章 TiDB 社区博客 - 技术解读 2026/09/07
文章从 TiDB 培训中的 Column Family 概念困惑出发，梳理了 Column Family 在 Bigtable、HBase 和 TiKV/RocksDB 中的角色演变。作者指出 Bigtable 引入 CF 是为了逻辑分组、资源管理和数据局部性；HBase 将其作为用户可见的数据建模单元；而 TiKV 则借助 RocksDB 的 CF 机制承载 Percolator 事务模型中的 data、lock、write 三类逻辑数据。文章结合源码解释了一个 RocksDB CF 基本等同于一棵独立 LSM Tree，拥有自己的 MemTable、SST 和 Compaction 状态，因此 TiKV 拆三个 CF 是为了让生命周期和访问模式不同的数据互不干扰，降低写入放大、避免大 Value 挤占缓存。文章还澄清拆分发生在事务存储层而非用户表层，并说明隔离仅限于 LSM Tree 层，各 CF 仍共享 WAL 和线程池。整体属于对 TiKV 事务存储设计原理的深入解读，但主要基于公开论文、源码和个人理解，未涉及运行时实测对比。
推荐收录。文章不是产品介绍，而是从 Bigtable/Percolator 论文到 RocksDB 源码的完整技术考证，把 TiKV 三个 Column Family 的隔离动机解释得很清楚。适合数据库内核、分布式系统和存储引擎方向的工程师与研究者阅读，也可以作为理解 LSM Tree 与事务存储结合的参考材料。其可迁移价值在于展示了从逻辑数据分类到物理存储隔离的工程取舍思路，但结论来自代码阅读与公开资料，缺少实测数据，阅读时需注意这一点。
工程实践 TiDB 社区博客 - 实践案例 2026/09/04
文章以TiDB生产环境中的三个真实SQL调优案例为主线，展示从“跑不动”到“飞起来”的完整排查过程。第一个案例是因统计信息过期导致优化器误判筛选率，未走联合索引的最优范围，通过ANALYZE和配置自动收集恢复性能；第二个案例是分区表查询因NOW()等非常量表达式导致分区裁剪失效，改写为常量时间后恢复正常；第三个案例是自增主键在聚簇索引下形成写热点，通过AUTO_RANDOM或业务主键加预分裂分散写入。每个案例都给出根因判断、优化SQL和执行计划变化，并总结出先看执行计划、重视统计信息、预防写热点三条方法论，附有诊断命令速查。边界在于案例基于TiDB特定实现，部分结论对传统单机数据库不一定适用。
推荐收录。文章不是零散技巧，而是围绕具体线上问题的诊断链路：现象、根因定位、方案验证和预防措施都写得很清楚，适合TiDB/分布式数据库运维和SQL调优读者。文中关于统计信息、分区裁剪、写入热点的分析方法可迁移到其它分布式或关系型数据库，只是需要结合各自引擎特性试用。
工程实践 Meta Engineering 2026/09/03
ZGateway 是 Meta 为 ZippyDB 键值存储新增的无状态代理层，目的是改变超百万客户端直接连数据库产生的稠密连接网格及其可靠性风险。它把客户端与后端收敛成两跳，使连接扇入扇出规模由代理层可控，并通过跨客户端批处理和合并降低 RPC 开销、缓解热键冲撞。代理层同时承载租户级准入控制、按 CPU 自适应的负载均衡、带实时失效的读缓存，以及可配置的跨区域容灾；迁移采用分服务、分前缀的百分比开关实现可逆灰度。文章给出的实测边界是：ZGateway 承载约 40% ZippyDB 流量、平均约 6% 计算开销，压测中丢弃只作用于少数噪声租户，其他租户成功率保持 99.9%。最后作者展望了多进程隔离、控制面外置与 AI 辅助调优等方向。
本文来自 Meta 生产环境的系统级工程复盘并包含明确数据和机制，不只是架构简介。它展示了一个代理层如何同时解决连接管理、高可用、租户隔离与流量治理，适合关注分布式系统、基础架构和可靠性设计的读者。文中的扇入扇出建模、灰度迁移和自适应负载均衡思路可以迁移到其他大规模代理或网关场景，但需注意 Meta 内部基础设施的耦合与规模化条件。
工程实践 TiDB 社区博客 - 实践案例 2026/09/03
本文基于古珀医疗在区域医疗健康平台建设中的实践，复盘其数据库架构从 MySQL 到 MongoDB、再到 TiDB 的演进历程。早期单体医院项目数据量小，MySQL 可支撑业务快速上线；当业务扩展到区域级和省级平台后，数据规模增长至数十TB，MySQL 在 DDL 变更、写入容量和运维成本上出现瓶颈。MongoDB 的文档模型提升了迭代灵活性，但复杂关联查询和空间成本限制了其适用性；Doris、ADB 等分析型数据库性能好，却因私有化部署和数据同步链路复杂而未采用。最终选 TiDB 主要看中其水平扩展、HTAP、MySQL 兼容和 TiCDC 实时同步能力，并在区域医疗健康大脑、智慧法医等四个核心场景规模落地，最大单集群 80TB。文章也说明没有绝对完美的数据库，需根据场景组合使用多种存储技术。
推荐收录，因为它呈现了真实业务约束下的数据库选型与切换过程，给出了从数百GB到80TB数据规模时的取舍依据和多个核心场景的落地形态。适合在医疗/政务等私有化部署环境下做数据架构选型、或评估分布式数据库替代 MySQL 的读者参考。文中对 HTAP、MySQL 兼容生态和同步链路需求的判断，可迁移到类似高可靠、强一致的数据平台建设中。
学习路线 TiDB 社区博客 - 实践案例 2026/09/03
作者作为分布式数据库从业者，完整记录了通过 TiDB 官方 PCTA、PCTP、PCSD 三级认证的过程与备考策略。他将三个阶段分别类比为 AI 预训练、领域微调和推理增强：PCTA 覆盖集群架构、Region/Raft/TSO、部署与工具；PCTP 聚焦生产管理、备份恢复、迁移和高可用，并以首考 41 分（及格 42）失败后强化故障演练二战通过的经历说明实战的重要性；PCSD 则转向 SQL 开发侧，考察索引、执行计划、事务与在线 DDL 等细节。文章给出了各级别的知识点权重、官方课程和练习方法，对打算系统学习 TiDB 认证的人有路线图式的参考价值。其边界在于内容围绕官方认证展开，考试细节会随版本变化，未对底层原理展开深入讲解。
推荐收录。它提供了完整的 TiDB 认证路线和结合实际故障演练的备考方法，尤其记录了 PCTP 失败后的调整策略，对准备官方认证或学习 TiDB 运维/开发的读者有直接参考价值。虽然内容随版本可能时效受限，但作为入门路线图仍值得借鉴。
工程实践 Xe Iaso 2026/09/01
文章介绍了 Tigris 对象存储在跨区域复制中遇到的冲突解决难题及其工程实现。作者将其类比为 Git 合并冲突，但分布式系统规模下无法由人工仲裁，因此需要在业务逻辑中自动决定哪一侧获胜。文中基于 FoundationDB 的实践，区分了单区域、多区域与全局三种桶：单区域桶通过反向代理到所有权区域避免冲突，但带来更高延迟；全局桶允许各区域并发写入，依赖时间戳比较决定最新版本；多区域桶则由领导区域主动推送并叠加复制队列，兼顾延迟与全局收敛。作者重点剖析了时钟偏差如何导致“删除被复活”的竞态，并给出了拒绝处理非最新删除并重试的修复方案。最后讨论了复制队列延迟、未来通过分片 FoundationDB 来隔离租户，并指出系统整体依赖时钟同步，可能需引入原子钟级计时。
推荐收录。文章来自真实存储系统的工程实践，详细展示了跨区域冲突解决的完整决策链：从冲突模型、时间戳排序、时钟偏差竞态到具体修复与复制策略取舍，并配有可操作的比较逻辑和时序说明，而非泛泛架构讨论。适合分布式系统、存储或数据库方向的工程师阅读，文中的时间戳排序陷阱以及“失败但已生效”的复制语义可迁移到其他多写复制系统，具有长期参考价值。
工程实践 vLLM Blog 2026/09/01
文章介绍 vLLM-Omni 对 MiniMax H3 视频-音频联合生成模型的系统级服务优化，以及集成 FastVideo 四步蒸馏版 FastH3 实现完整 MP4 生成快于播放。作者把端到端链路拆成编码器、长序列音视频 DiT、并行 VAE 解码、GPU 输出准备与 H.264/AAC 封装，并用长序列注意力/通信优化、融合 DiT 算子、并行 VAE、紧凑传输和并行 MP4 构建，在 8×B300 上把基础 H3 端到端延迟较 Diffusers 降低 30.8%。随后引入四步 FastH3，在 10.125 秒 MP4 上取得 8.678–8.710 秒干净端到端延迟，5/10/15 秒扫描全部满足 RTF_client≤1.0。文章还给出 DLO、编码器解耦、Online FP8、SAGE/Skip-Softmax 注意力和 Cache-DiT 等可选路径的兼容边界与质量-性能权衡。局限是两条证据通道未做同源 A/B，FastH3 与 DLO、量化、编码器解耦等组合未完全验证，且缺少匹配的多随机种子质量对比。
推荐收录，因为它不是基准数字堆砌，而是完整呈现了系统瓶颈分解、冻结实验控制、有损/无损优化边界和兼容性矩阵，并公开了可复现命令、版本与限制。适合多模态生成模型推理服务、GPU 性能优化和分布式推理基础设施的读者，其“先量化全链路开销，再用少步蒸馏攻击主导项”的方法可迁移；主要风险是部分证据待发布、未做同源 A/B 与多随机种子质量对比，不能直接推导跨配置加速比。
工程实践 PlanetScale Blog 2026/09/01
文章深入解析了 PlanetScale 的 Neki 路由器在分片 PostgreSQL 数据库中的核心作用与实现机制。它指出分片数据库的难点在于决定查询应路由到哪些分片，Neki 为此引入了双层计划：先由路由器基于数据拓扑生成 Neki 计划，再将改写后的 SQL 交给各分片上的 PostgreSQL 生成传统执行计划。文章通过单点路由和 scatter-gather 两个具体示例，展示了路由器如何识别分片键、绑定参数、推送 limit、汇总多分片结果，并利用侧车进程通过 gRPC 转发工作。同时说明了路由器无状态、可独立扩展的特点，以及与 PgBouncer 等连接池工具的差异。文章还点明了 Neki 的两个缩放维度：分片扩展数据和 PostgreSQL 引擎，路由集群扩展分布式查询处理与连接管理。整体对理解分布式数据库查询路由与分片架构具有很好的参考价值。
推荐收录。文章不是抽象的理论介绍，而是直接展示 Neki 路由器的双层计划、分片路由和 scatter-gather 的具体实现，包含 EXPLAIN 输出和架构组件说明，证据具体。适合数据库内核工程师、分片库用户及分布式系统架构师阅读；其中关于无状态路由器、连接处理与查询处理分离的设计思路，可迁移到其他分布式数据库或网关类系统。
技术文章 matklad 2026/08/31
本文探讨并发编程中三个常被混淆的概念：同步取消、异步取消与优雅停机。作者认为三者属于不同层面——同步取消本质是控制流结构（类似异常展开），异步取消是双方之间的通信协议（请求方需等待确认），而优雅停机是应用层处理连接的编程模式，常用于滚动升级。文章用 CPU 线程池、io_uring 及 TigerBeetle 中的 Grid.cancel、StateMachine.reset、Client.shutdown 等实例说明差异，并指出 Client.shutdown 实际是异步取消而非优雅停机。文中还引入 crash-only software 思想，认为分布式系统中崩溃只是慢的一种特例，尾部延迟容忍是更通用的方案。作者提醒术语本身可替换，但背后的区分对代码形态影响很大，尤其 Rust 中同步取消太容易而异步取消机制较弱。
推荐收录：文章以清晰的层次区分了同步/异步取消和优雅停机，并用生产级系统 TigerBeetle 的真实代码佐证，避免了空泛的概念讨论。适合并发编程、分布式系统或基础设施开发者阅读，能帮助在设计阶段识别取消的形态并做出合理的架构取舍。其可迁移价值在于术语背后的分类框架，但需注意作者所用术语并非业界统一标准。
工程实践 Salesforce Engineering 2026/08/28
Salesforce 工程博客通过 Q&A 形式介绍了其自研的 DDoS 响应与缓解平台 DREAM。文章指出，随着 AI 生成的应用层攻击提速，人工防御已无法在秒级响应，而共享多租户架构又使单客户攻击可能影响整个云平台。DREAM 基于三个原则构建：抵御超大规模攻击、秒级响应、用 AI 推断识别演化中的攻击模式。团队在三个多月内重写约 10 万行遗留代码，采用 AI 辅助编程（90% 以上为 AI 辅助但有严格人工审核）和分布式编排器 Temporal，避免自建状态管理、重试等原语。文中还总结了两个生产教训：大体积遥测数据不应直接穿过编排层，而应外部存储并传引用；长时间运行的工作流事件历史会拖慢恢复，需周期性压缩状态边界。最终平台将首次缓解时间缩短至原有水平的五分之一。文章也点明了未来方向：AI 负责分析与推荐，人类对高影响决策负责，编排层可靠运行复杂工作流。
推荐收录，因为文章不是营销稿或浅层技术介绍，而是具体呈现了超大规模 DDoS 防御平台从架构选型到生产事故教训的完整工程脉络，包含真实约束（三个月迁移窗口）、明确取舍（选择 Temporal 而非自建原语）和可迁移原则（编排层不是数据存储）。适合负责安全基础设施、分布式系统或有高并发多租户平台经验的技术读者参考，其中的工作流数据边界、历史记录压缩与 AI 辅助重写方法具有直接借鉴价值。
工程实践 TiDB 社区博客 - 实践案例 2026/08/28
文章记录智慧停车平台从 PolarDB 迁移到 TiDB 的过程，背景是核心表每年新增约 2.4 亿条数据，大表到 8000 万行后出现慢 SQL、跨停车场 join 困难等问题。团队实测对比 TiDB、ClickHouse 等数据库，最终选择 TiDB v8.5.2，原因包括 MySQL 兼容、压缩成本低、社区活跃等。迁移采用 Dumping 导出加 Lightning 导入，并借此规范了索引设计和代码中的排序逻辑。上线一年多后，慢 SQL 从满屏降到每天约 46 条，监控和告警体系从无到有，运维变为主动。文章最后给出选型建议：小场景用 MySQL，中大型 SaaS 用 TiDB，分析密集型可用 HTAP。内容属于真实的数据库迁移工程案例，但来源为 TiDB 官方博客，存在一定的推广立场。
推荐收录，因为它展示了在停车业务高可用约束下，数据库选型、迁移和运维改进的完整链路，包含数据规模、慢 SQL 数量、迁移工具等可量化证据。对于面对大数据量 join 问题和分布式数据库选型的工程师，文中的对比方式和迁移后治理经验有直接参考价值。需要注意的是，文章由数据库厂商发布，性能收益数据缺乏独立验证，读者应结合自身场景做验证。
工程实践 ScyllaDB Engineering 2026/08/27
文章介绍了为 ScyllaDB 的 DynamoDB 兼容 API（Alternator）构建新 Rust 驱动程序的工程实践。由于 AWS DynamoDB SDK 面向单端点托管服务，无法利用 ScyllaDB 多节点多分片的分布式架构，团队基于 aws-sdk-dynamodb 封装了新的 alternator-client-rust，通过 Interceptor 机制注入拓扑感知的负载均衡、头部剥离和请求压缩等优化，保持 API 兼容并实现了约 58% 的吞吐量提升。文章还详述了扩展 Latte 基准测试工具支持 DynamoDB API 的过程，采用条件编译隔离 CQL 与 Alternator 逻辑，并通过 Rune 脚本提供灵活的工作负载描述。基准测试对比了 Latte 与 YCSB 的差异，以及新驱动在不同负载均衡策略下的表现，指出在热分区和轻量事务场景下 key affinity 策略优于 round-robin。文章基于特定 ScyllaDB 版本和测试环境，结果适用于使用 ScyllaDB Alternator 的高吞吐场景，但对其他数据库或云服务的可迁移性有限。
推荐收录，因为它展示了从适配现有 SDK、定位吞吐瓶颈到实现负载均衡与压缩优化并完成基准验证的完整工程链路，提供了可量化的性能数据和具体的架构取舍。对从事数据库驱动开发、分布式系统客户端优化或基准测试工具设计的读者，文中的拓扑感知路由、拦截器使用和条件编译改造方法具有直接迁移价值；同时需注意其结论依赖 ScyllaDB 特定架构。
工程实践 TiDB 社区博客 - 实践案例 2026/08/27
作者结合TiDB免费认证学习经历，对TiDB与OceanBase做了MySQL语法兼容性对比测试。测试围绕外键关联表、RANGE/LIST/HASH及复合分区表、在线索引DDL、前缀索引和存储过程等对象的DDL/DML展开，并检查执行计划与错误提示。结果显示两者对MySQL基本语法均兼容，都支持外键约束、普通分区和在线加索引；差异在于TiDB不支持复合分区与存储过程，OB支持；索引选择路径与报错信息也有不同。文章给出完整测试SQL、版本信息和结果截图，但未涉及性能、事务隔离、复杂查询等场景，对比深度停留在功能支持层面，且针对特定版本，结论时效性有限。
文章以可复现的SQL脚本和截图直接对比TiDB与OceanBase在MySQL兼容性上的功能差异，覆盖外键、分区、索引和存储过程等迁移常见场景，对分布式数据库选型和MySQL业务迁移评估有直接参考价值。适合DBA、架构师和迁移项目成员；测试方法可迁移，但结论基于特定版本，使用时需结合最新版本文档复核。
个人心得 TiDB 社区博客 - 实践案例 2026/08/27
本文作者是一名数据库运维工程师，在一年多内先后考取 MySQL OCP、TiDB PCTA 和 PCTP 认证，并完整复盘了这段经历。文章先说明考证动机来自业务增长和团队引入 TiDB，随后分别回顾三场备考：MySQL OCP 补全了 MVCC、半同步复制等底层原理；PCTA 帮助建立对 TiDB 计算、存储、调度分离架构的认知，并记录了一次扩容磁盘告警的踩坑；PCTP 则深入分布式执行计划、TiKV 底层和集群调优。作者总结了认证是系统化学习的起点，MySQL 与 TiDB 互补而非替代，分布式数据库对 DBA 能力提出新要求，并强调动手实验的重要性。最后给出夯实 MySQL 基础、以认证为脚手架、多动手、关注社区等建议。文章适合数据库运维人员和计划学习分布式数据库的工程师参考，但属于个人经验分享，深度和通用性有限。
文章以真实考证经历为基础，具体描述了从单机数据库到分布式数据库的学习路径和常见陷阱，对数据库运维人员有直接参考价值。它强调了认证考试作为知识体系化工具的价值，并给出了可执行的实验和学习建议，可迁移到其他数据库技术栈的学习中。主要风险是个人经验成分较多，部分结论需结合实际场景验证。
工程实践 TiDB 社区博客 - 实践案例 2026/08/25
本文是宁波金唐与平凯数据库（TiDB企业版）在医疗行业落地实践的技术复盘。文章首先分析医疗国产化的特殊挑战，如系统数量多、新旧兼容、7×24小时高可用和海量数据混合负载，然后介绍宁波金唐的选型策略，强调分布式与集中式数据库需按业务规模取舍，并看重TiDB对中小型至大型机构的全场景覆盖、HTAP能力和MySQL生态。通过宁波市全民健康信息平台和海曙区一体化医疗云平台两个案例，作者给出具体性能数据，如诊断匹配查询从109秒降至0.281秒，年度收入报表从350秒降至6秒，并指出性能提升来自数据库能力、冷热分区和持续调优的共同作用。文章也提到迁移后仍需依赖厂商协同调整SQL和索引，并展望医疗AI对高质量数据底座的需求。总体以真实系统规模和多组对比数据为基础，但视角偏厂商合作方，可能弱化迁移中的风险和成本。
本文提供了一手医疗行业数据库国产化迁移的工程案例，包含选型判断、架构决策、真实系统规模和对比性能数据，对负责数据库选型、迁移或医疗信息系统的读者有直接参考价值。可迁移的不仅是具体优化技巧，更是从业务需求出发评估分布式vs集中式数据库、以及迁移后持续调优的思路。由于文章由TiDB社区发布，部分表述带产品宣传倾向，读者应关注其方法和数据，而非单纯的产品结论。
工程实践 TiDB 社区博客 - 实践案例 2026/08/24
文章复盘了 TiDB 7.5.x 生产环境中一次 CREATE INDEX 卡在 write reorganization 且 ROW_COUNT 恒为 0 的故障救援过程。故障根因被定位为 DXF（disttask 框架）残留孤儿任务：历史中断的 add index 在 mysql.tidb_global_task 中留下长期处于 pausing/reverting 状态且 dispatcher_id 为 NULL 的条目，框架 scheduler 因内存态不刷新而持续调度这些僵尸任务，占满调度槽位，导致新的 ingest 模式索引任务无法推进。作者完整记录了 40 分钟排查链路，包括 AI 协助查证系统表、发现 tidb_enable_dist_task 开关被误关、最终通过滚动重启 tidb-server 清空框架内存态恢复服务，并提供了分场景的临时解决方案、每日巡检脚本、业务规范以及对 TiDB 团队在 scheduler 超时回收和内存态一致性方面的改进建议。文章还反思了 AI 在故障排查中作为“军师”与用户作为“侦察兵”的协作模式及其边界，指出 AI 缺乏现场执行权，有效协作依赖完整证据输入。
推荐收录。文章以真实生产事故为样本，完整呈现了从现象、日志证据、系统表探查到根因确认和恢复操作的故障处理闭环，并给出了可复用的 SOP、巡检脚本和预防规范，对负责 TiDB 运维或分布式数据库稳定性保障的工程师有直接参考价值。其对 AI 协同排查方式的反思也提供了可迁移的人机协作模式，但读者需注意文中操作涉及直接修改系统表和重启集群，须在受控环境验证后使用。
技术文章 PlanetScale Blog 2026/08/24
文章回顾了Postgres分片技术二十年来的演进。作者先从“shard”一词在Ultima Online游戏中的起源讲起，说明MySQL因LAMP生态先行形成了Vitess等成熟方案，而Postgres则长期依赖各公司自建。随后梳理了Skype的PL/Proxy、Instagram的逻辑分片、Citus扩展、PgDog代理、Aurora以及Spanner/CockroachDB/Yugabyte等Postgres兼容分布式数据库，逐一分析其架构与取舍。核心观点是显式分片比自动分片更可预测，原生Postgres集群比兼容层更可控。文章最后介绍PlanetScale推出的Neki，宣称结合历史经验提供显式分片、水平扩展路由器并托管备份恢复，但该部分带有明确的产品推广色彩。整体适合作为了解Postgres分片方案演进的入门综述，但对Neki的介绍需要以批判视角审视。
推荐收录，因为文章系统梳理了Postgres分片从PL/Proxy到Citus再到Spanner兼容方案的完整脉络，并给出了每个方案在运维复杂度、路由瓶颈、跨分片查询上的具体取舍，能帮助数据库团队在做分片决策时建立历史坐标系。适合数据库工程师、架构师阅读。需注意文章后半部分是PlanetScale自家产品Neki的推广，作为技术评述存在立场偏差，读者应区分事实与产品主张。
技术文章 TiDB 社区博客 - 技术解读 2026/08/22
文章深入解读 TiKV 的 MVCC 实现，通过三个 Column Family（CF_LOCK/CF_WRITE/CF_DEFAULT）将锁、提交记录和历史版本编码进 key。它详细分析 Write、Lock 记录结构与 MvccTxn 的写缓冲机制，说明 Prewrite 的冲突检查、Commit 的原子提交点以及 Rollback 的显式回滚标记。读路径部分展示快照读如何按 commit_ts 扫描 Write Record 并定位数据版本。文章还总结锁与数据同地存储、Write Record 作为提交点、操作可重试、MVCC 与 Raft 解耦等设计动机，但以源码解析为主，未覆盖所有异常分支。
文章以源码和代码引用为证据，系统梳理了 TiKV 分布式事务中 MVCC 的完整机制，从数据布局、两阶段提交到读路径均有清晰解释，适合研究分布式数据库或事务实现的读者。文中对设计取舍的分析和可重试、分层解耦等思想可直接迁移到其他存储系统设计中。主要局限是偏重源码解读，版本迭代可能带来差异，但不影响长期参考价值。
技术文章 TiDB 社区博客 - 技术解读 2026/08/22
本文深度解读 TiDB 的 HTAP 架构，指出其核心并非简单拼凑事务处理与分析，而是通过一套统一架构实现实时性与隔离性兼得。文章以智能工厂为比喻，说明 TiKV 行存储负责高并发 OLTP，TiFlash 列存储负责大规模 OLAP，TiDB Server 通过成本优化器自动选择或混合使用两种引擎。关键机制在于 TiFlash 通过 Raft Learner 协议异步实时复制 TiKV 数据变更，对写入无阻塞，且能提供秒级数据新鲜度和快照级别一致性。作者还介绍了该架构在简化数据链路、实时决策、降本增效方面的实战价值，并列举广发银行、华安基金等案例。文章最后指出 TiDB 的 HTAP 是在实时性、一致性、易用性和混合负载之间寻求平衡，而非单点性能极致。
推荐收录，因为文章系统阐释了 HTAP 的架构设计内核，包括存储引擎分工、Raft Learner 复制机制和一致性保障，技术细节明确且具有可迁移的架构参考价值。适合数据库工程师、架构师以及关注分布式系统设计的技术人员阅读，可帮助理解混合负载场景下的取舍与实现路径。
工程实践 TiDB 社区博客 - 实践案例 2026/08/22
文章记录了某数据库集群在运行过程中出现响应时间突增、CPU 使用率升高、整体性能下降的现象。排查时发现期间曾执行过 systemctl stop tuned.service 操作，即关闭了 tuned 服务。通过检查 /etc/tuned/ 目录未找到自定义配置，使用 tuned-adm list 确认当前配置为 throughput-performance，但因 tuned 未启动导致该配置没有生效。启动 tuned 服务后，throughput-performance 配置生效，集群性能恢复正常。文章还简要介绍了 tuned 是系统级动态调优守护进程，throughput-performance 模式会关闭节能机制、启用 sysctl 优化、切换 I/O 调度器并将 CPU 调频策略设为 performance。该案例展示了操作系统服务配置对分布式数据库集群性能的显著影响，但缺少具体的性能指标对比与更深入的原因分析。
收录原因是它提供了一个真实的、可复现的运维排障案例：数据库性能劣化可能与 tuned 服务被关闭直接相关。对于负责数据库或分布式系统运维的工程师，文中通过 tuned-adm 检查配置、确认服务状态并恢复的排查路径具有直接可迁移性。但内容深度有限，建议结合官方手册进一步理解 tuned 参数细节。
工程实践 vLLM Blog 2026/08/22
vLLM 博客介绍了基于 Ray Direct Transport（RDT）的分片权重传输引擎，用于在线 RL 中训练端到 Megatron/vLLM 推理端的周期性权重同步。传统 NCCL 广播要求所有 rank 同步参与、每个 worker 接收完整模型，在万亿参数和宽专家并行下造成显存与带宽瓶颈；作者改为由推理端按需从训练端拉取分片权重，并用“recording tensor”空跑记录各层权重加载的变换操作链，生成与任意模型和并行配置兼容的 sharding plan。引擎在初始化阶段收集所有权元数据并注册 NIXL 缓冲区，同步阶段按权重组分块，重叠 gather、RDMA 传输与后端 process/copy。Qwen3-235B 同步由基线 64.72s 降至 3.49s，Kimi K2 在 48 节点上 7.9TB 权重同步仅 7.53s（约 1049 GB/s），并演示了推理副本故障后训练不中断、副本在同步边界回归的容错行为。局限包括加载器操作须可记录、RDT 缓冲区不计入显存预算、暂不兼容 EPLB，且跨 PP 传输仍串行。
推荐收录：文章给出真实的大规模权重同步工程问题、完整设计权衡（拉取式分片传输、recording tensor 生成 sharding plan、NIXL/RDMA 流水线）以及可验证性能数据（Qwen3-235B 从 64.72s 到 3.49s，Kimi K2 48 节点 7.53s），并明确列出限制与后续方向。适合从事 RL 训练、LLM 推理服务与分布式 GPU 通信的工程师，其中元数据驱动的通用传输与流水线重叠思路可迁移到其他跨节点数据搬运场景。
工程实践 vLLM Blog 2026/08/21
文章介绍 vLLM/Megatron 生态中的 IsoExec，旨在消除 RL 训练中 rollout 引擎与 trainer 因不同 kernel、批形状和并行布局导致的浮点非结合性不匹配。其核心是跨运行时执行契约：按 region/case 固定实现、累积 dtype 与归约顺序，并用语义及数值策略摘要校验；同时提供并行不变 kernel 与 CPR Gated DeltaNet，使训练、prefill 和 decode 位级一致。在 8×H100 上训练 Qwen3.5-35B-A3B DAPO，契约覆盖范围内实现零不匹配，logprob 差异显著下降，但端到端仍有约 25% 开销。局限是 50 步内未见 reward 提升，且上下文并行、Blackwell、稀疏注意力等尚未覆盖。
推荐收录：文章给出了可验证的工程证据——通过执行契约和统一模型在 vLLM 与 Megatron 间消除覆盖区域的训练-推理数值不匹配，并在 8×H100 上报告 25% 开销与 50 步 DAPO 的 logprob/奖励数据。适合训练基础设施、RLHF/RL 系统和推理引擎开发者，其契约化数值一致性方法可迁移到跨框架一致性、并行不变 kernel 与混合线性注意力部署中；但短期无 reward 提升且开销不低，需结合业务权衡。
技术文章 知乎 - Clouder 2026/08/20
本文围绕 Agent 的自我进化与长期存在方式展开讨论，提出 Agent 不必永远住在同一个 Harness 里，而是可以启动继任者、转移未完成工作与外部关系后退出。作者从 DeepSeek Harness 的可替换 Loop 出发，对比原地热更新与代际更替两种路径，并引用 SICA、DGM、Genesis 等研究说明这种演化方式的可行性。文章进一步论证，当 Agent 可被替换时，连续性必须存在于外部世界：消息、仓库、权限、计算资源等应成为独立基础设施，而非 Agent 的附属工具。作者由此提出由多个局部主权 Domain 构成的 Agent 生态，反对中心化统一平台，强调边界、身份、间歇性唤醒、注意力治理和可观测性等关键问题。全文属于前瞻性系统设计思考，结合现有研究与实践零件，但尚未形成完整实现。
推荐收录。文章不是浅层产品讨论，而是对 Agent 生命周期、身份连续性、基础设施边界和分布式社会形态的系统性思考，提供了从编程到生态的完整推理链。适合从事 Agent 框架、AI 基础设施和分布式系统设计的读者，其中关于继任者模式、Domain 主权和注意力治理的观点具有长期参考价值，可迁移到未来 Agent 平台与协作协议的设计中。
工程实践 TiDB 社区博客 - 实践案例 2026/08/20
文章以杭州银行新一代核心系统采用平凯数据库（TiDB 企业版）替换传统集中式数据库的实践为主线，总结了从架构落地到开发治理的完整经验。作者提出按业务等级差异化设计部署架构：普通系统采用单集群多副本，重要系统采用“3+1 副本”与自动同步复制，核心系统则按“5+1 副本”建设“两地三中心”容灾体系，实现 RPO=0、RTO 不超过 30 秒。在开发治理方面，文章重点说明了数据库对象命名、数据类型映射（如 Oracle 的 Number 与 ZHS16GBK 向 Decimal 与 UTF8MB4 的转换）、索引数量控制、联表数量和事务拆分等规范，并通过自研 DAP 平台将规范嵌入开发测试发布流程，以强控和提醒规则保证执行。文章还提到连接池生命周期配置、慢 SQL 日志关联和常态化巡检等运维治理手段。整体上这是一次金融级分布式数据库国产化的系统实践，但对于小型系统或非金融场景，部分设计可能偏重，需要结合实际业务等级裁剪。
推荐收录，因为文章基于真实金融核心系统上线案例，提供了从部署架构、容灾设计、SQL 规范到平台管控的完整闭环，具有明确的约束条件和取舍逻辑，不是泛泛的产品宣传。适合正在从事分布式数据库选型、迁移或国产化改造的架构师、DBA 和开发管理者参考，其中的分级部署思路、开发规范落地方法和连接池配置策略可迁移到其他数据库工程实践。
工程实践 知乎 - 鹅厂架构师 2026/08/20
本文以自动驾驶端到端感知规划大模型的千卡分布式训练为案例，系统阐述大规模训练稳定性工程的理论与实践。作者从分布式系统的短板效应、独立事件概率乘法法则和系统可靠性理论出发，解释了单机毛刺在多机同步训练中被指数放大的机理，提出“调优目标=控制单机毛刺率”的核心主张。文章详细拆解了软件层（观测者效应、GIL、tcmalloc、显存碎片、异步DataLoader）和系统层（存储I/O、脏数据、GC）的毛刺根因，并给出对应的确定性改造方法，如手动GC、NUMA绑核、GPU化预处理算子等。优化后训练吞吐提升50%，训练周期缩短5倍以上。文章强调，大规模训练的性能极限由最慢节点决定，可预测性比平均速度更重要，并给出了从64机扩展到256机时的工程经验。
本文是深度学习工程领域少见的系统性稳定性治理案例，用概率论和可靠性理论定量解释了“毛刺放大”现象，并给出了可复用的排查路径、优化手段和工程取舍原则，证据扎实、边界清晰。适合负责大规模模型训练、分布式系统性能优化或ML基础设施的工程师阅读，其“将随机扰动改造为确定性代价”的方法论可迁移到其他同步语义的分布式系统中。
工程实践 TigerBeetle Blog 2026/08/20
本文介绍了TigerBeetle数据库在确定性模拟测试（DST）中引入协议感知（Protocol-Aware）的方法，从系统内部视角验证共识协议与存储引擎的安全性和活性不变量。作者对比了Jepsen式黑盒生成测试和Antithesis式确定性虚拟机的局限，指出它们只能通过用户可见API从外向内测试，无法深入协议内部。TigerBeetle利用逻辑与物理双重确定性，使集群副本达到字节级一致，并在VOPR模拟器中运行真实代码。协议感知DST允许对每个副本的WAL一致性、存储确定性（如Manifest和物理块校验）以及更深层的活性进行断言，例如确保无需协调时副本不会进入recovering_head状态，以及能从集群中任意副本修复缺失数据块。文章通过大量代码片段展示具体实现，并讨论了这种测试方法对快速复现复杂交错场景、调试协议级优化和确保长期可靠性的价值。
推荐收录，因为本文展示了如何将确定性模拟测试从系统级黑盒推进到协议感知的白盒深度验证，提供了具体的实现思路和代码依据，对从事分布式系统、数据库内核或可靠性工程的读者具有直接参考价值。其分层不变量检查方法和物理确定性设计可迁移到其他基础设施系统中，是测试方法论与工程实践结合的优质案例。
工程实践 vLLM Blog 2026/08/17
本文介绍 vLLM-Omni 的分布式逐层卸载（DLO），用于在多 NPU/GPU 上运行超出单卡 HBM 的 DiT 模型（如 64B/124GB Cosmos3-Super）。方案结合 meta device+mmap 加载、权重分片+AllGather 重建、双缓冲预取与计算重叠、DP 多并发。实测 Ascend 910B3 上冷启动 cgroup 峰值由 178GB 降至 47GB，主机内存从 O(dp×model) 降为 O(model+dp×常数)，4 并发吞吐达 HSDP 单请求的 3.3 倍；B300 上 DLO+AG DP4 吞吐为 HSDP+USP4 的 1.39 倍且 HBM 仅 30%。MiniMax-H3 表明 DLO 模式依赖拓扑：DP1×SP8 宜用 AllGather，DP8×SP1 宜用 rank-local。但 400GB 外推未实测，最大块尺寸、带宽与输出质量在该规模仍未验证。
推荐收录：文章给出可复现的系统级设计，四项技术分别对应明确的内存/吞吐瓶颈，并附 Ascend 与 B300 实测数据及失败边界。对从事大模型推理基础设施、显存受限模型部署和分布式并发的工程师有直接迁移价值；需注意 400GB 外推未实测，拓扑结论限于单节点单输入集，不能直接当作通用生产结论。
技术文章 PlanetScale Blog 2026/08/17
本文介绍 PlanetScale 分布式数据库 Neki 中的数据拓扑概念。数据拓扑是一个 JSON 配置，将 PostgreSQL 逻辑表映射到物理分片，并为路由器提供查询路由所需信息。文章详细解析其三个构建块：分片索引（支持 hash、modulo、range 三种策略）、分片组（物理分片集合与路由键范围）和数据库绑定（遵循 PostgreSQL 的 database/schema/table 层级）。通过一个按 customer_id 对 customers 表分片的示例，展示了路由键如何计算并落到对应分片。文章还指出数据拓扑不管理物理分片，并在 resharding、表迁移等过程中动态更新。该文是 Neki 内部架构的说明，适用于理解分布式数据库的分片与路由设计。
推荐收录，因为文章以清晰的结构解析了数据拓扑这一分布式数据库关键机制，且来自有大规模运维经验的实际团队，配置抽象与路由策略可迁移到其他分片系统。适合数据库架构师、分布式系统开发者和对 Vitess/PostgreSQL 分片感兴趣的读者。主要风险是内容偏向 Neki 特有实现，但核心概念与分类仍有长期参考价值。
工程实践 The Consensus - Articles 2026/08/16
文章在单机三节点 Cassandra 6.0 预发布集群上，用记账转账负载对比四种事务方案的 ACID 表现：默认覆盖写、BATCH、轻量级事务（LWT/Paxos）以及基于 EPaxos 的 Accord 事务。作者用并发测试工具 Monastery 构造盲写与读改写两类负载，并区分单分区与跨分区场景，通过第三个读线程实时校验两账户余额恒为 2000。结论显示：默认写常违反隔离性；BATCH 在单分区提供原子与隔离，但跨分区只保证最终原子应用、不保证隔离，且客户端时间戳相撞时会按单元格取较大值导致总和错误；LWT 能实现单分区严格可串行化的条件更新，但条件批次无法跨分区。Accord 通过 transactional_mode='full' 首次提供跨分区严格可串行化事务，但作者在单分区并发读中观测到余额不变量被破坏，随后被 Apple 工程师确认是真实 bug。文章边界在于使用本地无故障环境、事务为非交互式、Cassandra 6 尚未正式发布。
收录理由是它用可复现的三节点实验逐项验证 Cassandra 从 BATCH、LWT 到 Accord 的事务语义边界，并附带集群搭建脚本、CQL 负载与失败证据（时间戳并列取大、跨分区条件批次报错、Accord 隔离性 bug）。适合分布式数据库研发、存储与共识协议方向读者，可迁移价值在于理解原子性、隔离性、可串行化在不同机制下的取舍，以及如何设计并发不变量测试来发现真实缺陷。
技术文章 Phil Eaton - distsys
文章讲解如何使用 Go 语言库 Porcupine 检查分布式系统的线性一致性（linearizability），以替代需要 JVM 的 Jepsen。作者先强调 Porcupine 只能帮助建立一致性信心，无法证明系统严格线性一致。随后以分布式寄存器为例，定义操作输入、整数状态和理想化 Step 模型，展示一个包含过期读的非法操作历史被 Porcupine 检测并生成可视化，再给出修复后的合法历史。接着扩展到分布式键值存储，用 map[string]int 建模并按 key 处理状态，进一步演示相同方法。最后指出示例未接入真实系统，并提示可通过状态分区提升性能、集成真实系统。
推荐收录，因为文章提供了完整可运行的 Porcupine 线性一致性检查教程，从模型定义到非法/合法历史验证，并明确工具的能力边界。对需要测试分布式一致性的 Go 工程师非常实用，可迁移到注册表、键值存储等场景，且绕开了 JVM/Jepsen 的学习成本。
学习路线 Phil Eaton - distsys
文章是 Phil Eaton 对分布式系统入门学习路径的简短总结。作者首先定义分布式系统为进程间交互的研究，强调其相对单进程系统在正确性、可靠性和性能上的新挑战。随后给出具体学习路线：精读《Designing Data Intensive Applications》并建议找同事或社群伙伴共读，同时跟进 MIT 6.824 分布式系统课程及其论文；实践方面推荐 Fly.io 分布式系统挑战，并列出从两阶段提交、三阶段提交到 Paxos、Raft、EPaxos 等由浅入深的实现项目。作者还分享了自己多次阅读 DDIA 的经验，指出无需等待多年经验即可开始学习，并强调掌握这些经典模块有助于避免开发中重复造轮子或实现有缺陷的自造方案。文章定位为入门指引，不涉及具体算法或协议细节，主要面向想系统学习分布式系统的初学者。
推荐收录，因为它为分布式系统初学者提供了具体、可执行的学习路线：经典书籍、公开课程和递进式实践项目组合清晰，并结合作者个人阅读经验与社群共读建议。适合希望建立分布式系统基础知识框架的开发者，可迁移价值在于帮助读者规避盲目学习或过早陷入复杂论文，直接获得经过验证的资源与项目顺序。
技术文章 Phil Eaton - databases
本文通过约600行Go代码构建了一个分布式Postgres概念验证，解释了CockroachDB背后的核心组件：Postgres线协议、SQL解析、Raft共识和存储层。作者使用pgproto3、pg_query_go、Hashicorp Raft和bbolt，实现了CREATE TABLE、INSERT通过Raft复制到各节点，SELECT在任意节点本地执行。文章演示了多节点启动、通过HTTP手动加入集群、故障切换和重启后数据一致性。同时指出方案仅支持少量SQL、快照被禁用、日志重放效率低、JSON存储不高效，并且只实现了复制而非分片或跨分片事务。这个教程展示了如何将成熟库组合成可运行的分布式系统骨架，适合理解分布式数据库基础结构。
推荐收录，因为文章以可运行代码完整演示了分布式Postgres的核心机制：用Raft复制写操作、本地执行读操作，并明确说明了简化与局限。适合想理解CockroachDB等NewSQL系统底层组成或动手实现分布式数据库原型的读者。其将成熟库组合为可扩展骨架的思路、无快照设计取舍和故障切换验证过程具有可迁移价值，但需注意SQL支持和性能远非生产级。
技术文章 Phil Eaton - databases
本文详细介绍用Go语言实现Raft分布式共识协议中领导者选举和日志复制两大核心组件，并构建其上分布式键值存储。作者从状态机与KV API入手，逐步实现持久化、RPC、选举超时、投票逻辑、日志复制与提交推进。文中强调按Raft论文图2建模状态，并给出二进制持久化优化、批量复制等工程取舍。实现约1000行，经过手动与压力测试，但未接入Jepsen，也未实现重配置和快照，且固定日志条目大小；作者明确声明不用于生产，仅用于学习。整体展示了从算法到可运行系统的完整路径，适合理解共识实现细节。
推荐收录，因为文章以完整Go代码和Raft论文为依据，系统讲解选举与日志复制，并明确给出测试情况与限制。适合想深入理解分布式共识实现、数据库复制或使用Raft库的工程师和研究者，可迁移用于实现类似协议或排查相关问题；主要风险是版本未经验证、缺少快照等生产特性。
技术文章 Phil Eaton - databases
文章用单文件 Go 代码演示如何基于 Hashicorp Raft 库构建一个最小分布式键值数据库，约 260 行，通过 HTTP API 支持 set/get 和 join 操作。作者从 Raft 背景出发，逐步实现状态机（Apply、Restore、Snapshot 空实现）、节点初始化（BoltDB 日志存储、TCP 传输）和 HTTP 接口，其中 set 通过 Raft 日志复制，get 直接读本地内存但不保证强一致。文章最后给出可运行的完整示例，并提示未实现快照、不支持删除、节点需手动加入且仅用于学习。整体内容清晰展示了 Raft 库的集成流程与关键注意点，适合分布式系统入门参考。
推荐收录，因为文章以完整可运行的最小示例展示了 Hashicorp Raft 库的端到端集成路径，对理解 Raft 状态机、日志复制和集群管理具有直接帮助。适合分布式系统初学者或需要快速上手的开发者，其简洁实现可作为进一步实践和扩展的起点；同时文中明确指出了快照、读一致性和生产约束等简化点，避免了误用。
技术文章 Phil Eaton - databases
文章系统介绍键值数据库（嵌入式如 RocksDB、LevelDB、PebbleDB，分布式如 FoundationDB、TiKV）在当代数据库系统中的重要性。作者从数据库可扩展性切入，解释存储引擎可替换如何帮助优化分析型或写密集型负载，并详细说明将 SQL 行映射为键值对的具体编码方法，包括表标识、主键和行标识组合及高效前缀扫描。文章梳理了可靠存储、嵌入式部署、高效前缀扫描等关键特性，并列举构建在这些存储上的多种数据库实例。最后区分了嵌入式与分布式键值数据库的架构差异，并指出非数据库开发者或非大规模场景可忽略存储层细节。
推荐收录，因为文章清晰梳理了键值存储在现代数据库架构中的核心作用，提供了 SQL 到 KV 映射的具体思路和真实数据库案例，适合想理解数据库存储层或构建数据库系统的开发者。它作为入门导览具有较好的长期参考价值，能帮助读者建立对存储引擎选型和架构分层的整体认知。
技术文章 Phil Eaton - databases
文章旨在建立对OLTP系统中分布式共识（尤其是Raft算法）的直觉。作者先解释Raft的基本机制：领导者选举、日志复制、提交和跟随者追赶，然后阐明分布式共识通过副本提供高可用和线性一致性，同时强调其本身并不提供水平扩展，水平扩展需通过分片实现。文章讨论了添加节点对延迟和可用性的权衡，并列举了实际优化技术，包括快照、批处理、磁盘/网络优化和灵活法定人数。此外还涉及安全与测试方法，如Jepsen、确定性测试和TLA+规格验证。最后指出共识开销大，应根据一致性需求选择合适方案。文章主要适用于OLTP系统，未深入非OLTP共识算法或具体实现细节。
推荐收录，因为文章用简洁直观的方式梳理了Raft在OLTP系统中的运作机制，并纠正了分布式共识常被误解为水平扩展的问题。作者从线性一致性、可用性、节点扩展、优化和测试等多个角度展开，既有理论直觉也有工程实践视角，适合分布式系统初学者和数据库工程师建立基础框架，同时为进阶读者提供了丰富的进一步阅读线索。
技术文章 Phil Eaton - databases
文章以 Delta Lake 论文和协议为蓝本，用约 500 行 Go 零依赖代码实现了一个受 Delta Lake 启发的 serverless ACID 数据库。核心是利用对象存储的原子 putIfAbsent 语义，通过不可变数据文件和带事务 ID 的元数据日志实现快照隔离。文中详细演示了基于 POSIX link 的文件系统原子写入、事务动作、内存行缓冲、数据对象刷新和扫描迭代器，并用两个并发测试验证写冲突与读快照行为。作者明确指出该实现仅支持建表、插入和全表扫描，未覆盖更新、删除、日志 checkpoint、压实等，且合并所有表的事务日志比 Delta Lake 更严格，带来更高写冲突。
推荐收录，因为文章不是泛泛介绍，而是给出了从对象存储原语到事务提交的完整可运行实现，并通过测试展示了并发读写的实际行为。适合想理解 Delta Lake、Iceberg 类事务机制或实现对象存储上最小 ACID 数据库的读者，其抽象接口和原子提交思路可直接迁移到教学或原型系统。主要边界是省略了更新删除等生产特性，单写者模型也限制了并发写能力。
技术文章 Phil Eaton - databases
文章提出事务并非存储系统的固有属性，而是一种可以在任意存储系统上实现的协议。作者引用 Delta Lake、Orleans 在云存储上实现事务，以及 Epoxy 在 Redis 等系统上提供事务的方案，并提到两阶段提交作为经典例子。文章进一步指出，即使 PostgreSQL、MySQL、SQLite 已内置事务，开发者也可以选择绕开并实现自己的事务层，如 Convex 所做。作者认为，在需要一致性、原子性和隔离性，尤其是跨数据系统构建应用时，应把事务协议视为系统设计工具箱中的一种工具。文章以观点阐述和文献导引为主，未深入实现细节与性能评估。
这篇短文以清晰的视角将事务定义为可移植协议，串联了多个数据库系统的实现案例，适合需要理解跨存储系统一致性或设计事务层的读者。其价值在于提供思维框架和进一步阅读线索，但内容较为概略，应作为入门索引而非实现参考。
技术文章 Phil Eaton - databases
文章系统介绍确定性仿真测试（DST）的核心思想：将分布式系统的多个节点运行在单线程中，通过注入受控的随机种子与时钟来消除非确定性，并在模拟中注入磁盘、网络和进程故障。作者用伪代码演示如何改造退避重试、文件读取和分布式节点等代码，说明需将随机源与时间依赖参数化，并限制为异步 IO。文章还讨论了实现中的非确定性来源、工作负载设计与模拟边界，指出 DST 并非万能，种子可复现性受代码变更影响。最后对比 Jepsen，强调 DST 虽不能替代生产验证，但能显著提高系统核心稳定性。
推荐收录，因为文章用具体伪代码和真实案例（FoundationDB、TigerBeetle、Antithesis 等）清晰解释了 DST 的原理、实现约束与局限性，不是泛泛而谈。适合分布式系统、后端和测试工程师理解如何通过受控随机与故障注入提高系统可靠性，同时避免对 DST 产生不切实际的期望。
工程实践 LinkedIn Engineering - Architecture
文章复盘LinkedIn消息系统从邮件式单体架构到全新架构的设计阶段。旧系统最初使用单一Oracle数据库和分片复制，消息量五年增长四倍后，产品向聊天体验演进但代码复杂度剧增，导致开发效率下降。作者提出产品与工程需求，特别强调迁移自定义业务逻辑需要近60个转换器，并决定将数据持久化拆分到多个服务以独立扩展，同时接受分布式事务代价。团队通过高层架构文档、设定设计原则和赋权技术负责人并行推进，制定正确性优先、构建正确、再求快等原则。文章还总结了迁移策略、异步处理、团队结构和项目组织方面的经验教训，但未深入具体实现细节。
推荐收录：这是LinkedIn真实消息系统重构的工程案例，包含从单体到分片再到新架构的演进、明确需求和设计原则，以及迁移与团队组织的教训。适合架构师、后端工程师和技术负责人参考大型系统重新设计、跨团队协作和数据迁移的可迁移方法。
工程实践 LinkedIn Engineering - Architecture
文章记录了 LinkedIn 的 “谁看过你的个人资料” 功能从 Lambda 架构迁移到 Lambda-less 架构的工程实践。原架构以近线 Kafka 处理为速度层、Hadoop MapReduce 为批处理层、Pinot 为服务层，但双管道导致业务逻辑重复、维护成本高和 bug 风险增加。迁移后，团队采用 Samza 作业统一处理 ProfileViewEvent 和 NavigationEvent，移除与流处理重叠的离线逻辑，仅保留一个离线作业将实时数据复制到离线表以优化查询性能和数据保留。文章重点讨论了流式处理中的消息可重处理性与去重策略，包括分场景修复错误、Kafka offset 回退，以及在服务层和通知层去重。最终，该迁移使开发速度翻倍、维护开销减半，并改善了用户体验，为面临类似架构冗余的团队提供了可参考的经验。
推荐收录，因为这是一篇真实的架构演进案例，详细展示了 Lambda 架构的实际痛点、简化决策过程以及流式处理中非幂等问题的应对方法。文中对 Samza、Pinot 的选型理由和去重策略有具体描述，对从事数据管道设计、流/批处理和分布式系统演进的后端工程师极具参考价值。需要注意的是，方案的选择与业务实时性要求紧密相关，直接照搬需评估自身场景。
工程实践 LinkedIn Engineering - Architecture
文章介绍LinkedIn数据基础设施控制平面Nuage的演进，从1.0单体自服务、2.0去中心化SDK到3.0以Nuage Resource Manager为中心的架构。3.0将横向控制平面能力与资源提供方业务逻辑解耦，通过API与数据模型契约、RBAC、搜索缓存、审计、异步工作流等实现统一治理。文中详述客户端交互、请求路由、数据治理与MCE联动、监控告警以及横向服务。并给出性能提升（如Espresso读P90从10秒降至3秒以下）、安全改善和MySQL接入成本降低70%等量化结果。适用边界是LinkedIn内部多平台环境，偏重架构与运营模式，未涉及具体代码实现。
推荐收录，因为文章不是概念介绍，而是完整呈现从单体到去中心化再到集中式资源管理器的工程演进，包含明确的架构约束、安全与性能权衡，以及70%接入成本降低、P90延迟改善等可验证数据。适合平台工程、数据基础设施和SRE团队参考，其资源提供者契约、RBAC、审计与异步工作流设计可迁移到类似控制平面系统，主要风险是LinkedIn内部细节较多，需结合自身规模判断。
工程实践 LinkedIn Engineering - Scalability
本文介绍 LinkedIn 自研图数据库 LIquid 如何支撑其经济图谱（2700 亿条边、200 万 QPS）的实时访问。文章以 People You May Know 功能为例，说明从遗留系统 GAIA 迁移到 LIquid 的架构：用声明式 Datalog 查询做图遍历，再由 Venice 和 Pinot 提供特征与排序。迁移后 QPS 从 120 提升到 18000，延迟降到平均 50ms 以下，CPU 降低 3 倍以上，并支持更细粒度、可解释的推荐和快速 A/B 实验。作者也指出当前同质化架构在数据规模扩大时的低效问题，以及未来分层存储与工作负载优化的方向。
文章以真实生产系统为例，提供了从离线批量到实时图查询的完整迁移路径和可量化性能结果，证据具体、架构清晰。适合关注大规模图数据库、实时推荐或高并发基础设施的工程师借鉴，其关于声明式查询、索引优化和成本控制的方法具有跨团队可迁移价值。
工程实践 LinkedIn Engineering - Scalability
本文介绍 LinkedIn 收入归因报告系统如何用加法对称同态加密（ASHE）替代逐行 AES 解密。原系统每次查询都从 Pinot 拉取全部相关记录、解密敏感列后在明文上聚合，导致网络和 CPU 开销大且暴露明文。新方案把 ASHE 加密列和标识符一起存入 Pinot，将聚合下推到存储层，利用 Pinot 内建聚合与 ArrayAgg 拼接标识符，API 服务器仅对每列聚合结果做一次解密。对于按敏感状态分组的查询，还结合确定性加密防止频率攻击。实际效果显示网络响应从 2MB 降至约 5KB（降幅 99%），CPU 尖峰缓解，端到端时延基本持平。方案适用于数据所有者与查询方为同一实体的场景，依赖支持聚合下推的 OLAP 存储。
推荐收录。文章提供了真实系统中同态加密落地的完整工程案例，包含原方案瓶颈、ASHE 原理、Pinot 集成细节、扩展方案和量化性能对比，证据充分。对需要隐私保护分析、加密数据聚合或优化 OLAP 查询的工程师有直接迁移价值，尤其展示了如何将密码学原语与存储层能力结合。
工程实践 LinkedIn Engineering - Scalability
文章介绍 LinkedIn 为替代 Kafka 而自研的可扩展日志存储系统 Northguard，以及其上的虚拟化发布订阅层 Xinfra。Northguard 通过分段、范围、主题的数据模型，基于 Raft 的动态分片元数据状态机（DS-RSM）和 SWIM 去中心化成员协议实现高可扩展性与可运维性。核心设计是以段为复制单元的日志条带化，自然均衡负载、避免资源倾斜，并论证范围模型相比固定分区能减少流处理中的 shuffle。评测对比显示 Northguard 在元数据可扩展性、集群数量、负载均衡、自愈、一致性和持久性上均优于 Kafka，且通过 Xinfra 虚拟化和双写实现了透明迁移。文章主要面向大规模日志存储和分布式系统工程，技术细节以高层设计为主，缺少底层实现参数和故障恢复的深入展开。
本文来自 LinkedIn 真实生产环境，规模达 32T 记录/天、17PB/天，详细展示了从 Kafka 迁移到自研系统的完整工程决策与权衡，包括数据模型、复制单元选择、元数据分片和虚拟化迁移。适合分布式存储、基础设施和架构师参考，尤其关注日志存储、自动负载均衡和大规模系统演进。其可迁移价值在于以细粒度分段替代整日志复制来改善可运维性和可用性的思路，但读者需注意文章未公开具体实现代码和完整故障处理细节。
工程实践 LinkedIn Engineering - Architecture
文章介绍了 LinkedIn 开源的新组件 iris-message-processor，用于替换原有 Iris 事件管理系统中单 leader 的 Python 子进程 iris-sender。旧架构串行处理消息、依赖 Galera 强一致数据库作为消息队列，在高负载下出现延迟激增和复制死锁。新服务用 Go 编写，采用分布式 bucket 动态分配，节点可水平扩展，数据库不再充当队列。压测显示高负载下性能提升约 86 倍，6000 条突发消息处理时间从近 30 分钟降至 10 秒内，节点失效后 30 秒内自动重平衡。该组件已生产运行一年无中断，并与现有 Iris-api 保持兼容，支持渐进式切换。
推荐收录，因为文章提供了从单点瓶颈到分布式架构的完整演进案例，包含明确的问题定位、设计取舍、压测数据和生产验证。对负责高吞吐消息处理、事件驱动系统或 on-call 基础设施的工程师有直接参考价值，特别是水平扩展、去数据库队列和渐进式上线策略可迁移到类似场景。
工程实践 LinkedIn Engineering - Scalability
文章介绍了 LinkedIn 为应对超大规模基础设施中“谁拥有什么资产”问题而设计的 Crews 所有权模型。作者首先分析了规模庞大、组织演进、人员流动、技术依赖复杂和多组织对齐等挑战，然后提出以稳定的团队 Crew 作为资产所有者的核心思路。该模型要求每个 Crew 有明确的责任经理、团队化所有权和唯一资产归属，并支持资产分组、Conventional/Virtual Crew 以及单树层级来保障升级路径。文中还讨论了推动落地的技术集成、组织对齐、数据质量策略和强制政策，并给出已覆盖 15 万关键资产、减少数万运维工单等效果。该方案更适合大型平台型组织，需要较强领导层推动和持续数据治理。
推荐收录，因为这是一线工程组织在超大规模场景下解决资产所有权问题的完整实践案例，提供了清晰的模型设计、实施约束和量化收益，而非泛泛的管理理念。适合平台工程负责人、基础设施团队和大型组织架构师借鉴；其将资产归属从个人转向稳定团队、用单树层级兜底升级的思路具有可迁移价值，但落地时需结合组织授权和数据治理能力。
工程实践 LinkedIn Engineering - Scalability
文章介绍了 LinkedIn 用 Rust 构建的通用检索引擎 FishDB，替换了运行近十年的 Java 系统 FollowFeed。文章首先分析了旧系统的局限：Java 对象内存开销大、GC 导致高尾延迟、数据模型僵化且业务逻辑耦合，限制了推荐系统的扩展和迭代。随后解释了选择 Rust 的原因，并通过对比实验展示 Rust 在内存效率上的显著优势。FishDB 采用 scatter-gather 架构和 lambda 架构，提供了灵活的命令式查询语言和多种索引结构，包括倒排索引、前向索引、引用索引和基于 RocksDB 的属性存储，以支持图状数据模型和高效过滤排序。迁移采用分层渐进方式，通过 JNI 桥接保持 API 不变，实现了零中断切换，最终取得 2 倍效率、减少 50% 硬件、p99 延迟 40ms 的成果，并将实验周期从数周缩短到数天。文章也指出当前查询语言仍为命令式，未来计划引入声明式语言和向量搜索。
本文是一份高度完整的工程案例，从问题诊断、技术选型、系统架构、索引设计到灰度迁移提供了详实细节和量化结果，展示了如何用内存安全的高性能语言重构大规模检索基础设施。适合负责推荐系统、搜索引擎、分布式存储或性能优化的工程师阅读，可迁移的经验包括内存数据结构设计、Rust 在服务端的应用模式、分层迁移策略以及如何平衡灵活性与性能。
工程实践 LinkedIn Engineering - Scalability
本文复盘了LinkedIn职位摄取系统的设计，该系统每日处理数百万职位、超20TB原始数据。文章先梳理异构源、传输协议、安全、数据新鲜度等挑战，再介绍模块化事件驱动流水线和Job Intake、Job Processing Pipeline两大阶段。重点阐述Job Pull的orchestrator与专用Mining Node分离、抽取逻辑配置化、AI辅助Sitemap创建，以及基于START/JOB/END状态机的Mining Task和优先级队列。处理层通过静态/动态Job Field Processor和pre/mid/post三层实现清洗、增强与校验，并通过multiplexing生成衍生职位。文章以配置驱动扩展、上游背压和让用户掌控平台为关键经验，但偏高层架构，未深入具体实现与性能数据。
收录的直接证据在于文章展示了从异构数据摄取到标准化处理再到发布的全链路架构，包括orchestrator/worker分离、配置驱动抽取、优先级队列和动态处理器等可迁移设计。适合分布式系统、数据平台或集成工程师借鉴，尤其对需要快速接入多源数据、控制上游负载和将定制能力下放给非工程团队的系统有启发。风险是偏高层描述，缺少细粒度实现和量化验证，但整体技术深度满足长期参考要求。
工程实践 LinkedIn Engineering - Scalability
本文介绍 LinkedIn 基于 cert-manager 构建的 Kubernetes 工作负载身份安全框架。系统通过 CSI 驱动将证书以只读卷挂载到容器，私钥仅存内存，并利用 Identity Registry 进行身份证明和签发，防止身份冒用。针对多集群和 25 万 Pod 规模，团队发现开源 approver-policy 无法满足 5 万并发 CertificateRequest 的 SLO（P95 60 秒），遂自研 lipki-controller 作为审批和签发器，并通过 API QPS/并发调优、分区 sharding 实现水平扩展。文章还介绍了 Kyverno 策略限制签发源、渐进式迁移和 Java/Go/Rust 认证库集成。测试显示 54K 请求审批与签发 P90 为 19.3 秒，但水平扩展目前仅用于容灾，尚未实现动态扩缩。
推荐收录。文章不是简单的工具介绍，而是完整展示了 LinkedIn 在超大规模 Kubernetes 集群中落地 cert-manager 的真实工程路径：从身份注册、CSI 挂载、Kyverno 策略到自研 lipki-controller，并给出 54K CertificateRequest 下 P90 19.3 秒的实测数据。适合负责容器平台安全、PKI/证书生命周期、服务网格 mTLS 或大规模 Kubernetes 运维的工程师借鉴，其控制器调优、分区 sharding 和渐进式迁移策略具有可迁移价值；主要边界是 LinkedIn 内部系统和规模假设，且水平扩展暂仅用于容灾。
工程实践 LinkedIn Engineering - Scalability
文章介绍了LinkedIn Hiring Assistant中基于语义搜索的AI代理检索与排序系统MUSE。面对自然语言招聘查询与十亿级会员画像的匹配问题，团队构建了LLM-as-a-judge驱动的教师模型，生成海量资格匹配标签，训练双塔Transformer嵌入模型，并采用Matryoshka嵌入同时服务检索与排序。生产系统采用Lambda架构，结合批量重建与CDC增量推理，通过IVFPQ索引和优化管道实现亚秒级检索。离线回放与在线A/B测试表明，MUSE提升了候选相关性和招聘者参与度，但近似检索与后过滤的损失叠加仍是后续优化方向。
本文详细披露了LinkedIn大规模语义搜索系统的设计与实现，覆盖教师监督、双塔嵌入、十亿级向量检索和在线评估等关键环节，技术细节丰富且可验证。适合搜索推荐、AI基础设施和MLOps方向的工程师参考，其Matryoshka嵌入分层服务、CDC增量更新和IVFPQ优化等实践可直接迁移到类似规模系统。
工程实践 LinkedIn Engineering - Scalability
文章详细介绍了LinkedIn为保障Hadoop集群安全而对其LDAP/Kerberos基础设施进行的现代化改造。旧架构存在单点故障、手工运维繁琐、缺乏测试环境等问题，团队构建了全新的多主复制集群，通过四主节点星型复制、三hub冗余、HAProxy负载均衡和自动故障转移消除了单点故障，并将部署、证书刷新等操作集成到标准部署栈中实现自动化。迁移过程采用先读后写、跨集群复制同步、延迟监控和1分钟TTL的DNS切换，实现了零事故切换和可回滚。文章还说明了GSS-API与负载均衡结合的DNS约束，以及避免双写的一致性考量，适用于大规模分布式系统认证基础设施的演进参考。
推荐收录，因为文章提供了完整的大规模LDAP/Kerberos基础设施迁移案例，包含真实的单点故障痛点、多主复制架构设计、自动化运维改造和零停机迁移方法，证据具体且可迁移。适合负责安全认证、分布式系统高可用或基础设施现代化的工程师参考，特别是面对类似目录服务、Kerberos或负载均衡部署的团队。
工程实践 LinkedIn Engineering - Scalability
文章介绍了LinkedIn在管理约5EB数据和100亿对象的HDFS集群时，如何通过重新设计块放置策略来加速维护操作。默认BPP在维护时会导致大量数据复制和网络拥塞，而采用升级域BPP并定义20个升级域，将同一机架节点归入同一升级域，可以消除维护时的数据复制需求。文章详细描述了对3+EB存量数据进行分批再分布的过程，以及发现开源升级域BPP的写性能问题并开发新BPP排除已选升级域节点的改进。最终实现了每天升级约4.5%节点，显著提升了可靠性和安全性。
推荐收录，因为文章提供了真实超大规模HDFS集群维护中的完整工程案例，包含问题定义、架构取舍、数据迁移方案和性能优化细节，证据充分。适合负责分布式存储、大规模基础设施或HDFS运维的读者参考，其中升级域划分、利用维护模式减少复制和分批迁移的策略可直接迁移到类似系统。
技术文章 SelectDB 技术分享
文章系统解析了 Apache Doris 4.1 的 Spill to Disk 机制，用于避免哈希关联、聚合、排序等内存密集型查询触发 OOM。核心增强包括核心算子全覆盖、递归重分区应对数据倾斜，以及基于内存压力感知的主动落盘触发。文章详细说明了由控制层、算子层、基础设施层和内存管理层组成的统一架构，以及预留、暂停、落盘、恢复四阶段流程。针对 Hash Join、Aggregation、Sort 分别给出了化整为零、临时状态落盘和外部归并排序的具体实现策略。基准测试显示，在单 BE 16GB 内存下运行 TPC-DS 10TB 查询，复杂查询全部完成且内存被控制在 8GB 以内，部分场景落盘数据量超过 1000GB，验证了以磁盘 I/O 换取内存空间的可行性。当前 Intersect/Except 算子暂不支持直接 Spill，需要通过等价 Join 改写。
推荐收录，因为文章不仅介绍功能，还深入解释了内存压力感知、算子级落盘策略和统一架构设计，并给出了可验证的基准测试数据。对从事数据库内核开发、性能调优或超大规模分析查询的读者具有直接参考价值，其“预留-暂停-落盘-恢复”的资源控制方法和外部归并排序等思路也可迁移到其他内存受限的查询引擎中。
工程实践 TiDB 社区博客 - 实践案例 2026/08/13
文章复盘学科网阅卷系统从 MySQL 迁移到 TiDB 的实践，背景是业务具有峰谷特征、单机 MySQL 主备集群出现容量与性能瓶颈，同时研发资源有限无法改造代码。作者详细说明选型 TiDB 的关键理由：高度兼容 MySQL 实现零代码迁移、在线 DDL 不阻塞业务、弹性扩缩容适配流量波动、Raft 多副本保证数据强一致。迁移采用分批策略，优先将大表和主从延迟严重的表迁入，收益包括缓解并发压力、消除切换数据不一致风险、节省磁盘空间并避免分库分表改造。文中还总结了扩容规划、小表热点处理、低峰版本升级和索引优化等运维经验。该方案尤其适合教育行业等需要兼容 MySQL 且短时高并发的场景，但需注意跨 AZ 缩容的数据分布和热点小表的处理。
推荐收录，因为文章提供了真实业务约束下的数据库选型、迁移和运维全过程，包含零代码改造、在线 DDL、强一致、扩容规划、小表热点等具体细节，不是泛泛的技术宣传。适合数据库架构师、SRE 以及教育行业技术负责人参考，其“先兼容迁移、争取时间”的平滑演进思路可迁移到其他受限于 MySQL 单机瓶颈且短期无法大改代码的团队。
工程实践 JuiceFS 工程技术 2026/08/13
本文系统比较了GPFS、Alluxio和JuiceFS三种存储系统在AI工作负载下的架构与适用场景。作者首先梳理了自动驾驶、LLM训练、多模态、计算平台、量化金融和AI代理等场景的I/O特征与存储挑战。随后深入分析GPFS的元节点和分布式令牌锁机制，说明其强一致性与高性能依赖稳定网络和硬件，运维复杂；JuiceFS采用元数据与数据分离架构，结合对象存储实现弹性和成本优势。性能测试显示GPFS在高并发随机读写和顺序写方面领先，JuiceFS在低深度随机读和写回缓存下有竞争力。对Alluxio与JuiceFS的比较则突出透明缓存层与完整文件系统的定位差异。文章来自JuiceFS官方，存在厂商视角，但提供了具体测试数据和架构权衡，适合存储选型参考。
推荐收录，因为文章详细对比三种主流AI存储系统，包含具体性能测试数据和架构机制解析，而非单纯产品宣传。适合从事AI基础设施、存储选型、分布式系统设计的工程师和架构师参考。可迁移价值在于提供了评估存储系统的维度：I/O模式、一致性、缓存策略、成本与运维；主要风险是厂商立场可能对自家产品有所偏重，阅读时需结合独立评估。
工程实践 TiDB 社区博客 - 实践案例 2026/08/13
文章围绕TiDB集群在元数据和管理信息完全丢失、仅保留TiKV数据文件情况下的恢复策略展开。作者以测试环境模拟案件取证场景，先通过TiKV日志提取原集群的Cluster ID，然后销毁原有集群与tiup元数据，重新部署相同版本TiDB集群，并将TiKV数据目录指向物理拷贝路径。随后修改last_tikv.toml中的日志、数据、raft等路径，使用pd-recover工具重置Cluster ID，最后启动集群并验证各组件状态。该方法适用于TiDB v6.1.0环境且TiKV数据完整、PD元数据不可恢复的场景。文章给出了具体命令和配置修改项，但未深入解释pd-recover原理、数据一致性验证细节及操作风险，整体更偏向可复现的操作记录。
推荐收录，因为文章提供了一个具体且可复现的TiDB灾难恢复案例，尤其适合运维人员或数据库管理员在元数据丢失时参考。文中的操作步骤、配置修改和Cluster ID恢复方法具备可迁移性，但需注意版本差异和数据一致性风险，建议结合官方文档使用。
工程实践 Xe Iaso 2026/08/11
本文深入探讨了在全球分布式、主动-主动复制对象存储系统中实现软删除的挑战与方案。作者分析了传统墓碑标记在跨区域删除-更新时序冲突时导致数据复活的问题，并设计了将对象元数据移至独立命名空间（类似回收站）的软删除机制，保留垃圾回收根以避免误删后数据丢失。文中详细描述了反复活策略：任何写入必须证明时间戳严格晚于删除记录，否则被丢弃，以此保证分布式一致性。文章还对比了S3的删除标记实现，展示了Tigris的API用法，并指出该方案适用于需要抗误删、防勒索和代理安全场景，但反复活逻辑增加了写入验证开销，且恢复操作需客户端显式调用。适用边界在于依赖底层不可变追加存储，且需预先启用软删除特性。
推荐收录。本文不是简单的API介绍，而是从分布式系统时序冲突的根本难题出发，完整展示了软删除与反复活机制的设计逻辑、实现细节和工程取舍。对构建跨区域数据持久化、设计类似回收站功能或处理最终一致性问题的工程师有直接参考价值，其中的元数据分离和写前检查模式可迁移至其他键值存储或数据库系统。
工程实践 TiDB 社区博客 - 实践案例 2026/08/10
文章记录了永康市卫健委全民健康平台为解决业务高峰负载过高与容灾需求，采用平凯数据库物理复制能力进行架构改造的实践。改造将主集群专注核心事务，备集群承担报表查询等读操作和容灾角色，实现读写分离。上线后故障切换低于15秒且数据零丢失，系统负载下降，运维操作秒级完成。文章解释了物理复制基于日志实时同步所有数据库对象，支持最大保护、最大可用、最大性能三种模式，并与 TiCDC 逻辑复制对比，指出物理复制适合集群级容灾和读写分离，逻辑复制适合异构同步与数据管道。实际指标依赖网络拓扑和负载，且相关能力仍在演进。
推荐收录，因为文章提供了真实医疗场景下的数据库高可用与读写分离改造案例，包含明确的问题定义、技术选型依据、实施效果和方案对比。适合关注核心系统容灾、分布式数据库选型或架构优化的读者。可迁移价值在于展示了物理复制在强一致需求下的应用边界，但需注意厂商案例可能带有一定推广成分。
工程实践 Netflix TechBlog 2026/08/07
本文详细介绍了Netflix实时分布式图（RDG）的查询服务层设计，阐述如何在高吞吐、低延迟要求下高效查询包含数十亿节点和边的图。文章首先分析了浅宽与深窄两类查询场景的挑战，随后说明广度优先遍历、异步优先架构、选择性缓存等关键设计决策及其取舍。接着以具体查询为例，逐步展示请求解析、存储读取、层次化遍历、并行执行、智能过滤和缓存等环节的实现与优化。最后给出系统性能指标（P50/P99延迟、缓存命中率）和经验总结，强调前沿思维、尽早过滤、有界并行和缓存策略等通用原则。其方法适用于高并发、IO密集型的分布式图查询系统，但一致性模型为最终一致，且依赖特定内部存储。
本文是Netflix技术博客的深度工程案例，展示了在真实约束下构建高性能图查询层的完整思考过程，包含具体的设计权衡、量化效果和可迁移原则。适合分布式系统工程师、架构师以及需要处理图数据查询的开发者参考。文中的广度优先遍历策略、异步执行模型和智能缓存方法可直接应用于类似的大规模在线服务场景，有效降低延迟和资源消耗。
工程实践 TiDB 社区博客 - 实践案例 2026/08/07
文章记录了在 openEuler 22.03 SP4 国产化操作系统上部署 TiDB v8.5 的完整实践过程，包括 TiUP Playground 快速测试和 TiUP Cluster 单机模拟生产两种方案。作者详细列出了与官方 CentOS/RHEL 文档差异导致的典型问题，如 bash_profile 环境变量不生效、Playground 监听 127.0.0.1、openEuler 默认 MaxSessions=10 导致 SSH 并发连接失败、禁止 root 运行 TiDB 进程、防火墙端口放行、随机密码保存等，并给出对应解决命令。随后使用 Sysbench 进行只读和读写混合压测，复现了读写混合场景下的锁等待超时故障，分析了热点索引页、乐观事务冲突等成因，并通过调整隔离级别、增加 TiKV scheduler-concurrency、使用 --skip-trx 等方法缓解。文章适用于国产化环境部署 TiDB 和初步进行基准测试与故障排查的读者，但部分建议需根据实际业务场景谨慎采用。
推荐收录，因为它是真实环境下的部署与压测案例，覆盖了国产操作系统与分布式数据库兼容性问题、SSH 并发限制、权限管理等工程约束，以及基于 Sysbench 的锁等待故障分析。适合需要在 openEuler 等信创系统上部署 TiDB 或学习分布式数据库基准测试和初步排障的工程师，文中命令和排查路径可直接迁移到类似环境。主要风险是部分优化建议如降低隔离级别需结合业务正确性验证，不宜直接照搬生产环境。
工程实践 vLLM Blog 2026/08/07
文章介绍 vLLM 的 Decode Context Parallelism（DCP）如何服务长上下文与 agentic 推理。传统张量并行按注意力头切分 KV cache：GQA 受 KV 头数限制，MLA 只有单一 latent KV 头，因此超出后 KV cache 会在 TP rank 间复制，挤占显存并限制并发。DCP 改为按序列维度切分 KV cache，每个 GPU 只保存一段 token 的 KV，并通过 AllGather Q、本地 attention 计算、AllGather+ReduceScatter 与 LSE 在线 softmax 合并局部结果。在 8×B200 上用 Kimi K2.6 NVFP4 与长上下文 agent trace 实测，基线 TP 在并发 64 触顶约 1863 tok/s/GPU，DCP 可扩到并发 512、约 6091 tok/s/GPU，并在 200k+ 序列保持稳定。文中给出 MLA/GQA 的启用方式与并行度约束，也指出其依赖高带宽 GPU 互联，对 MTP、推测解码和 P/D 分离等支持仍在演进。
推荐收录：文章用可复现的 8×B200、Kimi K2.6 NVFP4 和 64K–1M agent trace benchmark，量化了 DCP 相对 TP 在并发与吞吐上的收益，并解释了 MLA/GQA 下 KV cache 复制机制、DCP 通信流程与并行度约束。适合 LLM 推理基础设施、长上下文服务和推理优化方向的读者参考；其按序列切分 KV cache 并用 LSE 合并局部 attention 的思路可迁移到其他推理引擎，但部署时需评估高带宽互联依赖以及 MTP/推测解码等尚未覆盖的边界。
工程实践 Xe Iaso 2026/08/06
文章以 Tigris 对象存储实现 AWS SigV4 鉴权协议的过程为线索，详细拆解了签名机制表面简单实则复杂的本质。核心方法包括请求规范化、基于 HMAC-SHA256 的四层密钥派生链，以及利用 X-Amz-Date 和时钟偏差窗口抵御重放攻击。重点介绍了 TAG 本地加速网关如何通过派生签名密钥的代理机制，在不持有完整客户秘钥的情况下完成鉴权，从而避免每次请求都回源云服务。文章还讨论了 SigV4a 不对称加密方案与时钟同步、TLS 依赖性等边界条件，揭示了协议设计中被忽视的中间值作用域和工程权衡。
本文不是简单的协议教程，而是基于真实工程案例的深度技术挖掘。它从规范文档到代码实现，再到生产级缓存网关的密钥代理设计，完整展示了面对对称密钥鉴权时的复杂性思考和折中方案。适合从事 API 设计、安全鉴权、云存储或本地加速网关开发的后端工程师与系统设计者，文中关于派生密钥作用域限制和协议弹性的设计思想可直接迁移到类似分布式鉴权场景。
工程实践 Salesforce Engineering 2026/08/05
Salesforce内部可观测平台Argus需处理每分钟40亿指标，原单区域架构导致全局可用性风险及高昂的数据传输成本。团队采用地理本地化策略，将指标就近处理和存储，避免全量复制，并通过联盟查询层与Elasticsearch元数据映射实现智能路由，仅查询数据所在区域，减少跨区域开销。同时引入HTTP 206部分响应和UI提示来处理部分地域不可用，保障用户体验。文章还介绍了通配符查询的元数据缓存优化，以及持续容量规划和架构审查来维持隔离边界。该方案已在五个生产区域中的四个上线，显著降低爆炸半径，但跨区域延迟和流量成本仍为后续关注点。
这篇工程案例详实记录了如何将单区域可观测平台迁移到多地理架构，解决全局不可用风险并控制成本，包含查询联邦、部分失败处理和元数据缓存等关键设计，为构建高可靠、大规模可观测系统的团队提供了可复用的架构思路和实践参考。
工程实践 Meta Engineering 2026/08/03
本文介绍了Meta如何将广告推荐基础模型GEM的训练规模提升至LLM级别，并在12个月内将端到端训练效率提升一倍至20-25%模型算力利用率（MFU），同时训练算力规模扩大4倍。文章从计算效率和扩展效率两个维度分别展开：计算效率通过定制化推荐内核库（Jagged Flash Attention、Generalized Dot-Product Attention、BlockAttention）和混合超低精度训练（MXFP8注意力与MLP）实现；扩展效率则依靠拓扑感知的5D并行策略（2D FSDP加专家并行处理稠密参数，全分片2D模型并行处理稀疏参数）配合SM-free通信、自动激活检查点及序列长度感知负载均衡。所提方案针对推荐系统特有的变长序列、非对称交互和数值敏感性等挑战进行了专门设计，其方法论和具体技术对大规模推荐模型训练具有参考价值，但部分优化（如内核定制）与特定GPU架构强相关，迁移时需适配自身硬件和数据特性。
本文是真实的工业级工程案例，完整展示了在数千GPU上训练万亿参数推荐模型的全栈优化过程，涵盖内核、精度、并行、网络和内存的协同设计，而非孤立技巧罗列。适合负责大规模深度学习训练、推荐系统基础设施或GPU性能优化的工程师，可迁移价值在于其将MFU分解为计算效率和扩展效率的分析框架，以及针对混合架构和变长数据的特定解决方案，对类似规模系统的构建与调优具有直接借鉴意义。
工程实践 PlanetScale Blog 2026/07/31
文章详细介绍了 PlanetScale 如何对分片 Postgres 数据库实现大规模并行备份。核心方法是：每个分片临时启动独立 EC2 实例，从 S3 恢复前次备份，再通过混合回放 WAL（先 S3 后直接从主库拉取最近几分钟日志）将备份追齐到当前状态，最后加密上传到 S3。文中还解释了初始备份的特殊处理、这种并行架构带来的备份速度优势（如 32 TB 数据库在 8 分片下仅需约 2.8 小时），以及备份在数据库扩缩容和节点故障替换中的实际工程用途。文章面向数据库基础设施工程师，展示了如何在降低生产影响的前提下实现快速、一致的备份，但其方案强依赖云环境与 PlanetScale 自研组件，迁移时需适配。
推荐收录，因为它不是泛泛的介绍，而是给出了一个真实工程系统的完整备份流程，包括架构取舍（用临时节点隔离生产影响）、混合 WAL 回放策略和可量化的并行加速效果。对负责大型数据库运维、备份恢复系统设计的工程师来说，文中的临时节点编排、S3 与主库混合回放、分片并行思想等有直接迁移价值，即使具体技术栈不同。
技术文章 Kubernetes Blog 2026/07/29
本文深入剖析了 controller-runtime 缓存的内部机制，解释了为何控制器不会压垮 API 服务器。核心原理是：r.Get 和 r.List 并非直接查询 API 服务器，而是读取由 Reflector 通过 list+watch 构建、存储于 Indexer 的本地内存副本；写操作则直接发往 API 服务器，并通过 watch 异步反馈到缓存。文章详细拆解了 DeltaFIFO 的有序分组与去重、workqueue 的 key 级合并、索引器如何提供类 SQL 的快速查询、选择性缓存及 Transform 等内存优化策略，并列举了读后写期待、共享对象突变、resync 误解等常见误区。全文基于 client-go 原语，提供了从启动阶段到生产调优的完整心智模型，适用于已经编写 Go 控制器但希望深入理解其行为以避免生产意外的工程师。
推荐收录。文章深入揭示了 controller-runtime 缓存的底层模型和常见误区，为 Kubernetes 控制器开发者提供了可迁移的内部视角和防错指南。内容覆盖了从原理、设计取舍到实战优化的完整链路，长期计算参考价值显著，尤其适合需要在高负载集群下保障控制器稳定性和性能的工程团队。
工程实践 Marc Brooker 2026/07/29
本文从成本和容量角度切入尾部延迟分析，通过Lorenz曲线量化不同百分位延迟对平均延迟的贡献比例，并结合Little法则说明这一比例同时对应系统并发所占份额。作者提供了基于分位数向量的数值计算方法，并讨论了插值假设和尾部帕累托外推的局限性。文章指出，在许多服务中p99及以上延迟可能贡献超过一半的平均延迟和并发寸，因此优化尾部能显著降低容量需求、锁争用和成本，而不应简单截断。这一视角将延迟分析从用户体验延伸至系统经济性，适合拥有可观测性指标的工程团队。
推荐收录。文章不是泛泛谈论尾部延迟的重要性，而是引入了Lorenz曲线这一经济学工具提供量化框架，并通过Little法则建立延迟与并发成本的直接关联，给出了可复用的计算方法和工程洞察。对于需要平衡服务性能与基础设施成本的后端工程师、SRE和架构师来说，该思路可直接迁移到容量规划和瓶颈识别中，具有长期参考价值。
工程实践 知乎 - SmartCode 得物技术 2026/07/28
文章系统介绍了得物推荐评测平台的完整技术方案，针对推荐系统中新颖性、相关性等主观体验指标难以量化、反馈周期长和审计成本高等工程痛点，构建了基于大模型的全自动评测流水线。平台通过可视化提示词工程、多模型动态配置与人机协同校验机制实现评测标准一体化管理，保证评测一致性在 92% 以上；工程层面采用 CAS 无锁分布式调度、三阶段断点续传和动态并发控制，支撑单周百万级评测任务，并通过按需触发、模型分级和采样精控将成本降低 91%。文章还展望了向多维度体验评测和全天候 Agent 自动巡检的演进方向，提供了从业务问题到工程落地的完整实践参考。
作为工业级推荐评测平台的工程实录，文章将业务痛点、系统架构、工程技巧和成本优化有机串联，尤其在分布式调度、大模型评测流水线和人机协作校验方面给出了可复用的实现细节。适合推荐系统工程师、AI 基础设施团队和关注自动化评测的建设者，可迁移用于类似主观指标量化、高吞吐低成本的评测系统设计。
工程实践 Salesforce Engineering 2026/07/27
文章以 Salesforce Agentforce Grid 为案例，深入剖析从 AI 原型转向生产系统时面临的分布式执行挑战。作者指出，生产 AI 的核心问题不是模型行为，而是如何让智能在长时运行、部分失败、部署重启、重试和输入变化中保持可靠。文章提出通过持久工作流将执行状态与工作线程生命周期解耦，并围绕可恢复的工作单元划分、执行状态持久化、重试边界对齐恢复边界、分层进度可见性等设计决策展开讨论。内部测试显示，迁移到 Temporal 后，高负载下失败率从约 90% 降至 0%，P95 完成时间缩短约 60%，验证了该架构的有效性。文章适用于涉及大规模批量推理、多步 Agent 或工具调用的 AI 工程场景，但数据来自内部环境，外部应用需独立验证。
推荐收录，因为文章基于真实生产系统，完整呈现了从问题识别到架构演进的工程决策过程，提供了可迁移的工作单元划分、状态持久化与重试设计原则。适合从事 AI 工程化、大规模分布式推理和可靠工作流编排的工程师与架构师阅读，能直接帮助读者在类似系统中避免“重跑全部任务”的陷阱，提升整体可靠性。
科研议题 知乎 - 微软亚洲研究院 2026/07/22
本文介绍了微软亚洲研究院在OSDI 2025入选的两篇论文。第一篇针对区块链共识协议的排序公平性问题，借鉴机会平等理念，定义了ε-排序平等和Δ-排序线性化两个可量化属性，并设计秘密随机预言机与Bercow协议，通过调整随机噪声强度在公平性和时效性之间取得可控平衡，实验表明能显著降低地理偏差和抵御三明治攻击。第二篇针对操作系统内核中编译期常量导致性能潜力未释放的问题，提出Xkernel，支持在运行内核中动态修改固定性能决策，其核心的Scoped Indirect Execution (SIE) 机制通过二进制差分和符号执行推导常量表达式，实现安全、有作用域、毫秒级生效的参数替换，性能调优可提升数倍，并具备让AI agent安全操作内核参数的潜力。两篇工作从不同层面展示了系统设计的创新，为分布式公平性和内核可调性提供了理论与工程参考。
文章对OSDI顶级会议的两篇系统领域论文进行了深度解读，覆盖问题动机、方法创新和实验验证，为分布式系统公平性和操作系统内核动态调优提供了清晰的理论框架和工程路径。对从事区块链、分布式系统、操作系统性能优化的研发人员和研究者具有直接的参考价值，文中提出的机会平等排序机制和SIE内核调优方法具备可迁移的设计思路，是计算机系统方向高质量的长期参考内容。
工程实践 Marc Brooker 2026/07/19
Marc Brooker在这篇博客中介绍了Aurora DSQL论文，重点阐述了系统的整体目标：构建一个简化应用构建与运维、无需关心规模与可靠性的关系型数据库。文中强调了架构解耦的设计思想，将查询处理、事务、复制和控制面拆分为独立服务，并总结了来自Aurora与DynamoDB等系统的运营教训，如避免大缓存、提供强一致可扩展读、将昂贵操作下推到存储层。作者还讨论了乐观并发控制（OCC）在避免客户端阻塞和减少尾延迟方面的优势，以及多区域场景下的快速读写能力。博客最后指出，硬件与数据中心设计的进步使得强一致性成为更优选择，并提供了论文链接供进一步阅读。
作为Aurora DSQL系统的核心设计者之一，作者以第一视角提炼了论文的关键设计决策与运营经验，浓缩了现代分布式OLTP数据库的核心理念。文章对解耦架构、一致性选择、多区域扩展等问题的论述既权威又简明，适合分布式系统工程师、架构师及关注数据库技术演进的研究者快速获取全局认知，其总结的教训可迁移至其他大规模系统设计。
技术文章 PlanetScale Blog 2026/07/15
文章从数据库扩展瓶颈出发，解释了单节点和只读副本在写入吞吐、数据容量和备份速度上的局限，进而说明为何分片是超越数TB数据的必需方案。以存储1PB数据、跨越256个分片共768台服务器的场景为例，文章重点阐述代理层如何通过查询解析、路由规划和连接池，将众多分片对外表现为单一数据库。文中介绍了基于哈希的分片策略、JSON拓扑配置，并给出从应用经网络负载均衡到代理再到分片的完整数据流。文章主要提供架构层面的概览与工具选择（Neki for Postgres、Vitess for MySQL），而非深入实现细节，适合正在规划数据库扩展的工程师建立整体认知。
该文以清晰的架构图和具体规模为例，系统梳理了数据库分片的核心挑战与代理层设计，对理解分片系统的整体运作有实际参考价值。适合需要应对数据量增长的研发、DBA和基础设施工程师，可迁移的分层架构与路由思想能直接指导技术选型和方案设计。
工程实践 Yelp Engineering 2026/07/14
本文介绍了Yelp为统一机器学习模型训练而构建的Training Orchestrator系统。面对多团队使用各自Spark训练脚本、配置分散、代码重复和维护成本高的问题，Yelp核心ML团队在已有特征存储、统一训练库、MLflow等工具的基础上，设计了一套标准化的训练编排层。该平台提供了统一的作业调度、工作流执行和监控机制，将模型训练任务抽象为可复现的流水线，并与Spark和MLflow无缝集成。文章还讨论了系统架构的权衡、对团队效率的提升以及适用范围（主要服务于基于Spark的训练场景）。
推荐收录，因为该文不是泛泛的MLOps概念介绍，而是基于Yelp真实工程需求，详细展示了从分散脚本到统一训练平台的架构演进。文中对训练编排、与现有ML基础设施集成的设计权衡，以及规模化运营的考量，对正在构建或优化内部ML平台的数据与工程团队具有直接参考价值。其可迁移经验包括如何通过平台化手段降低维护成本、提升模型训练的一致性，但需注意其方案强绑定Spark生态。
工程实践 Netflix TechBlog 2026/07/13
本文详细介绍了Netflix构建实时服务拓扑系统的完整工程历程，涵盖架构设计、生产环境挑战与持续优化。系统采用流式优先的三阶段分布式聚合流水线，结合反向压力、动态一致性哈希和时间窗口聚合器，实现了对网络流日志、IPC指标的高吞吐处理与历史拓扑查询。文章重点分析了Kafka消费滞后、热点节点、内存与GC压力、响应式流复杂性等关键问题，并通过重分布、使用可变数据结构替代不可变对象、更换通信协议等务实手段解决。作者强调，在超大规模下测量驱动迭代优化比遵循教条更重要，同时也指出了响应式流心智模型的高成本。该案例为构建大规模分布式数据流水线提供了可迁移的架构模式与性能调优经验，但部分技术选型需结合自身场景评估。
本文收录理由在于它提供了从0到1构建大规模服务拓扑系统的完整工程案例，而非浅层介绍。作者坦诚分享了架构权衡、失败教训和优化方法论，对分布式系统、流处理和可观测性领域的工程师有直接参考价值。可迁移的核心经验包括多阶段重分布解决数据倾斜、背压实现优雅降级以及性能优化时的务实取舍，但采用时需结合自身规模与技术栈做适配。
工程实践 美团技术团队
本文介绍美团万亿参数大模型 LongCat-2.0 在国产算力集群上的推理优化与开源实践。面对国产芯片显存、带宽和互联受限的挑战，团队从模型架构（LongCat 稀疏注意力、ScMoE 核心级并行、N-gram Embedding）、芯片适配（Super Kernel、Weight Prefetch、KV-cache 传输）和部署策略（PD 分离、EP 负载均衡、多推理特性适配）三个层面进行深度协同优化，实现了百万级上下文的高效推理。此外，模型通过多教师在线蒸馏和 MOPD 架构融合了 Agent、推理与交互能力。文章指出，该方案已在真实 Agentic Coding 任务中稳定运行，验证了国产芯片承载复杂大模型的可行性，并通过开源提供可复现的技术路径。
推荐收录，因为本文详细展示了在显存与带宽受限的国产硬件上部署万亿参数大模型的完整工程方案，包括模型、芯片适配和部署多个层面的协同优化，有明确的技术细节、架构取舍和验证结果。对于从事大模型推理优化、国产算力适配或大规模分布式服务的工程师，文中的稀疏注意力、ScMoE 算子融合、PD 分离部署和 EP 负载均衡等实践具有直接的迁移价值，也体现了在约束条件下进行系统设计的工程思维。
工程实践 知乎 - 腾讯技术工程 2026/07/13
本文以腾讯内部超大规模集群为背景，详细阐述了 K8s 与 Ray 的协同设计原则与工程实践。文章从大模型时代 AI 基础设施技术栈的演进切入，论证了 Ray 在多模态数据处理和强化学习场景中相比传统计算引擎的调度优势，并深入分析 Ray 如何通过进程级细粒度调度满足异构资源、动态分配、高容错等需求。在此基础上，重点介绍了腾讯解决跨 K8s 集群部署的联邦架构演进过程（从 Virtual Kubelet 到原生联邦），以及跨层弹性调度和自动化容灾等协同设计，最终实现了支持万卡规模的统一异构资源调度和训练稳定性提升。文末展望了更原生的联邦架构和通用分布式底座方向，对大规模 AI 平台的构建具有直接参考价值。
收录理由：文章提供了真实工业场景下 K8s+Ray 协同设计的完整工程案例，包含问题分析、方案对比、架构演替和关键决策细节，具备清晰的可迁移性。适合从事 AI 基础设施、分布式调度和云原生平台建设的工程师和架构师参考，能够帮助理解大规模异构算力调度的核心挑战与解决思路。
技术文章 知乎 - 木鸟杂记 2026/07/12
文章以“意象”和“隐喻”视角，将滑动窗口这一经典工程概念串联到TCP可靠传输（停等、GBN、SR协议）、LeetCode字符串处理（无重复最长子串、最小覆盖子串）、Raft共识算法（同步窗口与应用窗口）以及流式数据调度等多个计算机领域。作者以个人学习与工作经历为线索，逐步揭示滑动窗口的核心结构：序号机制、有限视图和单调移动，并强调其“以有限应对无限”的设计哲学。文中对每个场景的推导过程、关键细节和工程取舍均有说明，尤其点出双指针维护窗口、计数器表达视图等共通技巧。文章偏向概念梳理与跨领域类比，未深入单一实现细节或性能边界，更适合建立全局直觉而非直接作为实现手册。
推荐收录，因为文章将滑动窗口从具体协议和算法中提炼为可迁移的工程隐喻，以生动案例串联多个计算机子领域，能帮助读者建立跨层次的系统思维。适合对分布式系统、算法设计或计算机网络感兴趣的学习者，文中总结的“序号+窗口+滑动”模式可直接迁移至数据管道、状态同步等工程场景。
工程实践 NVIDIA Technical Blog 2026/07/10
本文针对大型语言模型训练中 GPU 高带宽内存（HBM）容量不足的瓶颈，提出并详细讲解了基于 JAX 的主机内存卸载方案。作者将模型参数、梯度、优化器状态等张量通过 JAX 的分片与异步传输机制卸载到主机内存，结合激活重计算进一步降低 HBM 占用，同时利用主机内存带宽和传输隐藏策略减少吞吐损失。文章给出了完整的代码示例与性能分析，在 LLaMA 风格模型上实测了显著的 HBM 节省效果，并讨论了该方案适用的模型规模、序列长度及通信环境约束。
推荐收录，因为文章不是简单的 API 介绍，而是深入剖析了 LLM 训练的内存瓶颈，并提供了一套可复用的主机卸载方案，包含具体实现、性能数据和工程取舍。对从事大模型训练、GPU 内存优化或 JAX 框架开发的工程师和研究者有直接的参考价值，其中的异步卸载策略和内存–计算权衡思路可迁移到其他框架和硬件平台。
工程实践 Cloudflare Blog 2026/07/10
文章详细说明了 Cloudflare Smart Tiered Cache 在公共云 anycast 源站上遇到的挑战：anycast IP 导致延迟探测无法锁定唯一最优上层数据中心，可能产生跨洲回源和缓存效率下降。解决方案是引入云区域提示，用户指定源站所在云区域后，系统利用各云厂商的 IP 范围文件和持续延迟探测为每个区域赋予主上层和备用上层，并在探测数据不足时回退到地理近似。文章介绍了 anycast 检测原理、区域到上层映射的投票机制，以及通过控制台、API 和 Terraform 进行配置的方式。该功能目前支持 AWS、GCP、Azure 和 Oracle Cloud，旨在提升缓存命中率、降低延迟，但需手动提供提示且仅适用于已支持的云提供商，边界清晰。
推荐收录，因为文章不是简单的功能通告，而是深入剖析了 Smart Tiered Cache 在 anycast 公共云环境中的局限、解决方案的技术细节和配置方法。适合负责 CDN、边缘网络、缓存策略或基础设施性能优化的工程师参考，其中的问题分析框架和自动化映射思路可迁移到类似分布式系统的网络拓扑优化场景。
工程实践 知乎 - SmartCode 得物技术 2026/07/09
文章详细记录了得物将 OceanBase 作为多模数据库引入的完整工程实践。面对 MySQL 在 TP/AP 混合负载下性能瓶颈、存储成本高和运维复杂等问题，DBA 团队从选型对比、性能压测、复杂 SQL 优化到业务迁移全流程展开验证。通过计划缓存、分区裁剪、列存索引、并行执行和 Hint 干预等五步优化，将两类聚合查询的执行时间分别从 1.3s 和 3.9s 降至 0.01s 和 0.02s，并获得与 DuckDB、StarRocks 对比的详细性能数据。在真实业务迁移中，SQL 平均耗时下降 88.3%，存储压缩率超过 80%，总体降本 43%，并消除了异构数据同步和手动分流风险。文章同时总结了迁移中遇到的实时物化视图与 DDL 冲突、SQL 语法兼容等具体问题及应对方案，并规划了运维体系转型和团队能力建设路径。该实践适用于有 TP/AP 混合负载、追求成本与可用性平衡的场景，但需注意新功能边界和版本限制。
推荐收录。文章不是泛泛的产品介绍，而是提供了从选型对比、性能压测到生产迁移的完整技术链条，包含具体的 SQL 优化思路、量化收益（近 200 倍提升、43% 降本）和踩坑记录，对考虑 OceanBase 落地或从 MySQL 迁移到分布式数据库的架构师、DBA 有直接可复用的参考价值。文中的五步优化法、物化视图使用约束和运维体系转型经验均具备可迁移性，风险提示也较为坦诚。
工程实践 Cloudflare Blog 2026/07/08
这篇文章介绍了 Cloudflare 为全球 330+ 数据中心控制面状态设计的实验性一致性服务 Meerkat。作者先明确需求：既要线性一致、又要在机器宕机、链路抖动和部分数据中心失效时保持可写可读，因此传统依赖主节点和超时的 Raft 在广域网里容易因 leader 故障或误判超时而不可用。Meerkat 采用 EPFL 提出的 QuePaxa，让任意副本都能发起提议，多个副本并发提案不会像 Raft 那样互相干扰，从而在多数派可通信时维持进展。文章还用日志槽位解释了如何通过一致的决议顺序实现 linearizability，并说明读写都可能进入日志以保证一致性。它也坦陈系统的边界：共识带来多轮往返和较高延迟，因此更适合写入稀少但必须强一致的控制面场景，而不适合通用数据库或低延迟业务。
推荐收录，因为文章给出了从 Raft 痛点到 QuePaxa 选择、再到 Meerkat 架构落地的完整论证链条，并明确展示了广域网一致性系统的可用性与延迟权衡。适合做分布式系统、控制面设计和一致性协议选型的参考，但需注意它仍是实验系统，结论主要适用于多数派可达、写入较少的场景。
科研议题 BAIR Blog 2026/07/07
这篇 BAIR 观点文章讨论了“智能几乎免费”后，数据系统将围绕 agents 重新定义的三类问题：为 agents 设计查询与分析接口、为 agents 构建长期运行与协作的底座、以及由 agents 反向合成可用的数据系统。作者结合已有研究指出，agentic speculation 会带来大量重复子查询，因此系统应支持共享扫描、多查询优化、近似回答、批量查询和更主动的性能反馈，而不再把 SQL 当作唯一交互形式。对于多 agent 场景，文章强调需要结构化记忆、面向任务的检索、并发编辑控制、故障恢复与协商机制，以避免上下文膨胀和 livelock 等问题。最后，作者讨论了用 agents 生成专用 OLAP 引擎、KV 存储乃至证明辅助的系统构造流程，但也指出规格不完备会导致 reward hacking，因此验证与测试是关键边界。整体上它是一篇研究路线图而非成熟方案，价值在于系统梳理了 agents 与数据系统共同演化的研究问题。
推荐收录，因为正文明确提出了“for/of/by agents”三条研究主线，并给出共享查询、结构化记忆、并发控制、系统合成与验证等可落地的技术方向。适合做数据系统、AI 基础设施和 agent 研究的选题地图，但应注意它是前瞻性观点文章，很多结论仍依赖作者正在推进的工作。
工程实践 NVIDIA Technical Blog 2026/07/06
文章讨论大规模 LLM 训练在上千张 GPU 上运行时，因设备短暂不可用、资源波动和长尾故障而导致的 goodput 损失问题。作者提出非均匀 tensor parallelism：不再强制所有并行分片使用相同的张量并行度，而是根据可用硬件与作业状态动态调整不同分片的并行配置，以减少阻塞和重分配开销。文中把目标从单纯吞吐转向有效训练产出，强调在恢复、容错和资源利用之间做权衡。该方法更适合超大规模训练集群和频繁扰动环境，对稳定、小规模或编排能力有限的场景收益可能较弱。
收录价值在于它直面大规模训练中“有效产出”而非表面吞吐的问题，并给出非均匀 tensor parallelism 这一可迁移的系统思路。适合做 LLM 训练平台、GPU 集群调度和容错优化的工程师参考，但其收益依赖集群规模与故障/波动频率。
工程实践 Cloudflare Blog 2026/07/06
这篇文章介绍了 Cloudflare Workers Cache：一种位于 Worker 前面的分层缓存，开启后可直接命中缓存而不执行 Worker，从而减少延迟并避免 CPU 计费。作者说明它完全由 HTTP 语义驱动，主要通过 Cache-Control、stale-while-revalidate、Vary、Cache-Tag 和程序化 purge 来控制缓存行为，而不是依赖 zone 级规则。文章进一步强调这是“Worker 自己的缓存”而非站点缓存，缓存会跟随 Worker、preview、workers.dev 和多租户场景，并支持按 ctx.props 构造多租户安全的 cache key。对于复杂应用，它还能插在多个 entrypoint 之间，让认证、归一化、重度计算和数据层分别决定是否缓存，组合出“近用户 + 近数据”的执行路径。文末也指出一些边界：认证请求需避免自动 bypass、需要控制 Vary 维度膨胀，且部分与 Smart Placement 的协同和响应体大小限制仍在演进中。
收录理由很明确：文章给出了可直接落地的缓存架构、HTTP 控制面设计、按入口点组合缓存的方式，以及多租户安全与失效策略的具体实现。适合做边缘计算、SSR 性能优化、平台架构和缓存设计的长期参考，尤其对使用 Workers、服务绑定或多入口应用的工程师有迁移价值。
工程实践 Meta Engineering 2026/07/01
文章系统复盘了 Meta 为 AI 工作负载重构 BLOB 存储的过程，目标是同时提升 GPU 利用率与研究迭代速度。旧架构沿用多层状态化元数据与全局默认复制，面对闪存级低延迟和 pMax 要求时，跨层查询与跨地域访问会把元数据延迟放大到毫秒乃至百毫秒级，直接造成 GPU stall。新方案将元数据压平为统一 schema 并由 ZippyDB 支撑，去掉数据面代理，改为客户端 SDK 直接从 Tectonic 拉取数据，同时按区域部署以贴近 GPU。为应对热点和突发流量，文中引入 GPU 主机分布式缓存、read-plan 缓存、hedged read 与动态并发控制，并通过预取、显式 hydration 和分层缓存把跨地域等待降到分钟级。文章也明确了边界：该架构更适合写一次、多次读取的训练数据与检查点场景，未来还需继续解决更高规模的网络上限与推理负载。
推荐收录，因为文章给出了从旧版全局存储到 AI 友好型区域化存储的完整重构证据，包括元数据压平、客户端直连、缓存分层和并发控制等可验证设计。适合做大规模训练存储、GPU 利用率优化和数据分发架构的参考，迁移价值高，但也明确依赖写多读多、可预取的训练型负载。
科研议题 知乎 - 微软亚洲研究院 2026/06/28
这篇文章是微软亚洲研究院《AI Next》播客的文字整理，核心讨论“AI 与系统如何协同进化”，以及未来“系统智能”应如何定义与落地。周礼栋从聚合通信调度、OptiFlow 自动优化等例子出发，说明传统依赖人工调参的系统方法已难以跟上 AI 规模化和动态化的发展节奏。文章进一步提出，系统智能不是简单用 AI 辅助开发，而是让 AI 负责开放空间中的探索、生成与方案搜索，让系统负责抽象、约束、验证、执行与反馈，形成可闭环、自适应、可演化的基础设施。文中还强调可信基石的重要性，主张以最小可信计算基、形式化验证、隔离、审计和回滚机制约束 AI 的不确定性，并以 Verus 等工具为例说明可验证代码与 AI 生成代码结合的可能。最后，文章讨论了模型与硬件解耦、开放多元计算生态，以及培养同时理解 AI 与系统的交叉型人才等问题。整体上它偏研究方向与方法论梳理，案例具有启发性，但更像观点访谈而非完整实验论文，适合将其视作趋势判断和系统设计思路参考。
文中直接给出 OptiFlow、最小可信计算基、Verus 等具体例子，说明“AI+系统”从理念到机制的可行路径，不是泛泛而谈。适合做系统研究、AI 基础设施和可信计算方向的趋势参考，但需注意它是访谈式观点整理，实验细节与量化评估不如论文完整。
个人心得 知乎 - 皮振伟 2026/06/28
文章回顾作者从 Linux 内核、KVM 和存储虚拟化背景切入 Redis/Valkey 社区的六年经历，强调自己并非缓存数据库“专家”，却能借助外行视角持续发现内核、网络与数据库之间的协作点。前半部分列举了线程命名、CPU 亲和性、THP 开关和 LTTNG trace 等改动，说明这些功能如何帮助观测、隔离和排查长尾延迟。后半部分重点讲述 Valkey Over RDMA 与 Valkey Over MPTCP：前者围绕 RESP3 与 RDMA 消息语义的适配、连接抽象层改造和上游合入，验证了高性能网络可带来约 2.5 倍性能提升；后者则面向跨机房同步与多路径容错完成了客户端、服务端和工具链适配。文章也交代了从 Redis PR 长期无回应到 Valkey 社区推进落地的过程，并记录了社区协作、测试验证和发行版打包的推进路径。整体更像一篇带有技术细节的开源成长记录，适合想参与基础设施和数据库开源项目的读者参考，但方法论总结偏经验化而非系统化教程。
推荐收录，因为文章给出了从“外行”切入核心开源项目的具体证据：RDMA、MPTCP、THP、LTTNG 等改动都落到可验证的代码与性能结果上。对想参与基础设施开源、做跨层性能优化或理解社区协作流程的读者，具有可迁移的实践参考价值。
工程实践 知乎 - 腾讯技术工程 2026/06/26
本文拆解了腾讯混元 Hy3 preview 在 Hopper 96G 上的推理全栈优化，围绕算子优化与融合、并行策略、多级缓存、MTP 异步调度、量化与稀疏五个方向展开。作者针对 Attention、MoE、Router、采样、AllReduce 等关键路径做了动态调度、双 BF16 GEMM、FusedMoE、通算融合和算子级融合，显著减少 HBM 往返与 Kernel 启动开销。系统层面又通过 TPSP、DP+EP、三级缓存和按最大接收长度预组装输入，缓解长上下文、MoE 与 MTP 带来的通信、显存和 CPU 气泡问题。文中给出了真实请求集与多组实测指标，如 TTFT 降幅约 24.5%~29.9%、端到端吞吐提升 15.7%~44.7%、量化后吞吐提升 28%+、稀疏注意力在 128K 上将 Prefill 延迟降低 3.6 倍。整体方法高度依赖 Hopper 架构、自研 kernel 与腾讯内部基础设施，迁移到其他模型或硬件时需要重新验证边界与收益。
收录，因为文章给出了真实请求集、Hopper 96G 和 W8A8C8 约束下的系统性优化路径，并明确量化了 TTFT、吞吐和单算子加速收益。适合做大模型推理、GPU Kernel 融合、并行与缓存设计的参考，但方案强依赖特定硬件与自研栈，迁移时需重做适配验证。
工程实践 知乎 - TencentDB腾讯云数据库 2026/06/26
文章系统剖析了 Redis/Valkey Cluster 在自动故障转移中的三段流程：PFAIL/FAIL 判死、故障副本拉票选举、以及新主广播后刷新路由，并解释了 currentEpoch、configEpoch、auth_timeout、auth_retry_time 和 data_age 的相互作用。作者指出，多个主节点同时故障时，多个副本会在同一 epoch 里并发拉票，因“每个 voter 同 epoch 只能投一票”而发生选票瓜分，导致 5 分片甚至 128 分片集群都可能长期无法自愈。腾讯云在 Valkey PR #1018 中引入 failed_primary_rank，以 shard_id 字典序为故障分片排序，在原有副本内排序基础上再叠加分片间错峰延迟，把抢票改成排队选举。文章还补充了 PR #1009 的快速失败兜底与 PR #762 的分片内错峰，说明这些优化都不改变一票一 epoch 的防脑裂原则，只是降低冲突概率并缩短恢复窗口。其价值在于把协议层的随机恢复，推进为大规模云环境下更确定的自愈流程；边界则是仍依赖 gossip 一致性，极端时序竞争下仍需快速失败兜底。
推荐收录，因为文章给出了从协议机制到线上故障现象的完整链路证据，并明确指出多主同时故障下的选票瓜分是 Cluster 自愈失败的根因。适合做 Redis/Valkey 高可用、分布式选举和故障转移设计的长期参考，尤其对云数据库和大规模集群运维很有迁移价值。
工程实践 Cloudflare Blog 2026/06/25
文章介绍 Cloudflare Workflows 新增的 saga rollback 机制，目标是在长事务、多步骤流程中，把补偿逻辑直接和每个 step.do() 绑定，避免开发者手写复杂的 try-catch、状态跟踪和回滚顺序控制。作者用转账、库存和通知等例子说明：当某一步失败时，系统会按逆向的 step-start 顺序执行补偿，并要求 rollback 本身也具备幂等性、重试和超时配置。文章还比较了 fluent、builder 与 options 三种 API 设计，最终选择把 rollback 作为 step 元数据，以保持 step.do() 的语义、并发执行模型和可读性不变。底层实现上，Workflows 依赖持久化的 step 历史、可恢复的 rollback stub 和 replay 机制，在运行时重建补偿能力，而不会重复前向副作用。该方案适用于需要跨外部系统协调、且必须处理部分成功与恢复重试的工作流，但不解决业务层天然不可逆操作的语义复杂度。
文中明确给出了 saga rollback 的执行顺序、幂等要求、恢复机制和 API 取舍，不是简单功能公告。对做工作流引擎、分布式事务编排、可靠性设计或 SDK/API 设计的读者都有直接迁移价值。
工程实践 Salesforce Engineering 2026/06/23
这篇文章复盘了 Salesforce Agentforce 在 34 种正式支持语言和数十种 Beta 语言下，如何防止大模型在多步骤代理工作流中发生“语言漂移”。核心做法不是依赖 LLM 自行决定输出语言，而是在推理开始前通过低延迟语言检测建立可共享的 Localization Context，并让规划、检索、动作执行和响应生成都遵循同一语言契约。文章还讨论了分布式组件在并行执行、语言切换、回退策略不一致等场景下的失效模式，以及未来在评估、文化适配和中繁/简体等细粒度语言差异上的挑战。
推荐收录，因为它展示了大规模多语言 AI 系统里一个非常典型且可迁移的问题：如何把概率模型放进需要确定性约束的分布式工作流中。文章给出了明确的架构选择、延迟数据和失效边界，对做 AI 工程、代理系统或国际化产品的团队都有参考价值。
工程实践 Netflix TechBlog 2026/06/19
这篇文章复盘了 Netflix 将 Cassandra 数据搬迁从旧的 Casspactor 架构演进到新的分层数据移动引擎的过程，核心目标是提升可靠性、可扩展性和成本效率。文章重点解释了新方案如何直接从 S3 中的备份元数据读取单一事实来源、在 Spark DataFrame 层处理数据、通过 Connector Factory 支持多种数据抽象，以及如何解决大分区、元数据脆弱、间接表膨胀和时间回溯等问题。文中还系统总结了迁移方法论：通过 shadow 验证、可观测性建设和 Decider pattern 实现对线上用户零影响切换，适合作为大型数据平台重构与平滑迁移的参考案例。
推荐收录，因为它不是简单的系统替换公告，而是完整展示了一个高风险数据平台迁移如何从架构、验证、观测和回滚机制四个层面设计。对做数据基础设施、平台工程和大规模迁移的读者来说，文中的分层架构、单一事实来源、shadow 对比和安全切换方法都具有很强的可迁移价值。
工程实践 Netflix TechBlog 2026/06/19
文章介绍了 Netflix 为什么要构建一个实时 Service Topology，并说明它如何解决分布式系统中“依赖关系不清、影响范围难估、故障来源难定位”的问题。作者将网络流量、应用层 IPC 指标和分布式 tracing 三种来源分别建成独立拓扑，再通过统一查询和富上下文展示为工程师提供可实时更新的服务依赖地图。文中还概述了从 Kafka 多区域接入、分布式聚合、eBPF 流量解析，到图存储和 gRPC API 的整体架构，以及它在故障排查、变更评估、blast radius 计算和历史回溯中的用途与边界。
推荐收录，因为它不是单纯介绍一个可视化工具，而是系统性展示了在超大规模微服务环境下如何把多种观测信号组织成可操作的依赖拓扑。对做分布式系统、可观测性平台、SRE 或基础设施的读者来说，这篇文章能直接迁移到依赖建模、故障定位和变更风险评估等场景。
工程实践 Cloudflare Blog 2026/06/17
这篇文章围绕“如何把 agent harness 变成可上线的生产系统”展开，提出了 framework、harness、runtime/platform 三层架构，并以 Flue 与 Cloudflare Agents SDK 的结合为例，解释了为什么持久化执行、沙箱代码执行、持久化文件系统和动态工作流必须由平台层提供。作者进一步说明了 Durable Object、runFiber()/stash()/onFiberRecovered()、@cloudflare/codemode、@cloudflare/shell 和 dynamic workflows 的作用，强调这些能力能让 agent 在中断、重启、长任务和工具膨胀场景下保持可恢复、可扩展和更安全的执行。
推荐收录，因为它不是单纯的产品发布，而是把“生产级 agent”需要的运行时能力拆解成了清晰的工程分层与机制说明，适合作为架构设计参考。文章对持久化执行、沙箱隔离、虚拟文件系统和动态工作流的讨论具有较强迁移性，能帮助读者理解 agent 平台化的关键约束。
工程实践 Cloudflare Blog 2026/06/12
这篇文章复盘了 Cloudflare 为 Security Insights 扫描系统做的整体扩容：从每周/每两周扫描一次、部分免费用户未自动扫描，提升到峰值每秒 120 次以上的扫描吞吐，并将免费用户默认扫描和全量扫描频率提升到更高水平。作者按链路拆解了多个瓶颈，包括 Kafka 消费的 head-of-line blocking、Postgres 批量写入效率、跨地域 API 延迟导致的连接池耗尽，以及调度器造成的扫描洪峰，并逐一用批量并行、快慢车道、UNNEST/COPY 混合写入、active-passive API 和自适应限流等手段解决。文章的核心结论是：在大规模系统里，先理解现有架构和真实瓶颈，再针对性优化，往往比简单加机器、加分区或抬超时更有效。
推荐收录，因为它不是泛泛的“扩容故事”，而是完整展示了一个安全扫描平台在消息队列、数据库、调度和跨地域部署上的系统性性能治理。对做后端、基础设施、安全平台或高并发任务调度的读者来说，这篇文章提供了很强的可迁移方法论：如何定位瓶颈、如何权衡架构改动、以及如何用指标验证收益。
工程实践 知乎 - 皮振伟 2026/06/04
这篇文章围绕 AI 推理中的存储需求展开，重点分析了模型权重加载、KV Cache 的数据形态、外部存储布局，以及单机和分布式场景下的 IO 路径选择。作者把 LLM 推理中的启动延迟、GPU 空转、缓存共享、存储分层和成本控制串成一条完整链路，并系统比较了 mmap、GDS、Direct IO、RDMA、NVMe-oF、对象存储等方案的适用边界。最后，文章结合自研 GD2FS 和若干实测数据，提出了面向推理场景的 GPU 直连分布式存储架构，但也明确这些优化高度依赖数据对齐、缓存形态和具体工作负载。
推荐收录，因为它不是泛泛谈“AI 存储”，而是从推理引擎的数据特征出发，逐层分析了存储栈、网络栈和 GPU 直连路径的取舍，具有很强的工程可迁移性。文中还给出了自研系统和实测结果，适合做 AI 基础设施、推理优化和分布式存储方向的长期参考。
工程实践 知乎 - 千问云 2026/06/03
文章围绕 AgentScope Java 1.1.0 的 Harness Framework 发布，系统说明了如何把 OpenClaw/Hermes 这类“工作区驱动、带记忆、可执行工具”的 Agent 理念，推进到企业级分布式场景。核心内容集中在 Workspace 作为唯一事实来源、AbstractFilesystem 作为可插拔存储/执行抽象、内置上下文压缩与分层记忆、以及子 Agent 编排和沙箱隔离等工程能力，并分别讨论了个人助手、数据型 Agent 和在线业务 Agent 的适用形态与边界。
推荐收录，因为它不只是产品发布，而是较完整地总结了 Agent 工程化从本地个人助手走向企业分布式服务时必须面对的状态管理、隔离、安全和编排问题。对正在设计 Agent 框架、评估工作区/文件系统抽象、或思考多租户与沙箱执行的读者，有直接的可迁移参考价值。
工程实践 Amazon Science 2026/05/28
文章介绍了 AWS 在数据中心网络中用“准随机”平面网络替代传统 fat-tree 的方案，核心包括拓扑设计 RNG、路由算法 Spraypoint，以及用于落地布线的被动光学组件 ShuffleBox。作者不仅解释了为什么随机平面拓扑在理论上更优，还给出了可计算的性能模型、530 个 CPU 年规模的仿真实证，以及在真实生产环境中的部署结果。文章最后总结了该方案在路由器数量、吞吐量和能耗上的收益，同时说明其适用前提是需要配合专门的物理布线与路由机制。
推荐收录，因为它把网络拓扑理论、路由算法设计、物理布线约束和生产验证完整串联起来，属于典型的高质量工程研究案例。对做数据中心网络、系统架构和高性能基础设施的读者来说，这篇文章提供了可迁移的设计思路：如何把“理论最优”转化为“可部署、可验证、可规模化”的方案。
工程实践 知乎 - SmartCode 得物技术 2026/05/28
文章深度解析了得物自研分布式存储引擎 HorizonVault 的设计，目标是在通用 HDD 上支撑 Kafka 远程存储、冷热数据下沉等场景，并实现 100GB/s+ 级别的集群吞吐。作者围绕 Broker、Meta、Store、Network、HA 等模块，说明了如何通过顺序追加、小索引定位、磁盘状态治理、线程隔离、网络背压和 follower 主动追赶，把 HDD 的随机 I/O 短板限制在系统可控范围内。文章的核心结论是：高吞吐并不只靠单盘性能，而是依赖资源调度、路由打散和副本同步等机制的组合；但这种方案主要适用于大对象、顺序写占主导的远端存储场景。
推荐收录，因为它不是泛泛介绍“做了一个存储系统”，而是完整讲清了面向 HDD 的高吞吐分布式存储如何在架构、路由、索引、复制和背压上协同工作。对做存储、Kafka Tiered Storage、分布式系统和性能治理的读者来说，这篇文章提供了可直接迁移的设计思路和边界判断。
工程实践 知乎 - 皮振伟 2026/05/26
文章围绕 LLM 推理部署中 KV Cache 依赖带来的扩缩容困难、命中率波动、内存冗余和成本不透明等问题，提出以 GPU 为中心、通过 GD2FS 这类分布式文件系统承载 L2 缓存的无状态化推理架构。作者进一步用 Kubernetes 的弹性调度类比互联网后端演进，说明显式 KV Cache、零拷贝数据路径、预读分层缓存和可调副本策略如何提升资源利用率、降低主机内存占用，并给出了一组 RDMA/TCP 与多节点推理测试数据作为支撑。文章的主要边界在于：它更像一篇面向落地的架构提案与实践总结，部分性能结论需要结合具体硬件、负载和实现细节理解，不能直接泛化到所有推理场景。
推荐收录，因为它不是单纯讨论 LLM 推理概念，而是把缓存层级、调度弹性、状态管理和存储协议放到同一套架构框架里分析，具备较强的工程可迁移性。对做大规模推理平台、云原生基础设施和 GPU 资源调度的读者来说，这篇文章能提供有参考价值的设计思路、性能指标视角和权衡点。
工程实践 Instacart Tech Blog 2026/05/14
这篇文章复盘了 Instacart 如何把原本面向自营 Marketplace 的营销自动化系统，扩展为支持多租户白标商户的个性化营销平台。核心方案包括：为每个零售商建立隔离的第三方工作区、在内部构建自助式营销工具、通过流式消费与最多 50 条的批处理提升吞吐、在 CRM 服务中做幂等控制与异步发送，并用模板自动化、IP warming、可观测性和故障隔离保障大规模稳定交付。文章还给出了平台已经达到的效果与未来可能演进到 AI 辅助内容生成、多渠道编排的方向，适合关注多租户架构、营销系统工程化与供应商抽象的读者参考。
推荐收录，因为它不是简单的产品介绍，而是完整展示了一个多租户营销平台从架构拆分、流式处理、批量发送到运维治理的落地方法。对做 SaaS、增长系统、事件驱动架构或第三方供应商集成的团队，都有很强的可迁移价值。
工程实践 知乎 - 携程技术 2026/05/12
这篇文章复盘了携程智能归因系统在9亿+数据规模下的性能重构：原先依赖 ClickHouse 的集中式重计算导致查询超过40秒并影响集群稳定性，随后通过将数据提前导出为 Parquet、放到 S3/Ceph 中，并用 Ray 负责任务调度、DuckDB 负责单节点高性能执行，把归因分析压到15秒以内。文章不仅解释了 Ray + DuckDB 的分工、任务拆分、分区剪枝、Actor 共享本地磁盘等实现细节，还展示了在 K8s/KubeRay 上的弹性伸缩、可观测性和 CI/CD 集成方式，适合大规模分析计算与资源隔离场景参考。
推荐收录，因为它不是单纯的技术宣传，而是一个有明确前后对比、瓶颈定位和架构取舍的真实工程案例。对于做大规模分析、工作负载隔离、分布式任务拆分和嵌入式分析引擎选型的团队，这篇文章具有较强的可迁移参考价值。
工程实践 知乎 - 携程技术 2026/05/11
这篇文章复盘了携程在将大数据计算集群升级到 JDK25 过程中遇到的一起极其隐蔽的数据静默损坏事故：Spark/Flink 写出的 Parquet、ORC 文件表面写入正常、校验也通过，但下游读取时出现 Zstd/Zip 解压失败。作者通过列级定位、排除存储介质、构造复现环境、JDK 版本二分和自建可指定 commit 的编译环境，最终将根因锁定为 JDK25 G1GC 的一个 bug：Optional Evacuation 错误移动了被 JNI 临界区锁定的对象，进而导致 native 压缩写入指向失效内存。
文章不仅给出了从现象到根因的完整排查链路，还解释了 G1 GC、pinned 对象、GetPrimitiveArrayCritical 这类底层机制之间的关系，并验证了影响范围、规避方案与 OpenJDK 后续 backport 修复。整体上它既是一次高质量线上事故复盘，也是对 JDK 升级、JNI 交互和 GC 风险的可迁移经验总结。
推荐收录，因为它不是简单的“踩坑记录”，而是完整呈现了线上数据损坏问题的定位方法、验证手段、复现路径和最终根因确认过程。对于做 Java 基础设施、计算引擎、存储格式或 JDK 升级治理的读者，这篇文章具有很强的可迁移参考价值。
科研议题 Amazon Science 2026/05/05
这篇文章介绍了 Amazon 如何用机制设计理论优化与供应商的协作，核心是将 VCG 机制与分布式协同优化协议 CPP 结合，在信息不对称的前提下寻找对双方整体成本更优的供给计划。文章不仅解释了静态场景下如何通过迭代式 best response 近似实现“真报即最优”的性质，还进一步扩展到滚动时间窗的动态机制，并用成本-收益转移（CBT）来刻画参与各方的激励与补偿关系。文中还提出了适用于低维决策空间的 menu-of-contracts 替代方案，并讨论了缺货、双向承诺和不确定性下的设计边界。
推荐收录，因为它把机制设计、分布式优化和供应链协同三个领域连接起来，给出了从理论到系统实现的完整路径，而不是停留在概念介绍。对研究机制设计、协同优化、AI/运筹系统工程的人都具有较强的迁移价值，尤其适合理解“激励相容如何落到大规模系统里”。
科研议题 Amazon Science 2026/04/29
文章聚焦 AI 训练数据的隐私风险，系统梳理了三类典型攻击：针对单模型的成员推断、联邦学习中从梯度重建样本，以及从共享全局模型中提取他人训练数据。作者结合相关论文与自测实验说明，这些攻击并非理论猜想：例如成员推断可利用模型对训练样本的高置信度，联邦学习梯度本身也会泄露可重建信息。文章进一步给出两条核心防线：差分隐私通过向训练梯度注入噪声来削弱单个样本影响，安全多方计算则让各方只看到聚合结果而不暴露原始梯度。实验显示，DP-SGD 在 EMNIST 上以一定精度损失换来可量化隐私预算，而 MPC 能阻断梯度恢复，但若全局模型本身不加 DP 仍可能被继续利用。文章强调隐私保护必须在攻击规模化前前置部署，且 ε 与精度之间的权衡高度依赖任务、数据集和合规要求。
收录价值高，因为文中明确给出了成员推断、梯度反演和全局模型提取三类可操作攻击，并用 EMNIST、ResNet-50 等实验验证了风险与防线。适合做 AI 隐私、联邦学习和差分隐私的长期参考，尤其适用于需要在精度、合规与可部署性之间做权衡的团队。
工程实践 Google DeepMind Blog 2026/04/22
这篇文章介绍了 DeepMind 提出的 Decoupled DiLoCo 分布式训练架构，目标是在跨机房、跨区域乃至跨代际硬件上训练大模型时，降低同步通信开销并提升故障韧性。其核心思路是把训练切成多个彼此解耦的“计算岛”，岛内局部推进，岛间通过异步数据流交换，从而避免传统数据并行在大规模同步时的阻塞。文章给出了两类证据：一方面在 chaos engineering 注入硬件故障后，系统能继续训练并在节点恢复后重新并入；另一方面在 Gemma 4 实验中，带宽需求显著下降，仿真中的 goodput 明显高于基线，且最终 ML 性能基本持平。作者还展示了一个 12B 参数模型跨 4 个美国区域、以 2–5 Gbps WAN 完成训练的案例，速度比传统同步方法快 20 倍以上。该方案的边界在于它依赖特定的异步训练栈与系统整合能力，且部分收益来自 Google 自身的基础设施条件与 TPU 生态。
推荐收录，因为文章直接给出了带宽、goodput、故障恢复和跨区域训练的量化结果，并明确说明了 Decoupled DiLoCo 的系统机制与实验边界。适合做大模型训练基础设施、容错分布式系统和 AI 工程化方案的参考，尤其对关注跨机房训练与资源弹性利用的读者有迁移价值。
工程实践 Yelp Engineering 2026/04/07
文章复盘 Yelp 数据库可靠性团队如何将一千多台 Cassandra 节点从 3.11 升级到 4.1，并做到全程零停机。作者先说明 Cassandra 在 Yelp 中承载主数据与衍生数据，且集群运行在 Kubernetes 上、由 operator 编排，因此升级必须兼顾状态迁移、回滚和服务连续性。文中强调此次升级的驱动力不仅是版本更新，还包括更好的可观测性、可靠性和性能，且决策参考了公开基准。整体上，它展示了大规模有状态服务在成熟运维体系下的分批规划、验证与上线思路，但其可迁移性明显依赖现有自动化、编排和回滚能力。
有明确工程证据：超过一千台 Cassandra 节点、Kubernetes + operator、3.11 到 4.1、零停机升级，说明这是大规模状态系统的真实复盘。适合做数据库可靠性、滚动升级和有状态服务编排的参考，但方法强依赖现有自动化与回滚机制，迁移时需评估自身条件。
技术文章 matklad 2026/03/19
这篇文章用“委员会投票/棋盘”隐喻解释共识算法的核心数学结构，目标是帮助读者直观理解 Paxos 一类协议为何能在成员缺席时仍达成一致。作者先从简单多数投票讲起，说明为什么平票和领导者缺席会让决策卡住，再引入轮换领导者与“只允许批准”的规则来恢复可完成性。随后把单次投票扩展为半无限二维棋盘：每一列独立推进、每列都可能形成多数，但全局必须保证任意两个已完成多数列的结果一致。文章进一步说明，参与者需要基于左侧已知状态和“未来可能性”来选值，并通过让某个多数先承诺不在左侧投票，排除冲突结果。它的价值在于把安全性、活性与多数承诺的逻辑关系讲得非常直观，但作者也明确说明这里只覆盖抽象数学层面，未展开真实分布式系统中的消息时序、通信延迟和工程实现细节。
文章直接用棋盘图像重构共识协议的安全性与多数承诺逻辑，适合一直觉得 Paxos 难懂的读者。它的迁移价值在于帮助建立抽象模型，但不覆盖工程实现细节，适合作为入门和复习材料。
工程实践 Stanford Hazy Research 2026/02/19
这篇文章发布了 ThunderKittens 2.0，一个面向 GPU 的 CUDA 内嵌 DSL，并顺带给出一篇面向 Blackwell 的内核优化复盘。新版增加了 MXFP8/NVFP4 支持、调度与 tensor memory 控制能力、简化的构建结构，并把多个示例内核升级到更现代的 API。技术部分重点解释了为何原先放在 GEMM 路径中的两类 fence 实际上并非必需，作者通过 PTX 的因果顺序与 proxy 规则证明共享内存和 tensor memory 的可见性已被保证，去掉后带来约 20 TFLOP/s 的收益。文章还分析了 tcgen05.cp 与 tcgen05.mma 的隐式流水、PTX assembler 对单线程指令的保守串行化、cluster size 对占用率的影响，以及 tensor memory 触发的单 SM occupancy 限制。最后给出较完整的 GPU kernel benchmark 规范，强调输入分布、L2 冷热状态、warmup 和温度稳态都会显著影响 TFLOPs。整体内容适用于做 Blackwell/CUDA 内核、性能分析和基准设计的人，但结论主要建立在特定硬件与 PTX 行为之上，跨架构迁移时需要重新验证。
推荐收录，因为文章不是单纯发布稿，而是给出了 Blackwell GPU 内核优化的具体证据：PTX 因果/代理模型、assembler 生成差异、cluster 占用率和基准方法都配有可验证的观察。适合做 CUDA 内核、性能调优和基准设计的读者参考，但其结论强依赖 Nvidia 新架构与特定指令语义，迁移到其他 GPU 时需重新实测。
工程实践 Instacart Tech Blog 2026/02/17
这篇文章介绍了 Instacart 为 Caper 智能购物车搭建的 Capsight 闭环系统，目标是把门店端产生的多模态数据快速转化为模型迭代能力。作者先指出三类痛点：端侧可观测性不足、真实门店数据覆盖不够、数据清洗标注训练链路过慢，因此设计了 Collect→Manage→Label→Train→Deploy 的数据飞轮。系统由 Collector、Depot、Learner 三部分组成：端侧用触发式采集和硬件编码避免性能回退，云端做数据处理检索与 VLM 预标注，训练侧用 Ray 自动化分布式训练和评测。文章给出量化结果：标注成本预计降低 70% 以上，训练阶段从一周缩短到两天，端到端迭代从约一个月压缩到一周，模型准确率在数周内提升超过 5%。它的适用边界也很明确，主要依赖高价值事件触发、稳定的门店网络与较强的多模态数据基础，后续还需要继续优化触发敏感度、传输成本和跨模态扩展能力。
文中直接给出了端侧采集、云端管理、AI 预标注和分布式训练的完整闭环，还附带了标注成本、训练周期和准确率提升的量化结果，属于可复用的 AI 工程化案例。适合做端云协同、MLOps 和多模态数据管线设计参考，但其触发采集与零售门店场景强绑定，迁移时需重新评估数据价值、带宽和误触发成本。
工程实践 Stanford Hazy Research 2025/11/17
文章系统总结了 ThunderKittens 在多 GPU 计算-通信融合中的设计经验，围绕传输机制、重叠调度和 tile 组织给出可复用原则。作者比较了 copy engine、TMA 与寄存器级指令的适用区间，指出消息粒度、是否需要 in-network reduction、以及能否与计算对齐，决定了最优方案。随后用这些原则实现并评测了数据/张量并行中的 AG+GEMM、GEMM+RS/AR，序列并行中的 Ring Attention 与 Ulysses，以及 MoE token dispatch 融合 GEMM，整体能以几十行 device code 达到或超过手写优化内核。文章也明确了边界：结论主要针对 NVLink/NVSwitch 上的 Hopper/Blackwell，跨节点、不同互联和不同算子仍需重新权衡。
收录，因为它不只是展示结果，而是把多 GPU 算子融合的关键选择——传输机制、调度方式和 tile 划分——用实验和对比讲清楚了。适合做 AI 系统、GPU 性能优化和分布式算子设计的参考，但需要注意其验证平台主要是 NVLink/NVSwitch 体系。
科研议题 Stanford Hazy Research 2025/11/17
这篇文章是 ThunderKittens 新增多 GPU 能力的总览性介绍，核心目标是把 AI kernel 从单卡扩展到基于 NVLink/NVSwitch 的 scale-up 多 GPU 场景。作者提出三条经验：通信启动方式有不同开销，调度可以在主机、SM 乃至 SM 内部多层重叠通信与计算，以及直接手写少量 device 代码往往比 NCCL、NVSHMEM 等现成库更能利用新硬件特性。文章强调 tile 仍然是多 GPU kernel 的基本抽象，因为它既能饱和带宽，又能延续 ThunderKittens 的编程模型。作者用 BF16 all-reduce、all-gather+GEMM 和 Ring Attention 等基准展示更新版实现已能达到或超过现有最优结果。其边界是目前主要聚焦单机多 GPU，后续还计划补充跨节点通信、MoE 负载均衡和文档整理。
推荐收录，因为文章明确给出了多 GPU kernel 的设计原则、通信/调度取舍以及基准结果，并不是泛泛的产品宣传。适合做 GPU 系统、AI kernel 优化和多卡通信设计的参考，尤其对需要从 NCCL 之类库转向自定义实现的读者有直接迁移价值。
工程实践 Stanford Hazy Research 2025/09/28
这篇文章介绍了 Stanford Hazy Research 的一个吞吐优先版 Llama-70B megakernel：在 8 卡张量并行场景下，把预填充与解码、Paged KV cache、跨 GPU 通信和 CPU 侧调度尽量纳入单个内核的统一执行框架。作者沿用“解释器模板 + 指令序列”的设计，由 CPU 预先生成调度，内核内部按较粗粒度指令执行，从而减少 kernel launch、协调开销和 CPU 参与。文章重点分析了三类重叠：SM 内重叠、跨 SM 重叠和跨 GPU 重叠，并说明如何通过 warp specialization、显式同步和远程读写把这些优化放进同一套 megakernel 里。实测上，该原型在 ShareGPT 65,536 prompts 上端到端比 SGLang 快约 22%。其边界在于依赖较大的算子粒度和复杂的手工调度，当前更适合大模型高吞吐推理，而非所有模型与硬件都能直接套用。
推荐收录，因为它给出了把多 GPU 推理的调度、通信与计算统一进单核框架的直接实现证据，而不只是概念讨论。适合做大模型推理系统、CUDA 优化和高吞吐服务设计的参考，尤其对需要权衡 launch 开销、通信重叠和调度复杂度的工程场景很有迁移价值。
工程实践 Stanford Hazy Research 2025/09/28
这篇文章介绍了一个面向 Llama-70B 张量并行推理的高吞吐 megakernel，目标是在 H100 上把计算、显存带宽和 NVLink 通信尽量同时吃满。作者先回顾了此前面向低延迟的单卡 megakernel，再说明高吞吐场景下工作负载更异质：矩阵乘法偏计算、RMS norm 和 decode 偏内存、跨 GPU 交换偏通信，因此必须做分层重叠。文中提出新的指令集与解释器执行模型，把 RMS norm、QKV、Attention、O-projection、MLP 等融合为少量指令，并用分布式 transpose 代替部分 reduce-scatter，以便把通信隐藏在后续计算之后。文章还展示了三层优化：SM 内指令流水化、跨 SM 的全局 work queue 动态调度、跨 GPU 的 storer 线程通信重叠，并通过消融实验证明这些策略在大 batch 下能带来数个百分点到十几个百分点的吞吐收益。最终将 megakernel 集成到 Tokasaurus，在 ShareGPT 65,536 prompts 的端到端吞吐上比 SGLang 高约 22%，但作者也明确说明这套代码对编译器版本、GPU 配置和同步细节非常敏感，属于研究原型而非可直接落地的生产实现。
推荐收录，因为文章给出了可复现的系统设计证据：指令/解释器架构、跨 SM 全局调度、跨 GPU 通信重叠，以及对应的消融和吞吐数据。适合做大模型推理、GPU kernel 融合和多卡通信优化的参考，但需注意它是强依赖 H100 和编译环境的研究代码，不宜直接当作生产模板。
工程实践 Stanford Hazy Research 2025/09/22
这篇文章系统讲解了如何在 NVIDIA 多 GPU 平台上手写高性能通信核，重点面向 NVLink/NVSwitch 互联的单机多卡场景。作者先解释了跨进程共享 GPU 内存的三种路径：UVA、CUDA IPC 和手动 VMM，并说明为何生产环境更需要后两者以及它们的初始化开销与边界。随后文章分析了 NVSwitch 的广播/归约加速机制，以及 copy engine、TMA 和寄存器指令三种通信方式在带宽、并发和可融合性上的差异，给出在 B200 上的实测利用率。最后，作者把这些机制封装进 ThunderKittens 的 PGL 和 TKParallelTensor，展示了不到 100 行代码实现 all-reduce、all-gather、reduce-scatter 和 all-to-all，并在 8 卡 B200 上相对 NCCL 取得最高 2.6x 提升。文章的适用边界也很明确：它主要针对单机 NVLink/NVSwitch 域内的细粒度通信优化，且依赖 VMM、固定粒度显存和较强的 CUDA/编程模型理解，不直接覆盖跨节点通信。
收录价值很高，因为文章不仅给出性能结果，还把多 GPU 通信从内存映射、NVSwitch 机制到 kernel 设计完整串起来，直接提供了可复用的实现路径。适合做分布式训练、MoE、序列并行和自定义 collective 的工程参考；但读者需要接受其局限于单机 NVLink/NVSwitch 域，且实现门槛较高。
工程实践 Datadog Engineering 2025/06/17
这篇文章讲 Datadog 如何在大规模生产环境中拆解一个共享数据库，核心目标是把原本耦合的业务边界重新切开，同时尽量不影响线上稳定性。作者强调先定义清晰的所有权边界，再通过分阶段迁移、风险隔离和回滚预案降低改造成本，而不是一次性“硬拆”。文中还介绍了用于自动化迁移、校验一致性和减少人工操作的配套工具，以保证解耦过程可重复、可持续。它的重点不在数据库原理本身，而在多团队共用核心存储时如何平衡组织边界、迁移风险和工程效率。其适用前提是已有足够的监控、测试和发布控制能力，若系统变更链路薄弱，收益会被迁移复杂度抵消。
文章直接围绕“shared database at scale”的拆分实践展开，给出了边界划分、风险控制和自动化工具这三类可迁移做法，明显属于可长期参考的工程案例。适合正在做服务解耦、数据库分片/迁移或多团队协作治理的读者，但需要注意其前提是具备较成熟的发布与验证体系。
工程实践 Datadog Engineering 2025/06/17
这篇文章讲的是 Datadog 如何把按租户划分的配置数据，稳定、低延迟地分发到成千上万的工作负载容器中，以支撑实时日志处理场景。核心问题不是单纯“把配置发出去”，而是在容器规模快速增长、租户数量多、更新频繁的情况下，同时保证可用性、传播时延和配置一致性。文章强调了面向大规模分发系统的工程化设计思路，包括可靠传输、失败恢复以及对性能目标的持续验证。它的价值在于展示了一个典型的基础设施系统如何在多租户和高吞吐约束下做取舍，并把配置分发变成可运营、可扩展的能力。适用读者主要是做平台、基础设施、可观测性或大规模后台系统的工程师。其边界在于这是特定于配置分发与实时日志处理的经验，迁移时仍需结合自身配置变更频率、容器生命周期和一致性要求。
推荐收录，因为标题与摘要直接表明它解决的是“千级容器配置分发”的真实工程问题，且明确关注低延迟与高可靠两类核心指标。对平台、可观测性和多租户后台系统的读者，这类分发架构、稳定性设计和扩展性权衡具有较强迁移价值。
科研议题 Stanford Hazy Research 2025/02/24
文章提出 Minions 协议，探索让小型端侧模型与云端前沿模型协作，把长上下文读取、任务分解和部分推理迁移到本地，从而显著降低云端 API 成本。作者先验证了一个较朴素的 Minion 聊天式方案：它只消耗约 3.3% 的云成本，却能保留 87% 的云端性能，但会受到小模型长上下文能力弱、难以稳定执行多步指令等限制。随后 Minions 采用“分解—执行—聚合”循环，由云端模型生成切分与分解代码，本地模型并行处理子任务并筛选结果，再由云端汇总或继续迭代，在金融、医疗和论文问答任务上达到 97.9% 的云端精度，成本仅为 17.5%。文章进一步指出，3B 以下本地模型通常不足以支撑该协议，推理时扩展、细粒度分解和更多通信轮次可继续提升效果，但会带来更长时延和更高本地算力消耗。整体上，它给出了端云协同推理的一种可操作协议，而不是试图用小模型完全替代大模型。
推荐收录，因为文章给出了明确的协议设计、对照实验和成本-精度数据，而不是停留在“小模型很有潜力”的泛论。适合关注端云协同、长上下文任务和推理成本控制的研究者与工程师参考，但其收益依赖较强本地模型与特定数据密集型场景。
工程实践 Datadog Engineering 2024/11/20
文章介绍 Datadog 团队如何把形式化建模、轻量级仿真和混沌测试结合起来，分析一个分布式、多租户队列系统的可靠性问题。作者先用模型描述系统状态、调度规则和租户之间的干扰关系，再通过仿真探索不同负载、故障和时序下的行为，提前发现吞吐、延迟与公平性方面的风险。随后，他们用混沌测试在真实环境中验证模型未覆盖的边界情况，补齐实现细节和运行时交互带来的偏差。文章的核心结论是：对状态复杂、故障路径多的分布式系统，先建模再实验能显著降低试错成本，并帮助团队更早识别设计缺陷。但这类方法依赖对系统抽象足够准确，且更适合分析关键机制而非替代完整压测与生产观测。
文中直接给出了“formal modeling + simulation + chaos testing”的组合方法，并落在多租户分布式队列这一典型复杂系统上，属于可迁移的工程实践。适合做架构设计、稳定性验证和故障注入方法参考，但读者需要注意模型抽象是否覆盖真实系统边界。
工程实践 PlanetScale Blog 2024/10/10
本文继续分析 throttler 的部署形态，先比较单体服务、独立多实例、主备切换以及引入 agent/API 的方案。作者指出，加入采集代理或跨节点协作后，系统会从单一同步组件演变成分布式多组件系统，复杂度、权限边界和版本兼容问题都会上升，同时采样间隔叠加也会让指标更陈旧。随后文章给出分布式 throttler 的几种切分方式：按可用区、按功能、按主机或按服务粒度，并以 Vitess tablet throttler 为例说明如何在 shard 范围内聚合 replica lag，让 primary 代表整个 shard 做限流判断。最后，文章讨论如何降低 throttler 自身开销，包括客户端退避、空闲时降低采样频率或休眠、以及在无大任务时减少 heartbeat 生成，避免 binlog、磁盘和备份成本被额外放大。其边界在于，这些策略都依赖对业务负载形态、重试行为和一致性要求的准确预判。
收录价值明确：文章直接比较了 throttler 的单体、分布式与 agent 化方案，并用 Vitess 的 shard 级限流给出可落地的架构证据。适合做 MySQL/Vitess、SRE 和基础设施设计参考，但需要注意其结论高度依赖心跳粒度、轮询频率和客户端重试假设。
工程实践 PlanetScale Blog 2024/08/13
文章系统拆解了 PlanetScale 在 TB 到 PB 级 MySQL 迁移中实现零停机的流程：先做一致性且不加锁的快照，再持续复制 binlog 追平增量，并用 VDiff 对源端与目标端做全表校验。切流阶段通过 VTGate 缓冲请求、等待复制追平、建立反向复制链路，使切换可在秒级完成且可随时回滚。作者进一步说明了底层依赖 Vitess 的 VReplication、MoveTables、路由规则、序列和 sidecar 元数据，展示了按表、按分片串并行协作的实现方式。文章也明确了适用边界：切流前经 PlanetScale 转发会引入额外网络开销，建议使用只读副本作为迁移源；而超过约 250GiB 的库通常应结合分片来控制成本与性能风险。
推荐收录，因为文章不是泛泛谈“零停机”，而是给出了快照、GTID、binlog 追平、VDiff 校验、反向复制和请求缓冲等完整证据链。适合做数据库迁移、分库分表和在线切流的工程参考，尤其对需要评估回滚能力与迁移风险的团队很有迁移价值。
工程实践 PlanetScale Blog 2024/07/30
文章系统解释了 PlanetScale 在 Vitess 体系下的备份流程：先从对象存储取回上一次备份，恢复到专用 VTBackup 实例，再让其通过主库做短暂追平，最后生成新的全量备份写回 S3/GCS。作者强调，单库越大，顺序备份越容易被网络与恢复耗时拖慢；而分片后每个 shard 可并行执行同样流程，从而把总体备份时间显著压缩。文中用 161GB 未分片库与 20TB、32 分片库对比，说明总体吞吐提升主要来自并行化，而非单分片传输速度大幅上涨。文章还补充了备份的工程意义：它不仅用于灾难恢复，也用于新副本初始化、误删恢复和 Vitess 的时间点恢复。适用前提是数据库已分片且备份/恢复链路能并行调度；若是单体库或分片不均，效果会明显打折。
推荐收录，因为文章给出了可复用的备份链路设计、分片并行化带来的吞吐收益，以及备份在副本初始化和误删恢复中的真实作用。对做数据库基础设施、MySQL/Vitess、备份恢复或大规模系统运维的读者尤其有参考价值，但前提是系统本身具备分片与并行恢复能力。
技术文章 PlanetScale Blog 2024/07/08
这篇文章系统介绍了数据库分片的三种常见策略：directory/lookup-based、range-based 和 hash-based，并用示例说明它们如何根据 shard key 将数据分散到不同分片。作者分别分析了每种方法的优缺点：目录式分片便于按业务规则精确路由，但依赖额外的查表步骤，且容易因数据倾斜或热点访问造成单分片压力；范围分片实现直观，但如果范围划分不合理，很容易出现分布不均，需要通过 reshard 调整；哈希分片通常能获得更均匀的数据分布，代价是要做哈希计算，并且仍需谨慎选择高基数且符合访问模式的 shard key。文章还强调，分片方案不是点击按钮即可完成，真正落地时要结合数据分布、访问模式和后续扩容计划一起考虑。PlanetScale 的倾向是把 hash-based 作为默认选择，因为它通常最均衡、复杂度也更低，但这并不意味着它适合所有场景。
文章直接给出了三类分片策略的机制、优缺点和适用边界，属于数据库扩展的基础参考，而不是单纯的产品介绍。适合正在设计 MySQL/分库分表方案、评估 shard key 或做容量规划的读者阅读。
技术文章 PlanetScale Blog 2024/04/29
文章系统解释了 Vitess 的 Vindex 机制，重点聚焦于一致性查找 Vindex（consistent lookup vindex）如何在分片数据库中兼顾路由效率与数据一致性。作者先说明普通 lookup vindex 通过维护二级索引表，把查询从全分片扫描收敛到单分片命中；随后进一步指出，若主表与索引表分属不同分片，直接做跨分片事务会引入昂贵的 2PC。为此，Vitess 采用 Pre、Main、Post 三条连接按固定顺序提交/回滚，并通过加锁与事务编排来处理插入、删除、更新中的一致性问题。文章用删除后残留 orphan row、再次插入触发唯一键冲突等例子说明：即使 lookup 表短暂不一致，查询结果仍能保持与主表一致。它也明确了边界与限制，例如同值更新会产生锁等待，且同一事务内先删后插仍可能遇到该问题。
文章直接给出了 Vitess 一致性 lookup vindex 的提交顺序、锁定策略和失败恢复例子，属于可复用的分片一致性设计经验。适合做分库分表、MySQL 分片路由或数据库中间件设计参考，但其细节强依赖 Vitess 语义，落地时需注意同值更新和同事务删插的限制。
工程实践 PlanetScale Blog 2024/04/17
文章介绍了 PlanetScale 新增的 global replica credentials：用户只需一套复制库密码，即可在全球范围内自动路由到最近的只读副本，并在同一区域内对多个 replica 做负载均衡。作者说明了其默认拓扑是一个 primary 加多个跨可用区 replica，而新凭据可以在新增或删除只读区域时自动更新路由，无需修改应用代码或重新连接。文中进一步拆解了 PlanetScale Global Network 的工作方式：在边缘层终止 MySQL 与 TLS、进行连接池化，并通过低延迟 DNS 选择就近入口。实现上把 Credential、Route 和 Endpoint 分离，Route 由 etcd 监听并按实时延迟排序，从而把下一跳决策稳定地落到最优副本。该方案的价值主要体现在跨地域读扩展和连接管理简化上，但也明显依赖 PlanetScale 自身的全局网络与内部路由体系，通用性受平台约束。
文中给出了凭据、路由、端点三层拆分，以及边缘终止 MySQL/TLS、按延迟排序副本的具体实现证据，不是简单的产品宣传。适合做数据库代理、跨地域读扩展和连接层设计的参考，但迁移时要注意它强依赖 PlanetScale 的全局网络基础设施。
科研思考 Stanford Hazy Research 2022/11/16
这篇文章从斯坦福 Hazy Research 团队的视角，回顾 foundation models 如何改变他们的研究重心，尤其是围绕数据与系统的工作方式。作者将相关工作分成两类：一类是理解和改进基础模型本身，如 FlashAttention、S4、长序列建模和跨地域的去中心化训练；另一类是把 foundation models 作为数据工具，用于弱监督、数据探索、数据清洗与集成，以及隐私敏感场景中的新型学习方式。文章的核心判断是，FM 不只是更大的模型，而是在重新定义“如何编程数据”和“如何做研究”。不过它更像研究进展综述与方向宣言，缺少统一实验框架和系统性比较，适合把握研究趋势，不适合作为单点结论依据。
文章直接给出了 FlashAttention、S4、弱监督和数据清洗等具体研究线索，说明 foundation models 正在同时重塑模型、系统与数据工作流。适合做研究选题、方向梳理和跨领域方法迁移的读者，但需注意它是团队视角的阶段性总结，证据更偏方向性而非严格综述。
工程实践 Datadog Engineering 2022/05/17
文章介绍 Datadog 第三代事件存储 Husky，核心定位是一个“解耦”的分布式无模式向量化列存，用来承载高吞吐观测事件数据。作者从前两代系统的局限出发，说明为什么需要同时兼顾写入扩展、查询效率和模式灵活性，而不是继续沿用单体式或强绑定架构。文中重点讨论了 Husky 的设计目标：让存储能力随负载独立演进，并为分析型查询提供更适合列式扫描与向量化处理的数据布局。它的价值主要体现在观测平台这类高基数、宽表、模式变化快的工作负载上，但并不等同于通用数据库方案。对存储系统、分布式系统和可观测性基础设施的读者，这是一篇适合理解架构演进与取舍的工程案例。
收录依据很明确：标题和摘要直接表明这是 Datadog 对第三代事件存储 Husky 的设计复盘，强调“how we built it—and why”，属于典型的工程架构案例。适合做观测数据平台、分布式存储和列式查询系统的参考；其可迁移价值在于理解高吞吐写入、分析查询和模式演进之间的权衡，但方案本身强依赖 Datadog 的业务负载。