Reliability

76 篇内容

技术文章Phil Eaton - distsys

Checking linearizability in Go

文章讲解如何使用 Go 语言库 Porcupine 检查分布式系统的线性一致性(linearizability),以替代需要 JVM 的 Jepsen。作者先强调 Porcupine 只能帮助建立一致性信心,无法证明系统严格线性一致。随后以分布式寄存器为例,定义操作输入、整数状态和理想化 Step 模型,展示一个包含过期读的非法操作历史被 Porcupine 检测并生成可视化,再给出修复后的合法历史。接着扩展到分布式键值存储,用 map[string]int 建模并按 key 处理状态,进一步演示相同方法。最后指出示例未接入真实系统,并提示可通过状态分区提升性能、集成真实系统。

推荐收录,因为文章提供了完整可运行的 Porcupine 线性一致性检查教程,从模型定义到非法/合法历史验证,并明确工具的能力边界。对需要测试分布式一致性的 Go 工程师非常实用,可迁移到注册表、键值存储等场景,且绕开了 JVM/Jepsen 的学习成本。

技术文章Phil Eaton - databases

Things that go wrong with disk IO

本文围绕磁盘 I/O 中可能导致数据丢失或损坏的场景展开,涵盖写入未达磁盘、fsync 失败、数据损坏、部分写入、假写、误写/误读等。作者基于 Parity Lost and Parity Regained 与 Characteristics, Impact, and Tolerance of Partial Disk Failures 两篇论文,解释了 buffered I/O 下 fsync 的必要性及其不可靠性,并介绍校验和、原子写、O_DIRECT 等缓解措施。文中对比了 Postgres、SQLite、MySQL、MongoDB、RocksDB 等系统在持久化、校验和与撕裂写处理上的默认行为,指出部分系统默认开启校验和,部分未开启,且假写和误写/误读常被忽视。文章限定于 Linux 环境,强调不同文件系统与磁盘的扇区大小差异,适合需要理解存储可靠性边界的开发者和数据库工程师。

本文以具体故障场景为线索,结合真实数据库系统的默认行为,清晰解释了磁盘 I/O 中容易被忽视的可靠性问题,如 fsync 失败、撕裂写和假写。适合需要设计或维护持久化系统的工程师,尤其是数据库与存储系统开发者。其价值在于将零散的 I/O 风险系统化,帮助读者在事务性场景中做出更稳妥的 fsync、校验和与原子写决策。

技术文章Phil Eaton - databases

What's the big deal about Deterministic Simulation Testing?

文章系统介绍确定性仿真测试(DST)的核心思想:将分布式系统的多个节点运行在单线程中,通过注入受控的随机种子与时钟来消除非确定性,并在模拟中注入磁盘、网络和进程故障。作者用伪代码演示如何改造退避重试、文件读取和分布式节点等代码,说明需将随机源与时间依赖参数化,并限制为异步 IO。文章还讨论了实现中的非确定性来源、工作负载设计与模拟边界,指出 DST 并非万能,种子可复现性受代码变更影响。最后对比 Jepsen,强调 DST 虽不能替代生产验证,但能显著提高系统核心稳定性。

推荐收录,因为文章用具体伪代码和真实案例(FoundationDB、TigerBeetle、Antithesis 等)清晰解释了 DST 的原理、实现约束与局限性,不是泛泛而谈。适合分布式系统、后端和测试工程师理解如何通过受控随机与故障注入提高系统可靠性,同时避免对 DST 产生不切实际的期望。

工程实践TiDB 社区博客 - 实践案例

关于TiDB集群(TiKV数据留存)的恢复策略

文章围绕TiDB集群在元数据和管理信息完全丢失、仅保留TiKV数据文件情况下的恢复策略展开。作者以测试环境模拟案件取证场景,先通过TiKV日志提取原集群的Cluster ID,然后销毁原有集群与tiup元数据,重新部署相同版本TiDB集群,并将TiKV数据目录指向物理拷贝路径。随后修改last_tikv.toml中的日志、数据、raft等路径,使用pd-recover工具重置Cluster ID,最后启动集群并验证各组件状态。该方法适用于TiDB v6.1.0环境且TiKV数据完整、PD元数据不可恢复的场景。文章给出了具体命令和配置修改项,但未深入解释pd-recover原理、数据一致性验证细节及操作风险,整体更偏向可复现的操作记录。

推荐收录,因为文章提供了一个具体且可复现的TiDB灾难恢复案例,尤其适合运维人员或数据库管理员在元数据丢失时参考。文中的操作步骤、配置修改和Cluster ID恢复方法具备可迁移性,但需注意版本差异和数据一致性风险,建议结合官方文档使用。

工程实践知乎 - SmartCode 得物技术

得物知识问答:复合检索 Agent 的系统设计实践

文章系统介绍得物知识问答产品的复合检索 Agent 设计实践。作者基于 AgentScope 2.0 HarnessAgent,利用 ReAct 循环、Middleware 和并行工具调用,构建多源并行检索流程,融合企业知识库与个人飞书文档、消息、妙记数据,并通过权限注入实现数据隔离。检索质量上,采用查询扩展生成自然语言变体,并设计 FastPass、Reranker、LLM Grading 三阶段过滤 Pipeline,解决向量相似不等于语义相关的问题。系统还支持图片多模态输入、自动模型切换,以及多实例 SSE 断点续传和模型容灾,提升生产可靠性。文章最后总结六个创新点,并展望精细化检索策略和个人知识助手方向;当前方案依赖企业内部知识管理平台和飞书生态,长期记忆能力尚未启用。

推荐收录,因为文章并非泛泛介绍 RAG 套壳,而是给出了基于 AgentScope 的自主决策检索系统完整工程方案,包含多源并行检索、三阶段质量过滤、多模态输入和生产级 SSE 断点续传等关键设计,并附有代码片段和评测结果。对正在构建企业知识问答、Agent 检索或 RAG 工程化系统的读者,文中关于关注点分离、权限隔离和断点续传架构取舍的做法可迁移,但需注意其对 AgentScope 和飞书生态的依赖。

工程实践Amazon Science

A decade of mathematical certainty: Reflections on the Automated Reasoning Group

文章回顾了 AWS 自动推理组十年间将数学逻辑、形式验证和程序分析从研究原型推向生产服务的历程。核心方法包括使用 SMT 求解器、证明助手(如 Lean)和规范证明,对 VPC 网络、IAM 策略、TLS 握手、Nitro 隔离引擎及授权引擎等关键系统给出数学保证。文中列举了 Tiros/Zelkova、Reachability Analyzer、IAM Access Analyzer 和 Amazon Bedrock Guardrails 等落地成果,并指出自动推理不仅提升安全与可靠性,还通过精确规范帮助团队简化系统设计。作者进一步认为,该技术正被用于验证 AI 生成代码和约束智能体行为,为可证明安全的 AI 系统提供基础。文章主要作为 Amazon 内部视角的成就回顾,未深入介绍具体算法、失败案例或量化局限。

本文作为工业界形式化方法落地的一手回顾,提供了多个真实生产案例(如 IAM Access Analyzer、Reachability Analyzer、Bedrock Guardrails)和可迁移的洞察:精确规范能简化设计,自动推理可用于验证 AI 输出。适合关注形式验证、云安全、AI 安全的读者了解从研究到工程化的路径。主要风险是 Amazon 自我视角、缺乏技术细节和失败分析,需结合其他深度材料使用。

工程实践Xe Iaso

Extending immutability: deletion without losing data

本文深入探讨了在全球分布式、主动-主动复制对象存储系统中实现软删除的挑战与方案。作者分析了传统墓碑标记在跨区域删除-更新时序冲突时导致数据复活的问题,并设计了将对象元数据移至独立命名空间(类似回收站)的软删除机制,保留垃圾回收根以避免误删后数据丢失。文中详细描述了反复活策略:任何写入必须证明时间戳严格晚于删除记录,否则被丢弃,以此保证分布式一致性。文章还对比了S3的删除标记实现,展示了Tigris的API用法,并指出该方案适用于需要抗误删、防勒索和代理安全场景,但反复活逻辑增加了写入验证开销,且恢复操作需客户端显式调用。适用边界在于依赖底层不可变追加存储,且需预先启用软删除特性。

推荐收录。本文不是简单的API介绍,而是从分布式系统时序冲突的根本难题出发,完整展示了软删除与反复活机制的设计逻辑、实现细节和工程取舍。对构建跨区域数据持久化、设计类似回收站功能或处理最终一致性问题的工程师有直接参考价值,其中的元数据分离和写前检查模式可迁移至其他键值存储或数据库系统。

工程实践知乎 - 千问云

AI Native 下的混沌工程:Agent 军团如何重新定义系统韧性验证

本文分享了在专有云IaaS场景下,将混沌工程从依赖专家的一次性专项演练升级为AI Native平台能力的完整实践。核心设计采用九种Agent分层的多智能体架构,通过共享黑板实现Agent间解耦,并由三道递进式安全闸门保障注入安全;同时引入经验反馈回路与AI飞轮回路,使用例知识和编排策略持续自进化。平台实现了全链路AI驱动的韧性验证:从注入、观测、诊断到报告和工单闭环,人仅需触发与确认。实战数据显示单次验证闭环从数天压缩至40余分钟,人力投入从专职SRE降至0.1人,并已发现多条产品稳定性缺陷。该方案适用于需要高频、自动化可靠性验证的复杂基础设施场景,但对组织协作和产品Agent接入有一定要求。

本文提供了端到端的AI驱动混沌工程平台建设案例,详细阐述了多Agent架构、安全控制、进化回路和标准接入机制,而非泛泛的概念介绍。其分层解耦、黑板通信、双进化回路等设计具有较高的可迁移价值,适合SRE、平台工程师和架构师参考,用于建设或改进系统韧性验证体系。

工程实践Salesforce Engineering

How Salesforce Eliminated Single-Region Risk and Reduced Downtime Blast Radius at 4B Metrics/Min

Salesforce内部可观测平台Argus需处理每分钟40亿指标,原单区域架构导致全局可用性风险及高昂的数据传输成本。团队采用地理本地化策略,将指标就近处理和存储,避免全量复制,并通过联盟查询层与Elasticsearch元数据映射实现智能路由,仅查询数据所在区域,减少跨区域开销。同时引入HTTP 206部分响应和UI提示来处理部分地域不可用,保障用户体验。文章还介绍了通配符查询的元数据缓存优化,以及持续容量规划和架构审查来维持隔离边界。该方案已在五个生产区域中的四个上线,显著降低爆炸半径,但跨区域延迟和流量成本仍为后续关注点。

这篇工程案例详实记录了如何将单区域可观测平台迁移到多地理架构,解决全局不可用风险并控制成本,包含查询联邦、部分失败处理和元数据缓存等关键设计,为构建高可靠、大规模可观测系统的团队提供了可复用的架构思路和实践参考。

工程实践知乎 - 腾讯技术工程

腾讯Omega:下一代“AI BI”的答案?

文章深度复盘了腾讯 Omega AI BI 系统从理念到落地的完整过程。针对传统 BI 操作门槛高、ChatBI 仅能完成单次查询的局限,Omega 将 AI 重建为分析工作的协作体:由 LLM 规划指标、组织页面并生成 HTML,同时通过 QueryRegistry 数据契约和 DTBridge 运行时解耦数据查询与界面,实现页面与真实数据的持续联动。文章详细阐述了指标证据链构建、语义模型接入、筛选器依赖图、多层安全防护、运行时契约(有界、可取消、可观测、可自纠)等关键设计,并分享了模型幻觉、慢查询误杀、成本权衡等真实事故与应对。结论强调 AI 生成页面仅是第一层,系统化地保证页面第二天仍可用、分析可延续、Agent 出错可体面恢复才是产品化的核心,适用于拥有数据底座且具备一定治理水平的企业场景。

本文是一份高质量的工程复盘,不是泛泛的产品介绍,而是细致拆解了 AI BI 系统从原型到可生产产品的核心矛盾与解决方案。对负责 AI 产品化、数据工程、系统架构或安全设计的读者有极强的可迁移价值,尤其在如何用确定性系统约束 AI、如何保证数据查询与界面长期可靠联动方面提供了可复用的模式。

技术文章Fzakaria Blog

The Nix sandbox is a hidden input

文章深入分析了Nix沙盒配置(sandbox-paths)如何成为推导的隐式输入,破坏了推导作为完整构建配方的理想。作者通过一个极简示例演示:当沙盒中不挂载/truth时,推导输出“2+2=4”;挂载包含不实内容的/truth后,输出变为“2+2=5”,但输出哈希不变,说明相同的.drv可以产生不同内容。文章进一步讨论此问题的严重性:默认sandbox-paths取决于Nix二进制的编译选项(如是否带busybox),不同机器上的“相同”Nix版本可能因隐式输入差异而产生不可重复的构建。作者还结合自己构建OpenJDK的实例,说明Guix软件包假设不存在/bin/sh而Nix默认提供,导致构建过程静默走上不同分支并生成损坏产物,该损坏产物还被无心上传至二进制缓存。文章揭示了Nix设计中的一个根本性权衡:将sandbox-paths纳入推导会破坏缓存共享,而排除则损害可重复性。其边界在于仅讨论intensional模型,content-addressed derivations或可缓解。

文章通过一个简洁可复现的例子,直观展示了Nix沙盒路径如何成为隐式输入,破坏推导的完整性和可重复性,并结合作者构建OpenJDK的真实踩坑经历,揭示了该问题在跨机器构建和二进制缓存投毒中的实际风险。适合所有关注构建可重复性和供应链安全的Nix用户、DevOps工程师阅读;其揭示的“隐式输入”原理可迁移至任何追求封闭构建的系统,提醒我们在依赖缓存时需重新审视信任假设。

工程实践知乎 - SmartCode 得物技术

AI Native 交易核心系统的研发范式|得物技术

文章分享了得物技术团队在订单系统完成稳定性改造后,面对AI编码带来的代码量激增与质量挑战,如何重构研发流水线以适配AI Native范式。核心思路是将传统流程升级为五道标准化关口:需求澄清阶段通过BDD场景与知识库对齐,锁定业务验收标准;技术方案阶段以五段式模块拆解将设计决策前置,并拉取历史约束规约;编码执行阶段引入TDD的RED-GREEN循环,保证代码可测试、可追溯;门禁卡控阶段由多个审查Agent并行审核,确保阶段产物合规;全流程埋点监控则量化研发过程,驱动持续改进。文章以出海礼品卡需求为例贯穿全文,展示了从需求到代码的完整证据链,为交易核心系统在AI辅助下的稳定性治理提供了可落地的工程实践。

本文系统性地记录了AI编码引入核心系统后的稳定性治理实践,将BDD、TDD、知识库校验与门禁流水线相结合,形成从需求到验证的闭环。其五道关口设计、增量代码体检和全链路埋点等方法,对面临AI辅助开发挑战的高可靠性系统团队具有直接参考价值,可迁移到类似交易、金融等核心链路的研发流程优化中。

技术文章Kubernetes Blog

How the controller-runtime Cache Actually Works, and Why Your Controller Does Not Crash the API Server

本文深入剖析了 controller-runtime 缓存的内部机制,解释了为何控制器不会压垮 API 服务器。核心原理是:r.Get 和 r.List 并非直接查询 API 服务器,而是读取由 Reflector 通过 list+watch 构建、存储于 Indexer 的本地内存副本;写操作则直接发往 API 服务器,并通过 watch 异步反馈到缓存。文章详细拆解了 DeltaFIFO 的有序分组与去重、workqueue 的 key 级合并、索引器如何提供类 SQL 的快速查询、选择性缓存及 Transform 等内存优化策略,并列举了读后写期待、共享对象突变、resync 误解等常见误区。全文基于 client-go 原语,提供了从启动阶段到生产调优的完整心智模型,适用于已经编写 Go 控制器但希望深入理解其行为以避免生产意外的工程师。

推荐收录。文章深入揭示了 controller-runtime 缓存的底层模型和常见误区,为 Kubernetes 控制器开发者提供了可迁移的内部视角和防错指南。内容覆盖了从原理、设计取舍到实战优化的完整链路,长期计算参考价值显著,尤其适合需要在高负载集群下保障控制器稳定性和性能的工程团队。

工程实践Salesforce Engineering

Building Reliable Production AI with Durable Workflows

文章以 Salesforce Agentforce Grid 为案例,深入剖析从 AI 原型转向生产系统时面临的分布式执行挑战。作者指出,生产 AI 的核心问题不是模型行为,而是如何让智能在长时运行、部分失败、部署重启、重试和输入变化中保持可靠。文章提出通过持久工作流将执行状态与工作线程生命周期解耦,并围绕可恢复的工作单元划分、执行状态持久化、重试边界对齐恢复边界、分层进度可见性等设计决策展开讨论。内部测试显示,迁移到 Temporal 后,高负载下失败率从约 90% 降至 0%,P95 完成时间缩短约 60%,验证了该架构的有效性。文章适用于涉及大规模批量推理、多步 Agent 或工具调用的 AI 工程场景,但数据来自内部环境,外部应用需独立验证。

推荐收录,因为文章基于真实生产系统,完整呈现了从问题识别到架构演进的工程决策过程,提供了可迁移的工作单元划分、状态持久化与重试设计原则。适合从事 AI 工程化、大规模分布式推理和可靠工作流编排的工程师与架构师阅读,能直接帮助读者在类似系统中避免“重跑全部任务”的陷阱,提升整体可靠性。

技术文章PlanetScale Blog

Postgres backups under the hood

文章深入解析 PostgreSQL 的三种备份方式:逻辑备份(pg_dump)、文件系统备份和连续归档。首先介绍 pg_dump 如何利用 MVCC 获取一致性快照,并指出其在特大库上可能因长期持有快照导致事务回卷而触发只读模式的风险。接着说明文件系统备份虽然速度快,但需要停机或原子快照支持,且无法实现时间点恢复。重点阐述了连续归档的原理:通过持续归档 WAL,结合 full_page_writes 在线备份文件系统后,利用 WAL 中的完整页镜像修复备份过程中可能出现的“涂抹”数据,从而得到一致且可恢复的备份。文章还解释了基于此机制的时间点恢复过程,以及 PlanetScale 如何通过每 12 小时自动备份与控制 WAL 重放窗口来保持恢复速度。最后简要提及大规模备份的挑战,为介绍分布式 PostgreSQL 与分片备份埋下伏笔。

本文不只是罗列备份命令,而是清晰解释了 pg_dump 的事务回卷风险、WAL 与 full_page_writes 如何解决在线备份的一致性难题,以及时间点恢复的内部逻辑。这些内容对数据库管理员、后端工程师和运维人员有直接参考价值,能帮助理解备份策略的真实约束和取舍,迁移至其他数据库系统时也有启发。

工程实践Salesforce Engineering

How AI Reduced Customer Bug Triage from Nearly a Year to Less Than a Week

本文详细记录了Salesforce内部AI系统BugWiser的构建过程,旨在将客户缺陷分类和根因分析从超过300人天的手动流程缩短至一周以内。团队面临的核心挑战不是单纯应用AI,而是将多年工程判断编码为一套可信的自动化分类框架。解决方案融合了自定义机器学习模型(用于确定性分类、置信度评分与可解释性)和大语言模型(用于综合上下文和生成摘要),并设计了基于置信度的自动接受与人工反馈闭环,使约90%的预测无需修改。文章还探讨了模型选择、训练、部署及工程文化转变的具体权衡,强调‘信任设计’是该系统的支柱。其边界在于依赖Salesforce内部历史缺陷数据,并需要持续的工程师反馈来保持模型与专家认知对齐。

本文是一个高质量的工程案例,展示了在大型组织内如何通过AI工程化手段解决真实的质量与效率问题。它对面临类似‘专家依赖型’人工流程的团队具有直接参考价值,尤其在如何组合专用模型与通用LLM、如何通过置信度与反馈循环构建工程师信任、以及如何衡量生产力提升等方面提供了可迁移的设计模式。适合负责工程效能、质量保障或AI系统落地的工程师和管理者阅读。

工程实践Salesforce Engineering

How Informatica Reduced Data Integration Pipeline Development from Days to Minutes

本文以Informatica Copilot为例,介绍如何通过自然语言生成数据集成管道,将开发时间从数天缩短到数分钟。文章回顾了从微调模型转向OpenAI的架构决策、应对模型快速演进的测试策略,以及通过提示工程、上下文增强和验证层提升准确性的方法。客户已生成约10,000条管道,表达式自动生成采纳率约60%,表明AI辅助显著提升效率。核心结论是生成式AI的准确性更依赖上下文与防范机制而非模型规模,并提出未来将支持代码优先和代理式工作流。案例局限于数据集成领域,但工程思路具有可迁移性。

推荐收录,因为文章提供了从模型迁移、非确定性系统测试到提示调优与验证的完整工程案例,并附有客户采纳数据作为证据。适合正在构建AI特性尤其是LLM集成的工程师阅读,可借鉴其迭代适应基础模型、通过验证层保障准确性的实践。主要迁移价值在于揭示了提升AI系统精度不依赖更大模型,而在于上下文设计与保护机制。

工程实践Cloudflare Blog

Introducing Meerkat: an experiment in global consensus

这篇文章介绍了 Cloudflare 为全球 330+ 数据中心控制面状态设计的实验性一致性服务 Meerkat。作者先明确需求:既要线性一致、又要在机器宕机、链路抖动和部分数据中心失效时保持可写可读,因此传统依赖主节点和超时的 Raft 在广域网里容易因 leader 故障或误判超时而不可用。Meerkat 采用 EPFL 提出的 QuePaxa,让任意副本都能发起提议,多个副本并发提案不会像 Raft 那样互相干扰,从而在多数派可通信时维持进展。文章还用日志槽位解释了如何通过一致的决议顺序实现 linearizability,并说明读写都可能进入日志以保证一致性。它也坦陈系统的边界:共识带来多轮往返和较高延迟,因此更适合写入稀少但必须强一致的控制面场景,而不适合通用数据库或低延迟业务。

推荐收录,因为文章给出了从 Raft 痛点到 QuePaxa 选择、再到 Meerkat 架构落地的完整论证链条,并明确展示了广域网一致性系统的可用性与延迟权衡。适合做分布式系统、控制面设计和一致性协议选型的参考,但需注意它仍是实验系统,结论主要适用于多数派可达、写入较少的场景。

工程实践知乎 - 千问云

当 Agent 替你值班:基于 Devix 构建 7x24 自动化运维 Harness Engineering

文章复盘了在 Devix 上搭建 7x24 自动化运维系统的实践,目标是让 AI Agent 接管告警诊断、分级处置和结果闭环。作者提出 Harness Engineering:让 Agent 负责语义理解和推理,脚本负责数据召回与动作执行,以确定性流程约束模型的不稳定和“没记性”。系统以钉钉、DataWorks、ODPS 为核心链路,完成告警触发、深层日志解析、案例检索、决策树分流和自动重跑、人工确认或升级处理。文中进一步设计了基于错误模式和历史成功率的置信度调整、规则库自进化机制,以及自动重跑、代码修复的多层安全防线。适用边界是故障模式较可枚举、API 和知识库完善、且允许用历史案例逐步放权的运维场景;对于高度开放或高风险动作,仍需严格人工兜底。

收录依据很明确:文章不是泛谈 Agent,而是给出了告警、诊断、决策、执行、追踪、沉淀的完整工程闭环,以及置信度分级和规则自进化的具体实现。适合做 AI 运维、自动化流程编排和生产级 Agent 设计的参考,但读者需注意它依赖清晰的业务知识库、规则库和安全兜底,不能直接照搬到开放场景。

工程实践PlanetScale Blog

Deadlocks and downtime

文章围绕数据库死锁导致的排队、重试风暴和潜在宕机展开,先解释 Postgres 如何在 deadlock_timeout 之后检测锁环并回滚一个事务。作者指出,单次死锁通常可恢复,但当高并发下死锁频繁出现时,等待队列会迅速堆满连接池,死锁检测本身反而成为系统压力源。文中给出两类缓解手段:在查询与事务层面保持一致的加锁顺序、缩短事务并尽量晚加锁;在应用层对 40P01 错误做指数退避加随机抖动的重试,避免立即重复触发同一冲突。最后还介绍了通过 PlanetScale 的 Traffic Control 和 Resource Budget 在数据库侧限制问题查询并先以 warning 观察影响,再切换到 enforce 阻断锁竞争。文章适合处理高并发数据库系统的工程实践参考,但其效果依赖于死锁场景的规模、查询模式以及应用是否具备正确重试逻辑。

推荐收录,因为文章明确给出了死锁从“可恢复错误”演变为“队列堆积和宕机”的链条,并提供了查询顺序、事务长度、重试退避和数据库侧限流的组合治理方案。适合做数据库稳定性、故障预防和高并发系统设计的参考,且这些做法可迁移到其他关系型数据库与在线服务场景。

工程实践NVIDIA Technical Blog

Enhancing Goodput in Large-Scale LLM Training with Nonuniform Tensor Parallelism

文章讨论大规模 LLM 训练在上千张 GPU 上运行时,因设备短暂不可用、资源波动和长尾故障而导致的 goodput 损失问题。作者提出非均匀 tensor parallelism:不再强制所有并行分片使用相同的张量并行度,而是根据可用硬件与作业状态动态调整不同分片的并行配置,以减少阻塞和重分配开销。文中把目标从单纯吞吐转向有效训练产出,强调在恢复、容错和资源利用之间做权衡。该方法更适合超大规模训练集群和频繁扰动环境,对稳定、小规模或编排能力有限的场景收益可能较弱。

收录价值在于它直面大规模训练中“有效产出”而非表面吞吐的问题,并给出非均匀 tensor parallelism 这一可迁移的系统思路。适合做 LLM 训练平台、GPU 集群调度和容错优化的工程师参考,但其收益依赖集群规模与故障/波动频率。

工程实践Simon Willison

sqlite-utils 4.0rc2, mostly written by Claude Fable (for about $149.25)

这篇文章记录了 sqlite-utils 4.0rc2 的发布前审查过程,核心是作者借助 Claude Fable 对 rc1 之后的变更做全面回查,并最终推动稳定版发布。文中最关键的发现是事务处理存在多个隐藏缺陷:例如 delete_where() 会留下悬挂事务、db.execute() 的写入语义与文档不一致、db.query() 对返回行与非返回行语句的处理存在副作用。作者据此重构并补齐了事务模型说明,增加了 db.begin()/db.commit()/db.rollback(),同时修正了 Python 3.12 autocommit 兼容性、migrations 原子性、upsert 校验和若干命令行为。文章还展示了多轮子代理、交叉模型复审和基于 changelog 的增量写作流程,并给出约 149 美元的推理成本估算。整体上它既是一次真实的发布事故预防案例,也是一份关于 AI 辅助代码审查与事务语义设计的可复用经验。

推荐收录,因为正文不仅讲了“用 AI 写代码”,而是明确暴露并修复了数据库事务、自动提交和 API 语义上的真实缺陷,证据充分、可验证。适合关注 SQLite/数据库工具、发布审查和 AI 辅助代码审查的读者,尤其有助于借鉴“先审文档、再审实现、用多模型交叉复核”的工作流。

工程实践Grab Tech

Migrating Counter Service storage: Design choices and learnings

文章复盘了 Grab 将 Counter Service 从宽表数据库迁移到 Aerospike 的全过程,核心不是简单换存储,而是先重构读写分层,再按访问模式重新设计数据模型。读路径上,作者把存储访问从业务逻辑中抽出,采用带枚举分发的 facade,并通过 shadow read、split traffic 和配置切换实现无停机、可回滚迁移。写路径上,团队尝试了按桶存行、Secondary Index 和 BatchGet,最终选择“单 counter 单记录 + 有序 map”的结构,用原子 MapIncrement 和显式清理旧桶来降低索引和磁盘占用。文中还记录了 Rust 客户端不成熟、DNS 解析和 NVMe 索引实验带来的问题与回退原因。最终系统在读延迟、成本和存储 footprint 上都有明显收益,但这些收益主要来自 schema 与架构重构,而非数据库替换本身。

推荐收录,因为文章给出了迁移前后的存储分层、影子流量、逐步切流、数据建模和回退验证等完整证据,而不是泛泛谈“换数据库”。适合做存储迁移、在线系统无停机改造和性能/成本权衡的参考,尤其对需要处理高 QPS 计数服务的工程师有直接迁移价值。

科研议题知乎 - 微软亚洲研究院

AI Next 播客 | 对话周礼栋:当系统开始“思考”,AI如何走向自主进化

这篇文章是微软亚洲研究院《AI Next》播客的文字整理,核心讨论“AI 与系统如何协同进化”,以及未来“系统智能”应如何定义与落地。周礼栋从聚合通信调度、OptiFlow 自动优化等例子出发,说明传统依赖人工调参的系统方法已难以跟上 AI 规模化和动态化的发展节奏。文章进一步提出,系统智能不是简单用 AI 辅助开发,而是让 AI 负责开放空间中的探索、生成与方案搜索,让系统负责抽象、约束、验证、执行与反馈,形成可闭环、自适应、可演化的基础设施。文中还强调可信基石的重要性,主张以最小可信计算基、形式化验证、隔离、审计和回滚机制约束 AI 的不确定性,并以 Verus 等工具为例说明可验证代码与 AI 生成代码结合的可能。最后,文章讨论了模型与硬件解耦、开放多元计算生态,以及培养同时理解 AI 与系统的交叉型人才等问题。整体上它偏研究方向与方法论梳理,案例具有启发性,但更像观点访谈而非完整实验论文,适合将其视作趋势判断和系统设计思路参考。

文中直接给出 OptiFlow、最小可信计算基、Verus 等具体例子,说明“AI+系统”从理念到机制的可行路径,不是泛泛而谈。适合做系统研究、AI 基础设施和可信计算方向的趋势参考,但需注意它是访谈式观点整理,实验细节与量化评估不如论文完整。

工程实践知乎 - TencentDB腾讯云数据库

「腾讯云 NoSQL」技术之 Redis 篇:针对集群选举投票冲突的优化方案

文章系统剖析了 Redis/Valkey Cluster 在自动故障转移中的三段流程:PFAIL/FAIL 判死、故障副本拉票选举、以及新主广播后刷新路由,并解释了 currentEpoch、configEpoch、auth_timeout、auth_retry_time 和 data_age 的相互作用。作者指出,多个主节点同时故障时,多个副本会在同一 epoch 里并发拉票,因“每个 voter 同 epoch 只能投一票”而发生选票瓜分,导致 5 分片甚至 128 分片集群都可能长期无法自愈。腾讯云在 Valkey PR #1018 中引入 failed_primary_rank,以 shard_id 字典序为故障分片排序,在原有副本内排序基础上再叠加分片间错峰延迟,把抢票改成排队选举。文章还补充了 PR #1009 的快速失败兜底与 PR #762 的分片内错峰,说明这些优化都不改变一票一 epoch 的防脑裂原则,只是降低冲突概率并缩短恢复窗口。其价值在于把协议层的随机恢复,推进为大规模云环境下更确定的自愈流程;边界则是仍依赖 gossip 一致性,极端时序竞争下仍需快速失败兜底。

推荐收录,因为文章给出了从协议机制到线上故障现象的完整链路证据,并明确指出多主同时故障下的选票瓜分是 Cluster 自愈失败的根因。适合做 Redis/Valkey 高可用、分布式选举和故障转移设计的长期参考,尤其对云数据库和大规模集群运维很有迁移价值。

工程实践Cloudflare Blog

How we built saga rollbacks for Cloudflare Workflows

文章介绍 Cloudflare Workflows 新增的 saga rollback 机制,目标是在长事务、多步骤流程中,把补偿逻辑直接和每个 step.do() 绑定,避免开发者手写复杂的 try-catch、状态跟踪和回滚顺序控制。作者用转账、库存和通知等例子说明:当某一步失败时,系统会按逆向的 step-start 顺序执行补偿,并要求 rollback 本身也具备幂等性、重试和超时配置。文章还比较了 fluent、builder 与 options 三种 API 设计,最终选择把 rollback 作为 step 元数据,以保持 step.do() 的语义、并发执行模型和可读性不变。底层实现上,Workflows 依赖持久化的 step 历史、可恢复的 rollback stub 和 replay 机制,在运行时重建补偿能力,而不会重复前向副作用。该方案适用于需要跨外部系统协调、且必须处理部分成功与恢复重试的工作流,但不解决业务层天然不可逆操作的语义复杂度。

文中明确给出了 saga rollback 的执行顺序、幂等要求、恢复机制和 API 取舍,不是简单功能公告。对做工作流引擎、分布式事务编排、可靠性设计或 SDK/API 设计的读者都有直接迁移价值。

工程实践知乎 - TencentDB腾讯云数据库

腾讯云 NoSQL 技术之 MongoDB 篇:物理备份磁盘膨胀率减少 90% 的内核优化实践

文章围绕 MongoDB 基于 WiredTiger 的物理备份在 hidden 节点上持续膨胀的问题展开,指出根因是 backup cursor 将历史 checkpoint 持续 pin 住,导致旧 extent 不能回收,新写入只能不断追加到文件尾部。作者进一步分析了 oplog.wt 在备份期既最容易膨胀、又几乎没有回档价值的特点,并给出按表级粒度释放 checkpoint 的内核接口 `WT_CONNECTION::backup_release_checkpoint`,让旁路备份服务在拷完单表后即时通知引擎恢复空间回收。针对 oplog,则在备份开始即释放并跳过拷贝,同时配合元数据处理避免恢复失败。文章还补充了 crash recovery 场景下的 sentinel 文件方案,用于区分备份中断与备份完成,避免错误进入 hot backup restore 路径。实测显示,在多表场景下备份耗时约减半,hidden 节点峰值占用和物理膨胀率显著下降,但方案强依赖 MongoDB/WiredTiger 备份与恢复语义。

推荐收录,因为文章给出了从根因分析、内核改造到恢复语义兜底的完整闭环,并用线上实测数据证明了膨胀率和回档成本的下降。适合做数据库存储引擎、备份系统和稳定性优化的参考,尤其对需要处理 checkpoint、快照一致性和 crash recovery 的读者有直接迁移价值。

工程实践Salesforce Engineering

How Agentforce Prevents Language Drift in 600K Daily Multilingual AI Workflows

这篇文章复盘了 Salesforce Agentforce 在 34 种正式支持语言和数十种 Beta 语言下,如何防止大模型在多步骤代理工作流中发生“语言漂移”。核心做法不是依赖 LLM 自行决定输出语言,而是在推理开始前通过低延迟语言检测建立可共享的 Localization Context,并让规划、检索、动作执行和响应生成都遵循同一语言契约。文章还讨论了分布式组件在并行执行、语言切换、回退策略不一致等场景下的失效模式,以及未来在评估、文化适配和中繁/简体等细粒度语言差异上的挑战。

推荐收录,因为它展示了大规模多语言 AI 系统里一个非常典型且可迁移的问题:如何把概率模型放进需要确定性约束的分布式工作流中。文章给出了明确的架构选择、延迟数据和失效边界,对做 AI 工程、代理系统或国际化产品的团队都有参考价值。

工程实践Cloudflare Blog

How we found a bug in the hyper HTTP library

这篇文章复盘了 Cloudflare 在 Images binding 迁移后遇到的一起间歇性响应截断问题,最终定位到 Rust HTTP 库 hyper 的 HTTP/1 连接状态机里:flush 还没完成就被当作已完成,随后触发过早 shutdown,导致大响应在 socket 背压下被截断。作者通过复现工单、分层排除、分布式 tracing 和 strace 观察系统调用,最终用一个可控的“满缓冲 socket”测试稳定复现并修复了这个 race condition。文章特别说明了该问题只在特定时序、大响应、真实生产并发和读取方稍慢时出现,curl 等快速读取场景很难触发,因此很适合作为连接层故障排查与异步 I/O 正确性案例参考。

推荐收录,因为它不是简单的 bug 通报,而是完整展示了从现象、复现、分层排除到根因确认与最小修复的工程分析链路。文章对理解异步 flush/shutdown 顺序、socket 背压、以及为什么应用层观测可能看不到底层丢包问题,很有迁移价值。

工程实践Meta Engineering

Adopting AV1 for Real-Time Communication (RTC) at Scale

这篇文章系统复盘了 Meta 在实时通信场景大规模引入 AV1 的全过程,覆盖编码器/解码器选择、移动端功耗与内存约束、二进制体积控制、Android 设备准入、以及基于编码/解码延迟的动态码率与码流切换策略。作者进一步讲解了面向 RTC 的关键质量优化,包括更精确的 CBR rate control、VBV delay 评估、Temporal Layer、自适应 FEC 和 Long-Term Reference 等抗丢包机制,并说明这些设计如何在低带宽、弱网络和低端设备上兼顾清晰度、时延与稳定性。文章最后给出当前覆盖进展与后续扩展到群聊、硬件 AV1 的边界和方向。

推荐收录,因为它不是泛泛介绍 AV1 优势,而是完整呈现了一个大规模 RTC 系统从选型、落地到持续优化的工程路径,尤其适合关注端侧性能、网络适应和多约束权衡的读者。文章对 device eligibility、rate control、error resilience 的处理方式具有较强迁移价值,能为音视频、移动端和实时通信系统提供可复用的方法论。

工程实践Netflix TechBlog

The Data Canary: How Netflix Validates Catalog Metadata

文章介绍了 Netflix 为高频更新的 catalog metadata 构建“data canary”系统的工程实践,用真实生产流量验证数据变换后的最终输出是否会引入损坏。作者详细说明了为什么传统代码 canary 和影子流量不够用,以及如何通过独立 orchestrator、baseline/canary 双集群、混沌实验平台扩展、sticky canary 和实时中止机制,在 10 分钟内完成检测并阻断坏数据发布。文章还给出了主动注入故障的验证结果,说明该方案能在 2.5–4 分钟内识别回归,并把数据错误从“影响播放的事故”前移为“发布前拦截”。

推荐收录,因为它不是泛泛讲“数据质量重要”,而是给出了高频数据管道如何借助生产流量、行为指标和自动化闸门实现快速验证的完整方案。对于做数据平台、实时链路、SRE 或可靠性工程的读者,这篇文章在检测指标选择、实验窗口缩短、误伤控制和系统扩展性方面都有很强的迁移价值。

工程实践Netflix TechBlog

The Evolution of Cassandra Data Movement at Netflix

这篇文章复盘了 Netflix 将 Cassandra 数据搬迁从旧的 Casspactor 架构演进到新的分层数据移动引擎的过程,核心目标是提升可靠性、可扩展性和成本效率。文章重点解释了新方案如何直接从 S3 中的备份元数据读取单一事实来源、在 Spark DataFrame 层处理数据、通过 Connector Factory 支持多种数据抽象,以及如何解决大分区、元数据脆弱、间接表膨胀和时间回溯等问题。文中还系统总结了迁移方法论:通过 shadow 验证、可观测性建设和 Decider pattern 实现对线上用户零影响切换,适合作为大型数据平台重构与平滑迁移的参考案例。

推荐收录,因为它不是简单的系统替换公告,而是完整展示了一个高风险数据平台迁移如何从架构、验证、观测和回滚机制四个层面设计。对做数据基础设施、平台工程和大规模迁移的读者来说,文中的分层架构、单一事实来源、shadow 对比和安全切换方法都具有很强的可迁移价值。

工程实践Cloudflare Blog

Build your own vulnerability harness

这篇文章系统讲解了 Cloudflare 如何把“单次的安全审计技能”演化成面向整个代码仓库群的漏洞发现与验证流水线,核心思想是把模型当作可替换部件,而把持久化状态、调度、去重、交叉验证和人工复核做成稳定的基础设施。文章详细拆解了 Recon、Hunt、Validate、Dedup、Trace、Judgment、Fixing 等阶段,强调通过数据库持久化、独立验证模型、跨仓库依赖追踪、PoC 强约束和人类签核来压低误报并提升可扩展性,同时明确指出这种体系更适合大规模、长期运行的安全研究场景,而不是依赖单个提示词或单个模型会话。

推荐收录,因为它不是泛泛谈“用 AI 找漏洞”,而是给出了一套可以迁移的工程架构:如何把不稳定的模型能力包进可恢复、可去重、可验证、可审计的流水线中。对做安全自动化、LLM 编排、复杂任务代理系统和大规模人工复核流程的读者,都有很强的参考价值。

工程实践知乎 - 鹅厂架构师

AI Agent & Skill 测评方案及落地实践

文章系统总结了 AI Agent 与 Skill 的测评方案,重点解决非确定性、黑盒化和错误级联三类问题,提出“确定性评分器 + Rubric 评分器 + 人工评分器”的组合框架,并将测评拆解为功能正确性、过程质量、效率成本、鲁棒安全、体验对齐五个维度。作者进一步给出用例设计、基线建立、稳定性评估、CI 集成和报告归档的完整落地流程,并以 TPerf 性能分析 Agent 为真实案例说明如何通过结构化 Trace、LCS 步骤对齐和多轮 Trial 评分实现生产级回归测评。文章适合正在构建或升级 Agent 评测体系的工程团队参考,尤其适用于需要把模型能力纳入持续集成和版本门禁的场景。

推荐收录,因为它不是停留在概念层的泛泛讨论,而是把 Agent 测评拆成了可执行的评分器、指标、基线和流水线,具有很强的工程可迁移性。文中给出的用例组织、Trace 规范、Rubric 设计和稳定性阈值,对构建生产级 AI 应用评测体系的团队尤其有参考价值。

工程实践Cloudflare Blog

Bringing more agent harnesses and frameworks to Cloudflare, starting with Flue

这篇文章围绕“如何把 agent harness 变成可上线的生产系统”展开,提出了 framework、harness、runtime/platform 三层架构,并以 Flue 与 Cloudflare Agents SDK 的结合为例,解释了为什么持久化执行、沙箱代码执行、持久化文件系统和动态工作流必须由平台层提供。作者进一步说明了 Durable Object、runFiber()/stash()/onFiberRecovered()、@cloudflare/codemode、@cloudflare/shell 和 dynamic workflows 的作用,强调这些能力能让 agent 在中断、重启、长任务和工具膨胀场景下保持可恢复、可扩展和更安全的执行。

推荐收录,因为它不是单纯的产品发布,而是把“生产级 agent”需要的运行时能力拆解成了清晰的工程分层与机制说明,适合作为架构设计参考。文章对持久化执行、沙箱隔离、虚拟文件系统和动态工作流的讨论具有较强迁移性,能帮助读者理解 agent 平台化的关键约束。

工程实践Cloudflare Blog

Scaling Security Insights: how we achieved a 10x increase in global scanning capacity

这篇文章复盘了 Cloudflare 为 Security Insights 扫描系统做的整体扩容:从每周/每两周扫描一次、部分免费用户未自动扫描,提升到峰值每秒 120 次以上的扫描吞吐,并将免费用户默认扫描和全量扫描频率提升到更高水平。作者按链路拆解了多个瓶颈,包括 Kafka 消费的 head-of-line blocking、Postgres 批量写入效率、跨地域 API 延迟导致的连接池耗尽,以及调度器造成的扫描洪峰,并逐一用批量并行、快慢车道、UNNEST/COPY 混合写入、active-passive API 和自适应限流等手段解决。文章的核心结论是:在大规模系统里,先理解现有架构和真实瓶颈,再针对性优化,往往比简单加机器、加分区或抬超时更有效。

推荐收录,因为它不是泛泛的“扩容故事”,而是完整展示了一个安全扫描平台在消息队列、数据库、调度和跨地域部署上的系统性性能治理。对做后端、基础设施、安全平台或高并发任务调度的读者来说,这篇文章提供了很强的可迁移方法论:如何定位瓶颈、如何权衡架构改动、以及如何用指标验证收益。

工程实践知乎 - 腾讯技术工程

横向拆解Claude Code、Codex等六大Agent上下文压缩策略后,我们做了第 7 个

文章横向拆解了 Claude Code、Codex CLI、OpenCode、Cline、Cursor、Amp、MemGPT/Letta 等多种 Agent 上下文压缩方案,归纳出分层渐进、真实 token 计量、保护近端信息、增量摘要和稳定缓存前缀等共识。随后作者结合 MUR AI 这一云端多用户 Agent 的实际约束,落地了四级水位线(Snip/Prune/Summarize)方案,并补充了日志落盘、工具差异化、跨轮 ReplacementCache 和多租户隔离等工程设计。文章的核心结论是:上下文压缩不是一次性清理,而是持续维护模型注意力与缓存稳定性的系统能力,且在云端场景需要额外处理审计、重启一致性与权限边界。

推荐收录,因为它不是单纯介绍某个产品功能,而是把主流 Agent 压缩策略、失败模式和工程落地方案放在同一框架下比较,适合长期参考。尤其对做云端 Agent、长上下文管理、缓存优化和多租户系统的团队,这篇文章提供了可直接迁移的设计原则与踩坑经验。

工程实践Datadog Engineering

When failover isn’t safe: Building high-availability PostgreSQL on Kubernetes

这篇文章复盘了 Datadog 在一次 reliability gameday 中发现的 PostgreSQL 故障切换不安全问题:表面上集群看似具备高可用能力,但在 Kubernetes 环境下,原有方案无法保证 failover 时的数据一致性与切换正确性。作者进一步说明了他们如何引入 Patroni 与同步复制,重新设计状态管理、领导者选举和故障转移流程,以提升 PostgreSQL 集群在容器编排环境中的可用性与安全性。文章的重点不只是“如何搭建”,而是明确了 stateful 数据库在 K8s 上做 HA 时必须面对的一致性、自动化与运维验证边界。

推荐收录,因为它不是泛泛介绍 PostgreSQL 或 Kubernetes,而是基于真实演练暴露出的故障切换风险,给出了一套有约束条件的高可用改造思路。对于需要在容器平台上运行状态型数据库、设计故障转移机制或做可靠性演练的读者,这篇文章有很强的迁移价值。

工程实践Cloudflare Blog

How we reduced core unit boot time from hours to minutes

这篇文章复盘了 Cloudflare 核心裸金属服务器在固件更新后启动时间从几分钟恶化到数小时的问题,根因不是单一故障,而是 UEFI/iPXE 启动流程中对网络启动接口进行顺序探测时,反复命中超时导致的级联等待。作者通过串口观察、启动链路拆解和与 OEM 协同,最终把正确的网络启动接口前置声明,并处理了旧版 UEFI 不支持、升级后配置丢失、不同 NIC 字符串不一致、iPXE 读取配置受限等工程边界。文章最后把固件升级总耗时从接近 4 小时压到 3 分钟,后续单次启动也从约 20 分钟缩短到 1 分钟以内,适合作为裸金属自动化、UEFI 启动排障和固件配置管理的参考案例。

推荐收录,因为它不是简单的性能优化报道,而是把裸金属启动链路、固件行为、供应商差异和自动化控制串成了一条完整的工程排障路径。对于做基础设施、SRE、系统启动和硬件自动化的读者,这篇文章提供了可迁移的诊断框架和规避超时放大的方法。

工程实践Amazon Science

How flat is replacing fat in AWS data center networks

文章介绍了 AWS 在数据中心网络中用“准随机”平面网络替代传统 fat-tree 的方案,核心包括拓扑设计 RNG、路由算法 Spraypoint,以及用于落地布线的被动光学组件 ShuffleBox。作者不仅解释了为什么随机平面拓扑在理论上更优,还给出了可计算的性能模型、530 个 CPU 年规模的仿真实证,以及在真实生产环境中的部署结果。文章最后总结了该方案在路由器数量、吞吐量和能耗上的收益,同时说明其适用前提是需要配合专门的物理布线与路由机制。

推荐收录,因为它把网络拓扑理论、路由算法设计、物理布线约束和生产验证完整串联起来,属于典型的高质量工程研究案例。对做数据中心网络、系统架构和高性能基础设施的读者来说,这篇文章提供了可迁移的设计思路:如何把“理论最优”转化为“可部署、可验证、可规模化”的方案。

工程实践Dropbox Tech

Introducing Nova, our internal platform for coding agents

文章介绍了 Dropbox 为编码代理构建的内部平台 Nova,核心目标不是单点生成代码,而是让 AI agent 能在大型 monorepo、Bazel 构建/测试、CI 失败修复、依赖升级和运维迁移等真实工程流程中稳定工作。作者重点讨论了为什么要采用“平台化”而非多个单用途工具的方案,以及如何通过隔离执行环境、验证循环、上下文注入、观测与反馈机制、MCP/插件集成来提升 agent 的可靠性和可控性。文章还总结了在 flaky test 修复、迁移升级、生产故障处理等场景中的实践经验,强调 agent 的价值很大程度取决于周边工程系统而不只是模型本身。

推荐收录,因为它提供了编码代理在大规模工程环境中落地的完整平台思路,而不是停留在“用 AI 写代码更快”的表层叙述。文章对上下文管理、验证闭环、确定性工作流与 agent 分工边界的讨论,具有很强的可迁移价值,适合做 AI 工程化和开发者工具设计的长期参考。

工程实践知乎 - 鹅厂架构师

Elasticsearch 实战 | 客户的 ES 2.4 集群跑了 10 年没动,这次我们把它搬上腾讯云了

这篇文章复盘了一个真实的 Elasticsearch 迁移项目:将客户长期运行的 ES 2.4、Solr 5.3.1 以及相关业务索引,迁移到腾讯云 ES 7.14.2,并覆盖了全量/增量同步、灰度切流和回滚双写等完整链路。作者重点讲解了跨 5 个大版本迁移中遇到的关键问题与处理方式,包括多 type 合并到单 type、字段类型一旦落地不可修改、_id 元数据与 source 字段冲突、ngram 分词导致索引膨胀、默认模板影响全文检索,以及按月拆索引配合 index sorting 提升范围查询性能等。

推荐收录,因为它不是泛泛而谈的迁移宣讲,而是把真实生产环境里最容易踩坑的 ES 迁移、建模和性能优化问题逐一拆开,给出了可复用的定位思路和配置方案。对做搜索系统迁移、索引设计、同步链路和线上切流的工程师来说,这篇文章具有很强的迁移价值和实战参考意义。

科研议题Microsoft Research Blog

Further Notes on Our Recent Research on AI Delegation and Long-Horizon Reliability

这篇文章围绕微软研究院关于“AI 委派任务”和长周期可靠性的研究做进一步说明,重点解释论文并不是在否定 AI 在真实工作中的价值,而是在构造一个用于压力测试的长链路委派基准。作者详细说明了评测方法、语义保持的度量方式、实验中观察到的累积退化现象,以及这些结果的适用边界和方法学限制。文章的核心结论是:当前强模型在短基准上表现优异,并不自动意味着它们能在多轮、低人工介入的委派工作流中稳定保持文档或结构化工件的语义完整性。

推荐收录,因为它把一个看似“模型失误”的现象放回到严谨的研究框架中,明确区分了压力测试、真实部署和生产级工作流之间的差异。对做 AI 评测、智能体系统、工作流编排和企业落地的人来说,这篇文章提供了可迁移的评测视角与边界意识。

工程实践Instacart Tech Blog

Scaling Personalized Marketing for Multi-Tenant Commerce Platforms

这篇文章复盘了 Instacart 如何把原本面向自营 Marketplace 的营销自动化系统,扩展为支持多租户白标商户的个性化营销平台。核心方案包括:为每个零售商建立隔离的第三方工作区、在内部构建自助式营销工具、通过流式消费与最多 50 条的批处理提升吞吐、在 CRM 服务中做幂等控制与异步发送,并用模板自动化、IP warming、可观测性和故障隔离保障大规模稳定交付。文章还给出了平台已经达到的效果与未来可能演进到 AI 辅助内容生成、多渠道编排的方向,适合关注多租户架构、营销系统工程化与供应商抽象的读者参考。

推荐收录,因为它不是简单的产品介绍,而是完整展示了一个多租户营销平台从架构拆分、流式处理、批量发送到运维治理的落地方法。对做 SaaS、增长系统、事件驱动架构或第三方供应商集成的团队,都有很强的可迁移价值。

工具笔记matklad

Catch Flakes On Main

文章提出一个很实用的工程习惯:即使使用 merge queue 或类似机制,也要在 main 分支上持续冗余地跑完整测试套件,并维护一个随手可查的近期 main 失败列表。作者强调,只有当 main 被强约束为“理论上应始终通过”时,主干上的失败才更容易被识别为 flaky test,从而集中治理最影响效率的不稳定来源。文章还指出,积累这类失败记录不仅能帮助优先级排序,还能揭示不同故障之间的相关性。

推荐收录,因为它把“如何识别和治理 flaky tests”总结成了一个可直接落地的工作流,而不是泛泛而谈测试质量。对于有 CI/CD、合并队列或大规模测试体系的团队,这个习惯具有很强的迁移价值,能持续降低无效重跑和排障成本。

工程实践知乎 - 携程技术

携程 JDK25 升级踩坑记:一场由 G1GC “偷走”对象引发的数据静默损坏

这篇文章复盘了携程在将大数据计算集群升级到 JDK25 过程中遇到的一起极其隐蔽的数据静默损坏事故:Spark/Flink 写出的 Parquet、ORC 文件表面写入正常、校验也通过,但下游读取时出现 Zstd/Zip 解压失败。作者通过列级定位、排除存储介质、构造复现环境、JDK 版本二分和自建可指定 commit 的编译环境,最终将根因锁定为 JDK25 G1GC 的一个 bug:Optional Evacuation 错误移动了被 JNI 临界区锁定的对象,进而导致 native 压缩写入指向失效内存。 文章不仅给出了从现象到根因的完整排查链路,还解释了 G1 GC、pinned 对象、GetPrimitiveArrayCritical 这类底层机制之间的关系,并验证了影响范围、规避方案与 OpenJDK 后续 backport 修复。整体上它既是一次高质量线上事故复盘,也是对 JDK 升级、JNI 交互和 GC 风险的可迁移经验总结。

推荐收录,因为它不是简单的“踩坑记录”,而是完整呈现了线上数据损坏问题的定位方法、验证手段、复现路径和最终根因确认过程。对于做 Java 基础设施、计算引擎、存储格式或 JDK 升级治理的读者,这篇文章具有很强的可迁移参考价值。

工程实践Anthropic Engineering

An update on recent Claude Code quality reports

这篇文章复盘了 Claude Code 近期“质量下降”反馈的三个独立成因:默认推理强度从 high 调到 medium、会话恢复时清理历史思考的缓存优化存在 bug,以及为降低冗长度而加入的 system prompt 反而伤害了编码质量。作者说明这三项改动分别影响不同产品与流量切片,因此在外部看起来像广泛且不稳定的退化,但 API 和推理层本身并未被破坏。文中还给出每个问题的发现、回滚和修复时间线,以及为何内部使用和既有评测一开始都没复现。最后总结了后续改进:更严格的 prompt 变更审查、按模型做更宽的评测与 ablation、渐进式发布、增强 code review 上下文,并将限制重置给所有订阅用户。

这是一次非常具体的 AI 产品故障复盘,直接给出了三类退化的机制、时间线和修复措施,不是泛泛而谈。适合做 Claude Code、Agent 系统、prompt 调参与线上稳定性治理的参考,尤其对评测设计、渐进发布和变更审查有可迁移价值。

工程实践Google DeepMind Blog

Decoupled DiLoCo: A new frontier for resilient, distributed AI training

这篇文章介绍了 DeepMind 提出的 Decoupled DiLoCo 分布式训练架构,目标是在跨机房、跨区域乃至跨代际硬件上训练大模型时,降低同步通信开销并提升故障韧性。其核心思路是把训练切成多个彼此解耦的“计算岛”,岛内局部推进,岛间通过异步数据流交换,从而避免传统数据并行在大规模同步时的阻塞。文章给出了两类证据:一方面在 chaos engineering 注入硬件故障后,系统能继续训练并在节点恢复后重新并入;另一方面在 Gemma 4 实验中,带宽需求显著下降,仿真中的 goodput 明显高于基线,且最终 ML 性能基本持平。作者还展示了一个 12B 参数模型跨 4 个美国区域、以 2–5 Gbps WAN 完成训练的案例,速度比传统同步方法快 20 倍以上。该方案的边界在于它依赖特定的异步训练栈与系统整合能力,且部分收益来自 Google 自身的基础设施条件与 TPU 生态。

推荐收录,因为文章直接给出了带宽、goodput、故障恢复和跨区域训练的量化结果,并明确说明了 Decoupled DiLoCo 的系统机制与实验边界。适合做大模型训练基础设施、容错分布式系统和 AI 工程化方案的参考,尤其对关注跨机房训练与资源弹性利用的读者有迁移价值。

工程实践Datadog Engineering

How we built a real-world evaluation platform for autonomous SRE agents at scale

文章介绍 Datadog 为 Bits AI SRE 智能体搭建的大规模评估平台,核心目标不是做一次性 demo,而是把真实事故回放成可重复的测试场景。平台会从生产事故中抽取上下文,重放告警、日志和处置流程,统一比较不同版本智能体在定位、推理和行动建议上的表现,并自动发现回归。作者强调,评估体系要覆盖多种生产场景、支持批量运行和指标汇总,还要把失败样例沉淀为回归集,才能形成持续迭代闭环。文章同时指出,这类评估依赖历史样本覆盖面与评分规则质量,不能等同于真实线上救火。

推荐收录,因为文章明确展示了“用真实事故回放做 agent 评测”的工程证据,而不是泛泛讨论 AI 运维概念。适合 SRE、LLM 工程和平台团队参考,但需要注意其结论受历史样本与评分体系约束。

工程实践Yelp Engineering

Zero downtime Upgrade: Yelp’s Cassandra 4.x Upgrade Story

文章复盘 Yelp 数据库可靠性团队如何将一千多台 Cassandra 节点从 3.11 升级到 4.1,并做到全程零停机。作者先说明 Cassandra 在 Yelp 中承载主数据与衍生数据,且集群运行在 Kubernetes 上、由 operator 编排,因此升级必须兼顾状态迁移、回滚和服务连续性。文中强调此次升级的驱动力不仅是版本更新,还包括更好的可观测性、可靠性和性能,且决策参考了公开基准。整体上,它展示了大规模有状态服务在成熟运维体系下的分批规划、验证与上线思路,但其可迁移性明显依赖现有自动化、编排和回滚能力。

有明确工程证据:超过一千台 Cassandra 节点、Kubernetes + operator、3.11 到 4.1、零停机升级,说明这是大规模状态系统的真实复盘。适合做数据库可靠性、滚动升级和有状态服务编排的参考,但方法强依赖现有自动化与回滚机制,迁移时需评估自身条件。

工程实践Dropbox Tech

Improving storage efficiency in Magic Pocket, our immutable blob store

文章复盘 Dropbox 在 Magic Pocket 这个不可变 blob 存储中的一次空间效率退化事件:新上线的 Live Coder 改变了数据放置方式,虽然降低了写放大,却意外制造出大量极度稀疏的卷,导致碎片化和实际复制开销迅速上升。作者先解释不可变存储里删除不会立刻释放空间、只能依赖垃圾回收加压缩回收的基本机制,再说明原有 L1 只能维持“接近满卷”的稳态,无法快速处理长尾稀疏卷。为此团队引入 L2,用动态规划把多个中度稀疏卷合并到近满新卷;又引入 L3,把最稀疏的卷交给 Live Coder 流式重写回收。文章进一步给出动态阈值、候选排序、速率限制、机房内本地化等控制手段,并指出元数据压力是主要约束。最终该方案把膨胀的 overhead 拉回到可持续水平,甚至低于之前基线。

推荐收录,因为它给出了 exabyte 级不可变存储中“碎片化—压缩—元数据压力”三者联动的完整工程解法,且明确展示了 L1/L2/L3 分层策略、动态阈值和限流边界。对做存储系统、容量治理或大规模后台任务调度的读者,具有很强的可迁移参考价值。

工程实践Amazon Science

Formally verified AES-XTS: The first AES algorithm to join s2n-bignum

这篇文章介绍了 Amazon 将 Arm64 汇编实现的 AES-XTS 加密/解密加入 s2n-bignum,并用 HOL Light 对其做形式化验证的过程。作者先从 AWS-LC 的现有实现出发,重整了原本为避免 buffer overread 而非常复杂的 5x 展开循环,把轮密钥常驻寄存器、拆分尾块处理,以便 SLOTHY 进一步优化指令调度。随后,他们依据 IEEE 1619 写出可测试的规格,再证明汇编代码与规格一致,并补充常量时间与内存安全性质。文章还说明了用 CI 持续约束证明、用硬件随机测试校验指令模型的做法。结果是在部分 Arm 核心上获得小幅性能收益,同时把高风险密码实现纳入可维护、可复用的证明框架。

推荐收录,因为它直接给出了“优化汇编 + 形式化证明 + CI 持续约束”的完整证据链,且落地在真实的 AES-XTS 密码库实现上。适合密码工程、系统安全和形式化验证读者参考,尤其对需要兼顾性能与正确性的底层实现有可迁移价值。

工程实践Dropbox Tech

How we optimized Dash's relevance judge with DSPy

文章复盘 Dropbox Dash 如何用 DSPy 优化 LLM-as-a-judge 的相关性评分器,使其同时满足人类对齐和生产可用性。作者先把目标定义为:以人工标注为基准最小化 NMSE,并把 JSON 格式正确率纳入硬约束,因为下游管道依赖可解析输出。面对从 o3 迁移到更便宜的 gpt-oss-120b 和 gemma-3-12b,团队用 GEPA 结合人类解释、模型推理和误差方向,自动迭代提示词而非手工重写。结果显示,gpt-oss-120b 上 NMSE 降低 45%,适配时间从 1-2 周缩短到 1-2 天;gemma-3-12b 的无效 JSON 率下降 97% 以上。文章也指出优化易过拟合样例关键词,因此加入了禁止抄写示例内容、固定评分区间等约束,并对高风险生产提示词采用小步增量式改进。

有明确的生产实验、量化指标和边界控制:既比较了不同模型迁移的 NMSE,又验证了输出格式可靠性,直接证明方法可落地。适合做 LLM 评测、提示词优化和 AI 工程化的参考,尤其适用于需要在成本、质量与稳定性之间权衡的场景。

工程实践Lyft Engineering

Scaling Localization with AI at Lyft

文章介绍 Lyft 如何把原本完全依赖人工翻译的本地化流程,重构为“LLM 生成 + 评审 + 人工终审”的双路径流水线,以支撑新市场快速上线和魁北克法语合规需求。系统先由 Drafter 基于术语表、上下文和占位符生成多个候选,再由 Evaluator 按准确性、流畅度、品牌一致性和技术正确性打分,失败时最多重试三轮。为避免变量、URL、HTML 等被模型破坏,他们在翻译前后加入 token 化与确定性校验,并把 prompt 当作版本控制的生产代码,配合回归测试、灰度和回滚。文中还展示了按 locale 做细粒度约束,避免英式英语等近似语种被过度改写;最终约 95% 译文无需 linguist 大改,但法律、品牌和低资源语言场景仍需人工把关。

收录,因为文章给出了真实生产场景下的本地化 AI 架构:双模型分工、占位符守护、术语注入、版本化 prompt 与灰度回滚,证据具体且可迁移。适合做 AI 工程化、多语言内容平台和提示词治理的参考,但低资源语言与强合规文本仍需人工介入。

工程实践Blender Developers Blog

Winter of Quality 2026

这篇文章回顾了 Blender 在 2025—2026 冬季进行的“质量季”工作,重点不是新功能,而是围绕稳定性、缺陷修复、测试补强和技术债清理展开。两个月内修复了 350+ 个用户报告的问题,并按动画、建模、节点、渲染、界面、视口等模块给出分布,说明质量投入是按子系统推进的。正文还列出多项结构性工作,例如将代码从旧式 C 接口迁移到更现代的 C++ 风格、补充自动化测试、优化性能、完善文档,以及完成 Mesh 属性存储格式切换等。文章也展示了缺陷分流和 triage 的进展,未分配问题显著下降,说明质量治理不仅是修 bug,也包括流程改进。其边界在于这是项目回顾而非深入技术复盘,很多条目只给出结果和方向,缺少实现细节与量化对比,但仍适合作为开源大型工程做稳定性治理的参考案例。

推荐收录,因为它明确给出了 350+ 缺陷修复、自动化测试补强、代码现代化和 triage 流程改进等直接证据,体现了大型开源项目如何系统性提升质量。适合做开源维护、稳定性治理和技术债清理的参考,但读者需注意它偏项目总结,细节深度有限。

工程实践Anthropic Engineering

Building a C compiler with a team of parallel Claudes

文章复盘了 Anthropic 研究员用 16 个并行 Claude 实例,从零实现一个 Rust 版 C 编译器的过程。核心不是“让模型写代码”本身,而是设计一个能长期自治的 harness:用无限循环驱动任务推进、通过 git 文件锁避免重复劳动,并让不同代理分工处理测试、文档、性能和代码去重。作者强调,真正决定成败的是高质量测试、可自动判错的日志、以及把问题拆成可并行的小任务;当 Linux 内核编译这种“单大任务”卡住时,又引入 GCC 作为在线 oracle 和抽样测试来恢复并行性。最终产物可编译 Linux 6.9 及多个大型项目,但仍存在 16 位 x86、汇编器/链接器、代码质量和性能不足等边界,说明当前自治编程仍远未“全能”。

有直接工程证据:并行代理、任务锁、测试 harness、GCC oracle 和 CI 共同构成了可复用的方法论。适合做 AI 编程代理、自动化测试与编译器工程的参考,但也明确暴露了自治开发在正确性、效率和边界处理上的风险。

工程实践Anthropic Engineering

Quantifying infrastructure noise in agentic coding evals

这篇文章研究了 agentic coding 评测中的“基础设施噪声”,核心结论是:容器资源配置本身就能显著改变分数,甚至超过榜单上常见的微小差距。作者在 Terminal-Bench 2.0 上比较了从严格按任务规格执行到完全放开资源的六种配置,发现资源越宽松,成功率越高,但其中一部分提升来自减少 OOM、pod error 等基础设施失败,而不是模型能力本身。实验表明,在 1x 到 3x 资源范围内,分数变化多落在噪声内;超过约 3x 后,额外资源开始真正帮助代理完成原本做不到的任务,最高相对提升约 6 个百分点。作者又在 SWE-bench 上复现了类似趋势,但幅度较小,说明该问题并非 Terminal-Bench 独有。文章最后建议评测应同时公开并区分“保证资源”和“硬性上限”,并把资源配置当作一等实验变量,否则几分之差很可能只是更大的 VM 或更宽松的沙箱。

文章直接给出了对照实验:同一模型、同一任务集,仅改变资源配置就能带来最高 6 个百分点的差异,证明基准分数并不纯粹。适合做 agent 评测、自动化 coding benchmark 和推理沙箱设计的读者参考,尤其适合需要判断榜单差距可信度的人。

工程实践Crunchy Data Blog

Postgres Serials Should be BIGINT (and How to Migrate)

这篇文章讨论了 Postgres 中自增主键从 SERIAL/INT 升级到 BIGINT 的必要性,核心理由是 INT 只有约 21 亿上限,而 BIGINT 基本不会溢出。作者进一步说明 BIGINT 在很多行布局下并不比 INT 更占空间,因为 PostgreSQL 的行对齐和填充会抵消所谓的 4 字节节省,因此用 BIGINT 的长期成本通常很低。文章还对比了 UUID 的适用场景,认为跨系统或需要公开暴露 ID 的场景可以选 UUID,但纯数据库序列号未必需要放弃整数。随后给出了一套可在线执行的迁移方案:新增 BIGINT 列、触发器同步、分批回填、定期 VACUUM、并发建唯一索引、处理外键引用表,再在一个短事务里完成 atomic swap。文中也强调了边界条件:需要预留短暂排它锁、先在非生产环境验证批次大小和回填策略,并确保序列、外键和主键约束在切换后都能正确接管。

推荐收录,因为文章直接给出了从 INT 到 BIGINT 的完整 PostgreSQL 迁移链路,包含分批回填、NOT VALID 外键、并发建索引和原子切换等可复用证据。适合负责数据库演进、线上改表或容量规划的后端/DBA 读者,主要价值是把一次高风险 schema 变更拆成可验证的操作步骤。

工程实践Lyft Engineering

From Python3.8 to Python3.10: Our Journey Through a Memory Leak

文章复盘了 Lyft 将 Python 服务从 3.8 升级到 3.10 后,某个服务在测试环境出现延迟尖刺、下游 5xx 和内存缓慢增长的排障过程。作者先用统计指标和基于 tracemalloc 的内部内存 профiler 采样,并尝试通过 USR2 信号在 gunicorn worker 上抓取堆栈;但由于启用了 preload,信号处理器只在 leader 进程注册,导致 worker 被误杀。关闭 preload 后,采样堆栈最终指向 pynamodb/botocore/urllib3 的连接池路径。根因是 urllib3 1.26.16 在 gevent 场景下与 weakref.finalize 和 monkey patch 存在不兼容,连接未能及时归还池中,进而引发池耗尽、请求阻塞以及内存上涨。团队先回退到 1.26.15 解除故障,后续在 gevent v25.4.1 与修复后的 urllib3 组合上恢复升级。文章同时说明 Python 版本并非直接元凶,问题更像是依赖版本与协程运行时组合触发的隐性缺陷。

推荐收录,因为文章给出了从延迟、内存增长到信号采样、preload 坑位和依赖回退的完整证据链,不是单纯经验谈。适合做 Python Web 服务、gunicorn/gevent/urllib3 兼容性和生产排障的参考,但结论强依赖具体版本组合,迁移时需重新验证。

工程实践Crunchy Data Blog

Postgres 18 New Default for Data Checksums and How to Deal with Upgrades

文章介绍了 Postgres 18 将数据校验和(data checksums)设为 initdb 的默认开启项,强调其核心价值是及早发现磁盘页的静默损坏。作者先解释校验和如何在写入数据页时生成、存入页头,并在读取时重新计算比对,从而把原本难以察觉的数据腐败转化为可报警错误。随后文章说明这一默认变化对新建集群是纯收益,但会影响使用 pg_upgrade 的大版本升级,因为新旧集群的校验和开关必须一致。文中给出两条应对路径:升级时可用 --no-data-checksums 保持兼容,或提前用 pg_checksums 为现有集群补开校验和,但后者通常需要停机或通过副本切换来降低影响。整体适用于自建 PostgreSQL 运维、升级规划和备份完整性管理场景。

文章直接给出 Postgres 18 默认行为变化、pg_upgrade 兼容条件和 pg_checksums 处理方案,证据明确且可操作性强。适合数据库运维、平台工程和升级规划读者,尤其对自建集群的完整性保障与停机权衡有长期参考价值。

工程实践Lyft Engineering

LyftLearn Evolution: Rethinking ML Platform Architecture

文章复盘了 LyftLearn 机器学习平台从全量 Kubernetes 离线架构,演进为“离线用 SageMaker、在线继续用 Kubernetes”的混合平台过程。作者先说明原架构虽然在统一基础设施、启动速度和资源定制上表现良好,但随着千级模型和日均数千任务增长,K8s 编排、状态一致性、集群容量管理和故障排查带来了明显的特征税。迁移的核心原则是替换执行引擎而不改用户 ML 代码,因此团队构建了兼容层,补齐凭证注入、环境变量、指标、超参数、镜像和 Spark 网络等差异。文中还介绍了用 EventBridge/SQS 取代后台 watcher、用 SOCI 和 warm pool 缩短冷启动、以及在 SageMaker Studio 与 EKS 间打通 Spark 双向通信的具体做法。最终结论是:对离线计算,托管服务能显著降低运维复杂度和总拥有成本;对在线服务,已有 K8s 方案在延迟和控制力上仍更合适,平台演进应按工作负载分别选择方案。

推荐收录,因为文章给出了从 K8s 迁移到 SageMaker 的完整工程证据:原始复杂度、兼容层设计、冷热启动优化、网络打通和分阶段迁移策略都写得很具体。适合做 ML 平台、基础设施和架构权衡的参考,尤其对需要在“自建 vs 托管”之间做决策的团队有直接迁移价值。

工程实践Anthropic Engineering

A postmortem of three recent issues

这篇复盘讲述了 Anthropic 在 8 月至 9 月间连续暴露的三起 Claude 基础设施故障,分别是短上下文请求被错误路由到 1M token 服务器、TPU 端输出生成被错误配置污染、以及 XLA:TPU 的 approximate top-k 误编译问题。文章不仅给出每个问题的时间线、影响范围和修复方式,还说明了为何不同平台与不同模型上的症状会交叠,导致用户感知为随机降质。作者强调,问题并非由需求高峰或负载降级引起,而是纯粹的基础设施缺陷。文中进一步分析了诊断困难来自于评测不够敏感、线上抽样噪声大、用户交互受隐私限制难以直接复现。最后给出改进方向:更敏感的质量评测、更多真实生产环境中的连续监测、以及兼顾隐私的调试工具,并在推理链路上采用 exact top-k 和更稳妥的精度策略。文章的适用边界主要在大模型推理与异构硬件部署场景,但其排障和验证方法具有普遍参考价值。

有明确的事故时间线、根因分析和修复验证,不是泛泛而谈的产品公告。对做 LLM 推理、异构硬件部署和线上稳定性的人尤其有参考价值,文中的评测设计、路由隔离与精度权衡可直接迁移。

工程实践Datadog Engineering

Breaking up a monolith: How we’re unwinding a shared database at scale

这篇文章讲 Datadog 如何在大规模生产环境中拆解一个共享数据库,核心目标是把原本耦合的业务边界重新切开,同时尽量不影响线上稳定性。作者强调先定义清晰的所有权边界,再通过分阶段迁移、风险隔离和回滚预案降低改造成本,而不是一次性“硬拆”。文中还介绍了用于自动化迁移、校验一致性和减少人工操作的配套工具,以保证解耦过程可重复、可持续。它的重点不在数据库原理本身,而在多团队共用核心存储时如何平衡组织边界、迁移风险和工程效率。其适用前提是已有足够的监控、测试和发布控制能力,若系统变更链路薄弱,收益会被迁移复杂度抵消。

文章直接围绕“shared database at scale”的拆分实践展开,给出了边界划分、风险控制和自动化工具这三类可迁移做法,明显属于可长期参考的工程案例。适合正在做服务解耦、数据库分片/迁移或多团队协作治理的读者,但需要注意其前提是具备较成熟的发布与验证体系。

工程实践Datadog Engineering

How we scaled fast, reliable configuration distribution to thousands of workload containers

这篇文章讲的是 Datadog 如何把按租户划分的配置数据,稳定、低延迟地分发到成千上万的工作负载容器中,以支撑实时日志处理场景。核心问题不是单纯“把配置发出去”,而是在容器规模快速增长、租户数量多、更新频繁的情况下,同时保证可用性、传播时延和配置一致性。文章强调了面向大规模分发系统的工程化设计思路,包括可靠传输、失败恢复以及对性能目标的持续验证。它的价值在于展示了一个典型的基础设施系统如何在多租户和高吞吐约束下做取舍,并把配置分发变成可运营、可扩展的能力。适用读者主要是做平台、基础设施、可观测性或大规模后台系统的工程师。其边界在于这是特定于配置分发与实时日志处理的经验,迁移时仍需结合自身配置变更频率、容器生命周期和一致性要求。

推荐收录,因为标题与摘要直接表明它解决的是“千级容器配置分发”的真实工程问题,且明确关注低延迟与高可靠两类核心指标。对平台、可观测性和多租户后台系统的读者,这类分发架构、稳定性设计和扩展性权衡具有较强迁移价值。

工程实践Anthropic Engineering

How we built our multi-agent research system

文章复盘 Anthropic 将 Claude Research 从原型做成可上线的多智能体研究系统。系统采用 lead agent + 多个 subagent 的 orchestrator-worker 架构:主代理先规划研究路径,再并行派发子代理做广搜,最后由 CitationAgent 回收证据并生成带引用的答案。作者总结了多智能体提示词的关键原则,包括先广后窄、按任务复杂度分配代理数量和工具调用、明确分工边界、选择合适工具,并让模型自我修复提示词和工具描述。评估上,他们用小样本快速迭代、LLM-as-judge 和人工测试结合,关注事实准确性、引用准确性、覆盖度和工具效率。工程上则强调长链路状态持久化、错误恢复、全链路 tracing、渐进式部署和异步并行的权衡;但此架构代价高,尤其适合高价值、强并行的研究任务,不太适合上下文强耦合的编码场景。

收录价值高,因为文章把多智能体系统从架构、提示词、评估到线上可靠性完整串联,并明确给出失败模式、分工原则和部署策略等直接证据。适合做 AI 工程、Agent 系统和生产化研究助手的参考,但需注意 token 成本高、并非所有任务都适用。

工程实践Datadog Engineering

How we use formal modeling, lightweight simulations, and chaos testing to design reliable distributed systems

文章介绍 Datadog 团队如何把形式化建模、轻量级仿真和混沌测试结合起来,分析一个分布式、多租户队列系统的可靠性问题。作者先用模型描述系统状态、调度规则和租户之间的干扰关系,再通过仿真探索不同负载、故障和时序下的行为,提前发现吞吐、延迟与公平性方面的风险。随后,他们用混沌测试在真实环境中验证模型未覆盖的边界情况,补齐实现细节和运行时交互带来的偏差。文章的核心结论是:对状态复杂、故障路径多的分布式系统,先建模再实验能显著降低试错成本,并帮助团队更早识别设计缺陷。但这类方法依赖对系统抽象足够准确,且更适合分析关键机制而非替代完整压测与生产观测。

文中直接给出了“formal modeling + simulation + chaos testing”的组合方法,并落在多租户分布式队列这一典型复杂系统上,属于可迁移的工程实践。适合做架构设计、稳定性验证和故障注入方法参考,但读者需要注意模型抽象是否覆盖真实系统边界。

工程实践PlanetScale Blog

Anatomy of a Throttler, part 3

这篇文章是三部曲的收官篇,集中讨论数据库限流器的客户端识别、优先级控制和规则边界。作者提出,限流器应能区分具体作业或作业类别,否则难以做监控、审计和针对性调度;同时,真正安全的“优先级”通常不是直接放行某个客户端,而是通过对其他客户端提高拒绝率来实现。文中进一步分析了豁免、不同指标下的限流与饥饿风险,指出对某些作业单独放宽指标本质上接近豁免,可能让其他作业长期得不到执行机会。作者也强调,豁免并非绝对错误,在故障修复、系统关键内部流量或短时影响可接受时可以使用,但应设置失效时间。最后,文章对比了协作式限流与代理式强制限流,说明后者更难绕过,但也更依赖客户端/连接层暴露足够的身份信息。

文章直接给出了生产环境限流器的核心设计证据:客户端身份、优先级、豁免、饥饿风险和协作/强制两种模型的取舍。适合做数据库运维、平台工程和系统设计参考,尤其对需要控制批处理、迁移和大规模任务的场景有可迁移价值。

工程实践PlanetScale Blog

Anatomy of a Throttler, part 2

本文继续分析 throttler 的部署形态,先比较单体服务、独立多实例、主备切换以及引入 agent/API 的方案。作者指出,加入采集代理或跨节点协作后,系统会从单一同步组件演变成分布式多组件系统,复杂度、权限边界和版本兼容问题都会上升,同时采样间隔叠加也会让指标更陈旧。随后文章给出分布式 throttler 的几种切分方式:按可用区、按功能、按主机或按服务粒度,并以 Vitess tablet throttler 为例说明如何在 shard 范围内聚合 replica lag,让 primary 代表整个 shard 做限流判断。最后,文章讨论如何降低 throttler 自身开销,包括客户端退避、空闲时降低采样频率或休眠、以及在无大任务时减少 heartbeat 生成,避免 binlog、磁盘和备份成本被额外放大。其边界在于,这些策略都依赖对业务负载形态、重试行为和一致性要求的准确预判。

收录价值明确:文章直接比较了 throttler 的单体、分布式与 agent 化方案,并用 Vitess 的 shard 级限流给出可落地的架构证据。适合做 MySQL/Vitess、SRE 和基础设施设计参考,但需要注意其结论高度依赖心跳粒度、轮询频率和客户端重试假设。

工程实践PlanetScale Blog

Anatomy of a Throttler, part 1

本文讨论数据库节流器(throttler)的设计原则,目标是在批量导入、ETL、在线 DDL、清理和重分片等长耗时操作中保护数据库整体健康。作者先解释节流不应只按固定速率控制,而要围绕数据库是否“健康”来判断,因此重点分析了复制延迟、threads_running、队列延迟、队列长度、Load Average 和连接池占用等指标。文章强调单一指标往往只是症状,真正有价值的是能预测 SLO 的组合指标及其阈值,并说明阈值必须结合业务、硬件和部署形态来设定。文中还指出节流系统上线后会改变系统行为,健康状态常表现为指标围绕阈值上下波动而非持续低位。最后讨论了采样间隔与指标粒度的关系,认为过慢的采样会造成滞后和突发释放,应按阈值范围进行更高频的测量;但该文只覆盖系列的第一部分,分布式节流器与节流器自身影响留待后文。

推荐收录:文章不是泛泛讲限流,而是以数据库健康为中心,系统讨论了指标选择、阈值设定、队列含义和采样粒度等可落地问题。适合做数据库平台、批处理控制和稳定性治理的参考,尤其对需要设计自适应节流机制的工程师有直接迁移价值。

工程实践PlanetScale Blog

Zero downtime migrations at petabyte scale

文章系统拆解了 PlanetScale 在 TB 到 PB 级 MySQL 迁移中实现零停机的流程:先做一致性且不加锁的快照,再持续复制 binlog 追平增量,并用 VDiff 对源端与目标端做全表校验。切流阶段通过 VTGate 缓冲请求、等待复制追平、建立反向复制链路,使切换可在秒级完成且可随时回滚。作者进一步说明了底层依赖 Vitess 的 VReplication、MoveTables、路由规则、序列和 sidecar 元数据,展示了按表、按分片串并行协作的实现方式。文章也明确了适用边界:切流前经 PlanetScale 转发会引入额外网络开销,建议使用只读副本作为迁移源;而超过约 250GiB 的库通常应结合分片来控制成本与性能风险。

推荐收录,因为文章不是泛泛谈“零停机”,而是给出了快照、GTID、binlog 追平、VDiff 校验、反向复制和请求缓冲等完整证据链。适合做数据库迁移、分库分表和在线切流的工程参考,尤其对需要评估回滚能力与迁移风险的团队很有迁移价值。

工程实践PlanetScale Blog

Faster backups with sharding

文章系统解释了 PlanetScale 在 Vitess 体系下的备份流程:先从对象存储取回上一次备份,恢复到专用 VTBackup 实例,再让其通过主库做短暂追平,最后生成新的全量备份写回 S3/GCS。作者强调,单库越大,顺序备份越容易被网络与恢复耗时拖慢;而分片后每个 shard 可并行执行同样流程,从而把总体备份时间显著压缩。文中用 161GB 未分片库与 20TB、32 分片库对比,说明总体吞吐提升主要来自并行化,而非单分片传输速度大幅上涨。文章还补充了备份的工程意义:它不仅用于灾难恢复,也用于新副本初始化、误删恢复和 Vitess 的时间点恢复。适用前提是数据库已分片且备份/恢复链路能并行调度;若是单体库或分片不均,效果会明显打折。

推荐收录,因为文章给出了可复用的备份链路设计、分片并行化带来的吞吐收益,以及备份在副本初始化和误删恢复中的真实作用。对做数据库基础设施、MySQL/Vitess、备份恢复或大规模系统运维的读者尤其有参考价值,但前提是系统本身具备分片与并行恢复能力。

工程实践Brendan Gregg

No More Blue Fridays

文章以一次大规模 Windows 蓝屏和全球性故障为切入点,讨论内核驱动在软件更新中的高风险,以及为何把安全代理迁移到 eBPF 能显著降低“更新即宕机”的概率。作者解释了 eBPF 的核心机制:程序必须先经过 verifier 的安全检查,无法通过的代码会被拒绝执行,因此即使逻辑有误也通常只会造成资源浪费,而不至于直接崩溃整个内核。文章进一步指出,Linux 已广泛具备 eBPF 能力,Windows 也在推进相关支持,因而安全、网络和可观测性场景都可能受益。与此同时,作者也承认 eBPF 自身的管理代码仍可能有缺陷,不能把它理解为“零风险”,只是把高危的内核崩溃风险转移到更可控的软件层面。文末强调,eBPF 并不能替代灰度发布、canary 和分阶段回滚等工程手段,但它可以成为商业软件厂商和客户共同推动的默认安全约束。

有明确的现实故障案例、机制解释和边界讨论,不是单纯观点输出;对做安全代理、系统软件、运维平台和可观测性的读者都很有参考价值。它还给出了可迁移的采购/架构约束:要求厂商采用 eBPF 以降低内核崩溃风险,但同时要保留灰度和回滚等防线。

技术文章PlanetScale Blog

Achieving data consistency with the consistent lookup Vindex

文章系统解释了 Vitess 的 Vindex 机制,重点聚焦于一致性查找 Vindex(consistent lookup vindex)如何在分片数据库中兼顾路由效率与数据一致性。作者先说明普通 lookup vindex 通过维护二级索引表,把查询从全分片扫描收敛到单分片命中;随后进一步指出,若主表与索引表分属不同分片,直接做跨分片事务会引入昂贵的 2PC。为此,Vitess 采用 Pre、Main、Post 三条连接按固定顺序提交/回滚,并通过加锁与事务编排来处理插入、删除、更新中的一致性问题。文章用删除后残留 orphan row、再次插入触发唯一键冲突等例子说明:即使 lookup 表短暂不一致,查询结果仍能保持与主表一致。它也明确了边界与限制,例如同值更新会产生锁等待,且同一事务内先删后插仍可能遇到该问题。

文章直接给出了 Vitess 一致性 lookup vindex 的提交顺序、锁定策略和失败恢复例子,属于可复用的分片一致性设计经验。适合做分库分表、MySQL 分片路由或数据库中间件设计参考,但其细节强依赖 Vitess 语义,落地时需注意同值更新和同事务删插的限制。

工程实践PlanetScale Blog

How PlanetScale makes schema changes

文章介绍了 PlanetScale 如何把数据库 schema 变更做成一套可自动化、可回滚、对线上流量友好的工程流程。核心思路是把代码发布与 schema 迁移解耦:应用代码和数据库结构不再要求原子同时上线,而是要求双方都能兼容当前与未来版本。实现上,他们利用 Vitess 的在线 schema change 和 PlanetScale 的 safe migrations,在不阻塞生产流量的前提下执行变更,并通过队列保证多人并发修改时的顺序与组合安全。为了适配自家 Rails 应用,团队还用 GitHub Actions 写了拉取请求机器人,自动识别 schema 变化、创建分支、运行迁移、发起 deploy request,并根据变更类型给出前后置部署顺序建议。文章的边界也很明确:这套流程强依赖在线迁移工具和应用侧的向后兼容设计,适合中大型数据库和频繁发布团队,简单项目未必需要如此复杂。

文中直接展示了从 PR 检测、迁移执行到队列合并的完整 schema 变更流水线,并明确说明了为何要把代码与数据库发布解耦。对使用 MySQL/Vitess、需要高频改表或想减少迁移阻塞的团队,这是一篇可直接借鉴的工程实践。

工程实践PlanetScale Blog

PlanetScale branching vs. Amazon Aurora blue/green deployments

文章以 Amazon Aurora 的 blue/green deployment 与 PlanetScale 的 branching 为主线,对比两种“复制环境后再切换”的数据库变更方式。它先解释 Aurora 如何通过克隆集群、binlog 同步和 switchover 完成维护,再说明 PlanetScale 基于 Vitess 的分支本质是独立集群,借助 deploy request、ghost table 和滚动升级来实施 schema 变更与版本升级。文中进一步比较了成本、回滚、数据一致性和停机时间:Aurora 切换会断连且无法直接 fail back,双环境并行成本较高;PlanetScale 则强调在线迁移、Schema revert 和更强的隔离性,但依赖 safe migrations 与 Vitess 能力。整体结论是,两者虽然表面相似,但目标不同,Aurora 更偏维护窗口控制,PlanetScale 更偏持续在线变更。需要注意的是,这是一篇厂商视角的对比文,缺少独立 benchmark 和第三方验证。

文中直接给出 binlog replication、ghost table、rolling upgrades、Schema revert 等机制差异,信息足以支撑数据库变更方案选型。适合做平台工程、数据库运维和迁移设计的参考,但需意识到它带有明显厂商立场,结论应结合独立验证。

工程实践PlanetScale Blog

Considerations for building a database disaster recovery plan

文章围绕数据库灾难恢复(DR)方案的构建展开,先区分了高可用(HA)与灾难恢复的目标:前者强调通过复制和自动故障切换尽量不中断服务,后者强调在重大故障后尽快恢复业务。作者进一步解释了 RPO 与 RTO 的含义,并指出两者越小,恢复方案的复杂度和成本越高,因此必须结合业务可承受的数据损失和停机时间来设定。文章特别强调数据库是有状态系统,不能像无状态应用那样简单替换实例,因此备份、复制和恢复流程都需要按数据一致性来设计。随后对 MySQL 复制、异步/半同步模式、逻辑/物理备份、全量/增量备份及其性能影响做了说明,指出跨区域复制和在副本上执行备份更适合降低恢复时间和主库负载。最后给出一套可落地的 DR 规划建议,包括分级恢复优先级、用收入损失衡量停机成本、自动化恢复、定期演练以及验证备份可恢复性,适合构建面向生产环境的数据库韧性方案。

文章直接给出了数据库灾备规划的关键证据:RPO/RTO 设定、复制与备份策略、跨地域恢复、自动化和演练验证,内容不是泛泛而谈。适合负责 MySQL、云上基础设施或生产稳定性的工程师参考,尤其可迁移到任何有状态系统的容灾设计中。