SRE

22 篇内容

工程实践Salesforce Engineering

How Intelligent Load Shedding Prevents Cascading Failures in Tier-0 Systems

文章以 Salesforce Cloud Atlas 身份数据存储为例,讨论 Tier-0 身份服务在流量突增和上游重试下如何演变为级联故障。团队原有每实例限流在自动扩缩容和多租户场景中暴露阈值失真、全局容量不可见和 noisy neighbor 问题。重构方案包含基于队列时延提前感知压力、优先削减低优先级请求的智能负载卸载,以及无中心协调器的全局配额管理,由各服务器共享客户用量并独立限流。文章据此总结保护服务而非单机、先观测后执行、优雅降级、简化配置、纵深防御和可逆发布等原则。局限是问答形式偏高层,缺少具体算法、参数、实验数据和故障演练细节,读者难以直接复现,但架构权衡和原则仍有迁移价值。

推荐收录。文章直接呈现 Tier-0 身份平台从每实例限流到智能负载卸载与无协调器全局配额的工程演进,并给出队列时延、优先降级、多租户公平和纵深防御等可迁移取舍。适合 SRE、分布式系统与高可用平台工程师阅读,用于设计限流、过载保护和级联故障防护。局限是未展开算法与实验数据,需结合团队实际验证。

工程实践Prometheus Blog

Prometheus and OpenTelemetry interoperability in 2026 - Survey results

文章基于2026年Prometheus与OpenTelemetry互操作性调查,从186名受访者中筛选81名活跃用户,并与2024年对比。易用性平均分从3.1升至3.6,认为难以一起使用的比例由29%降至10%。基础设施指标采集中Prometheus exporters占72%、OTel receivers占57%,近半混用;应用指标采集中OTel SDK占65%、Prometheus SDK占52%,41%仅用OTel风格。处理环节以Prometheus relabeling和开源OTel Collector为主,65%采用无厂商转换的vanilla stack。开放建议集中在数据模型/标签统一、资源属性与元数据缺口、命名与格式摩擦。局限是样本量小、部分分组仅10–34人,结论更多是趋势和假设。

推荐收录:文章给出可核验的调研数据、两年对比和明确局限性,能帮助可观测性平台、SRE与DevOps读者理解Prometheus与OpenTelemetry在指标采集、转换和后端选择上的真实采用状况。其互操作性痛点和维护者回应可作为技术选型、迁移规划与社区参与依据;但样本量较小且分群结论仅为假设,不宜视为精确市场份额或因果结论。

工程实践TiDB 社区博客 - 实践案例

【升级指南】 大版本升级指导

文章是 TiDB 大版本升级的操作指南,按升级前置、原地升级和迁移升级三个阶段组织。前置阶段列出 variables/config 比对、应用兼容性回归、集群巡检、Patch 检查、性能压测、升级时长与 DDL 窗口评估、软件包准备和备份清单等检查项。原地升级给出屏蔽告警、按最佳实践调整 config、tiup cluster upgrade、监控 QPS/P99 与 PD Leader、核对版本和调整 variables 等步骤。迁移升级则通过 CDC 搭建备库、VIP 切换、sync_diff_inspector 校验、反向同步来支持回退。整体偏流程清单,缺少真实案例、失败复盘和版本差异细节,需结合官方 Release Notes 与自身环境验证。

推荐收录:文章给出 TiDB 大版本升级的完整检查项与操作步骤,包括升级前变量/参数比对、兼容性回归、压测、备份清单,以及原地升级和 CDC 迁移升级加反向同步的回退路径,并列出具体 tiup 命令与监控指标。对 TiDB DBA/SRE 做升级窗口评估和风险控制有直接参考价值。但内容偏流程清单,缺少实际案例与版本差异分析,使用时需结合官方 Release Notes 和环境验证。

工程实践TiDB 社区博客 - 实践案例

【升级指南】TiDB 集群升级标准操作步骤,从v6.5升级到 v8.5.x

本文给出 TiDB 集群从 v6.5.12 升级到 v8.5.x(示例目标版本为 v7.1.8-5.2)的标准操作步骤,覆盖前置评估、原地升级和迁移升级三类流程。前置阶段通过脚本对比升级前后系统变量、TiDB/TiKV/PD 配置差异,并包含巡检、patch 检查、压测、窗口与 DDL 评估、安装包准备,以及系统变量、权限、sequence、view、core variables、meta.yaml 等备份脚本。原地升级使用 tiup cluster upgrade,随后检查 QPS/P99、PD Leader、版本与 git_hash,并按最佳实践微调 config 和 variables。迁移升级给出 BR 全量恢复、TiCDC 同步、sync_diff_inspector 一致性校验、应用切流和反向同步,以及异常时回退流程。文章偏运维 runbook,命令和脚本可复用,但版本号示例与目标不完全一致,部分步骤仅有文字或无截图,需结合实际环境验证。

推荐收录,因为它提供了可执行证据:变量/配置 diff 脚本、完整备份脚本、tiup 原地升级命令、BR+TiCDC 迁移与 sync_diff_inspector 校验、回退步骤,而不是泛泛介绍升级流程。适合 TiDB DBA、SRE 和负责数据库变更的工程团队在制定升级窗口、备份、校验与回滚预案时参考。主要风险是示例版本为 v7.1.8-5.2、部分环境信息被脱敏,且少数步骤缺少截图和验证数据,落地前需在测试环境验证。

工程实践Canva Engineering - Backend

Worker Backpressure (Part 1)

文章介绍 Canva 为队列 worker 设计的 Worker Backpressure 机制:它是队列库内置的反馈回路,worker 记录每次依赖调用的成功/失败结果,由可插拔控制器根据错误率与设定点维护 0.0–1.0 的 backoff factor,并据此动态缩减可并发拉取和处理的 permit 数量,从而在依赖异常时主动降速、恢复后自动提速。机制完全本地、无外部协调器和额外网络调用,运行时仅两次算术操作。两起生产事故验证了效果:云厂商故障约 4 小时内 DLQ 仅增长 1 条,持续过载 32.5 小时内 1.8 百万次失败尝试仅 22 条进入 DLQ,吞吐仍高于事故前基线。作者也指出吞吐成本、单信号(成功/失败)作为依赖健康代理的局限,并预告 Part 2 展开控制器算法与调参。

推荐收录:文章给出真实生产事故中的量化前后对照,而不仅是概念介绍,并清楚说明反馈回路、并发 permit、设定点和本地化实现等工程取舍。适合后端、基础设施、SRE 和消息队列开发者阅读,可迁移到异步 worker 的依赖保护、DLQ 抑制与自适应限流设计中。注意 Part 1 未公开控制器算法与调参细节,且全容量 worker 会承担吞吐下降风险。

工程实践Oxide Public RFDs

RFD 0733: Security Incident Response Plan

这份 RFD 定义了 Oxide 的安全事件响应计划:如何声明、分级、研判、调查和复盘安全事件,以保护产品与系统完整性、客户数据及公司运营。范围覆盖 Oxide Cloud Computer 及周边软件的生产、构建、签名、制造和更新分发系统,并支撑 SOC for Supply Chain 与 SOC 2;客户环境事件通常不在范围内,除非出现产品漏洞被利用或客户数据受影响。文档规定了 Incident Manager、通信负责人、高管、法务等角色,按 SEV-0 至 SEV-3 分级并给出响应投入。生命周期为声明、遏制、调查、恢复、关闭与复盘,SEV-0/1 及部分 SEV-2 需完成无责复盘,还规定记录系统、编号、证据、纠正项和外部通知触发条件。其边界是高度依赖 Oxide 的组织与合规语境,不直接覆盖客户环境的一般安全事件。

推荐收录。它提供了一份可审计、可执行的安全事件响应模板,包含分级示例、角色默认分配、响应生命周期和通知触发条件等直接证据,适合安全工程师、SRE/运维负责人和合规工程团队参考。其价值在于把供应链安全、事件复盘和组织职责落到可迁移流程;但读者需注意它绑定 Oxide 的 Google Workspace/GitHub 等工具与合规边界,不能照搬。

工程实践Oxide Public RFDs

RFD 0469: Stopgap CockroachDB Updates

RFD 469 讨论 Oxide 控制面仍运行已停止上游支持的 CockroachDB v22.1,而 CockroachDB 仅支持逐个大版本升级且默认自动 finalize、无法降级,因此提出短期过渡方案。作者在 v8 控制面引入 cluster.preserve_downgrade_option,并采用 Tick-Tock 模型:Tick 将 cockroachdb zone 升级到下个大版本,并在长期测试环境验证降级可用;Tock 重置并重新保留降级选项。按计划从 v22.1 逐版本推进到 v23.2,分别落在控制面 v8 至 v14,每个大版本跨两个发布完成验证与收尾。实现上要求不给 Mupdate 增加额外手工步骤,也不编写 Nexus 自动化后会丢弃的新代码。开放问题是 Tick 与 Tock 之间能否升级补丁版本,仍需测试;该方案是过渡性运维设计,不替代最终自动更新工作流。

推荐收录,因为它给出了数据库大版本升级的真实约束与可复现操作模型:用 preserve_downgrade_option 保留回退路径,用 Tick-Tock 跨控制面版本逐步验证和 finalize,并明确排期、实现约束与开放问题。对负责数据库、控制面或平台升级的 SRE/工程读者,这套分阶段升级与回滚设计可直接迁移;但内容高度依赖 Oxide 内部发布流程,缺少故障演练结果和性能数据,阅读时需结合自身环境验证。

工程实践Oxide Public RFDs

RFD 0459: Control plane component lifecycle

本文是 Oxide 的 RFD 459,定义了 Omicron 控制平面各组件的生命周期管理语义与运维动作。作者沿用 RFD 457 的术语,提出在 blueprint 中为每个受管 zone 记录 disposition(in service、quiesced、expunged),并说明 Nexus 如何借此实现 sled 优雅移除、剔除、未来升级和扩缩容。文章以表格和分节方式列出 CockroachDB、External/Internal DNS、Nexus、Oximeter、Boundary/Internal NTP、ClickHouse、ClickHouse Keeper、Crucible Pantry 等组件在加入、quiesce 和 expunge 时所需动作,例如配置重写与 reload、decommission、DNS 更新、停止接收新请求、重新分配 saga 和 metric producer 等。结论是多数组件可归纳为通用 reconfigurator 动作加组件特定操作,但部分组件存在灾难恢复边界。该 RFD 依赖若干未完成 issue 和 RFD,边界服务配置等细节不在本文范围内。

推荐收录:该文档不是泛泛介绍,而是把控制平面组件在加入、quiesce、expunge 三种状态下的具体动作逐项列出,并给出 disposition 模型和 blueprint/Nexus/Reconfigurator 的落地机制。适合负责分布式基础设施、控制平面、SRE 与平台工程的读者,可迁移其状态机设计、组件生命周期操作规程和故障边界分析方法;主要限制是它绑定 Oxide 自有 Omicron 架构,部分步骤依赖未完成 issue,需结合上下文使用。

工程实践Oxide Public RFDs

RFD 0082: Motivations and Principles for the Design of Operator Facilities

这是 Oxide 公开 RFD 82,讨论机架硬件相关的 Operator Facilities 设计动机、原则与需求。文章将运维场景分为容量规划、产品生命周期、基本产品运行、运维硬件故障和未知问题调查五类,并提出对齐客户业务、一致性、无意外、有意义的差异四项原则。作者通过故障风扇、无法上电的 U.2 NVMe、新增网络 uplink、容量评审等案例,提炼识别、诊断、上报、派单、维修、验证与 RCCA 等信息需求。文档还列出组件电源控制、诊断重启与崩溃转储、固件升级、健康状态等需求,并强调现场技术人员可能无法访问控制平面。适用边界是 Oxide 机架和控制平面的设计共识,不包含完整架构实现或实验结果。

推荐收录。该 RFD 不是泛泛的产品愿景,而是用 CP/PL/BPO/OHF/IUP 分类、故障更换 walkthrough 和容量规划问题清单,把硬件运维需求结构化,并给出一致性、无意外等可验证的设计原则。适合基础设施、SRE、硬件控制平面与系统设计读者,可迁移到故障管理、容量规划和现场可服务性设计;局限是高度绑定 Oxide 机架及产品假设。

工程实践Oxide Public RFDs

RFD 0070: Capacity, Allocation, and Utilization

RFD 70 提出多租户基础设施中容量、分配与利用率的管理框架,先区分 in-use、provisioned、reserved、capacity,并定义 utilization、threshold、overprovisioning、bursting。其核心原则是用透明、可操作的数据帮助用户和运维决策:展示容量仪表盘与按用户/团队/项目下钻视图,设置阈值告警,提供一键调整实例或磁盘、通知项目成员的流程,并用配额防止过度分配。文档明确反对超售,强调扩容与缩容并重、按实际使用率优化,并建议将利用率与成本节省纳入账单,甚至用排行榜激励良好使用习惯。它属于早期设计讨论稿,给出术语、原则、指标和交互场景,但缺少实现细节、规模化验证和预测模型的量化评估。适用于云平台、SRE 与基础设施容量治理场景。

推荐收录:它把容量治理从“看监控”推进到可操作流程,明确区分 in-use、provisioned、reserved、capacity,并给出仪表盘、阈值告警、配额、扩缩容和账单联动等机制。对云平台、SRE 和基础设施团队,反对超售、以利用率驱动资源调整的原则可直接迁移到多租户容量规划。风险是它仍是 RFD 设计稿,缺少落地数据与实现验证,部分激励机制需按组织裁剪。

工程实践Greptime 技术

Building a Unified Observability Platform on GreptimeDB: A Reference Architecture

文章提出用单个 GreptimeDB 统一承载 metrics、logs、traces 的参考架构,并在 OpenTelemetry Astronomy Shop 演示环境中验证。它给出 Prometheus remote write、OTLP、Loki、Elasticsearch _bulk 等写入协议与端点,讨论 Metric Engine、表/分区设计、Flow 物化视图、TTL、WAL 和查询接口的工程取舍。文中用真实 SQL 展示从告警到 trace、日志的跨信号排障及客户端/服务端延迟自连接,并按 standalone、小集群、大集群三档给出拓扑建议。作者也列出迁移路径、开源/企业版边界,并承认亚毫秒热指标查询不如 VictoriaMetrics、Loki/Elasticsearch 读兼容有限。整体偏 GreptimeDB 产品指南,但架构流程与验证数据有可迁移价值。

推荐收录。文章以 OTel Demo 实测数据给出统一观测平台的写入协议、表设计、Flow 热冷路径隔离、TTL/WAL 和规模分层,并用真实 trace_id 串联日志与 span 排障,适合可观测性平台和 SRE 读者迁移参考。主要风险是内容来自 GreptimeDB 厂商,部分性能与 Agent 对比结论带有产品视角,需结合自建基准验证。

工程实践ClickHouse Engineering

Ensuring reliable OpenTelemetry ingestion at scale

ClickHouse 团队复盘内部可观测性平台 LogHouse 的 OpenTelemetry 摄取管道三次演进。第一版 agent+gateway 架构在 5000 万 events/s 规模下无法承受 ClickHouse 反压而频繁 OOM;第二版启用 collector 本地 WAL,需改造成 StatefulSet,1TiB 积压约需 4 小时排空,且 FIFO 顺序阻塞最新数据,只能截断 WAL 丢数据。团队放弃引入 Kafka,改用基于 S3 的优先级故障转移:仅在 ClickHouse 反压时由 failover connector 溢出到对象存储,再通过 SQS 事件通知由独立 catchup collector 回灌,规避常态 PUT 成本。文中给出完整 collector 配置与一小时停机 gameday 验证结果,也指出恢复期无法定位具体缺失数据、新区域需额外基础设施等局限。

推荐收录:文章完整呈现从默认两层采集架构到自研 S3 溢出方案的取舍链条,给出 5000 万 events/s、1TiB 积压需 4 小时排空、每年 10-50 万美元 PUT 成本等具体数字,并用一小时停机 gameday 验证无数据丢失。对负责可观测性采集、高吞吐数据管道或 ClickHouse/OTel 落地的工程师,其 failover connector 的队列开关顺序、优先级路由和 catchup 回灌设计可直接迁移。

工程实践TiDB 社区博客 - 实践案例

实战复盘:一次 40 分钟的 add index 卡 0 行救援 —— 从 GitHub Issue #65948 看 TiDB disttask 孤儿任务的隐蔽危害

文章复盘了 TiDB 7.5.x 生产环境中一次 CREATE INDEX 卡在 write reorganization 且 ROW_COUNT 恒为 0 的故障救援过程。故障根因被定位为 DXF(disttask 框架)残留孤儿任务:历史中断的 add index 在 mysql.tidb_global_task 中留下长期处于 pausing/reverting 状态且 dispatcher_id 为 NULL 的条目,框架 scheduler 因内存态不刷新而持续调度这些僵尸任务,占满调度槽位,导致新的 ingest 模式索引任务无法推进。作者完整记录了 40 分钟排查链路,包括 AI 协助查证系统表、发现 tidb_enable_dist_task 开关被误关、最终通过滚动重启 tidb-server 清空框架内存态恢复服务,并提供了分场景的临时解决方案、每日巡检脚本、业务规范以及对 TiDB 团队在 scheduler 超时回收和内存态一致性方面的改进建议。文章还反思了 AI 在故障排查中作为“军师”与用户作为“侦察兵”的协作模式及其边界,指出 AI 缺乏现场执行权,有效协作依赖完整证据输入。

推荐收录。文章以真实生产事故为样本,完整呈现了从现象、日志证据、系统表探查到根因确认和恢复操作的故障处理闭环,并给出了可复用的 SOP、巡检脚本和预防规范,对负责 TiDB 运维或分布式数据库稳定性保障的工程师有直接参考价值。其对 AI 协同排查方式的反思也提供了可迁移的人机协作模式,但读者需注意文中操作涉及直接修改系统表和重启集群,须在受控环境验证后使用。

工程实践ClickHouse Engineering

What else runs on your Postgres server, and how do we stop it from taking the database down?

文章讨论 ClickHouse Managed Postgres 如何在同一个 VM 上隔离 Postgres 与周边支撑进程(PgBouncer、WAL-G 备份代理、各类 exporter、本地 Prometheus、日志收集器和看门狗),避免它们反过来拖垮数据库。核心是三层内存防护:Go 运行时的 GOMEMLIMIT 先触发更积极的 GC,cgroup v2 的 memory.high 触发直接回收与限流,memory.max 作为硬上限并在该 cgroup 内触发 OOM,从而把 OOM 受害者限定在支撑服务而非 Postgres。CPU 用调度权重、备份缓冲区固定比例、日志内存限制和导出指标白名单分别设卡;磁盘打满时看门狗读取 pg_stat_activity 终止普通应用会话,但豁免复制与监控用户以保持 WAL 流和可观测性。局限是偏设计说明,缺少压测与故障复盘数据。

推荐收录:文章给出了可迁移的资源隔离模型——运行时预算加 cgroup 软硬上限、资源白名单、带豁免的应急终止路径,并逐条说明每种边界存在的理由。对自建或托管 Postgres、需要把监控备份等边车进程与主库共置的 SRE 和 DBA 读者有直接参考价值。主要不足是缺少压测与故障复盘数据,结论偏经验性。

工程实践知乎 - 千问云

AI Native 下的混沌工程:Agent 军团如何重新定义系统韧性验证

本文分享了在专有云IaaS场景下,将混沌工程从依赖专家的一次性专项演练升级为AI Native平台能力的完整实践。核心设计采用九种Agent分层的多智能体架构,通过共享黑板实现Agent间解耦,并由三道递进式安全闸门保障注入安全;同时引入经验反馈回路与AI飞轮回路,使用例知识和编排策略持续自进化。平台实现了全链路AI驱动的韧性验证:从注入、观测、诊断到报告和工单闭环,人仅需触发与确认。实战数据显示单次验证闭环从数天压缩至40余分钟,人力投入从专职SRE降至0.1人,并已发现多条产品稳定性缺陷。该方案适用于需要高频、自动化可靠性验证的复杂基础设施场景,但对组织协作和产品Agent接入有一定要求。

本文提供了端到端的AI驱动混沌工程平台建设案例,详细阐述了多Agent架构、安全控制、进化回路和标准接入机制,而非泛泛的概念介绍。其分层解耦、黑板通信、双进化回路等设计具有较高的可迁移价值,适合SRE、平台工程师和架构师参考,用于建设或改进系统韧性验证体系。

工程实践ClickHouse Engineering

Choosing Between ClickStack and Grafana for ClickHouse Observability

文章比较 ClickStack 与 Grafana ClickHouse 插件在 ClickHouse 可观测性中的定位。Grafana 是“大帐篷”式监控优先路线,强在跨数据源仪表盘、告警和 Prometheus 生态;ClickStack 则围绕 ClickHouse 单一引擎优化,提供搜索式排查、原生日志/指标/链路/会话关联,以及 MCP 和 AI notebooks 支持自建 SRE Agent。文章给出选择规则:ClickHouse 是主要遥测库且需要调查式体验时选 ClickStack;已有异构监控体系、依赖 Prometheus 告警或跨系统仪表盘时选 Grafana,也可二者并用。作者提醒 PromQL 支持仍属实验,二者各有生态边界,应随团队工作方式调整。

推荐收录。文章把工具选择拆成监控优先与调查优先、多引擎与单引擎、预定义仪表盘与搜索式排查三组取舍,并明确给出 ClickStack/Grafana/二者并用的决策规则和 PromQL 实验性等边界。适合正在以 ClickHouse 构建可观测性平台的架构师、SRE 和平台工程团队参考;主要风险是内容来自 ClickStack 厂商,读者应结合自身数据源生态与成本验证。

工程实践Marc Brooker

Lorenz and Little: How Much Does Your Tail Cost?

本文从成本和容量角度切入尾部延迟分析,通过Lorenz曲线量化不同百分位延迟对平均延迟的贡献比例,并结合Little法则说明这一比例同时对应系统并发所占份额。作者提供了基于分位数向量的数值计算方法,并讨论了插值假设和尾部帕累托外推的局限性。文章指出,在许多服务中p99及以上延迟可能贡献超过一半的平均延迟和并发寸,因此优化尾部能显著降低容量需求、锁争用和成本,而不应简单截断。这一视角将延迟分析从用户体验延伸至系统经济性,适合拥有可观测性指标的工程团队。

推荐收录。文章不是泛泛谈论尾部延迟的重要性,而是引入了Lorenz曲线这一经济学工具提供量化框架,并通过Little法则建立延迟与并发成本的直接关联,给出了可复用的计算方法和工程洞察。对于需要平衡服务性能与基础设施成本的后端工程师、SRE和架构师来说,该思路可直接迁移到容量规划和瓶颈识别中,具有长期参考价值。

工程实践ClickHouse Engineering

How we build and evaluate our MCP server for SRE agents

ClickHouse 工程博客详细介绍了为 SRE 智能体构建与评估 ClickStack MCP server 的方法,核心是开源基准框架 hdx-evals。该框架用种子 PRNG 确定性生成数千万级合成日志与 span,构造根因定位、延迟尖峰、噪声信号、健康检查、分段回归五类事件场景,并植入高音量干扰项,以防模型依赖训练记忆而非真正调查。每次运行都在隔离沙箱中以真实 Claude 进程无提示执行,保留完整工具调用轨迹;评分由加权正则检查、LLM 裁判(占 60%)与工具错误扣分合成为单一分数,答案经匿名化以避免裁判受工具品牌影响。结果显示 ClickStack MCP 在全部五个场景均胜过直连 SQL 的 ClickHouse MCP,领先 7-20 个百分点,并提炼出工具描述粒度、响应设计与查询延迟对调查质量的关键影响。其边界是当前仅覆盖 trace 与日志调查,CI 集成和更多场景仍待完善。

推荐收录:文章给出了完整的基准方法论与可复现证据,包括确定性数据生成、沙箱隔离、盲评评分公式和五场景对比结果,而非只展示营销数字。适合构建 MCP/Agent 工具、做 AI 工程评估或 SRE 可观测性的读者,其场景设计、干扰项构造和评分权重分配可直接迁移到其他 agent 工具链评测中;需注意结论基于合成数据和单一模型,落地前应补充自有数据验证。

工程实践Instacart Tech Blog

Blueberry: Force Multiplier For The On-Call Engineer

本文深入介绍了Instacart开发的Blueberry系统,一个面向值班工程师的Slack原生推理框架。核心目标是缩短从告警触发到获得首条可执行洞察(TTFI)以及验证推断(TTTT)的时间。系统架构以持久化作业队列实现诊断过程可靠性,通过三层模型上下文协议(MCP)表面组合共享与团队专属工具,并支持并行子代理进行证据采集。在实际运行中,Blueberry在2026年4月处理超2.5万次诊断,TTFI和TTTT中位数约3分钟,成功率达99.9%。文章通过多个案例展示了系统如何快速定位根因、通过多轮对话排除不相关变更、利用历史模式识别外部中断,以及并行处理大规模告警风暴。其关键贡献在于将隐性运维知识外化为可复用基础设施,提升团队协作和排障效率,同时指出安全行动闭环仍在测试中。

本文是一个高质量工程案例,完整记录了生产级AI运维系统的设计决策、架构权衡和量化成效,尤其适合从事SRE、DevOps或AI工程化的团队参考。文中展示的持久化推理、分层工具集成和证据驱动排障模式具有明确的可迁移价值,对希望构建类似协作式值班助手的组织有直接启发,但需注意其强依赖Slack生态和内部工具链。

工程实践知乎 - SmartCode 得物技术

用 LLM Agent 重构告警排查流程|得物技术

这篇文章介绍了得物如何用 LLM Agent 重构告警排查流程,把原本需要在日志、APM、链路追踪等多个平台间手动切换的排障工作,改造成“告警接入—指纹匹配—Agent 排查—验收—报告—知识沉淀”的自动化闭环。文中重点展开了 ReAct Agent 的工具设计、动态策略组装、工具超时隔离、幻觉控制与多轮验收机制,并通过一次生产告警案例展示了系统如何把中位排查耗时从约 20 分钟降到 4.4 分钟。文章的价值不仅在于 Agent 落地思路,还在于它明确说明了适用边界:AI 负责机械化检索与归纳,人工负责最终判断与处置。

推荐收录,因为它不是泛泛而谈“用 AI 提效”,而是给出了告警排查场景下可复用的工程架构、工具编排方式和质量保障机制。对于正在做 AIOps、告警治理、运维自动化或 Agent 落地的团队,这篇文章能直接提供实现思路和踩坑经验。

职业经验Brendan Gregg

When to Hire a Computer Performance Engineering Team (2025) part 1 of 2

本文讨论在什么情况下应成立计算机性能工程团队,以及这类团队的投资回报如何评估。作者从多年在 Netflix、Intel 等公司的经验出发,指出性能工程的主要价值不只是降本,还包括降低延迟、提升可扩展性与可靠性,以及加快研发推进。文中详细列举了团队的工作范围:测试和推动新软硬件采纳、构建内部观测与分析工具、深入定位瓶颈和尾延迟、调参优化、做容量规划与知识分享等。作者给出粗略的组建门槛和规模建议,例如当基础设施支出达到百万美元级别就应考虑专职人员,并强调已有的 SRE/高级开发者会部分覆盖这类工作。文章也说明这些建议更适用于技术消耗型公司,且实际收益依赖栈的复杂度、现有优化基础和团队成熟度。

文中直接给出了性能工程团队的职责边界、ROI 构成和规模判断规则,并用 Netflix、Sun 等案例说明其可迁移的判断方法。适合负责基础设施、SRE、技术管理和成本优化的读者参考,但结论依赖公司体量与技术栈复杂度,不宜机械套用。

技术文章Andy Pavlo Database Blog

Ten Database Crack Commandments

文章借用 Notorious B.I.G. 的《Ten Crack Commandments》,提出十条数据库运维与管理戒律。内容涵盖:不向厂商暴露预算、最小权限、监控数据不存回同一 DBMS、应用与 DBMS 分离、避免无休止调参、限制单实例多租户、及时执行维护任务、不要为未到来流量过度配置等。作者结合 Postgres/MySQL 的行级安全、MVCC、自动 vacuum,以及 AWS RDS 的预留实例和维护窗口等具体机制说明取舍。文章带有 OtterTune 产品推广色彩,部分云产品价格与功能具有 2022 年时效性,但多数原则对数据库性能、可靠性和成本治理仍有长期参考价值。

推荐收录。文章虽以歌曲类比并含 OtterTune 推广,但十条规则均给出可验证的数据库运维依据,如行级安全、MVCC、自动 vacuum、多租户资源竞争和云实例过度配置的代价。适合 DBA、后端/SRE 与使用云数据库的工程团队作为检查清单,其中最小权限、监控分离、预留实例和维护窗口等经验可迁移到生产系统;需注意云产品细节和厂商立场带来的时效与偏向。