SRE

5 篇内容

工程实践知乎 - 千问云

AI Native 下的混沌工程:Agent 军团如何重新定义系统韧性验证

本文分享了在专有云IaaS场景下,将混沌工程从依赖专家的一次性专项演练升级为AI Native平台能力的完整实践。核心设计采用九种Agent分层的多智能体架构,通过共享黑板实现Agent间解耦,并由三道递进式安全闸门保障注入安全;同时引入经验反馈回路与AI飞轮回路,使用例知识和编排策略持续自进化。平台实现了全链路AI驱动的韧性验证:从注入、观测、诊断到报告和工单闭环,人仅需触发与确认。实战数据显示单次验证闭环从数天压缩至40余分钟,人力投入从专职SRE降至0.1人,并已发现多条产品稳定性缺陷。该方案适用于需要高频、自动化可靠性验证的复杂基础设施场景,但对组织协作和产品Agent接入有一定要求。

本文提供了端到端的AI驱动混沌工程平台建设案例,详细阐述了多Agent架构、安全控制、进化回路和标准接入机制,而非泛泛的概念介绍。其分层解耦、黑板通信、双进化回路等设计具有较高的可迁移价值,适合SRE、平台工程师和架构师参考,用于建设或改进系统韧性验证体系。

工程实践Marc Brooker

Lorenz and Little: How Much Does Your Tail Cost?

本文从成本和容量角度切入尾部延迟分析,通过Lorenz曲线量化不同百分位延迟对平均延迟的贡献比例,并结合Little法则说明这一比例同时对应系统并发所占份额。作者提供了基于分位数向量的数值计算方法,并讨论了插值假设和尾部帕累托外推的局限性。文章指出,在许多服务中p99及以上延迟可能贡献超过一半的平均延迟和并发寸,因此优化尾部能显著降低容量需求、锁争用和成本,而不应简单截断。这一视角将延迟分析从用户体验延伸至系统经济性,适合拥有可观测性指标的工程团队。

推荐收录。文章不是泛泛谈论尾部延迟的重要性,而是引入了Lorenz曲线这一经济学工具提供量化框架,并通过Little法则建立延迟与并发成本的直接关联,给出了可复用的计算方法和工程洞察。对于需要平衡服务性能与基础设施成本的后端工程师、SRE和架构师来说,该思路可直接迁移到容量规划和瓶颈识别中,具有长期参考价值。

工程实践Instacart Tech Blog

Blueberry: Force Multiplier For The On-Call Engineer

本文深入介绍了Instacart开发的Blueberry系统,一个面向值班工程师的Slack原生推理框架。核心目标是缩短从告警触发到获得首条可执行洞察(TTFI)以及验证推断(TTTT)的时间。系统架构以持久化作业队列实现诊断过程可靠性,通过三层模型上下文协议(MCP)表面组合共享与团队专属工具,并支持并行子代理进行证据采集。在实际运行中,Blueberry在2026年4月处理超2.5万次诊断,TTFI和TTTT中位数约3分钟,成功率达99.9%。文章通过多个案例展示了系统如何快速定位根因、通过多轮对话排除不相关变更、利用历史模式识别外部中断,以及并行处理大规模告警风暴。其关键贡献在于将隐性运维知识外化为可复用基础设施,提升团队协作和排障效率,同时指出安全行动闭环仍在测试中。

本文是一个高质量工程案例,完整记录了生产级AI运维系统的设计决策、架构权衡和量化成效,尤其适合从事SRE、DevOps或AI工程化的团队参考。文中展示的持久化推理、分层工具集成和证据驱动排障模式具有明确的可迁移价值,对希望构建类似协作式值班助手的组织有直接启发,但需注意其强依赖Slack生态和内部工具链。

工程实践知乎 - SmartCode 得物技术

用 LLM Agent 重构告警排查流程|得物技术

这篇文章介绍了得物如何用 LLM Agent 重构告警排查流程,把原本需要在日志、APM、链路追踪等多个平台间手动切换的排障工作,改造成“告警接入—指纹匹配—Agent 排查—验收—报告—知识沉淀”的自动化闭环。文中重点展开了 ReAct Agent 的工具设计、动态策略组装、工具超时隔离、幻觉控制与多轮验收机制,并通过一次生产告警案例展示了系统如何把中位排查耗时从约 20 分钟降到 4.4 分钟。文章的价值不仅在于 Agent 落地思路,还在于它明确说明了适用边界:AI 负责机械化检索与归纳,人工负责最终判断与处置。

推荐收录,因为它不是泛泛而谈“用 AI 提效”,而是给出了告警排查场景下可复用的工程架构、工具编排方式和质量保障机制。对于正在做 AIOps、告警治理、运维自动化或 Agent 落地的团队,这篇文章能直接提供实现思路和踩坑经验。

职业经验Brendan Gregg

When to Hire a Computer Performance Engineering Team (2025) part 1 of 2

本文讨论在什么情况下应成立计算机性能工程团队,以及这类团队的投资回报如何评估。作者从多年在 Netflix、Intel 等公司的经验出发,指出性能工程的主要价值不只是降本,还包括降低延迟、提升可扩展性与可靠性,以及加快研发推进。文中详细列举了团队的工作范围:测试和推动新软硬件采纳、构建内部观测与分析工具、深入定位瓶颈和尾延迟、调参优化、做容量规划与知识分享等。作者给出粗略的组建门槛和规模建议,例如当基础设施支出达到百万美元级别就应考虑专职人员,并强调已有的 SRE/高级开发者会部分覆盖这类工作。文章也说明这些建议更适用于技术消耗型公司,且实际收益依赖栈的复杂度、现有优化基础和团队成熟度。

文中直接给出了性能工程团队的职责边界、ROI 构成和规模判断规则,并用 Netflix、Sun 等案例说明其可迁移的判断方法。适合负责基础设施、SRE、技术管理和成本优化的读者参考,但结论依赖公司体量与技术栈复杂度,不宜机械套用。