Observability

96 篇内容

技术文章OpenTelemetry Blog

Exploring the OpenTelemetry Instrumentation Ecosystem

文章讨论 OpenTelemetry 生态中插桩(instrumentation)一致性这一难题。核心论点:语义约定从进入规范到稳定往往耗时数年(HTTP 2019 至 2023,Database 2019 至 2025),之后各语言插桩库还需跟进,导致实现滞后、属性或指标缺失,且仅靠阅读规范无法判断哪些库已完成迁移。作者介绍了 OpenTelemetry Ecosystem Explorer,可按版本编目组件、展示其声明的遥测与配置项;以及 semantic-conventions-conformance 项目,通过运行小型测试场景、收集遥测并用 Weaver live-check 与约定比对来度量一致性。跨语言数据显示必需属性(如 http.request.method、server.address)几乎都具备,而推荐属性(如 network.peer.address、network.protocol.version)覆盖不足。作者强调解读结果需谨慎:某场景未观测到属性并不等于插桩永不产生,可选属性缺失也属正常。

推荐收录:文章不止于项目动态,而是清楚阐述了语义约定稳定滞后、插桩实现长期不一致这一工程问题,并给出可迁移的一致性度量方法(测试场景+Weaver live-check+跨语言对比数据)。适合关注可观测性、OpenTelemetry 生态与跨语言插桩验证的工程师参考。主要不足是内容偏介绍性,缺少实现细节与失败案例,工具本身仍在演进。

技术文章Greptime 技术

JSON Is No Longer a Blob: Inside GreptimeDB 1.2's New JSON Type

文章深入解析 GreptimeDB 1.2 新增的 JSON2 类型,针对传统 JSONB 按整文档存储、分析查询需读取并解析完整 JSON 的问题。其核心是有界自动 shredding:高频路径展开为独立列,并分为静态类型路径、预算内动态路径和 Parquet Variant 余量三层;查询时通过类型具体化从 SQL 推断所需结构类型,类型提示可固定路径类型并拒绝不匹配写入。结论是 JSON2 适合日志、trace 等可观测性场景,能按路径裁剪读取且保留原始嵌套;但冷路径仍需读余量,类型推断可能出错,自动展开有上限,1.2 中修改配置尚未正式支持。

推荐收录:文章不仅介绍功能,还给出 JSONB 与 JSON2 的读写差异、三层存储、类型具体化、类型提示和完整 SQL 示例,并引用 JSONBench 数据说明边界。适合数据库、存储引擎、可观测性平台工程师理解半结构化数据的列式化设计;可迁移到日志/trace 分析中的路径裁剪、列式存储和类型约束设计,但需留意冷路径读取与类型推断错误风险。

技术文章Greptime 技术

JSON Is No Longer a Blob: Inside GreptimeDB 1.2's New JSON Type

文章解析 GreptimeDB 1.2 新增的 JSON2 类型,面向日志、Trace 等路径繁多但查询只访问少数路径的 JSON 数据。传统 JSONB 按整文档存储,读一个字段也需扫描和解析完整文档,索引无法消除这类 I/O 与 CPU 放大。JSON2 采用有界自动 shredding,将热路径展开为独立 Parquet 列,长尾写入 Parquet Variant remainder,并支持 type hints 固定类型;查询端通过 query type concretization 从 SQL 推导结构化类型,实现列裁剪与向量化执行。局限是类型推断依赖 SQL 表达式,写错可能返回无意义结果,且 1.2.x 不能修改已有 JSON2 配置。该方案适合可观测性分析,但冷路径仍需读 remainder,自动展开预算默认 100。

推荐收录。文章基于 GreptimeDB 1.2.1 的真实实现,清晰给出 JSONB 整文档读放大、JSON2 有界 shredding、Parquet Variant remainder、query type concretization 与 type hints 的设计细节和 SQL 示例,并明确说明类型推断错误、冷路径成本和 1.2.x 配置不可变等边界。适合数据库内核、存储引擎和可观测性平台开发者参考,其“热路径列化+长尾归并+查询驱动类型推导”的取舍可迁移到其他半结构化分析系统。

工程实践Salesforce Engineering

AI Agent Observability: Making Silent Production Failures Visible and Actionable

Salesforce 团队介绍 Agentforce Health Monitoring(AHM),用于发现生产 AI Agent 的“静默故障”:传统监控显示健康,但请求未到达、上游连接失败或 LLM 网关故障时用户已收不到端到端响应。AHM 通过可用性、错误率、响应/升级率、延迟等 16+ 指标和自动告警检测异常,并整合会话、推理步骤、工具调用、错误与升级等约五六个来源的碎片化遥测,形成 Agent 旅程视图。为降低告警延迟,团队将 Data 360 摄取改为流式并简化查询,使延迟从约 20 分钟降至数分钟,目标是从点击告警到查看相关会话页少于 120 秒。系统还提供会话下钻调试,并规划幻觉、接地、上下文丢失指标及 RAG 质量集成、运行时洞察 Agent 与自动修复。局限是偏 Salesforce/Agentforce 生态,未披露完整实现与评测数据。

推荐收录:文章用 AHM 案例具体呈现 AI Agent 可观测性的核心工程问题——静默可用性故障、跨源遥测碎片化、告警延迟和从告警到会话根因的下钻,并给出 20 分钟到数分钟等可验证改进目标。适合构建 Agent 平台、AI 工程化、SRE/可观测性体系的读者参考,其“检测—通知—诊断—修复”框架和会话上下文关联思路可迁移;但需注意其深度受 Q&A 和 Salesforce 生态限制。

工程实践OpenTelemetry Blog

Prometheus and OpenTelemetry interoperability in 2026: Survey results

文章是 OpenTelemetry 与 Prometheus 社区 2026 年互操作性调查,基于 186 份回复筛选出 81 名活跃 OTel 指标用户(均使用 Prometheus 或兼容后端),并排除厂商员工。核心结论是互操作性明显改善:平均易用性评分从 2024 年的 3.1 升至 3.6,认为两者难以共用者从 29% 降至 10%。基础设施采集中 Prometheus exporter 与 OTel receiver 分别为 72% 和 57%,近半用户混合使用;应用采集中 OTel SDK 65%、Prometheus SDK 52%,41% 仅用 OTel 风格。处理环节以 Prometheus relabeling 和 OSS OTel Collector 为主,65% 使用无厂商转换的 vanilla stack。报告还观察到中型组织更早采用 OTel 原生工具,但样本偏大型高成熟度组织,且与 2024 年人群不完全可比。

推荐收录:它提供了可验证的社区调查数据,量化了 Prometheus 与 OpenTelemetry 互操作性的改善、混合采集现状和常见处理链路。对可观测性平台、SRE 和基础设施团队做指标栈选型、迁移或 Collector 管道设计有直接参考价值;需注意样本偏向大型高成熟度组织,且与 2024 年调查人群不完全一致,趋势判断应结合自身环境。

工程实践Prometheus Blog

Prometheus and OpenTelemetry interoperability in 2026 - Survey results

文章基于2026年Prometheus与OpenTelemetry互操作性调查,从186名受访者中筛选81名活跃用户,并与2024年对比。易用性平均分从3.1升至3.6,认为难以一起使用的比例由29%降至10%。基础设施指标采集中Prometheus exporters占72%、OTel receivers占57%,近半混用;应用指标采集中OTel SDK占65%、Prometheus SDK占52%,41%仅用OTel风格。处理环节以Prometheus relabeling和开源OTel Collector为主,65%采用无厂商转换的vanilla stack。开放建议集中在数据模型/标签统一、资源属性与元数据缺口、命名与格式摩擦。局限是样本量小、部分分组仅10–34人,结论更多是趋势和假设。

推荐收录:文章给出可核验的调研数据、两年对比和明确局限性,能帮助可观测性平台、SRE与DevOps读者理解Prometheus与OpenTelemetry在指标采集、转换和后端选择上的真实采用状况。其互操作性痛点和维护者回应可作为技术选型、迁移规划与社区参与依据;但样本量较小且分群结论仅为假设,不宜视为精确市场份额或因果结论。

技术文章Elastic Security Labs

Cloud Threat Emulation on Autopilot: Context is Everything

本文是 Elastic Security Labs 云威胁仿真方法论上篇,主张云、SaaS 与身份环境中的仿真不能只做 API 调用或端点式原子测试,而应计划先行。作者提出完整生命周期:确定目标与范围、威胁与受害者建模、设计 IAM 起点和操作流、搭建受控实验环境、带上下文执行、验证真实遥测、评估检测覆盖、记录假设并彻底清理,将仿真视为状态机。范围分 atomic、micro、full 三层;初始立足点应来自窃取凭据、假设角色或受损计算,而非默认管理员会话,权限需按阶段递进。文章强调遥测是仿真的输出而非假设,日志缺失本身也是发现,覆盖评估应针对本次事件检验规则为何触发。其局限是偏方法论,Part 1 未展开具体 agent/skill 实操与可运行代码,落地仍需结合云厂商日志和 IAM 细节验证。

推荐收录。文章给出了云威胁仿真从目标、威胁/受害者建模、IAM 递进、遥测验证到覆盖评估和清理的完整生命周期,并明确指出仅做 API 触发、默认管理员权限和全绿 ATT&CK 覆盖板的常见误区;这些约束对云安全检测工程、红蓝对抗和日志可观测性建设都可迁移。主要局限是 Part 1 偏方法论,具体 agent 自动化和可运行示例留待 Part 2,读者需结合自身云厂商日志与 IAM 细节验证。

技术文章OpenTelemetry Blog

Dual-exporting .NET metrics with OTLP and Prometheus

文章介绍在 .NET 应用中同时向 Prometheus 与 OTLP 后端导出指标、以避免一次性切换造成可观测性空窗的两种渐进迁移方案。第一种方案使用 OpenTelemetry 的 Prometheus exporter,基于应用内 Meter API 采集指标,既通过 HTTP 抓取端点以文本格式暴露给 Prometheus,又经 OTLP exporter 推送到支持 OpenTelemetry 的后端,从而可移除对 prometheus-net 等原生客户端的依赖。作者给出 SDK 配置与 MapPrometheusScrapingEndpoint 示例代码,并指出 Prometheus summary 类型与 native histogram 在 Meter API 中没有直接对应实现,迁移耗时取决于既有仪表化的复杂度。第二种方案让 Prometheus 通过 --web.enable-otlp-receiver 直接接收 OTLP 推送,适合只有 Prometheus 而无 OTLP 后端的场景。文章后半段与总结部分在抓取中不完整。

推荐收录,因为它并非泛泛介绍 OpenTelemetry,而是针对从 Prometheus 迁移到 OTLP 的真实痛点,给出可双写过渡的两种可执行方案与示例代码,并明确列出 Meter API 无法覆盖的 summary、native histogram 等边界与迁移成本。适合正在做可观测性栈迁移的 .NET 后端与平台工程师参考,其中的渐进迁移思路与限制清单可迁移到其他语言的类似改造;需注意原文抓取不完整,后半段与总结缺失。

技术文章pganalyze Blog

Postgres in Production Special Series: How to Query pg_stat_statements to Find Slow and Expensive Postgres Queries (Part 7)

本文是 pg_stat_statements 深入系列第七篇,讲解生产事故中如何查询该视图定位慢查询和高开销查询。作者指出 pg_stat_statements 只记录已完成语句且指标累计、没有时间线,因此应先查 pg_stat_activity 判断是否存在正在运行的长事务。获取时间窗口可用两种方法:隔时取两个临时表快照做差值,或在可重复负载下 reset 后重新查询,并用 pg_stat_statements_info 查看重置时间。排序不应只看 total_exec_time,还可按 calls、mean_exec_time、temp_blks_written 等发现高频、均值慢或写临时文件的查询。文章给出 SQL 示例和演示,并提醒最慢查询未必最值得优化;选择监控工具时要关注完整查询文本、采样频率、重置恢复和多工具锁竞争。其内容偏 PostgreSQL 监控实践,不展开执行计划内部原因。

推荐收录。文章给出可直接执行的 SQL 诊断流程,覆盖 pg_stat_activity 优先检查、快照差值/reset 两种时间窗口、多列排序指标和监控工具选型要点,证据具体且可迁移到生产 PostgreSQL 性能排查。适合 DBA、SRE 和后端工程师;需注意作者来自 pganalyze,工具选型部分有厂商视角,但核心方法仍具长期参考价值。

技术文章Oxide Public RFDs

RFD 0463: The Oximeter Query Language

本文是 Oxide 的 RFD 463,描述用于查询和加工机架遥测数据的领域特定语言 OxQL。oximeter 采集硬件与软件指标并存入 ClickHouse,OxQL 以表、时间序列、字段和数据点为核心模型,支持 gauge、cumulative counter、delta 与 histogram,并在读取 cumulative 数据时自动转为 delta,以便对齐、聚合和连接。语言采用 Unix 管道式表操作(get、filter、align、group_by、join)和子查询,配合字面量、比较/逻辑运算符及 EBNF 语法定义。文档强调自研 DSL 的理由:现有 SQL 和各类指标查询语言不适配时序数据且集成成本高。其边界是目前不支持 raw cumulative 选择和 outer join,且作为发布后不再更新的规范,主要面向 Oxide 内部与用户文档。

推荐收录。该 RFD 不是新闻或营销稿,而是完整给出了 OxQL 的设计动机、数据模型、语法定义、示例和查询语义,包含 cumulative 到 delta 的自动转换、对齐/分组/连接等可迁移概念。适合做可观测性、时序数据库、DSL 或后端查询系统的读者参考。注意其内容与 Oxide 机架和 ClickHouse 强绑定,且 RFD 声明发布后不再更新,迁移时需结合具体数据模型取舍。

工程实践Oxide Public RFDs

RFD 0125: Telemetry requirements and building blocks

本文是 Oxide 发布的 RFD,系统讨论机架遥测系统的需求与技术选型。作者先按用途划分实时/历史、高可用、水平扩展、趋势近似与精确测量等要求,并辨析事件与指标、基数控制、资源可预测性以及采集与存储解耦。随后评估 illumos FMA、Prometheus、Thanos、InfluxDB、ClickHouse、VictoriaMetrics 等候选构件,比较其查询、告警、集群和重聚合能力。针对 ClickHouse 与 VictoriaMetrics 的模拟指标实验显示 ClickHouse 资源使用更可预测,作者初步倾向 ClickHouse,但指出其集群依赖 ZooKeeper。文末实验数据在抓取中截断,部分最终架构判断仍需结合后续 determinations。

推荐收录:文中不仅罗列候选技术,还把遥测需求拆成实时性、HA、水平扩展、精度、趋势等可比较维度,并以 ClickHouse/VictoriaMetrics 实验和 Prometheus、InfluxDB、VM 的具体缺陷作为选型证据。对构建可观测性平台、时序存储或基础设施监控系统的读者尤其有价值,其需求分解、评估表和踩坑记录可直接迁移到类似选型场景。需注意该 RFD 仍在形成最终架构判断,实验数据在抓取中截断,引用时需核对后续版本。

工程实践Oxide Public RFDs

RFD 0161: Metrics data model

Oxide 的 RFD 161 定义了整个机架指标数据的建模方式,并确定在 ClickHouse 时序库中存储与查询这些数据。文章先提出数据模型目标——表达力、可操作性、可扩展性、效率与强类型,并借用 Google Monarch 的术语定义 target、metric、timeseries、field 与 metric type。随后用服务请求延迟、虚拟机 CPU 利用率、磁盘温度三个例子给出 target/metric schema 与 timeseries key 的构造方式,并列举代表性查询。核心内容是两种数据库组织方案的对比:字段展开(元数据表加大量 join)与动态表(按 target-metric 对建表,更少 join 但需管理数千张表)。最终决定采用字段展开模型,并列出 pre-quorum 数据、不同时间尺度字段的存储、日志与分布式追踪未覆盖等开放问题。

这是 Oxide 公开的真实架构决策文档,给出两种时序数据建模方案的具体 schema、示例查询与权衡:join 成本对比建表和 schema 管理复杂度,并指出 ClickHouse 数千表下的性能未知,最终明确选定字段展开方案。对设计指标/可观测性平台、在 ClickHouse 等列存库上建模时序数据的工程师有直接参考价值和可迁移的取舍方法。

工程实践Oxide Public RFDs

RFD 0162: Metrics collection architecture and design

本文是 Oxide 的公开 RFD 162,描述机架内指标采集系统的架构与设计。文章统一 target、metric、timeseries、measurement、producer、collector 等术语,比较 push/pull 采集模型后确定当前采用 pull 模式,由 Nexus 将 producer 分配给 oximeter 实例并按间隔轮询。设计包括 producer/collector 注册、数据模型校验、oximeter 本地缓存、同一 producer 多 collector 写入不同 ClickHouse 以保证可用性,以及 Nexus、producer、oximeter 三类接口。文末列出对 Nexus/CockroachDB 的依赖、quorum 前遥测、外部查询、schema 更新和访问控制等开放问题。该文接口与取舍清晰,但仍属早期设计,查询实现和落地验证不在范围,部分关键问题未有定论。

推荐收录。该 RFD 给出了指标采集系统从术语、pull/push 取舍、Nexus 分配到 oximeter API 的完整设计链,并明确缓存、多 collector 冗余和开放问题,对构建可观测性平台或理解控制平面指标采集的读者有可迁移价值。风险在于它仍是早期设计文档,查询路径和实现验证缺失,使用时需结合后续实现与数据模型文档判断。

工程实践Oxide Public RFDs

RFD 0116: A Midsummer Night's Metric

Oxide RFD 116 讨论机架产品中的遥测(telemetry)用例与需求,而非具体架构。作者主张使用更宽泛的 telemetry 而非 metric,以便把软件版本、硬件故障、实时迁移等上下文与定量指标交织起来。文章将能力分为满足既有期望、核心需求与差异化三类,并梳理系统是否达预期、容量规划、内部组件监控、调试和产品迭代等用例。文中还对比公有云默认实例指标、服务器管理传感器与网络设备期望,提出 API、Web 控制台、仪表盘、告警和外部 Oxide 服务等交互方式。V1 明确不做通用客户应用指标采集、机架内无限期存储和第三方集成。该 RFD 仅作为后续架构设计的输入,且网络设备部分未展开。

推荐收录:这是 Oxide 公开的遥测需求 RFD,直接给出能力分类、跨层关联、V1 边界和不做事项,属于可迁移的基础设施与可观测性设计材料。适合平台工程、SRE、可观测性产品与基础设施团队阅读,可用于梳理自研平台的遥测范围与告警取舍。局限是未给出具体实现与存储/查询架构,网络设备小节仍为占位。

工程实践Oxide Public RFDs

RFD 0070: Capacity, Allocation, and Utilization

RFD 70 提出多租户基础设施中容量、分配与利用率的管理框架,先区分 in-use、provisioned、reserved、capacity,并定义 utilization、threshold、overprovisioning、bursting。其核心原则是用透明、可操作的数据帮助用户和运维决策:展示容量仪表盘与按用户/团队/项目下钻视图,设置阈值告警,提供一键调整实例或磁盘、通知项目成员的流程,并用配额防止过度分配。文档明确反对超售,强调扩容与缩容并重、按实际使用率优化,并建议将利用率与成本节省纳入账单,甚至用排行榜激励良好使用习惯。它属于早期设计讨论稿,给出术语、原则、指标和交互场景,但缺少实现细节、规模化验证和预测模型的量化评估。适用于云平台、SRE 与基础设施容量治理场景。

推荐收录:它把容量治理从“看监控”推进到可操作流程,明确区分 in-use、provisioned、reserved、capacity,并给出仪表盘、阈值告警、配额、扩缩容和账单联动等机制。对云平台、SRE 和基础设施团队,反对超售、以利用率驱动资源调整的原则可直接迁移到多租户容量规划。风险是它仍是 RFD 设计稿,缺少落地数据与实现验证,部分激励机制需按组织裁剪。

工程实践Oxide Public RFDs

RFD 0045: User System-level API

RFD 45 定义 Oxide 机架面向运维人员的系统级 API,提供跨项目/虚拟机的全局指标与硬件库存视图。指标 API 覆盖 CPU、内存、存储和网络的容量、利用率或收发计数,规定 60 秒采样且最长 240 秒后才可见,并支持按项目、服务器、机架等维度查询。库存 API 通过 Component、Firmware 等模型描述组件健康、错误、保修、固件历史和设置,用于盘点和告警。文中还提出 SQL 查询与自定义仪表盘,但后者推迟到 MVP 之后。整体是讨论阶段的 API 设计草案,查询语义和实现边界尚未完全确定。

推荐收录:该 RFD 给出了可落地的系统级 API 端点、OpenAPI 数据模型和指标采样语义,并系统梳理了运维人员关心的容量、利用率、库存、固件与健康问题。适合平台工程、基础设施、监控/可观测性和 API 设计读者参考,其按资源维度聚合与库存建模思路可迁移到类似管理平面。需注意它仍是讨论阶段草案,部分接口和实现边界未定,不能当作最终规范直接照搬。

工程实践Greptime 技术

Building a Unified Observability Platform on GreptimeDB: A Reference Architecture

文章提出在 GreptimeDB 上构建统一可观测性平台的参考架构,将指标、日志和追踪汇入同一数据库,同时保留现有采集器协议。作者以 OpenTelemetry Astronomy Shop 为验证环境,用单个 GreptimeDB 实例替换 Jaeger、OpenSearch 和 Prometheus,详述写入端点、按信号分表、Flow 物化视图、TTL/WAL、查询接口及三档集群拓扑。核心决策包括按信号分表、按量分区、用 Flow 隔离仪表盘告警热路径,并展示基于 trace_id 的跨信号 SQL 关联与延迟自连接分析。边界是 Loki 仅兼容写入、Elasticsearch 开源版仅 _bulk,亚毫秒指标查询弱于 VictoriaMetrics,部分隔离与告警属企业版。验证以单机演示和有限基准为主,生产需按自身负载验证。

推荐收录:文章给出可直接复用的参考架构、写入端点表、表设计、Flow/TTL/WAL 与三档拓扑,并用 OTEL Demo 实际数据展示跨 trace_id 日志关联和延迟自连接,工程证据具体。适合负责可观测性平台、数据库选型和 SRE/平台工程落地的读者。需注意来源为厂商博客且验证以单机演示和厂商基准为主,大规模生产收益应结合自身负载验证。

工程实践Greptime 技术

Building a Unified Observability Platform on GreptimeDB: A Reference Architecture

文章提出用单个 GreptimeDB 统一承载 metrics、logs、traces 的参考架构,并在 OpenTelemetry Astronomy Shop 演示环境中验证。它给出 Prometheus remote write、OTLP、Loki、Elasticsearch _bulk 等写入协议与端点,讨论 Metric Engine、表/分区设计、Flow 物化视图、TTL、WAL 和查询接口的工程取舍。文中用真实 SQL 展示从告警到 trace、日志的跨信号排障及客户端/服务端延迟自连接,并按 standalone、小集群、大集群三档给出拓扑建议。作者也列出迁移路径、开源/企业版边界,并承认亚毫秒热指标查询不如 VictoriaMetrics、Loki/Elasticsearch 读兼容有限。整体偏 GreptimeDB 产品指南,但架构流程与验证数据有可迁移价值。

推荐收录。文章以 OTel Demo 实测数据给出统一观测平台的写入协议、表设计、Flow 热冷路径隔离、TTL/WAL 和规模分层,并用真实 trace_id 串联日志与 span 排障,适合可观测性平台和 SRE 读者迁移参考。主要风险是内容来自 GreptimeDB 厂商,部分性能与 Agent 对比结论带有产品视角,需结合自建基准验证。

工程实践Kubernetes Blog

Kubernetes v1.37: Native Histograms Graduates to Beta

文章介绍 Kubernetes v1.37 中原生直方图(Native Histograms)由 Alpha 升级为 Beta 并默认启用。原生直方图采用 Prometheus 的动态指数桶替代静态 le 桶,把正负 span、零阈值与指数缩放因子合并到单条时间序列,从而自动适配纳秒到小时的取值、最多减少约 90% 时间序列,并将分位数误差约束在约 5% 以内。Kubernetes 通过在共享 metrics 子系统 k8s.io/component-base/metrics 中实现双暴露,同时输出经典桶和原生 span,保证既有仪表盘与告警零破坏,并默认使用 BucketFactor 1.1、MaxBucketNumber 160 等参数。文章还给出 Prometheus 3.x/2.x 抓取配置、Protobuf 验证方式、PromQL 查询对比,以及四步迁移与回滚策略。局限在于该特性仍为 Beta,经典桶的最终弃用取决于整个监控生态的成熟度。

推荐收录,因为文章不仅宣布特性状态,还交代了双暴露避免破坏性变更的设计取舍、默认指数桶参数、Prometheus 抓取与 PromQL 迁移示例,以及可逐级回滚的迁移流程,可直接落地为可观测性工程参考。适合 SRE、平台工程和监控负责人在评估指标精度与存储成本时使用。风险是该特性仍处 Beta,细节可能随 GA 调整,需结合自身 Prometheus 版本验证。

技术文章美团技术团队

《Agent 评测白皮书》系列01:Agent 评测全览

本文是美团《Agent 评测白皮书》系列第一篇,为 Agent 评测建立统一概念框架。作者提出完备评测体系由四个模块、三种能力、两条 Loop 和一套资产构成:离线评测作为变更门控,在线评测与监控发现未知,Case 挖掘与归因承担枢纽,观测基建提供地基。两条 Loop 分别驱动 Agent 能力提升与评测体系校准,共同沉淀评测标准、样本等可复用资产。文章强调长程 Agent 评测正从答案评测走向行为评测,评测集需区分端到端与过程、黄金集与错题集,并给出成熟度自查表与分阶段建设水位。其边界是实践来自美团多业务场景,迁移到新场景仍需按业务调整,且本文为全景概览,具体落地步骤留待后续篇章。

推荐收录。文章以可直接复用的框架回答了 Agent 评测如何从冷启动走向扩量,给出四个模块、两条 Loop、评测集分层和成熟度自查表等具体证据,而非泛谈评测概念。适合 Agent 产品、研发、算法、运营和评测负责人用来诊断当前阶段与能力短板;主要风险是做法源自美团多业务实践,迁移时需结合自身场景调整,不能照搬。

工程实践Salesforce Engineering

How Metadata and Runtime Telemetry Reveal Which Enterprise System Problems to Fix First

这篇文章介绍Salesforce工程团队如何构建Health Insights,用于大规模企业组织健康监控。核心难点在于配置元数据与运行时遥测分散在不同系统,没有统一身份模型、新鲜度和访问规则。团队采用附加式架构而非重建底层管道,通过统一协调层和连接器模式将运行时活动映射到具体组件,同时保留数据来源、新鲜度和访问要求。他们从约100个安全信号出发,结合Well-Architected原则和反模式清单扩展到约400个信号,覆盖安全、流程自动化、定制、数据模型和Agentic readiness等领域。优先级排序结合请求量、应用CPU、数据库CPU和峰值时段等运行时上下文,并通过无头架构以JSON和MCP接口输出可交互的下一步行动,支持应用内或Slack等场景。文章还指出方案边界:它依赖Salesforce生态和已有元数据管道,其他平台需自行适配身份模型与访问控制,且初始重点是预防反模式。

推荐收录,因为它展示了真实的大规模健康监控与遥测集成案例,包含明确的架构取舍、信号标准化和优先级排序方法,而不是泛泛谈论监控价值。适合负责系统健康平台、可观测性数据管道或企业级监控系统的工程师借鉴,其“保留数据来源与决策状态、结合运行时上下文排序”的思路可迁移到其他复杂系统。

工程实践Elastic Security Labs

How to correlate Kubernetes audit logs with container runtime data

文章来自 Elastic Security Labs,介绍如何把 Kubernetes 审计日志与容器运行时遥测(Defend for Containers)关联起来,还原同一攻击在控制面和容器内的活动。审计日志记录谁调用 API、改了哪些对象;运行时数据记录容器内执行了什么。核心分为两类 join:若审计事件带 pod-name extra,可直接将该 pod 身份与运行时 orchestrator.resource.name 对齐;若请求只归属到 ServiceAccount,则先在审计侧时限化该账号行为、从 objectRef 收集 Pod 名,再用命名空间和 Pod 名查询运行时。EKS 实验覆盖受陷 SA 读取 secret、创建特权 Pod、exec 逃逸、探测元数据等步骤,并说明 nsenter/chroot 只在审计 requestURI 的 decoded command 中出现,运行时进程事件只能看到交接后的目标命令。join 依赖时间窗口,且多 ServiceAccount 触达同一 Pod 时只能获得共享上下文,需要注意归属边界。

推荐收录:文章把两类遥测的字段映射、关联方式和边界写成可直接参考的指南,并以 EKS 复现实验验证,不是泛泛讲概念。读者如做 Kubernetes 安全监控、威胁溯源或 Elastic SIEM 查询,可以快速套用其中的 join 与上下文字段。文中对 nsenter/chroot 为何只出现在审计日志而不出现在运行时事件的解释,也帮助理解多数据源关联的盲区与局限。

技术文章ClickHouse Engineering

New system views in PostgreSQL 19

文章系统介绍 PostgreSQL 19 新增的四个系统视图,并结合作者亲自演示给出查询示例与语义边界。pg_stat_lock 提供按锁类型聚合的集群级锁等待统计,但 waits 与 wait_time 仅统计等待超过 deadlock_timeout 且最终成功的锁,fastpath_exceeded 可提示分区密集负载需调高 max_locks_per_transaction。pg_stat_recovery 以单次原子快照返回备库恢复状态,解决了多次函数调用间数值不一致的问题;pg_stat_autovacuum_scores 暴露新的 autovacuum 优先级评分与各分量权重;pg_dsm_registry_allocations 让运行时动态共享内存分配可见。作者提醒 PG19 仍处 beta、列名可能变更,且评分视图基于当前统计,只是 autovacuum 行为的提示而非保证。

推荐收录。文章不止罗列新视图,还用可复现的会话示例讲清语义细节与陷阱,例如 pg_stat_lock 只在等待超过 deadlock_timeout 时计数、fastpath_exceeded 与 max_locks_per_transaction 的关联,以及评分视图的近似性。适合 DBA、SRE 和构建 Postgres 监控与 HA 工具的读者,作为升级 PG19 时观测能力的参考。

工具笔记Simon Willison

Introducing wrapture

本文介绍了一款名为 Wrapture 的新 Python 库,由 wrapt、mod_wsgi 的作者 Graham Dumpleton 开发,旨在将 monkeypatching 思想扩展为同时用于测试和追踪。Wrapture 支持包装任意函数或方法,既可以作为 unittest.mock 的替代,也能为现有项目添加配置驱动的 OpenTelemetry 追踪能力。文中给出了配置化追踪 YAML 示例和两个测试模式(stub 返回值与修改原方法的返回值),并强调该项目完全由 AI 辅助编写,但作者明确表示这不是“vibe coding”,而是基于其多年 Python 经验的精心设计。文章指出 Wrapture 仍处于早期阶段,但已具备实用的基础能力。适合对 Python 测试、可观测性以及 AI 辅助编程感兴趣的开发者参考。

推荐收录,因为它不仅介绍了新库的功能与用法,还展示了配置化追踪的设计思路和 AI 辅助工程化的真实案例。对关注 Python 测试工具、可观测性集成或 AI 编程实践的读者具有直接参考价值,其配置驱动模式和测试绑定思路也可迁移到其他语言或项目中。

工程实践ClickHouse Engineering

So, is ClickHouse winning the observability wars?

本文是 ClickHouse 团队对 Mat Duggan、Charity Majors 提出的“ClickHouse 正在赢得可观测性战争”观点的回应与剖析,明确“胜利”仅限定在存储与查询层。文章解释列式架构为何契合可观测性数据:按列存储与排序键利于压缩编码,稀疏主索引与跳数索引减少 I/O,向量化执行、SIMD 与跨分片并行加速聚合,并缓解高基数问题。还讨论了全文检索倒排索引、单库承载日志/追踪/部分指标、SQL 表达力与 Apache 2.0 许可带来的采纳优势。作者也坦承边界:Prometheus 式指标的 PromQL 兼容仍是最大缺口,TimeSeries 引擎与 API 尚不稳定,数据库本身不等于好的可观测性产品,小团队或自建引擎的厂商未必适用,并指出 Agent 工作负载带来低延迟、高并发与全保真留存的新要求。

推荐收录。文章虽出自厂商博客,但系统梳理了列式存储契合可观测性数据的机制——压缩、索引裁剪、向量化、并行聚合与高基数处理,并较诚实地指出 PromQL 兼容、ordering key 与 schema 设计等边界,适合负责可观测性平台或日志/追踪存储选型的工程师参考。其架构权衡与“何时不适用”的判断有可迁移价值,但读者需注意其自证立场与客户证言带来的偏向。

工程实践ClickHouse Engineering

Ensuring reliable OpenTelemetry ingestion at scale

ClickHouse 团队复盘内部可观测性平台 LogHouse 的 OpenTelemetry 摄取管道三次演进。第一版 agent+gateway 架构在 5000 万 events/s 规模下无法承受 ClickHouse 反压而频繁 OOM;第二版启用 collector 本地 WAL,需改造成 StatefulSet,1TiB 积压约需 4 小时排空,且 FIFO 顺序阻塞最新数据,只能截断 WAL 丢数据。团队放弃引入 Kafka,改用基于 S3 的优先级故障转移:仅在 ClickHouse 反压时由 failover connector 溢出到对象存储,再通过 SQS 事件通知由独立 catchup collector 回灌,规避常态 PUT 成本。文中给出完整 collector 配置与一小时停机 gameday 验证结果,也指出恢复期无法定位具体缺失数据、新区域需额外基础设施等局限。

推荐收录:文章完整呈现从默认两层采集架构到自研 S3 溢出方案的取舍链条,给出 5000 万 events/s、1TiB 积压需 4 小时排空、每年 10-50 万美元 PUT 成本等具体数字,并用一小时停机 gameday 验证无数据丢失。对负责可观测性采集、高吞吐数据管道或 ClickHouse/OTel 落地的工程师,其 failover connector 的队列开关顺序、优先级路由和 catchup 回灌设计可直接迁移。

工程实践知乎 - 腾讯技术工程

DeepSeek Harness规模化踩坑实录:耗时、成本、失败到底该怎么查

文章围绕 DeepSeek Harness(DSH)开源 Agent 框架的规模化观测问题展开,指出其原生能力仅覆盖本机、单会话、实时调试场景。作者所在团队开发了一款 DSH 插件,通过订阅运行时事件并在模型流式管道上包一层中间件,把散落事件还原为 entry / agent / step / chat / tool 五层调用树,并映射为符合 OpenTelemetry GenAI 语义的 Span。上报采用批量直传日志服务 CLS,不经过 Collector 或常驻进程,从而支持跨会话聚合、跨机器汇聚、长期留存、检索与告警。文中还给出了完整配置项、安装步骤及 pnpm 构建脚本问题的处理方法。该方案要求 DSH 版本在 0.1.0-rc.6 到 0.2.0 之间,且对 Node.js 版本有约束,默认会捕获 prompts 与工具内容,存在敏感信息上报风险。

推荐收录,因为文章不是简单的产品宣传,而是真实解决了 Agent 可观测性中的数据结构化与跨会话聚合难题,包含状态树、延迟发射、OpenTelemetry 语义映射等可迁移设计。适合构建 Agent 框架观测能力或管理 DSH 集群的工程师参考;其五层调用树模型和插件化采集思路可直接复用到其他编码 Agent,但需注意版本兼容、云厂商绑定与内容捕获隐私风险。

技术文章ClickHouse Engineering

What's New with Monitoring in PostgreSQL 19

文章梳理 PostgreSQL 19 的监控与可观测性改进:log_lock_waits 默认开启、log_min_messages 可按进程类型分级、autovacuum 与 autoanalyze 日志分离。pg_stat_wal 新增 wal_fpi_bytes 统计全页镜像字节数,并引入 CopyFromRead、CopyToWrite、WaitForWalWrite 等新等待事件。作者还解释 WAL 全页镜像为何主导 WAL 体积、multixact 膨胀如何判读,以及远程复制/FDW 消息统一格式化和回卷告警阈值提高到 1 亿的变化。文末给出面向日志解析、指标采集、等待事件字典与告警阈值的升级检查清单,但内容基于 beta 版,细节可能调整。

推荐收录,因为文章不仅罗列 PostgreSQL 19 的监控变更,还结合提交记录解释 WAL 全页镜像、multixact 膨胀等底层机制,并给出可执行的工具升级清单。适合数据库运维、SRE 与可观测性工具开发者在升级前排查兼容性风险;需注意内容基于 beta 版,最终以正式发行说明为准。

工程实践ClickHouse Engineering

Announcing support for ClickStack in the ClickHouse Terraform provider

本文是 ClickHouse 工程博客,宣布在官方 Terraform provider(ClickHouse/clickhouse,v3.25 起 beta)中新增 ClickStack 资源支持,可把仪表盘、告警、数据源、已保存搜索、连接与 Webhook 纳入版本控制和代码评审。核心工程取舍是:不新建独立 provider,而是作为独立服务模块并入现有 provider,以复用发布、测试、文档与鉴权路径;同时为支撑代码生成和校验,ClickStack API 改用命名类型、统一整数字段并输出结构化错误。鉴权区分 Cloud(组织 ID、Cloud API Key、服务 ID)与自托管(endpoint、个人 API Key、team)。文中给出创建仪表盘、plan 阶段调用校验 API、terraform import 及批量导入既有资源的示例,并说明风险边界:功能仍为 beta,UI 侧编辑不会被识别为漂移,可能被后续 apply 覆盖。

推荐收录,因为它不仅介绍功能,还交代了 provider 合并而非重发、API 契约调整(命名类型、结构化错误)和 plan 阶段校验等具体工程决策,并附可执行的 Terraform 配置、import 与批量导入流程。适合用 IaC 管理可观测性配置的平台/SRE 读者借鉴,可迁移价值是把仪表盘与告警当作代码治理;主要风险是内容偏厂商发布、功能处于 beta,读者需结合官方文档确认行为变化。

技术文章SelectDB 技术分享

强行拍平?全表扫描? AI Agent 动态 JSON 的观测分析 如何保留 JSON 灵活性的同时,获得列式存储的查询性能? Apache Doris 2026/5/12

本文从 AI Agent 日志观测场景切入,指出 Agent 执行流具有嵌套数组、动态 Schema 和非确定性推理等特点,传统扁平日志模型无法还原完整执行树,而全量拍平会破坏上下文关系并导致频繁 DDL,直接存为 String 又会造成全表扫描和 JSON 解析性能瓶颈。作者提出让数据库原生支持半结构化数据,以 Apache Doris/SelectDB 的 VARIANT 类型为例,解释自动子列提取如何保留列式扫描性能和压缩率,倒排索引如何加速长文本和 JSON 内部关键字检索。文章进一步给出动静分离的混合建模实践:高频标量字段用标准列,动态嵌套对象用 VARIANT 列,关键排障字段建立倒排索引,并附建表与查询示例。内容主要基于 Doris/SelectDB 引擎,未提供跨引擎量化对比,但方案思路可迁移到 ClickHouse JSON 类型等类似系统。

推荐收录,因为文章直面 AI Agent 日志观测中 JSON 处理的核心矛盾,清晰对比了全量拍平、String 存储与半结构化原生支持三条路线的优劣,并提供可落地的混合建模 DDL/DML 示例。适合负责可观测性平台、日志分析或 OLAP 数据建模的工程师参考,其动静分离、自动子列提取与倒排索引组合的设计方法可以迁移到其他支持半结构化类型的列式数据库。

技术文章SelectDB 技术分享

Apache Doris 在 AgentLogsBench 中领先,支撑 Agent 可观测性生产负载 Agent 可观测性需要一种能够统一承载多种访问模式的新型系统能力 Apache Doris可观测性与...

文章分析了 AI Agent 生产环境中可观测性负载的新特点:文本主体大且无结构、关键字段高度动态、trace 有序嵌套、看板需与持续写入并存。作者指出传统搜索、OLAP、文档库难以单独胜任,需要统一混合负载数据系统。AgentLogsBench 用单表 1 亿行 observation 数据评测六种引擎,覆盖 trace 回放、短语搜索、动态 JSON 过滤和实时聚合。结果显示 Apache Doris 综合 slowdown 1.28 领先,hot/cold 均第一,但在长文本 cold phrase search 上仍落后 Elasticsearch。文章解释了 Doris 领先原因包括倒排索引、VARIANT 子列、按 trace_id 分布与排序键、分区裁剪和缓存机制。该文可作为选型或理解混合负载数据系统的参考,但数据来自合成 benchmark,结果需结合实际验证。

推荐收录,因为文章不是空泛宣传,而是给出了 Agent 可观测性基准的具体设计、完整查询负载和跨系统实测数据,并逐项解释 Doris 架构优化如何影响性能。适合从事可观测性、OLAP 或 AI 平台基础设施的读者,用于理解混合负载系统选型与优化。可迁移价值在于把文本搜索、动态 JSON、trace 回放和实时聚合放在同一存储上权衡;主要风险是来自 SelectDB 官方且数据为合成,需结合其他评测交叉验证。

技术文章SelectDB 技术分享

Agent 场景动态 JSON 性能拆解:Apache Doris 比 ClickHouse 快 7 倍、比 Elasticsearch 快 2 倍 为什么同样都支持 JSON,不同数据库在 Agent 日志场景下的性能...

文章围绕 Agent 日志中动态 JSON payload 的性能挑战展开,基于 AgentLogsBench 基准测试对比了 Apache Doris、ClickHouse、Elasticsearch/OpenSearch 和 DuckDB/Parquet Variant。作者剖析了 Doris VARIANT 将常用 JSON Path 转化为列式 subcolumns 的机制,并通过高频路径列式化、低频路径 sparse columns 和 Storage Format V3 来优化宽 JSON 查询。测试显示 Doris 在动态字段聚合、rollup 和低基数过滤上延迟优势明显,平均比 ClickHouse 快 7.4 倍,比 Elasticsearch 快 2.4 倍,存储占用接近 ClickHouse 且远低于 Elasticsearch。文章还分析了其他系统的取舍,如 Elasticsearch 搜索强但动态聚合成本高、ClickHouse 压缩好但长尾路径查询慢、DuckDB/Parquet Variant 开放格式强但在线分析不足。结论指出,将动态 JSON 纳入列式存储、索引和向量化执行链路是决定搜索后分析体验的关键。边界在于结果来自厂商基准,可能带有一定倾向性,但技术原理和权衡分析具有参考价值。

推荐收录。文章不仅给出了性能对比数据,还深入解释了 Doris VARIANT 的 subcolumnization、Storage Format V3 机制,并对比了 ClickHouse、Elasticsearch、DuckDB/Parquet Variant 的架构取舍,技术细节和可迁移性强。适合数据库内核、OLAP、可观测性和大数据工程师理解动态 JSON 在不同系统中的处理方式,为 Agent 日志分析、技术选型和优化提供依据。尽管来自商业公司,但内容以基准和原理为主,推广成分较低,长期参考价值较高。

技术文章pganalyze Blog

Postgres in Production Special Series: Diagnosing High Cardinality Workloads in pg_stat_statements (Part 6)

本文是 pg_stat_statements 深度系列第六篇,聚焦高基数查询负载的诊断。作者将高基数定义为工作负载持续产生的唯一归一化查询数超过 pg_stat_statements.max 容量,导致扩展无法保留调优所需指标。文章指出唯一查询主要来自 ORM、动态 SQL、即席报表、AI 辅助工具以及 Postgres 17 及以下的变长 IN 列表。通过 Bluebox 演示,相同负载在 Postgres 17 产生 671 条唯一语句,Postgres 18 仅 120 条,验证了 IN 列表归一化的效果。文章给出五项诊断检查:了解 max 设置、观察重置后回填速度、监控释放计数器、查找缺失查询、观察 top 查询变化;并建议调整设置、升级到 Postgres 18、与开发团队协作。边界是演示基于特定工具,经验性建议需结合具体环境。

推荐收录。文章提供了可操作的五项诊断检查(如观察 pg_stat_statements_info 释放计数器、重置后回填速度),并给出 Postgres 17 与 18 的量化对比(671 vs 120 条唯一语句),帮助 DBA 和 SRE 判断监控数据是否因高基数负载而丢失。适合 PostgreSQL 运维、性能调优和可观测性建设场景,其诊断思路和工具来源分析可迁移到其他数据库监控实践。风险在于内容源于厂商博客且为经验总结,需结合自身负载验证。

工程实践知乎 - 携程技术

Demo 跑通了,上线就翻车?Java Agent 生产的那些坑,我们帮你填了

文章针对Java生态中Agent开发从Demo到生产的断层问题,提出了Spring-Ai-Trip中间层作为Harness,叠加在Spring AI之上,提供渐进式短期记忆压缩、大结果Spill溢出保护、认知层可观测性、工具动态热插拔、并行工具调用等运行时能力。设计遵循叠加而非替代、读写分离、信息渐进降级、默认安全等原则,并通过端到端支付排障案例串联各机制。文中对比了Spring AI、Spring AI Alibaba、AgentScope Java等方案的取舍,给出适用于分布式服务端的记忆管理与运维方案,适合已有Java后端基础设施、需要将Agent稳定落地的团队参考。边界在于强依赖携程内部组件(如QConfig)的适配,但核心架构思路可迁移。

推荐收录。文章不是简单的技巧罗列,而是从Java团队实际生产痛点出发,提出系统化的Agent运行时解决方案,包含可落地的渐进压缩、溢出保护、可观测性等机制,并给出了具体的架构权衡与验证案例。适合从事Agent工程化、后端架构以及将大模型融入现有系统的开发者阅读,其中的设计哲学(如信息不丢弃只降级、读写分离)具有跨框架的参考价值。

工程实践Elastic Security Labs

13 million tool calls: auditing every AI coding agent action with Elastic Agent

文章针对企业环境中 AI 编码代理活动缺乏审计的问题,提出基于 Cursor hooks 的轻量级日志采集方案。作者用 280 行无依赖 Bash 脚本捕获所有工具调用事件,通过 Elastic Agent 收集到 Elasticsearch,并用 ES|QL 进行分析。文中详细介绍了脚本设计(先应答阻塞型 hook 防止卡顿、识别 IDE/CLI 表面、提取可查询字段)、部署配置(路径不能含空格、需重启 Cursor)、无 MDM 环境下的自安装命令,以及日志结构化经验。基于 1300 万次调用的数据显示,代理以文件读取为主,MCP 服务器使用长尾明显。作者还讨论了字段级安全、仅采集元数据等隐私措施,并指出可被篡改和供应商 hook 覆盖范围有限等边界。

推荐收录。文章提供了完整、可落地的 AI 编码代理审计方案,附有脚本、配置和查询示例,直接解决了企业中对代理行为不可见的痛点。适合安全团队、平台工程师和 AI 工具治理人员参考,其 fail-open 设计、日志结构化原则和隐私保护策略具有跨工具的可迁移价值。

工程实践美团技术团队

Agent评测漫谈 —— 由浅入深讲解Agent评测

文章系统介绍Agent评测的概念、目的与方法论,强调Agent评测是“观测+评测=持续迭代”的工程实践。作者指出Agent评测需覆盖结果、过程、效率、风险四层,并从“答案评测”走向“行为评测”。核心方法论包括:建立从业务指标到模型指标的分层指标桥梁;客观评测与主观评测并行,通过“人人一致、人机一致”和二元化Rubric对齐主观标准;以Bad/Good Case驱动评测体系迭代;专家知识补充垂域能力。文章还分析了长程Agent带来的评测范式变化,从面向Query-Answer转向面向Task-defined behavior,并提出评测基础设施应具备全链路回放、沙箱、AI评测引擎等能力。全文源自美团图灵团队两年实践经验,适用于企业级Agent系统评测体系建设,但对学术评测算法探讨有限。

推荐收录,因为文章不是浅层科普,而是结合多个业务案例深入拆解了Agent评测的工程化方法论,提供了分层指标、人机对齐、二元化Rubric等可直接复用的实践策略,对正在或计划建设Agent评测体系的产研团队有显著参考价值。其“从Bad Case驱动迭代”和长程Agent评测转型的思路尤其适合当前Agent快速发展的工程需求。

技术文章OpenTelemetry Blog

Metric cardinality limits in OpenTelemetry: a practical guide

文章详解 OpenTelemetry 指标 SDK 中的基数限制机制,该限制旨在防止进程因接收过多唯一属性组合而导致内存无限增长。作者说明,当指标流的属性基数超出阈值时,总量值保持正确,但按属性过滤或分组查询可能产生低估计数,影响仪表盘、SLO 和告警。文中还介绍了如何检测溢出、配置合理限制以及权衡内存安全与数据准确性的实用建议。该指南面向已经或计划在生产环境中使用 OpenTelemetry 指标的用户,提醒他们注意这一容易被忽略的行为及其对可观测性的潜在影响。

推荐收录,因为它深入解析了 OpenTelemetry SDK 中基数限制的设计原理和实际后果,为可观测性工程师提供了重要的认知模型和操作指导。文章直接揭示了一个可能被忽视的数据偏差问题,对依赖精确指标进行告警和 SLO 计算的团队具有可迁移的参考价值。

工程实践Salesforce Engineering

How Salesforce Eliminated Single-Region Risk and Reduced Downtime Blast Radius at 4B Metrics/Min

Salesforce内部可观测平台Argus需处理每分钟40亿指标,原单区域架构导致全局可用性风险及高昂的数据传输成本。团队采用地理本地化策略,将指标就近处理和存储,避免全量复制,并通过联盟查询层与Elasticsearch元数据映射实现智能路由,仅查询数据所在区域,减少跨区域开销。同时引入HTTP 206部分响应和UI提示来处理部分地域不可用,保障用户体验。文章还介绍了通配符查询的元数据缓存优化,以及持续容量规划和架构审查来维持隔离边界。该方案已在五个生产区域中的四个上线,显著降低爆炸半径,但跨区域延迟和流量成本仍为后续关注点。

这篇工程案例详实记录了如何将单区域可观测平台迁移到多地理架构,解决全局不可用风险并控制成本,包含查询联邦、部分失败处理和元数据缓存等关键设计,为构建高可靠、大规模可观测系统的团队提供了可复用的架构思路和实践参考。

工程实践知乎 - 千问云

让 Agent 越用越准、成本越来越低:AgentLoop 的 Agent 经验自进化闭环

本文介绍 AgentLoop 的 Agent 经验自进化闭环,旨在解决生产环境中 Agent 不确定性带来的质量与成本问题。文章从 Agent 执行轨迹入手,提出将高噪音 Trace 清洗为标准化 Trajectory,再从多轨迹中自动挖掘有效路径、失败模式和恢复策略,生成结构化经验。运行时通过 Skill 与 CLI 将相关经验注入 Agent 上下文,缩小无效探索空间,实现从观测、挖掘到召回的自动飞轮。文中给出了运维、工具使用、软件工程等多个 Bench 的质量与 Token 实验数据,并讨论了与 Memory、RAG、微调等技术的差异。该方法不修改模型权重,经验可跨模型与框架复用,适合需要持续提升 Agent 成功率、稳定性和成本效率的企业场景。

推荐收录,因为文章不是泛泛的产品介绍,而是提供了从 Trace 接入、轨迹清洗、经验挖掘到运行时召回的完整工程方案,并附有可复现的 Bench 数据与成本分析。对负责 Agent 生产化、稳定性建设和成本优化的团队而言,文中的架构设计、经验注入策略和效果评估方法具有直接参考价值,可迁移至其它 Agent 系统的持续优化中。

工具笔记Cloudflare Blog

Your agent can now debug Workers with local tracing

Cloudflare为本地Worker开发环境(wrangler dev/vite dev)增加了自动OpenTelemetry追踪捕获功能。系统通过workerd运行时的内置插桩,自动捕捉fetch调用、绑定调用和处理器生命周期等跨度,Miniflare将其集成到SQLite持久对象中,并通过本地浏览器API暴露给编程助手和开发者。作者通过一个数据库模式变更导致500错误的示例展示了追踪如何让助手精确定位失败操作、应用缺失迁移并验证修复,整个迭代无需部署或添加临时日志。文章还简要说明了本地追踪的可视化界面Local Explorer,以及该设计的架构:无需SDK、自动发现、利用本地服务提供结构化反馈。

推荐收录,因为本文不是简单的产品发布,而是详细解释了如何在服务器less运行时中实现零配置的本地追踪,并提供了工程上的设计思路(运行时插桩、本地SQLite存储、API自动发现)。它对使用Cloudflare Workers或类似平台的开发者有直接帮助,同时其‘为编程助手提供结构化调试数据’的模式对提升开发工具链的自动化水平具有启发意义,可迁移至其他本地开发环境的设计中。

工程实践ClickHouse Engineering

Choosing Between ClickStack and Grafana for ClickHouse Observability

文章比较 ClickStack 与 Grafana ClickHouse 插件在 ClickHouse 可观测性中的定位。Grafana 是“大帐篷”式监控优先路线,强在跨数据源仪表盘、告警和 Prometheus 生态;ClickStack 则围绕 ClickHouse 单一引擎优化,提供搜索式排查、原生日志/指标/链路/会话关联,以及 MCP 和 AI notebooks 支持自建 SRE Agent。文章给出选择规则:ClickHouse 是主要遥测库且需要调查式体验时选 ClickStack;已有异构监控体系、依赖 Prometheus 告警或跨系统仪表盘时选 Grafana,也可二者并用。作者提醒 PromQL 支持仍属实验,二者各有生态边界,应随团队工作方式调整。

推荐收录。文章把工具选择拆成监控优先与调查优先、多引擎与单引擎、预定义仪表盘与搜索式排查三组取舍,并明确给出 ClickStack/Grafana/二者并用的决策规则和 PromQL 实验性等边界。适合正在以 ClickHouse 构建可观测性平台的架构师、SRE 和平台工程团队参考;主要风险是内容来自 ClickStack 厂商,读者应结合自身数据源生态与成本验证。

工程实践ClickHouse Engineering

Instrumenting my espresso machine with OpenTelemetry

文章以搭载 ESP32 开源控制器 GaggiMate 的 Gaggia 咖啡机为对象,把每次萃取当作分布式系统请求,用 OpenTelemetry 埋点并经 ClickStack 把遥测送入 ClickHouse 存储分析。关键工程点包括:裁剪上游 OTLP protobuf 为保留字段号的单文件子集以适配微控制器内存;把导出任务绑定第二个核心、用快照式加锁与队列满即丢弃,保证网络 I/O 不阻塞 50ms 萃取控制环;在设备端以恒定内存计算阻力变异系数等派生指标,并用 protobuf 拼接生成高分辨率曲线。文中还记录了跨线程 String 竞态与 TLS 栈溢出两个崩溃修复、基于 OCB 构建带 MQTT receiver 的定制 collector,以及只读 LLM Agent 经 MCP 查询闭环给出调整建议。结论强调 OTLP 是通用契约、埋点不得危及被观测系统、列式存储化解高基数问题;局限是整体仍属爱好级玩具问题,研磨度等关键上下文依赖人工录入。

推荐收录:文章把 OTLP protobuf 裁剪、ESP32 双核实时任务隔离、快照加锁与 drop-don't-block、设备端流式统计、protobuf 拼接、基于 OCB 的定制 MQTT collector 讲得具体且附字段号与代码,并用最坏情况测试验证编码器边界。适合可观测性、嵌入式/物联网遥测管道与列式存储方向的工程师,其中'埋点不得阻塞被观测系统''列式存储化解高基数'等经验可迁移到生产系统;局限是部分结论绑定 ClickStack/ClickHouse 生态。

工程实践ClickHouse Engineering

How we build and evaluate our MCP server for SRE agents

ClickHouse 工程博客详细介绍了为 SRE 智能体构建与评估 ClickStack MCP server 的方法,核心是开源基准框架 hdx-evals。该框架用种子 PRNG 确定性生成数千万级合成日志与 span,构造根因定位、延迟尖峰、噪声信号、健康检查、分段回归五类事件场景,并植入高音量干扰项,以防模型依赖训练记忆而非真正调查。每次运行都在隔离沙箱中以真实 Claude 进程无提示执行,保留完整工具调用轨迹;评分由加权正则检查、LLM 裁判(占 60%)与工具错误扣分合成为单一分数,答案经匿名化以避免裁判受工具品牌影响。结果显示 ClickStack MCP 在全部五个场景均胜过直连 SQL 的 ClickHouse MCP,领先 7-20 个百分点,并提炼出工具描述粒度、响应设计与查询延迟对调查质量的关键影响。其边界是当前仅覆盖 trace 与日志调查,CI 集成和更多场景仍待完善。

推荐收录:文章给出了完整的基准方法论与可复现证据,包括确定性数据生成、沙箱隔离、盲评评分公式和五场景对比结果,而非只展示营销数字。适合构建 MCP/Agent 工具、做 AI 工程评估或 SRE 可观测性的读者,其场景设计、干扰项构造和评分权重分配可直接迁移到其他 agent 工具链评测中;需注意结论基于合成数据和单一模型,落地前应补充自有数据验证。

技术文章Fzakaria Blog

The mean means nothing

文章以一次误导性的平均延迟指标为切入点,系统介绍了如何通过多种可视化手段正确理解性能分布数据。作者使用一个合成数据集模拟 Web 服务缓存上线场景,展示平均值、中位数、百分位数给出矛盾结论的原因,并依次通过密度图、累计分布函数(CDF)、位移函数、山脊图、热力图和联合图揭示数据呈双峰分布的实质:缓存命中导致低延迟,缓存未命中的大请求造成长尾。文章重点强调 CDF 能同时展示所有分位数的变化,尤其当两条 CDF 曲线交叉时,单一统计量无法概括整体效果。文中所有图表附有可复现的 Nix 脚本,便于读者在自己的数据上实践。该文既是一堂生动的可视化教学,也是工程师避免数据误读的实用指南。

这篇博文通过清晰的可视化对比,有力地揭示了仅依赖平均值或单一百分位数做技术决策的陷阱,并提供了可直接复现的分析方法。其核心方法(尤其是 CDF 对比和位移函数)可迁移到任何涉及分布变化分析的场景,如性能优化、A/B 测试或系统监控。适合所有需要从数据中提取可靠结论的后端工程师、SRE 和数据分析师,是一份长期值得参考的实践指南。

工程实践Grab Tech

Agent platform (Part 1): How we help Grab build and run AI agents at scale

本文是 Grab 工程团队分享的 AI 代理平台化实践系列第一部分。文章从内部技术基础设施支持机器人出发,详细复盘了从单体代理到框架 LLM-Kit 的演化过程。作者指出了早期代理在规模化时的典型痛点:缺乏可评估性、模型/供应商切换困难、可观测性不足、以及非核心的工程脚手架大量重复。为此,团队从机器人中提取出共享能力,构建了统一的应用模板,预置了认证、密钥、配置、gRPC通信、快速API、OpenTelemetry全链路追踪、评估端点等生产就绪部件,并通过统一的模型网关和远程MCP框架解耦工具与代理。文章强调框架而非平台的策略选择,允许团队在标准化的基础上自由迭代。当前方案已支撑500+代理、50+MCP服务器,每月处理数十亿token。内容适合负责AI代理基础设施、平台工程或需要将LLM原型落地生产的工程师研读,其问题驱动、层层抽象的思路对类似工作有直接迁移价值。

本文为真实的工程平台化案例,详细展示了从单点代理到可复用框架的演进逻辑、具体架构设计及生产落地要点,如统一模型网关、内建评估、全链路追踪和工具协议化。适合期望将AI代理从Demo推向企业级服务的工程团队借鉴,文中的问题分解、基础设施抽象和框架定位具有高可迁移性,能帮助读者减少从0到1的试错成本。

技术文章OpenTelemetry Blog

Lambda-powered functions land in OTTL

文章介绍了 OpenTelemetry Collector Contrib v0.157.0 为 OTTL(OpenTelemetry 转换语言)引入的 lambda 表达式能力。此前,处理集合操作需要为每个用例硬编码专用函数,而 lambda 让用户能够将内联逻辑传入通用高阶函数,从而以更可复用且简洁的方式实现复杂的数据转换。文中列出了随版本发布的八个新函数:Filter、MapEach、MapKeys、Any、All、Find、Reduce 和 When。这一增强标志着 OTTL 向函数式范式的转变,有助于简化遥测管道的配置与维护,但文章未详细讨论 lambda 在此场景下的性能开销或适用边界。

文章介绍了一项 OTTL 语言级别的重大增强,通过 lambda 和高阶函数提供了更通用的集合转换能力,对构建和维护复杂遥测管道的工程师具有直接参考价值。其所展示的函数式抽象思路可迁移至其他管道工具或 DSL 设计,适合可观测性实践者和平台工程师阅读,但读者需注意文中可能未涉及生产环境下的性能影响等边界讨论。

工程实践Datadog Engineering

Unbiased Java CPU profiling with JFR in JDK 25

本文介绍了JDK 25中JFR新增的CPU时间采样事件,旨在解决传统Java profiler因依赖JVM内部未公开接口而导致的CPU分析偏差。作者详细阐述了由Datadog、SAP、Amazon等公司和OpenJDK社区共同推动的设计背景,解释了新事件如何基于操作系统线程调度数据实现无偏采样,避免基于栈采样或线程跟踪的常见误差。文章还讨论了该事件的实现原理、性能开销、使用方式以及与现有JFR事件的集成,并说明了其适用于Linux等支持OS级线程调度的平台。该工作为Java应用性能分析提供了更可靠的CPU数据基础,但对JDK版本和操作系统有要求。

本文深入剖析了JDK 25 JFR CPU时间采样事件的工程背景和实现细节,是由多家企业合作解决真实性能分析问题的案例,具有明确的长期技术参考价值。适合Java性能工程师、JVM研究者和可观测性平台开发者阅读。文中展示的偏差分析方法和跨社区协作经验可迁移至其他性能工具的设计与改进,帮助读者理解无偏CPU profiling的难点和解决方案。

工程实践Cloudflare Blog

How the 2026 World Cup affected Internet traffic

本文利用 Cloudflare Radar 的全球 HTTP 请求数据,分析 2026 年世界杯期间互联网流量的变化模式。方法上,通过赛前四周中位数建立基准,并使用 log₂ 比率衡量偏离,使得增减对称且可跨国家比较。核心发现包括:开球时间显著影响流量,深夜和凌晨比赛会使流量翻倍,而白天比赛可能导致流量下降;不同国家在比赛中场休息时呈现相反的流量行为(短视频社交 vs. 流媒体观看),聚类分析揭示了三种典型模式。文章还量化了最具全球影响力的比赛和球队,并观察到体育博彩网站流量上升。该分析提供了事件驱动流量研究的可复用框架,但其具体结论仅适用于类似全球性赛事,且主要基于 HTTP 层面。

推荐收录。文章展示了大规模互联网流量分析的完整工程案例,包括基准定义、偏离标准化和行为聚类等方法,具有可迁移至其他全球事件或容量规划场景的价值。适合网络工程师、SRE 及数据分析人员参考,能帮助理解如何从实际观测数据中提炼流量行为模式。

工程实践知乎 - 千问云

Loop Engineering 实战:实现从日志扫描到预发部署的全自主闭环

文章分享了在 AI 驱动诊断系统维护中实践 Loop Engineering 的经验,针对“AI 写代码快但维护循环仍靠人推”的痛点,构建了从日志扫描到预发部署的全自主闭环。通过四代 AI 工程化演进,定义了发现、交付、验证、持久化、调度五动作与 Connectors、Automations、Skills、Worktrees、Sub Agents、State 六组件,实现了自主 Bug 发现、诊断、修复、多层验证与自动部署。上线后效果显著:一周 ERROR 总量下降 96%,同类问题修复时间降低 69%,人工介入降为零。文章还总结了四格检验判断是否适合建 Loop、分层验证防假修复、Token 成本控制等关键教训,指出工程师角色正从循环推动者转向循环设计者,提供了可迁移的工程架构和落地路线图。

本文不是概念炒作,而是生产级工程实践。详细拆解了从日志采集到预发部署的自动化流水线,包含组件设计、验证体系、并行修复、知识库沉淀等可复用方案,并坦诚分享踩坑教训。适合从事 DevOps、SRE 或 AI Agent 工程的读者借鉴,将其中的 Connectors 建设、多层验证、知识库沉淀等机制迁移到自己的自动化维护系统中。

工程实践Netflix TechBlog

In-House LLM Serving at Netflix

本文详述了 Netflix 内部 LLM 服务平台的工程实践,涵盖引擎选择、模型打包、API 设计与部署策略的权衡。平台基于 vLLM 和 Triton 构建,通过 OpenAI 兼容 API 与 gRPC 统一前端,并提供了 Red-Black 与 Versioned 两种发布策略以应对接口变更。文章重点揭示了生产环境中的意外问题,如 vLLM 与 Triton 版本不匹配、冷启动延迟、指标碎片化,并深入分析了约束解码从 vLLM V0 到 V1 的性能演进与状态管理难题。这些经验对构建大规模 LLM 推理基础设施具有直接参考意义,尤其展示了从实验到生产的平滑过渡如何通过工程细节落地。

推荐收录,因为文章不是浅层的工具介绍,而是基于 Netflix 真实生产环境给出了系统性的设计取舍和踩坑记录。约束解码的缩放瓶颈、指标融合、版本协调等细节可直接帮助平台工程师避坑,适合负责 LLM 基础设施、模型部署或高性能推理系统的读者借鉴。

技术文章Kubernetes Blog

Building a Custom Metrics Exporter for Kubernetes

本文是一篇面向 Kubernetes 用户的实操教程,详细介绍如何从零开始构建自定义指标导出器(metrics exporter),以解决内置 CPU/内存指标无法反映队列深度、任务处理时间等业务负载的问题。文章首先阐释了导出器的作用和 Prometheus 指标模型(Counter、Gauge、Histogram),随后以 Go 语言和 Prometheus 客户端库为例,逐步演示项目初始化、指标注册、数据采集循环以及 /metrics 和 /healthz 端点的实现。接着提供了多阶段 Docker 构建的示例,将导出器打包为轻量容器,并给出 Deployment 和 Service 的 Kubernetes 清单以便部署。最后,文章配置了 Prometheus 抓取(通过 ServiceMonitor 或注解),并验证了指标查询,为后续结合 HorizontalPodAutoscaler 实现基于自定义指标的自动扩缩容铺平道路。该教程侧重于提供一个可运行的基础实现,但未深入探讨生产环境中的误差处理、高可用部署或更复杂的指标类型,数据源也以模拟值代替真实集成。

推荐收录,因为文章系统地覆盖了从指标选型、代码实现、容器化到集群部署的完整流程,代码示例具体可运行,对 Kubernetes 环境下需要实现自定义监控和自动伸缩的运维和开发人员具有直接指导意义。文中的 Prometheus 客户端用法、Multi-stage Docker 构建和 ServiceMonitor 配置是典型云原生工程实践,可以迁移到其他类型的导出器开发。不足之处在于未讨论生产级可靠性增强,但作为入门基石仍然具有长期参考价值。

工程实践Kubernetes Blog

Operating AI/ML Workloads on Kubernetes: A Headlamp Plugin for Kubeflow

文章介绍了一个 Headlamp 插件,用于在通用 Kubernetes UI 中直接可视化和管理 Kubeflow 自定义资源,解决运维人员需要频繁退回到 kubectl 排查 AI/ML 工作负载底层问题的痛点。作者分析了何以专用 ML 仪表板对集群操作员不透明,展示了插件如何通过直接读取 Kubernetes API 提供 Notebook Pod 状态、管线运行状态、超参数优化实验等细节,并支持自动发现已安装的 Kubeflow 组件。文中给出了具体视图示例和 map 源注册机制,最后将这一模式推广到任意 CRD 密集型平台。该方案依赖 CRD 存在,不替代数据科学家界面,但为 SRE 和平台工程师提供了统一的集群级可见性。

推荐收录。文章源于 Kubernetes 官方博客,详细展示了将领域专用平台可观测性整合进通用 Kubernetes UI 的完整工程实践:从分析运维人员视角缺口,到设计 CRD 感知的插件视图,再到具体实现与可复用模式总结。适合负责 AI/ML 平台运维的 SRE 和平台工程师,其方法可直接迁移到其他自建 CRD 平台,提升底层资源排障效率和操作一致性。

工程实践Salesforce Engineering

Building Enterprise AI Agents That Are Both Autonomous and Reliable

文章围绕 Salesforce 在 Agentforce 中构建企业 AI Agent 的实践,提出“guided determinism”作为核心架构:用确定性的编排层约束 LLM 的概率性输出,让代理在身份验证、退款授权、升级路由等高风险流程中保持可审计、可恢复和可验证。作者用退款代理误把“very valid and very verified email”当作证据的例子说明,单靠 prompt engineering 无法提供企业所需的规则保证,因此需要把工作流建模为 Agent Graph,由节点、边、硬校验门和运行时状态共同控制执行路径。文中进一步说明用专门子代理拆分路由、验证、冲突消解和事务处理,并在路由环节采用 8B 到 32B 的小型微调模型以降低延迟和成本。最后,文章强调通过合成测试、LLM 评审、深度 trace 和行为指标持续验证运行时可靠性。其边界在于这套方法主要适用于有明确流程与高可靠要求的企业任务,对开放式创意对话并不追求完全确定性。

文中给出了从提示词到运行时编排的完整架构迁移证据,包括 Agent Graph、子代理拆分、小模型路由和可观测性体系,属于可复用的企业 AI 工程经验。适合做 AI 平台、工作流自动化和高风险交易代理设计的参考,但需注意其结论带有明显产品实现视角。

工程实践Netflix TechBlog

From Silos to Service Topology: Why Netflix Built a Real-Time Service Map

文章介绍了 Netflix 为什么要构建一个实时 Service Topology,并说明它如何解决分布式系统中“依赖关系不清、影响范围难估、故障来源难定位”的问题。作者将网络流量、应用层 IPC 指标和分布式 tracing 三种来源分别建成独立拓扑,再通过统一查询和富上下文展示为工程师提供可实时更新的服务依赖地图。文中还概述了从 Kafka 多区域接入、分布式聚合、eBPF 流量解析,到图存储和 gRPC API 的整体架构,以及它在故障排查、变更评估、blast radius 计算和历史回溯中的用途与边界。

推荐收录,因为它不是单纯介绍一个可视化工具,而是系统性展示了在超大规模微服务环境下如何把多种观测信号组织成可操作的依赖拓扑。对做分布式系统、可观测性平台、SRE 或基础设施的读者来说,这篇文章能直接迁移到依赖建模、故障定位和变更风险评估等场景。

工程实践知乎 - SmartCode 得物技术

用 LLM Agent 重构告警排查流程|得物技术

这篇文章介绍了得物如何用 LLM Agent 重构告警排查流程,把原本需要在日志、APM、链路追踪等多个平台间手动切换的排障工作,改造成“告警接入—指纹匹配—Agent 排查—验收—报告—知识沉淀”的自动化闭环。文中重点展开了 ReAct Agent 的工具设计、动态策略组装、工具超时隔离、幻觉控制与多轮验收机制,并通过一次生产告警案例展示了系统如何把中位排查耗时从约 20 分钟降到 4.4 分钟。文章的价值不仅在于 Agent 落地思路,还在于它明确说明了适用边界:AI 负责机械化检索与归纳,人工负责最终判断与处置。

推荐收录,因为它不是泛泛而谈“用 AI 提效”,而是给出了告警排查场景下可复用的工程架构、工具编排方式和质量保障机制。对于正在做 AIOps、告警治理、运维自动化或 Agent 落地的团队,这篇文章能直接提供实现思路和踩坑经验。

工程实践Datadog Engineering

When failover isn’t safe: Building high-availability PostgreSQL on Kubernetes

这篇文章复盘了 Datadog 在一次 reliability gameday 中发现的 PostgreSQL 故障切换不安全问题:表面上集群看似具备高可用能力,但在 Kubernetes 环境下,原有方案无法保证 failover 时的数据一致性与切换正确性。作者进一步说明了他们如何引入 Patroni 与同步复制,重新设计状态管理、领导者选举和故障转移流程,以提升 PostgreSQL 集群在容器编排环境中的可用性与安全性。文章的重点不只是“如何搭建”,而是明确了 stateful 数据库在 K8s 上做 HA 时必须面对的一致性、自动化与运维验证边界。

推荐收录,因为它不是泛泛介绍 PostgreSQL 或 Kubernetes,而是基于真实演练暴露出的故障切换风险,给出了一套有约束条件的高可用改造思路。对于需要在容器平台上运行状态型数据库、设计故障转移机制或做可靠性演练的读者,这篇文章有很强的迁移价值。

工程实践Cloudflare Blog

Iran's Internet is partially restored, Cloudflare Radar data shows

这篇 Cloudflare Radar 博文基于边缘网络观测数据,跟踪伊朗在经历长期断网后出现的部分互联网恢复迹象。文章从流量字节数、DNS 查询、区域分布、ASN 变化以及 IPv4/IPv6 差异等多个角度交叉验证恢复过程,并指出当前迹象仍可能是暂时性的,不能直接等同于完全恢复。文章还通过 IPv6 几乎归零而 IPv4 地址宣布保持稳定的对比,推测此次断网更可能依赖应用层过滤或白名单式控制,而非简单撤销路由公告。

推荐收录,因为它展示了如何利用真实网络遥测数据判断大范围互联网中断与恢复,这种分析框架对网络可观测性、基础设施监控和故障研判都有可迁移价值。虽然事件本身具有强时效性,但其中关于流量、DNS、ASN 和 IPv6 信号的交叉验证方法,适合长期作为网络异常分析参考。

工程实践Dropbox Tech

Introducing Nova, our internal platform for coding agents

文章介绍了 Dropbox 为编码代理构建的内部平台 Nova,核心目标不是单点生成代码,而是让 AI agent 能在大型 monorepo、Bazel 构建/测试、CI 失败修复、依赖升级和运维迁移等真实工程流程中稳定工作。作者重点讨论了为什么要采用“平台化”而非多个单用途工具的方案,以及如何通过隔离执行环境、验证循环、上下文注入、观测与反馈机制、MCP/插件集成来提升 agent 的可靠性和可控性。文章还总结了在 flaky test 修复、迁移升级、生产故障处理等场景中的实践经验,强调 agent 的价值很大程度取决于周边工程系统而不只是模型本身。

推荐收录,因为它提供了编码代理在大规模工程环境中落地的完整平台思路,而不是停留在“用 AI 写代码更快”的表层叙述。文章对上下文管理、验证闭环、确定性工作流与 agent 分工边界的讨论,具有很强的可迁移价值,适合做 AI 工程化和开发者工具设计的长期参考。

工程实践Yelp Engineering

How Partition Access Visualizations Reduced our Data Lake S3 Cost by 33%

这篇文章介绍了 Yelp 如何通过“分区访问可视化”来分析数据湖中表分区的真实使用模式:把分区键取值与访问事件时间进行对齐,从而识别出临时查询、每日批处理和周期性回填等不同访问签名。基于这种可观测性,团队进一步推进了大规模表迁移到 Apache Iceberg,并发现了存储和访问层面的优化机会,最终将 S3 成本降低了 33%。文章的核心价值在于把数据资产的“被谁、何时、如何使用”变成可视化、可操作的工程信号,但其效果依赖于较完整的访问日志和分区化数据湖场景。

推荐收录,因为它不是泛泛讲成本优化,而是给出了一种可迁移的数据使用分析方法:通过分区访问模式可视化来指导表格式迁移、生命周期管理和存储优化。对做数据平台、湖仓治理和成本治理的工程师来说,这篇文章能直接启发指标设计、治理流程和架构决策。

工程实践Instacart Tech Blog

Scaling Personalized Marketing for Multi-Tenant Commerce Platforms

这篇文章复盘了 Instacart 如何把原本面向自营 Marketplace 的营销自动化系统,扩展为支持多租户白标商户的个性化营销平台。核心方案包括:为每个零售商建立隔离的第三方工作区、在内部构建自助式营销工具、通过流式消费与最多 50 条的批处理提升吞吐、在 CRM 服务中做幂等控制与异步发送,并用模板自动化、IP warming、可观测性和故障隔离保障大规模稳定交付。文章还给出了平台已经达到的效果与未来可能演进到 AI 辅助内容生成、多渠道编排的方向,适合关注多租户架构、营销系统工程化与供应商抽象的读者参考。

推荐收录,因为它不是简单的产品介绍,而是完整展示了一个多租户营销平台从架构拆分、流式处理、批量发送到运维治理的落地方法。对做 SaaS、增长系统、事件驱动架构或第三方供应商集成的团队,都有很强的可迁移价值。

工程实践OpenTelemetry Blog

How Skyscanner scales OpenTelemetry: managing collectors across 24 production clusters

文章介绍 Skyscanner 在 24 个生产 Kubernetes 集群中规模化管理 OpenTelemetry collectors 的实践。作者以平台工程团队视角切入,说明由 6 名工程师组成的 Hubble 团队如何承担 collector 的主要运维责任,并服务于公司以 Java 为主、超过 1000 个微服务的计算平台。内容的重点不是 OpenTelemetry 基础概念,而是多集群环境下 collector 的部署、管理与组织分工问题。它反映出观测栈在大规模微服务组织中会逐渐平台化,需兼顾统一治理、团队协作与运维可持续性。适用边界也较明确:更适合已经有 Kubernetes 和 observability 基础、正在做平台化整合的团队参考。

推荐收录,因为标题和导语直接给出了真实规模与场景:24 个生产集群、1000+ 微服务、平台团队统一管理 collectors。对做可观测性平台、Kubernetes 运维或 OpenTelemetry 落地的读者,这类跨集群治理与组织分工经验具有较强迁移价值。

工程实践Datadog Engineering

Steganography at scale: Embedding share URLs in Datadog widget screenshots

文章介绍了 Datadog 如何在 widget 截图中嵌入分享 URL 和相关元数据,把原本静态的图片变成“自描述”的可追溯对象。核心做法是使用不可见但具有一定抗损坏能力的水印式编码,让截图在分享、存储和传播后仍能恢复出处信息,从而把可视化内容和其上下文绑定起来。作者讨论了这类方案在大规模生成场景下的工程约束,包括既要肉眼不可见,又要尽量抵抗压缩、缩放和常见转发处理。文章的价值在于展示了图像元数据传递与可观测性产品结合时的系统设计思路,但它主要适用于受控的截图流水线,不适合任意被裁剪或深度编辑后的图片。

收录价值明确:标题和摘要直接表明它解决的是“截图如何携带可恢复的来源信息”这一真实工程问题,并且强调 invisible、resilient、at scale 这些可迁移约束。适合做报表分享、可追溯图片和可观测性产品设计的读者参考,但需要注意水印方案对裁剪、重编码等处理的边界。

工程实践Datadog Engineering

How we built a real-world evaluation platform for autonomous SRE agents at scale

文章介绍 Datadog 为 Bits AI SRE 智能体搭建的大规模评估平台,核心目标不是做一次性 demo,而是把真实事故回放成可重复的测试场景。平台会从生产事故中抽取上下文,重放告警、日志和处置流程,统一比较不同版本智能体在定位、推理和行动建议上的表现,并自动发现回归。作者强调,评估体系要覆盖多种生产场景、支持批量运行和指标汇总,还要把失败样例沉淀为回归集,才能形成持续迭代闭环。文章同时指出,这类评估依赖历史样本覆盖面与评分规则质量,不能等同于真实线上救火。

推荐收录,因为文章明确展示了“用真实事故回放做 agent 评测”的工程证据,而不是泛泛讨论 AI 运维概念。适合 SRE、LLM 工程和平台团队参考,但需要注意其结论受历史样本与评分体系约束。

工程实践Yelp Engineering

Zero downtime Upgrade: Yelp’s Cassandra 4.x Upgrade Story

文章复盘 Yelp 数据库可靠性团队如何将一千多台 Cassandra 节点从 3.11 升级到 4.1,并做到全程零停机。作者先说明 Cassandra 在 Yelp 中承载主数据与衍生数据,且集群运行在 Kubernetes 上、由 operator 编排,因此升级必须兼顾状态迁移、回滚和服务连续性。文中强调此次升级的驱动力不仅是版本更新,还包括更好的可观测性、可靠性和性能,且决策参考了公开基准。整体上,它展示了大规模有状态服务在成熟运维体系下的分批规划、验证与上线思路,但其可迁移性明显依赖现有自动化、编排和回滚能力。

有明确工程证据:超过一千台 Cassandra 节点、Kubernetes + operator、3.11 到 4.1、零停机升级,说明这是大规模状态系统的真实复盘。适合做数据库可靠性、滚动升级和有状态服务编排的参考,但方法强依赖现有自动化与回滚机制,迁移时需评估自身条件。

工程实践Max Bernstein

Using Perfetto in ZJIT

文章围绕 Ruby JIT 实现 ZJIT 如何借助 Perfetto 做性能诊断展开,核心目标是把“侧退出栈计数”这类静态统计,升级为能看时间分布、调用栈和热点聚集位置的可视化追踪。作者先说明仅靠 --zjit-stats 只能知道退出原因数量,却难以定位它们发生在哪些 Ruby 方法中、集中在启动期还是稳态阶段,因此需要引入 trace。随后通过 Perfetto 的时间线和 SQL 接口,把 slice 与 args 表关联起来统计退出原因和顶层方法,直接找到了 ActiveRecord 相关的 shape/type guard miss 热点。实现部分展示了如何导出 trace、为何 JSON 格式会膨胀到 8GB,以及改用更紧凑的 FXT 二进制格式和采样后将体积降到约 100MB。文章也提到还可以继续追踪编译阶段、代码大小、失效、分配和 GC 等事件,但当前结论依赖采样与单次基准,适合做定位和直觉建立,不适合替代完整性能评测。

文章给出了从计数器到可视化 trace 的完整落地路径,并用真实 JIT 热点证明 Perfetto 能直接帮助定位 side-exit 归因。适合做编译器、运行时和性能排障的参考,尤其对需要把追踪数据转成可查询、可视化分析流程的工程场景有可迁移价值。

工程实践Datadog Engineering

When upserts don’t update but still write: Debugging Postgres performance at scale

这篇文章复盘了 Datadog 在高流量场景下排查 Postgres 性能退化的过程:一次 upsert 操作表面上没有“更新”数据,却仍然引发了磁盘写入翻倍。作者从现象出发,结合数据库监控与写放大分析,最终定位到 Postgres 的 WAL 行为和 upsert 语义带来的隐藏成本。文章进一步说明,问题并不在业务逻辑本身,而在查询写法与存储引擎内部机制的交互。团队通过重写查询,去掉不必要的写入路径,恢复了写放大和 IO 压力的正常水平。它的价值主要在于揭示了高并发写场景下,SQL 语义、日志机制和性能表现之间的非直观关系,但结论对 Postgres 语义和负载形态有明显依赖。

推荐收录,因为文章给出了明确的工程证据:高频 upsert 导致磁盘写入翻倍,且根因落在 Postgres WAL 与查询语义的组合效应上,而不是泛泛的“数据库慢”。适合做数据库性能优化、线上故障定位和写放大分析的参考案例,但迁移时要注意它强依赖 Postgres 的实现细节。

工程实践Datadog Engineering

Designing MCP tools for agents: Lessons from building Datadog’s MCP server

文章总结了 Datadog 为 agent 构建 MCP server 的设计经验,重点讨论如何把工具设计得更适合模型调用,而不是简单把人类接口原样暴露给 agent。作者指出,工具粒度、参数结构和返回格式都会直接影响模型能否稳定完成多步任务,因此需要主动控制上下文窗口占用,并减少无关信息进入对话。文章特别强调应优先提供可查询、可筛选的能力,而不是直接回传原始数据,这样更利于 agent 在观测平台中完成定位、分析和迭代式探索。整体结论是:面向 agent 的工具设计,本质上是在可用性、信息密度和上下文成本之间做工程权衡。其适用边界主要在需要与外部系统交互的 LLM/agent 工具层,不是通用的前端或传统 API 设计教程。

推荐收录,因为文章直接给出了“为 agent 设计 MCP 工具”的工程经验,而非泛泛介绍协议。对做 LLM 工具接入、观测平台或内部助手的人尤其有参考价值,能迁移到工具粒度、上下文控制和查询式接口设计上。

工程实践Instacart Tech Blog

Turning Data into Velocity: Caper’s Edge and Cloud Data Flywheel with Capsight

这篇文章介绍了 Instacart 为 Caper 智能购物车搭建的 Capsight 闭环系统,目标是把门店端产生的多模态数据快速转化为模型迭代能力。作者先指出三类痛点:端侧可观测性不足、真实门店数据覆盖不够、数据清洗标注训练链路过慢,因此设计了 Collect→Manage→Label→Train→Deploy 的数据飞轮。系统由 Collector、Depot、Learner 三部分组成:端侧用触发式采集和硬件编码避免性能回退,云端做数据处理检索与 VLM 预标注,训练侧用 Ray 自动化分布式训练和评测。文章给出量化结果:标注成本预计降低 70% 以上,训练阶段从一周缩短到两天,端到端迭代从约一个月压缩到一周,模型准确率在数周内提升超过 5%。它的适用边界也很明确,主要依赖高价值事件触发、稳定的门店网络与较强的多模态数据基础,后续还需要继续优化触发敏感度、传输成本和跨模态扩展能力。

文中直接给出了端侧采集、云端管理、AI 预标注和分布式训练的完整闭环,还附带了标注成本、训练周期和准确率提升的量化结果,属于可复用的 AI 工程化案例。适合做端云协同、MLOps 和多模态数据管线设计参考,但其触发采集与零售门店场景强绑定,迁移时需重新评估数据价值、带宽和误触发成本。

工程实践Lyft Engineering

From Python3.8 to Python3.10: Our Journey Through a Memory Leak

文章复盘了 Lyft 将 Python 服务从 3.8 升级到 3.10 后,某个服务在测试环境出现延迟尖刺、下游 5xx 和内存缓慢增长的排障过程。作者先用统计指标和基于 tracemalloc 的内部内存 профiler 采样,并尝试通过 USR2 信号在 gunicorn worker 上抓取堆栈;但由于启用了 preload,信号处理器只在 leader 进程注册,导致 worker 被误杀。关闭 preload 后,采样堆栈最终指向 pynamodb/botocore/urllib3 的连接池路径。根因是 urllib3 1.26.16 在 gevent 场景下与 weakref.finalize 和 monkey patch 存在不兼容,连接未能及时归还池中,进而引发池耗尽、请求阻塞以及内存上涨。团队先回退到 1.26.15 解除故障,后续在 gevent v25.4.1 与修复后的 urllib3 组合上恢复升级。文章同时说明 Python 版本并非直接元凶,问题更像是依赖版本与协程运行时组合触发的隐性缺陷。

推荐收录,因为文章给出了从延迟、内存增长到信号采样、preload 坑位和依赖回退的完整证据链,不是单纯经验谈。适合做 Python Web 服务、gunicorn/gevent/urllib3 兼容性和生产排障的参考,但结论强依赖具体版本组合,迁移时需重新验证。

个人心得Brendan Gregg

On "AI Brendans" or "Virtual Brendans"

文章围绕“AI Brendan/Virtual Brendan”这一类性能工程智能体展开,先区分两种概念:一类是基于火焰图、eBPF 指标和历史案例做模式匹配、帮助定位问题的辅助代理;另一类则是试图用作者公开的讲稿、博客和工具训练出一个“虚拟 Brendan”。作者认为前者确实有价值,能加速已见问题的分析与修复,但后者只能覆盖性能工程工作中约15%的内容,且会受到公开资料不完整、知识快速过时和无法处理未知问题的限制。文章进一步分析了商业化难点,包括按单实例收费后被复制到全机房、秘密调优会破坏变更控制、效果很难量化,以及上游修复会持续削弱产品优势。作者还回顾了从 Virtual Adrian、TuneD、bpftune 到 Granulate/Intel 的历史,认为更现实的形态是企业内部工具或开源协作,而不是“卖一个完整的人”。

推荐收录,因为文章直接给出了性能工程 AI 代理的适用边界:它们适合处理已见问题、火焰图和指标匹配,但不足以替代完整的性能工程判断。对做 AIOps、观测平台、自动调优工具和 AI 产品商业化的人尤其有参考价值,文中关于定价、变更控制和上游回流的风险分析也很可迁移。

工程实践Datadog Engineering

Scaling real-time file monitoring with eBPF: How we filtered billions of kernel events per minute

文章介绍 Datadog 如何用 eBPF 构建实时文件监控,在保持完整检测覆盖的前提下,将内核事件处理规模提升到每分钟 100 亿级。核心问题不是“能否采集”,而是如何在内核态对海量事件做前置过滤,减少无效上报、避免用户态开销和放大效应。作者围绕事件选择、规则匹配、上下文保留与数据路径设计,说明了怎样把原本细粒度的文件访问流量压缩成可分析信号。文中还讨论了性能瓶颈、验证方法以及与检测准确率之间的权衡,强调系统要同时满足低延迟、低丢弃和可维护性。这套经验适合主机安全、可观测性或高频内核事件采样团队,但方案强依赖 eBPF/Linux 环境,迁移到其他平台需重新评估事件模型。

推荐收录,因为文章给出了把 eBPF 文件监控扩展到每分钟百亿级内核事件的具体过滤与数据路径设计,而不是泛泛介绍特性。适合主机安全、可观测性和 Linux 内核工程读者参考,尤其有助于理解高频事件下如何在覆盖率、延迟和开销之间做取舍。

技术文章Brendan Gregg

Third Stage Engineering

文章提出一个关于计算机性能评估的“三阶段火箭”比喻:硬件只是第一阶段,软件适配是第二阶段,真正拉开差距的是第三阶段的调优。作者指出,很多厂商和外部评测只比较裸硬件性能,却忽略了面向特定工作负载的软件栈选择、编译/运行时优化以及参数配置,这会导致对真实生产表现的误判。文中把“third-stage engineering”拆成人员、培训、工具和调优能力四部分,强调需要能做观测分析与实验验证的团队,才能把系统性能推到更高水平。其核心结论是:面向客户和生产环境的性能判断,必须同时看硬件、软件与调优三层,而不是只看单点基准。文章更偏方法论与认知框架,适合做性能评测、系统优化和硬件选型时的长期参考。

推荐收录,因为文章直接指出了“只看硬件”会导致性能评测失真,并明确给出了软件适配与第三阶段调优的分析框架。对做基准测试、平台选型、性能优化和供应商评估的读者都很有迁移价值,但它更偏观点总结,缺少具体实验案例与量化数据。

工具笔记Go Blog

Flight Recorder in Go 1.25

文章介绍了 Go 1.25 新增的 flight recorder:它基于执行 trace,但不再把全量数据写到文件或 socket,而是将最近几秒的 trace 缓存在内存中,等程序检测到故障时再一次性导出。作者给出 `MinAge`、`MaxBytes`、`Start/Stop` 与 `WriteTo` 的使用方式,并说明该机制特别适合长时间运行的 Web 服务。文中以一个 HTTP “猜数字”服务为例,展示如何在请求耗时超过 100ms 时触发快照,再用 `go tool trace` 查看时间线和 flow event。最终定位到 `sendReport` 中 `defer Unlock` 让锁持有时间被意外拉长,导致偶发长尾延迟。文章也明确了适用边界:它不是全量追踪方案,仍需合理控制内存预算和触发条件。

文中直接给出 flight recorder 的 API、配置参数、快照导出和 trace 分析流程,并用真实并发性能问题证明其定位价值。适合维护 Go 长运行服务、排查线上延迟和锁竞争的工程师,迁移价值在于“先留最近窗口、再按异常触发取证”的诊断思路。

工程实践Datadog Engineering

From hand-tuned Go to self-optimizing code: Building BitsEvolve

文章介绍 Datadog 如何把 Go 热路径上的人工性能调优,抽象为一个可持续运行的自优化系统 BitsEvolve。作者围绕热点识别、候选优化生成、自动基准验证、收益评估与安全护栏,构建了 AI 辅助的连续优化流程,使性能改进不再完全依赖手工介入。文中强调,这种方法更适合重复出现、可量化收益、且回归风险可控的局部优化问题,而不是任意复杂业务逻辑。最终该系统在真实线上场景中节省了数千个 CPU core,体现出把性能优化工程化、平台化的价值。其适用边界也很明确:必须有稳定基准、可观测指标和严格回滚机制,否则自动优化可能放大风险。

收录依据很直接:标题与简介明确给出“self-optimizing code”“AI-assisted performance improvements”和“saved thousands of cores”,说明这是可落地的性能工程案例,而非概念展示。适合做 Go 服务、基础设施和成本优化的参考,尤其对需要把热点优化自动化、平台化的团队有迁移价值。

工程实践Datadog Engineering

Scaling down to speed up: How we improved efficiency of live process metrics by 100x

文章复盘 Datadog 为 Processes 和 Containers 视图重构实时数据管线的过程,目标是在保留在线进程指标可用性的同时显著降低采集与传输成本。作者先说明原方案在流量规模、处理链路和基础设施占用上的瓶颈,再介绍新的架构拆分与数据处理方式,最终把流量压缩 100 倍、基础设施消耗降低 98%。文中强调的不是单点优化,而是围绕实时性、可见性和成本之间的取舍重新设计系统边界。它对可观测性平台、高基数指标处理和流式管线重构都有迁移价值。需要注意的是,方案效果依赖 Datadog 的数据形态与产品场景,未必可直接照搬。

推荐收录,因为正文直接给出了“流量减少 100x、基础设施减少 98%”的量化结果,并明确讨论了实时指标管线的架构重构与系统取舍。适合做可观测性平台、流式处理和高基数指标设计的工程参考,尤其适合需要在实时性与成本之间权衡的团队。

职业经验Brendan Gregg

When to Hire a Computer Performance Engineering Team (2025) part 1 of 2

本文讨论在什么情况下应成立计算机性能工程团队,以及这类团队的投资回报如何评估。作者从多年在 Netflix、Intel 等公司的经验出发,指出性能工程的主要价值不只是降本,还包括降低延迟、提升可扩展性与可靠性,以及加快研发推进。文中详细列举了团队的工作范围:测试和推动新软硬件采纳、构建内部观测与分析工具、深入定位瓶颈和尾延迟、调参优化、做容量规划与知识分享等。作者给出粗略的组建门槛和规模建议,例如当基础设施支出达到百万美元级别就应考虑专职人员,并强调已有的 SRE/高级开发者会部分覆盖这类工作。文章也说明这些建议更适用于技术消耗型公司,且实际收益依赖栈的复杂度、现有优化基础和团队成熟度。

文中直接给出了性能工程团队的职责边界、ROI 构成和规模判断规则,并用 Netflix、Sun 等案例说明其可迁移的判断方法。适合负责基础设施、SRE、技术管理和成本优化的读者参考,但结论依赖公司体量与技术栈复杂度,不宜机械套用。

工程实践Datadog Engineering

How we tracked down a Go 1.24 memory regression across hundreds of pods

这篇文章复盘了 Datadog 在大规模将服务升级到 Go 1.24 后,如何在数百个 Pod 中发现并定位一次内存回归。作者先通过系统级指标和线上观测确认问题不是单点实例异常,而是与新版本运行时相关的整体性内存上升。随后他们逐步缩小排查范围,最终把根因指向 Go runtime 的分配器缺陷,并与 Go 团队协作推动修复。文章的价值在于展示了从真实生产信号、跨层指标关联到运行时 bug 定位的完整排障链路,但其结论也明确依赖于特定 Go 版本与运行时实现环境。

推荐收录,因为它直接给出了“Go 1.24 内存回归—系统指标定位—runtime 分配器 bug”这一完整证据链,而不是泛泛讲升级经验。适合做生产排障、性能回归分析和运行时问题定位的参考,尤其对大规模 Go 服务团队具有可迁移的方法价值。

工程实践Datadog Engineering

How Go 1.24’s Swiss Tables saved us hundreds of gigabytes

文章介绍 Datadog 在 Go 1.24 引入 Swiss Tables 后,对内部高流量服务中的 map 内存占用和性能收益做的实测复盘。作者说明旧版 Go map 在某些业务场景下会带来较高的内存开销,而新实现通过更紧凑的布局和更高效的查找方式,能在 map 密集型工作负载中把内存使用降低最高约 70%。文中重点不是泛泛宣传新版本,而是展示他们如何用 profiling 和线上指标确认收益、识别适用场景,并把改动控制在可验证的范围内。文章也暗示这类收益依赖键值分布、访问模式和业务负载,并非所有程序都会得到同等改善。

推荐收录,因为它给出了明确的工程证据:围绕 Go 1.24 Swiss Tables 的真实工作负载剖析、内存节省幅度和性能验证,而不是停留在版本公告。适合关心 Go 运行时、服务内存优化和性能排障的工程师参考,尤其适合把“新 runtime 特性是否值得升级”转化为可测量、可回滚的决策流程。

工程实践Datadog Engineering

How we scaled fast, reliable configuration distribution to thousands of workload containers

这篇文章讲的是 Datadog 如何把按租户划分的配置数据,稳定、低延迟地分发到成千上万的工作负载容器中,以支撑实时日志处理场景。核心问题不是单纯“把配置发出去”,而是在容器规模快速增长、租户数量多、更新频繁的情况下,同时保证可用性、传播时延和配置一致性。文章强调了面向大规模分发系统的工程化设计思路,包括可靠传输、失败恢复以及对性能目标的持续验证。它的价值在于展示了一个典型的基础设施系统如何在多租户和高吞吐约束下做取舍,并把配置分发变成可运营、可扩展的能力。适用读者主要是做平台、基础设施、可观测性或大规模后台系统的工程师。其边界在于这是特定于配置分发与实时日志处理的经验,迁移时仍需结合自身配置变更频率、容器生命周期和一致性要求。

推荐收录,因为标题与摘要直接表明它解决的是“千级容器配置分发”的真实工程问题,且明确关注低延迟与高可靠两类核心指标。对平台、可观测性和多租户后台系统的读者,这类分发架构、稳定性设计和扩展性权衡具有较强迁移价值。

工程实践Datadog Engineering

Detecting faulty deployments: Our journey from unlabeled data to supervised learning

这篇文章讲的是 Datadog 如何构建自动化的故障部署检测系统,并在从无标签数据走向监督学习的过程中持续提升效果。作者围绕“如何尽早发现有问题的发布”这一工程目标,说明了最初面对的核心难点:真实故障样本稀缺、噪声信号多、部署后异常形态差异大,因此需要先利用无标签数据建立可用基线,再逐步引入人工标注和监督模型。文章强调了评估目标不只是分类准确率,还包括 precision、recall 以及 time to detection,这反映了监控/告警类系统对误报、漏报和时效性的综合要求。随着训练数据和特征体系改进,系统在减少误报的同时提升了对真正故障部署的召回和检测速度。它的价值在于展示了一个典型的可观测性+机器学习工程闭环,但结论强依赖于 Datadog 自身的遥测数据和部署形态,直接迁移时仍需重新定义标签、特征和阈值。

推荐收录,因为标题和简介已经明确给出完整的工程主线:从无标签数据到监督学习,并以 precision、recall 和检测时延作为结果指标,说明文章不是产品宣传而是方法演进复盘。适合做可观测性、告警系统和 AIOps 场景的参考,尤其对需要处理稀缺标签、噪声数据和误报成本的团队有迁移价值。

工具笔记Brendan Gregg

Doom GPU Flame Graphs

文章介绍了 Brendan Gregg 团队开源的 AI Flame Graphs 新能力:在 Intel Battlemage GPU 上生成完整的 GPU flame graph,并与 FlameScope 结合做 CPU/GPU 的亚秒级可视化分析。作者用 GZDoom 作为案例,通过自制的高负载地图把不同房间的渲染、后处理、stencil 和 sprite 开销拆开观察,并用 GPU flame scope 定位到具体时间窗口。文中还展示了 CPU 端的 shader 编译与 NIR 预处理如何对应到 GPU 空转区间,说明这种图形化方法能快速建立跨 CPU/GPU 的因果关联。与此同时,文章明确列出使用门槛:需要 Linux root 权限、较新的内核与显卡驱动、启用 eustalls/eudebug 接口,以及带 frame pointers 的系统库和应用。它的适用边界也很清楚:当前主要面向 Intel 硬件与 Linux,且采样开销、驱动支持和环境准备仍在完善中。

推荐收录,因为文章给出了可操作的 GPU 性能剖析方法、命令示例和完整环境要求,而不是停留在概念介绍。适合做图形渲染、GPU profiling 和性能诊断参考,但当前局限于 Intel/Linux 生态,部署门槛较高。

工程实践Datadog Engineering

How we use formal modeling, lightweight simulations, and chaos testing to design reliable distributed systems

文章介绍 Datadog 团队如何把形式化建模、轻量级仿真和混沌测试结合起来,分析一个分布式、多租户队列系统的可靠性问题。作者先用模型描述系统状态、调度规则和租户之间的干扰关系,再通过仿真探索不同负载、故障和时序下的行为,提前发现吞吐、延迟与公平性方面的风险。随后,他们用混沌测试在真实环境中验证模型未覆盖的边界情况,补齐实现细节和运行时交互带来的偏差。文章的核心结论是:对状态复杂、故障路径多的分布式系统,先建模再实验能显著降低试错成本,并帮助团队更早识别设计缺陷。但这类方法依赖对系统抽象足够准确,且更适合分析关键机制而非替代完整压测与生产观测。

文中直接给出了“formal modeling + simulation + chaos testing”的组合方法,并落在多租户分布式队列这一典型复杂系统上,属于可迁移的工程实践。适合做架构设计、稳定性验证和故障注入方法参考,但读者需要注意模型抽象是否覆盖真实系统边界。

工程实践PlanetScale Blog

Anatomy of a Throttler, part 3

这篇文章是三部曲的收官篇,集中讨论数据库限流器的客户端识别、优先级控制和规则边界。作者提出,限流器应能区分具体作业或作业类别,否则难以做监控、审计和针对性调度;同时,真正安全的“优先级”通常不是直接放行某个客户端,而是通过对其他客户端提高拒绝率来实现。文中进一步分析了豁免、不同指标下的限流与饥饿风险,指出对某些作业单独放宽指标本质上接近豁免,可能让其他作业长期得不到执行机会。作者也强调,豁免并非绝对错误,在故障修复、系统关键内部流量或短时影响可接受时可以使用,但应设置失效时间。最后,文章对比了协作式限流与代理式强制限流,说明后者更难绕过,但也更依赖客户端/连接层暴露足够的身份信息。

文章直接给出了生产环境限流器的核心设计证据:客户端身份、优先级、豁免、饥饿风险和协作/强制两种模型的取舍。适合做数据库运维、平台工程和系统设计参考,尤其对需要控制批处理、迁移和大规模任务的场景有可迁移价值。

工程实践Datadog Engineering

How we built a Ruby library that saves 50% in testing time

文章介绍 Datadog 用 Ruby 实现测试影响分析库的过程,目标是在代码改动后只运行真正受影响的测试,从而缩短 CI 时间。作者先梳理 Ruby VM 中方法调用、对象分配和加载行为,借助 tracing 记录代码间依赖,再把生产代码与测试用例建立映射。文章详细讨论了 Ruby 动态特性、monkey patch、反射和框架层封装带来的分析误差,以及如何通过过滤规则和采样降低开销。最终该方案在内部场景把测试耗时减少约 50%,但对强动态、依赖隐式副作用的项目效果会下降。全文属于真实工程经验,适合需要优化 CI、构建测试选择或理解 Ruby 运行时可观测性的读者。

收录,因为文章直接给出了“受影响测试选择”这一工程问题的实现路径,且用 Ruby VM tracing、依赖映射和约 50% 的测试时间下降作为明确证据。适合做 CI 优化、测试基础设施或运行时可观测性的读者;同时也提醒动态特性强的代码库会带来准确率风险。

工具笔记Brendan Gregg

AI Flame Graphs

这篇文章介绍了 Intel 正在试验的 AI Flame Graphs:把传统 CPU flame graph 扩展到 GPU/AI 加速器,统一展示加速器指令、源代码和触发它们的 CPU 调用链。作者强调其核心目标是像 CPU 性能分析那样做到低开销、生产安全、随时可用,并通过 EU stall profiling 与 eBPF 结合,定位 AI 工作负载中的热点和停顿原因。文中还展示了 SYCL 矩阵乘和 PyTorch/Llama 2 的示例,说明它能把看似混乱的 AI 栈收敛到少数关键瓶颈函数或指令。作者同时指出当前仍处于早期阶段,PyTorch、符号化、驱动和运行时适配都较困难,部分场景还有中等开销,离大规模通用化还需要较长时间。

推荐收录,因为文中明确给出了新型 AI 性能分析工具的设计目标、实现思路和适用边界,而不是停留在产品宣传层面。适合做 GPU/AI 性能优化、可观测性和开发工具演进的参考,尤其对需要把加速器热点与上层代码关联起来的工程团队有直接迁移价值。

工程实践PlanetScale Blog

Anatomy of a Throttler, part 1

本文讨论数据库节流器(throttler)的设计原则,目标是在批量导入、ETL、在线 DDL、清理和重分片等长耗时操作中保护数据库整体健康。作者先解释节流不应只按固定速率控制,而要围绕数据库是否“健康”来判断,因此重点分析了复制延迟、threads_running、队列延迟、队列长度、Load Average 和连接池占用等指标。文章强调单一指标往往只是症状,真正有价值的是能预测 SLO 的组合指标及其阈值,并说明阈值必须结合业务、硬件和部署形态来设定。文中还指出节流系统上线后会改变系统行为,健康状态常表现为指标围绕阈值上下波动而非持续低位。最后讨论了采样间隔与指标粒度的关系,认为过慢的采样会造成滞后和突发释放,应按阈值范围进行更高频的测量;但该文只覆盖系列的第一部分,分布式节流器与节流器自身影响留待后文。

推荐收录:文章不是泛泛讲限流,而是以数据库健康为中心,系统讨论了指标选择、阈值设定、队列含义和采样粒度等可落地问题。适合做数据库平台、批处理控制和稳定性治理的参考,尤其对需要设计自适应节流机制的工程师有直接迁移价值。

工程实践PlanetScale Blog

Tracking index usage with Insights

这篇文章介绍了 PlanetScale Insights 新增的“索引使用跟踪”能力,目标是在真实生产流量中观察每个查询模式实际命中了哪些索引,以及这种使用如何随时间变化。作者先比较了 EXPLAIN、MySQL performance schema 等现有手段,指出它们要么只能分析单条手工输入的查询,要么只能提供服务器级累计计数,难以关联到具体查询模式和趋势。随后文章给出实现思路:利用 InnoDB 的索引初始化流程,在查询执行过程中记录被选中的索引,将结果随响应返回到 VTGate,再按查询模式聚合并以时间序列方式写入 Insights 流水线。这样可以在几乎不增加 MySQL 开销的前提下,获得覆盖全部查询的索引使用统计,并支持反向检索“哪些查询在用某个索引”或“哪些查询完全未命中索引”。但它也明确了边界:索引信息目前只对 SELECT 统计,删除索引前仍需独立核实 UPDATE/DELETE 的使用情况。文章的价值在于把数据库可观测性、查询归因和索引治理串成了一套可落地的方法。

收录价值明确:文章不仅解释了功能,还给出从 MySQL/InnoDB 到 VTGate 和 Insights 的完整实现链路,以及为何 EXPLAIN 和 performance schema 不足以支撑生产趋势分析。适合做数据库性能优化、索引治理和可观测性设计的参考,但需注意它只覆盖 SELECT 场景。

工程实践Brendan Gregg

No More Blue Fridays

文章以一次大规模 Windows 蓝屏和全球性故障为切入点,讨论内核驱动在软件更新中的高风险,以及为何把安全代理迁移到 eBPF 能显著降低“更新即宕机”的概率。作者解释了 eBPF 的核心机制:程序必须先经过 verifier 的安全检查,无法通过的代码会被拒绝执行,因此即使逻辑有误也通常只会造成资源浪费,而不至于直接崩溃整个内核。文章进一步指出,Linux 已广泛具备 eBPF 能力,Windows 也在推进相关支持,因而安全、网络和可观测性场景都可能受益。与此同时,作者也承认 eBPF 自身的管理代码仍可能有缺陷,不能把它理解为“零风险”,只是把高危的内核崩溃风险转移到更可控的软件层面。文末强调,eBPF 并不能替代灰度发布、canary 和分阶段回滚等工程手段,但它可以成为商业软件厂商和客户共同推动的默认安全约束。

有明确的现实故障案例、机制解释和边界讨论,不是单纯观点输出;对做安全代理、系统软件、运维平台和可观测性的读者都很有参考价值。它还给出了可迁移的采购/架构约束:要求厂商采用 eBPF 以降低内核崩溃风险,但同时要保留灰度和回滚等防线。

工程实践Datadog Engineering

How we built the Datadog heatmap to visualize distributions over time at arbitrary scale

这篇文章讲的是 Datadog 如何把“随时间变化的分布热力图”做成可在任意规模数据上工作的可视化。作者先指出传统 heatmap 在高基数、长时间窗和细粒度分桶下会遭遇内存、计算和渲染压力,且容易丢失分布形状。为此,他们引入 DDSketch,把原本需要精确直方图的聚合改造成带相对误差保证的近似分布表示,从而在保持尾部分布与整体趋势可读性的同时显著降低存储和计算成本。文章还讨论了桶设计、时间维度聚合和前端展示之间的配合方式。其适用边界也很明确:它更适合观测分析和趋势探索,不适合要求绝对精确数值的场景。

文中直接给出了用 DDSketch 改造 heatmap 的工程方案、问题来源和规模化收益,属于可复用的观测系统设计案例。适合做可视化、指标聚合或高基数分布分析的工程师参考,尤其能迁移到需要在精度与成本之间权衡的场景。

工程实践PlanetScale Blog

Profiling memory usage in MySQL

文章介绍如何利用 MySQL 的 performance_schema 对单个连接执行中的内存占用进行剖析。作者先说明 memory/% 相关 instrument 以及 memory_summary_by_thread_by_event_name 等统计表的含义,再通过把 CONNECTION_ID 映射到 thread_id,实时查看某条长查询在文件排序、InnoDB、会话对象等类别上的内存消耗。由于 MySQL 没有直接的 per-query 内存视图,文章采用对连接线程做周期采样的办法,并给出一个用 Python/MySQLdb 实现的轮询脚本。随后进一步用 matplotlib 将近 50 个样本绘成堆叠图,便于观察内存随时间的增长和峰值。文章的边界也很明确:它更适合秒级到分钟级的长查询,短查询可见性有限,且结果受采样频率和线程共享影响。

推荐收录,因为它给出了从 system tables 到 Python 可视化的完整 MySQL 内存剖析链路,证据充分且可直接用于排查高内存查询、排序和建索引等场景。适合数据库工程师和 SRE 参考,但需注意它是线程级采样,不是真正的 per-query 计量,短查询和剧烈波动场景下精度有限。

工程实践Datadog Engineering

.NET Continuous Profiler: Exception and lock contention

文章讲解 Datadog 在 .NET 连续性能分析器中,如何识别并处理异常与锁竞争这两类对性能影响很大的运行时事件。作者先说明连续采样式 profiler 的约束:既要尽量低开销,又要在高频事件下保留足够语义,因此不能简单依赖传统的堆栈采样。随后分别讨论异常与锁竞争的采集思路、事件归因方式,以及如何把运行时信号映射成可分析的性能数据,同时避免对应用造成过多扰动。文中也强调这些机制依赖 .NET 运行时能力与事件可见性,适用于需要在线观测异常风暴、锁争用和尾延迟问题的场景,但对非 .NET 平台的直接迁移有限。整体来看,它提供的是一篇围绕真实产品实现的 observability 工程经验,而不是泛泛介绍 profiler 概念。

推荐收录,因为文章直接围绕连续 profiler 的实现细节展开,明确讨论了异常与锁竞争的采集、归因和低开销约束,属于可复用的工程方法而非产品宣传。适合做 APM、性能分析、运行时观测和 .NET 工具链设计的参考,但需要注意其方案强依赖 .NET 运行时特性,跨语言迁移时要重新评估事件模型。

技术文章PlanetScale Blog

Identifying and profiling problematic MySQL queries

这篇文章系统介绍了如何用 MySQL 原生能力定位并剖析性能异常查询,适合在大规模数据库和复杂业务负载下做问题排查。作者先从 performance_schema 的 events_statements_summary_by_digest 入手,借助 avg_timer_wait、count_star 等指标找出高代价语句,再结合 sys 库中的 statements_with_runtimes_in_95th_percentile、statements_with_full_table_scans 等视图,从“慢查询”和“全表扫描”两个角度缩小范围。随后文章用 EXPLAIN ANALYZE 展示如何根据执行计划中的 cost、rows、table scan 和索引回表路径判断瓶颈是否来自索引缺失或 SQL 改写空间。最后通过开启 instruments、consumers 和 history 记录,利用 stage 历史表拆分一次查询在执行、优化、加锁等阶段的耗时,并提醒这些监控手段会带来一定开销,需要按需选择范围。文章也提到 PlanetScale Insights 可将同类分析可视化自动化,但核心方法仍然适用于原生 MySQL 环境。

推荐收录,因为文章直接给出了 performance_schema、sys、EXPLAIN ANALYZE 和 stage profiling 的完整排查链路,而不是停留在“查慢 SQL”的泛泛建议。它特别适合 DBA、后端和平台工程师在生产环境中定位索引缺失、全表扫描和执行阶段耗时问题,方法可迁移性强,但需要注意 profiling 本身有一定开销。

工程实践Datadog Engineering

.NET Continuous Profiler: CPU and wall time profiling

这篇文章介绍了 Datadog 在 .NET 连续 профiler 中实现 CPU profiling 和 wall time profiling 的方法。作者不仅说明了两类采样各自回答的问题,也分析了它们在低开销、跨线程、跨运行时边界下的实现约束。文中重点讨论了如何持续获取调用栈、如何区分真正占用 CPU 的时间与线程阻塞或等待造成的 wall time,以及这些数据如何帮助定位性能瓶颈。文章还指出,连续剖析必须在精度、性能损耗和运行时安全之间折中,因此采样间隔、信号处理和线程状态判断都会影响结果。它更适合关注性能分析、运行时观测和 profiler 设计的读者,尤其对 .NET 服务的线上诊断有参考价值,但不适合作为通用入门教程。

文中直接讲了 .NET 连续 profiler 的 CPU 与 wall time 实现细节,不是产品介绍,而是可复用的观测与采样设计经验。适合做性能诊断、运行时工具或可观测性基础设施的读者参考,尤其能借鉴其在开销、精度和线程安全之间的取舍。

工程实践Datadog Engineering

.NET Continuous Profiler: Under the hood

文章介绍 Datadog 为 .NET 设计的持续性能剖析器,目标是在生产环境中 24/7 运行且几乎不增加可感知开销。作者从底层实现出发,说明它如何借助 CLR/运行时接口采集 CPU、锁等待与堆栈等信息,并把热路径上的工作尽量压缩到采样和轻量汇聚。文中还强调数据上报、线程安全和后台处理等工程取舍,以避免 profiler 本身成为性能瓶颈。整体结论是:持续 profiler 能在大规模线上系统中提供稳定诊断能力,但必须严格控制采样频率和额外内存、同步成本。

收录理由是文章明确围绕“生产环境 24/7 运行、影响可忽略”这一目标展开,并给出实现层面的约束与取舍,而不是泛泛介绍产品功能。适合 .NET 性能优化、APM/可观测性平台和运行时工程读者参考,其可迁移价值在于低开销采样与后台汇聚思路,但细节强依赖 CLR 和具体实现边界。

工程实践Datadog Engineering

How Datadog uses Datadog to gain visibility into the Datadog user experience

文章讲的是 Datadog 的 DesignOps 团队如何把 Datadog 本身用在自己的产品与设计工作中,借助可观测性手段理解用户如何使用产品,并据此做更稳妥的设计决策。作者强调,单靠主观反馈很难看清真实行为,因此需要把用户路径、功能采用率、流失点和关键交互事件纳入可视化分析。文中展示了如何把前端与产品遥测组织成仪表盘、漏斗和趋势观察,从而快速发现体验中的摩擦点,并验证改版是否真的改善了用户行为。文章的核心结论是:可观测性不仅适用于后端故障排查,也能成为产品与设计团队的决策基础。其边界在于,这类指标更擅长描述“发生了什么”,仍需结合定性研究判断“为什么会这样”,并注意埋点质量与隐私约束。

收录价值在于它直接展示了如何把可观测性用于用户体验分析,而不是只用于运维排障。适合做产品工程、DesignOps、埋点分析和体验优化的读者参考,迁移价值在于指标设计、漏斗观察和改版验证的方法。

工程实践Datadog Engineering

How we optimized our Akka application using Datadog’s Continuous Profiler

文章复盘了一个基于 Akka 的 Java 应用性能问题,核心症状来自 ForkJoinPool 的调度与并发执行方式不匹配,导致吞吐和延迟出现异常。作者借助 Datadog Continuous Profiler 观察线程与 CPU 热点,先确认问题并不在业务逻辑本身,而是在运行时线程池和任务切分策略上。随后文章说明如何用持续剖析数据定位瓶颈、验证假设,并据此调整实现以降低线程争用和调度开销。它的价值在于把“性能优化”从经验调参变成可观测、可验证的工程流程。适用对象主要是 JVM、Akka 或类似 actor/线程池模型的服务,但具体结论依赖真实负载与 profiling 数据,不宜直接照搬到不同并发模型。

推荐收录,因为标题和摘要都明确指向“用持续剖析定位 Akka/JVM 性能瓶颈”,且直接给出了 ForkJoinPool 这一具体问题点。适合做 JVM 服务、线程池调优和可观测性实践的参考,尤其对需要把性能分析从猜测转为证据链的工程场景有迁移价值。