Monitoring

18 篇内容

工程实践Cloudflare Blog

Certificate Transparency Monitoring is now generally available

文章介绍 Cloudflare 证书透明度监控从公开测试转为正式可用,核心是解决告警噪声问题。噪声主要来自 Cloudflare 自己发行的证书,包括自动续期,导致用户忽略重要告警。作者分析发现证书管理服务与 CT 告警服务是两个独立系统,缺乏共同标识符,原有指纹无法提前匹配。最终选择 SPKI 的 SHA-256 哈希作为关联键,因为它在密钥生成、预证书和最终证书中保持一致,且每次发行生成唯一密钥。告警服务从日志重新计算该哈希并查询下单记录,匹配则抑制告警,只保留外部证书告警。文中还说明对废弃预证书、自定义上传证书的处理,并提及邮件改进和未来集成通知系统,方法可迁移到跨系统数据关联和降噪场景。

推荐收录,因为文章详细记录了一个真实工程问题的分析和解决过程:通过分析证书生命周期,找到 SPKI 哈希这一早期、一致、可复现且唯一的关联键,将两个独立系统连接起来,有效抑制噪声。适合安全工程师、基础设施团队和 SRE 参考,其跨系统数据关联和降噪思路具有可迁移价值,尽管具体实现绑定 Cloudflare 环境。

工程实践Elastic Security Labs

13 million tool calls: auditing every AI coding agent action with Elastic Agent

文章针对企业环境中 AI 编码代理活动缺乏审计的问题,提出基于 Cursor hooks 的轻量级日志采集方案。作者用 280 行无依赖 Bash 脚本捕获所有工具调用事件,通过 Elastic Agent 收集到 Elasticsearch,并用 ES|QL 进行分析。文中详细介绍了脚本设计(先应答阻塞型 hook 防止卡顿、识别 IDE/CLI 表面、提取可查询字段)、部署配置(路径不能含空格、需重启 Cursor)、无 MDM 环境下的自安装命令,以及日志结构化经验。基于 1300 万次调用的数据显示,代理以文件读取为主,MCP 服务器使用长尾明显。作者还讨论了字段级安全、仅采集元数据等隐私措施,并指出可被篡改和供应商 hook 覆盖范围有限等边界。

推荐收录。文章提供了完整、可落地的 AI 编码代理审计方案,附有脚本、配置和查询示例,直接解决了企业中对代理行为不可见的痛点。适合安全团队、平台工程师和 AI 工具治理人员参考,其 fail-open 设计、日志结构化原则和隐私保护策略具有跨工具的可迁移价值。

工程实践Andy Atkinson

Adding and Removing Big Indexes in PostgreSQL

文章介绍了在 PostgreSQL 大型表上安全添加和删除大索引的完整操作方案。针对创建索引可能持续数小时且需与线上查询并发执行的场景,作者详细说明了使用 CONCURRENTLY 选项避免写操作阻塞、设置 lock_timeout 和 statement_timeout 保护、在 screen/tmux 后台运行、通过特殊查询监控多阶段进度(扫描堆、排序元组、加载元组等)以及调整 maintenance_work_mem 和 max_parallel_maintenance_workers 优化资源的具体方法;同时提供了失败后清理 invalid 索引和处理唯一性限制的注意事项,并给出了最终可直接执行的命令模板。文中基于真实操作给出了各阶段耗时(总计约 6 小时)和性能特征,但方案仅适用于非分区表,且要求手动监控和串行执行并发构建。

推荐收录,因为它不是简单的语法介绍,而是生产环境中管理大表索引的实战手册,包含锁定超时、语句超时、并行度设置、进度监控查询等可复用的工程实践。适合数据库管理员、PostgreSQL 运维人员和后端工程师参考,文中的参数调整思路和阶段监控方法可直接迁移到其他长时 DDL 操作的安全执行中。

工程实践Elastic Security Labs

The security signal log tailing can't see: tracking npm cooldown removals with Elastic Agent

本文详细介绍了在 Elastic Agent 上实现 npm min-release-age 设置移除监控的工程方案,用于提升软件供应链安全性。作者首先指出基于追加日志的 filestream 输入无法检测到 .npmrc 文件内容的删除,因此转向基于快照语义的 CEL 输入。文中提供了完整的 CEL 集成脚本和摄取管道,对比了两种方法的差异,并逐步迭代出最终的心跳式快照方案,每 6 小时重新发送文件状态以确保时间窗口看板能反映实况。此外,还讨论了身份验证令牌的代理端过滤、小文件的文件标识策略、nvm 带来的版本计数膨胀等实践细节,并给出了 Linux 和 Windows 的变体设计。该方案适用于安全团队追踪终端上供应链防御设置的采纳与移除情况,但对实时告警场景延迟较高。

推荐收录,因为文章不是简单的工具使用介绍,而是一个完整的工程案例,展示了从问题定义、方案对比、迭代优化到生产部署的全过程。对于负责端点安全监控或供应链防御的工程师,文中提供的 CEL 快照方法、秘密信息过滤技巧以及对文件监控工具选型的分析具有很高的可迁移价值,可直接应用于类似配置文件的监控需求。

工程实践Cloudflare Blog

Catching rogue AI behavior with identity-aware analytics

本文介绍了 Cloudflare 的 identity-aware AI Gateway 和 User Insights 功能,通过集成 Access 实现每请求身份认证,并结合基于会话的异常检测来发现恶意行为或成本异常。核心方法是对每个用户建立 30 天滚动 95% 分位基线,当会话成本超过基线 2 倍且同时跨过全局 p99 门槛时才触发告警,以此过滤微小波动和高消费用户的常规行为。文章详解了为何采用会话评分、双阈值和美元底限,并展示了从内部流量绘制的散点图和分布图,证明该方法能有效区分异常和噪声。方案主要面向已部署 AI Gateway 的组织,适用于需要成本控制和滥用量化的场景,但目前仅提供告警而不自动阻断。

推荐收录,因为该文不局限于产品宣传,而是详细阐述了一套可复用的基于用户行为基线的异常检测方案,包含双阈值、滚动基线和底限设置等工程细节。对构建 AI 成本监控、治理平台或内部安全分析的工程师有直接参考价值,且文中公开了具体统计量和决策依据,便于迁移到类似的用量分析场景。

工程实践知乎 - 鹅厂架构师

内核全栈诊断工具:一体化解锁稳定性与性能

文章介绍了 TencentOS 内核全栈诊断工具的设计理念、功能组成和定制方法。工具覆盖 fs/io、网络、内存、KVM 等领域,沉淀了超过 20 个子工具,已在线上部署并解决上百例稳定性与性能问题。核心能力包括函数级时延分析(支持 running 时延、block 时延以及多函数横向时延追踪)、稳定性问题检查(如页缓存扫描、内存踩踏、挂载数量检测等),以及通过修改 scene_template.c 模板快速定制诊断逻辑的机制。文章详细说明了积木式组合和槽位填空式架构,使已有工具可自由组装,也允许在预留槽位中插入新函数,极大降低了定制门槛。文中给出具体代码示例和命令行接口,展示了从定位时延瓶颈到沉淀子工具的完整工程实践路径。该工具依赖 TencentOS 内核特性,需安装专用 rpm 包和内核开发包,定制需具备内核代码理解能力。

推荐收录,因为文章不是简单的工具使用手册,而是系统阐述了内核诊断工具的整体设计思路、定制框架和工程落地经验,并提供真实代码与线上案例。对内核开发者、SRE 及从事操作系统性能与稳定性优化的工程师具有直接参考价值,其积木式、槽位式的可扩展架构设计可迁移至其他内核可观测性系统的建设中。

工程实践知乎 - SmartCode 得物技术

推荐系统体验的数字化突破:得物自动化评测平台的技术实践|AICon 文章整理

文章系统介绍了得物推荐评测平台的完整技术方案,针对推荐系统中新颖性、相关性等主观体验指标难以量化、反馈周期长和审计成本高等工程痛点,构建了基于大模型的全自动评测流水线。平台通过可视化提示词工程、多模型动态配置与人机协同校验机制实现评测标准一体化管理,保证评测一致性在 92% 以上;工程层面采用 CAS 无锁分布式调度、三阶段断点续传和动态并发控制,支撑单周百万级评测任务,并通过按需触发、模型分级和采样精控将成本降低 91%。文章还展望了向多维度体验评测和全天候 Agent 自动巡检的演进方向,提供了从业务问题到工程落地的完整实践参考。

作为工业级推荐评测平台的工程实录,文章将业务痛点、系统架构、工程技巧和成本优化有机串联,尤其在分布式调度、大模型评测流水线和人机协作校验方面给出了可复用的实现细节。适合推荐系统工程师、AI 基础设施团队和关注自动化评测的建设者,可迁移用于类似主观指标量化、高吞吐低成本的评测系统设计。

技术文章Fzakaria Blog

The mean means nothing

文章以一次误导性的平均延迟指标为切入点,系统介绍了如何通过多种可视化手段正确理解性能分布数据。作者使用一个合成数据集模拟 Web 服务缓存上线场景,展示平均值、中位数、百分位数给出矛盾结论的原因,并依次通过密度图、累计分布函数(CDF)、位移函数、山脊图、热力图和联合图揭示数据呈双峰分布的实质:缓存命中导致低延迟,缓存未命中的大请求造成长尾。文章重点强调 CDF 能同时展示所有分位数的变化,尤其当两条 CDF 曲线交叉时,单一统计量无法概括整体效果。文中所有图表附有可复现的 Nix 脚本,便于读者在自己的数据上实践。该文既是一堂生动的可视化教学,也是工程师避免数据误读的实用指南。

这篇博文通过清晰的可视化对比,有力地揭示了仅依赖平均值或单一百分位数做技术决策的陷阱,并提供了可直接复现的分析方法。其核心方法(尤其是 CDF 对比和位移函数)可迁移到任何涉及分布变化分析的场景,如性能优化、A/B 测试或系统监控。适合所有需要从数据中提取可靠结论的后端工程师、SRE 和数据分析师,是一份长期值得参考的实践指南。

工程实践Elastic Security Labs

wp2shell hits WordPress: detecting pre-auth RCE from plugin drop to command execution

文章基于 Elastic Security Labs 的实验室环境,端到端重现了 wp2shell(WordPress Core 预认证 RCE 漏洞链)的公开 PoC,并通过 Elastic Defend 的端点与 SIEM 规则完整追踪了攻击链。作者详细分解了漏洞利用的负载投递、Web 服务器进程派生 Shell 以及后续侦察命令等关键阶段,逐一解释了触发告警的检测规则逻辑,包括“Payload Execution by Web Server”等行为规则和文件创建规则。文章还提供了磁盘时间线、进程谱系图和攻击发现面板的关联分析,强调行为检测相较于特定 PoC IOC 的持久性,并给出了临时缓解措施和狩猎查询。适用边界在于分析基于 Linux 主机和特定公开利用工具的行为,但核心检测模式可迁移至类似 Web RCE 场景。

推荐收录,因为该文章不是简单的漏洞播报,而是展示了一个完整的检测工程案例:从攻击链复现、多维度规则映射到防御有效性验证。作者提供了可直接移植的检测逻辑(如 Web 服务器派生 Shell 的行为规则)和分层防御思路,对安全工程师、SOC 分析师以及负责 Web 应用防护的人员具有长期参考价值,其行为检测方法论远不止于单个 CVE。

技术文章Kubernetes Blog

Building a Custom Metrics Exporter for Kubernetes

本文是一篇面向 Kubernetes 用户的实操教程,详细介绍如何从零开始构建自定义指标导出器(metrics exporter),以解决内置 CPU/内存指标无法反映队列深度、任务处理时间等业务负载的问题。文章首先阐释了导出器的作用和 Prometheus 指标模型(Counter、Gauge、Histogram),随后以 Go 语言和 Prometheus 客户端库为例,逐步演示项目初始化、指标注册、数据采集循环以及 /metrics 和 /healthz 端点的实现。接着提供了多阶段 Docker 构建的示例,将导出器打包为轻量容器,并给出 Deployment 和 Service 的 Kubernetes 清单以便部署。最后,文章配置了 Prometheus 抓取(通过 ServiceMonitor 或注解),并验证了指标查询,为后续结合 HorizontalPodAutoscaler 实现基于自定义指标的自动扩缩容铺平道路。该教程侧重于提供一个可运行的基础实现,但未深入探讨生产环境中的误差处理、高可用部署或更复杂的指标类型,数据源也以模拟值代替真实集成。

推荐收录,因为文章系统地覆盖了从指标选型、代码实现、容器化到集群部署的完整流程,代码示例具体可运行,对 Kubernetes 环境下需要实现自定义监控和自动伸缩的运维和开发人员具有直接指导意义。文中的 Prometheus 客户端用法、Multi-stage Docker 构建和 ServiceMonitor 配置是典型云原生工程实践,可以迁移到其他类型的导出器开发。不足之处在于未讨论生产级可靠性增强,但作为入门基石仍然具有长期参考价值。

工程实践Salesforce Engineering

How AI Learned to Investigate Mobile Build Failures Like an Experienced Support Engineer

文章介绍 Salesforce Mobile CI/CD 团队如何把八年积累的移动构建排障经验,抽象成名为 Analyze Build Tools 的 AI 排查系统。该系统不再只展示仪表盘,而是像资深支持工程师一样基于假设主动收集证据,联动 Managed Pipelines、Splunk、历史构建和内部指标,判断失败更可能来自应用代码、平台基础设施还是 Apple/Google 外部变更。它通过 /mp-investigate-build 等能力,让开发者直接询问“为什么失败”,减少人工拼接日志和跨系统检索的成本。作者给出明确成效:事故解决时间约缩短 60%,构建失败分析工作量下降 75%,使 8 人团队能够支撑 60+ 仓库和更多移动工程师。文章也指出当前系统仍以事后排障为主,下一步是做异常检测与主动告警,但告警噪声控制将决定其可用性。

推荐收录,因为文章给出了从“看仪表盘”到“像支持工程师一样做假设并取证”的具体工程方法,并用 60% 与 75% 两组结果证明了其价值。适合做移动 CI/CD、AI 辅助运维和开发者效率系统的参考,尤其对共享平台如何规模化支持多仓库、多团队场景具有可迁移意义。

工程实践知乎 - 腾讯技术工程

开启Harness Engineering探索之旅:从AI 写得快到干得稳

文章围绕“Harness Engineering”展开,指出 AI Coding 的瓶颈已从提示词和上下文转向模型外部的运行框架:如何让 Agent 稳定工作、可验证、可回溯。作者结合腾讯团队实践,提出 Agent = Model + Harness,并把研发链路拆成 P1 需求、P2 设计、P3 实现、P4 测试、P5 部署、P6 归档六个阶段,配合协议层、纪律层和可监测性机制,强制产出结构化文档、评估分数、日志与知识沉淀。文中还描述了线上运营轨道、长期知识库、失败自愈、日志检索和成本度量等配套设计,强调“确定性过程脚本化、不确定性过程门禁化”。作者同时坦承该体系仍有局限:老项目初始化成本高、下游反馈未完全打通、知识库治理与测试可信度仍在演进中。整体适合参考其工程方法,而非直接照搬其内部协议与工具栈。

推荐收录,因为文章给出了可落地的 AI 工程化框架、P1-P6 研发管线门禁、监测与自愈闭环等直接证据,不是泛泛而谈。适合做 Agent 工作流、研发提效和可靠性设计参考,但其细节强依赖内部工具与流程,迁移时需重建契约和观测体系。

工程实践Anthropic Engineering

A postmortem of three recent issues

这篇复盘讲述了 Anthropic 在 8 月至 9 月间连续暴露的三起 Claude 基础设施故障,分别是短上下文请求被错误路由到 1M token 服务器、TPU 端输出生成被错误配置污染、以及 XLA:TPU 的 approximate top-k 误编译问题。文章不仅给出每个问题的时间线、影响范围和修复方式,还说明了为何不同平台与不同模型上的症状会交叠,导致用户感知为随机降质。作者强调,问题并非由需求高峰或负载降级引起,而是纯粹的基础设施缺陷。文中进一步分析了诊断困难来自于评测不够敏感、线上抽样噪声大、用户交互受隐私限制难以直接复现。最后给出改进方向:更敏感的质量评测、更多真实生产环境中的连续监测、以及兼顾隐私的调试工具,并在推理链路上采用 exact top-k 和更稳妥的精度策略。文章的适用边界主要在大模型推理与异构硬件部署场景,但其排障和验证方法具有普遍参考价值。

有明确的事故时间线、根因分析和修复验证,不是泛泛而谈的产品公告。对做 LLM 推理、异构硬件部署和线上稳定性的人尤其有参考价值,文中的评测设计、路由隔离与精度权衡可直接迁移。

工程实践Datadog Engineering

Detecting faulty deployments: Our journey from unlabeled data to supervised learning

这篇文章讲的是 Datadog 如何构建自动化的故障部署检测系统,并在从无标签数据走向监督学习的过程中持续提升效果。作者围绕“如何尽早发现有问题的发布”这一工程目标,说明了最初面对的核心难点:真实故障样本稀缺、噪声信号多、部署后异常形态差异大,因此需要先利用无标签数据建立可用基线,再逐步引入人工标注和监督模型。文章强调了评估目标不只是分类准确率,还包括 precision、recall 以及 time to detection,这反映了监控/告警类系统对误报、漏报和时效性的综合要求。随着训练数据和特征体系改进,系统在减少误报的同时提升了对真正故障部署的召回和检测速度。它的价值在于展示了一个典型的可观测性+机器学习工程闭环,但结论强依赖于 Datadog 自身的遥测数据和部署形态,直接迁移时仍需重新定义标签、特征和阈值。

推荐收录,因为标题和简介已经明确给出完整的工程主线:从无标签数据到监督学习,并以 precision、recall 和检测时延作为结果指标,说明文章不是产品宣传而是方法演进复盘。适合做可观测性、告警系统和 AIOps 场景的参考,尤其对需要处理稀缺标签、噪声数据和误报成本的团队有迁移价值。

工程实践PlanetScale Blog

Profiling memory usage in MySQL

文章介绍如何利用 MySQL 的 performance_schema 对单个连接执行中的内存占用进行剖析。作者先说明 memory/% 相关 instrument 以及 memory_summary_by_thread_by_event_name 等统计表的含义,再通过把 CONNECTION_ID 映射到 thread_id,实时查看某条长查询在文件排序、InnoDB、会话对象等类别上的内存消耗。由于 MySQL 没有直接的 per-query 内存视图,文章采用对连接线程做周期采样的办法,并给出一个用 Python/MySQLdb 实现的轮询脚本。随后进一步用 matplotlib 将近 50 个样本绘成堆叠图,便于观察内存随时间的增长和峰值。文章的边界也很明确:它更适合秒级到分钟级的长查询,短查询可见性有限,且结果受采样频率和线程共享影响。

推荐收录,因为它给出了从 system tables 到 Python 可视化的完整 MySQL 内存剖析链路,证据充分且可直接用于排查高内存查询、排序和建索引等场景。适合数据库工程师和 SRE 参考,但需注意它是线程级采样,不是真正的 per-query 计量,短查询和剧烈波动场景下精度有限。

技术文章PlanetScale Blog

Identifying and profiling problematic MySQL queries

这篇文章系统介绍了如何用 MySQL 原生能力定位并剖析性能异常查询,适合在大规模数据库和复杂业务负载下做问题排查。作者先从 performance_schema 的 events_statements_summary_by_digest 入手,借助 avg_timer_wait、count_star 等指标找出高代价语句,再结合 sys 库中的 statements_with_runtimes_in_95th_percentile、statements_with_full_table_scans 等视图,从“慢查询”和“全表扫描”两个角度缩小范围。随后文章用 EXPLAIN ANALYZE 展示如何根据执行计划中的 cost、rows、table scan 和索引回表路径判断瓶颈是否来自索引缺失或 SQL 改写空间。最后通过开启 instruments、consumers 和 history 记录,利用 stage 历史表拆分一次查询在执行、优化、加锁等阶段的耗时,并提醒这些监控手段会带来一定开销,需要按需选择范围。文章也提到 PlanetScale Insights 可将同类分析可视化自动化,但核心方法仍然适用于原生 MySQL 环境。

推荐收录,因为文章直接给出了 performance_schema、sys、EXPLAIN ANALYZE 和 stage profiling 的完整排查链路,而不是停留在“查慢 SQL”的泛泛建议。它特别适合 DBA、后端和平台工程师在生产环境中定位索引缺失、全表扫描和执行阶段耗时问题,方法可迁移性强,但需要注意 profiling 本身有一定开销。

工程实践PlanetScale Blog

Introducing schema recommendations

文章介绍了 PlanetScale Insights 新增的 Schema recommendations 功能,目标是基于生产流量自动给出可直接执行的 MySQL 架构优化建议。作者说明系统如何结合表结构变更事件、近期查询表现、Vitess 解析器和列基数统计,生成索引、冗余索引清理、主键 ID 耗尽预警和未使用表删除等建议。其核心特点是把推荐结果以 DDL 形式输出,并支持先在分支上验证,再安全发布到生产。文中还给出新增索引的完整示例,展示了随着数据量增长,p50 延迟上升后如何通过推荐索引显著降低查询时间。需要注意的是,这类建议依赖近期查询与统计信息,仍需结合业务语义、写入成本和迁移风险人工评估。

文章不仅是功能发布,还给出了推荐系统的判定信号、实现链路和落地流程,尤其包含查询解析、基数估计与分支验证这些可迁移的工程细节。适合做数据库性能优化、自动化运维和架构诊断的参考,但读者仍需结合自身业务负载与迁移约束来使用这些建议。

工程实践PlanetScale Blog

Amazon Aurora Pricing: The many surprising costs of running an Aurora database

这篇文章系统拆解了 Amazon Aurora(以 MySQL 工作负载为主)的计费构成,指出它远不只是“选个实例”这么简单,而是要同时评估实例规格、预留实例折扣、副本数量、存储模式、跨可用区/跨区域流量、备份保留、监控和代理层等多项费用。作者特别说明了 burstable 与 memory-optimized 的差异、标准存储与 I/O-optimized 的取舍,以及当 I/O 费用占比超过一定阈值时,I/O-optimized 才可能更划算。文章还把读写副本、Global Database、RDS Proxy、蓝绿部署、自动备份和 Performance Insights 逐项拆开,说明这些“高可用/可运维能力”往往会直接放大账单。最后,文章以 PlanetScale 的定价和托管能力作对比,强调其在连接池、跨区复制、变更管理和监控上的简化与打包,但整体内容对 Aurora 成本建模尤其有参考价值;局限在于只覆盖 Aurora 非 Serverless 场景,且比较部分带有明显产品立场。

推荐收录,因为它不是泛泛介绍云数据库,而是把 Aurora 的主要成本项逐条展开,给出了实例、副本、I/O、流量、备份和监控的实际计费视角。适合做数据库选型、云成本估算和高可用架构评审时参考,但读者也需注意文中 PlanetScale 对比部分存在产品宣传倾向。