技术文章 Random Oracle 2026/09/28
文章围绕电磁脉冲(EMP)风险展开,先区分自然来源的日冕物质抛射(CME)与高空核爆电磁脉冲(HEMP),并回顾1859年卡林顿事件、1989年魁北克电网停电和1962年Starfish Prime核试验。作者指出HEMP影响范围可达数百至数千英里,不会造成地面动能破坏,但E1脉冲能通过机柜缝隙耦合,烧毁普通IT设备。许多金融机构和加密货币团队追问数据中心如何防EMP,实为混淆两类威胁模型;CME防护更多取决于电网级韧性,而HEMP场景下只有政府连续性与军事指挥控制系统需要绝对生存能力。文章结论是,商业系统不应把文明级尾部风险当作可对冲的业务中断,而应把资源转向电网监管与核降级等公共政策。局限在于未给出具体工程指标或实验数据,偏重风险推理与政策主张。
推荐收录:文章用卡林顿事件、魁北克停电和Starfish Prime等证据,清楚区分CME与HEMP的物理机制和防护边界,并指出把EMP防护塞进数据中心DR计划是威胁模型错位。对安全、SRE、基础设施架构和威胁建模读者有迁移价值:先判断风险是否可工程对冲,再决定投入电网监管或核政策倡导。需注意作者对核政策的主张带有立场,引用时应区分技术判断与政策观点。
工程实践 Cloudflare Blog 2026/09/28
文章介绍 Cloudflare 在 wasm-bindgen 与 Rust Workers 上实验性支持 wasm32-unknown-emscripten 目标,使原生 Rust 代码乃至 Tokio 应用可在 Workers、Node.js 和 Web 上运行。核心工作包括通过 -sWASM_BINDGEN 让 Emscripten 与 wasm-bindgen 协同,补丁支持 libc、socket2、Mio 等库,并为 Tokio 设计 JSPI 挂起语义和 LocalEventLoop 事件循环集成。为解决 Tokio I/O,作者用 node:net 桥接 Emscripten 的 epoll/TCP/UDP socket,并贡献 -sNODERAWSOCKETS。文中以 Pumpkin Minecraft 服务器跑在 Durable Object 为例,验证多人、持久化和 TCP 入口可行性。当前仍为预发布实验补丁,上游评审、JSPI 重入上下文和 API 稳定性尚待完善。
推荐收录:文章给出 wasm-bindgen/Emscripten 互操作、Tokio 在单线程 JS 事件循环中的两种集成方案,以及 epoll/socket 桥接的完整工程证据,并用 Minecraft 服务器验证可行性。对 Rust、WebAssembly、边缘运行时、异步运行时和网络栈开发者有较高迁移价值;需注意当前仍是实验性补丁,上游 API 与实现可能变化。
工程实践 Cloudflare Blog 2026/09/28
本文是 Cloudflare 对 Kitesurf 的更新,Kitesurf 是运行在 Workers 上、面向 AI Agent 的浏览器。它新增 WebMCP 支持,允许网站把 searchFlights() 等工具直接暴露给 Agent,并扩展 CSSOM、自定义元素、JSON 模块等标准,WPT 通过子测试增至 73 万以上。为降低 agentic loop 延迟,团队优化 Boa 与 Wasm DOM 边界、定时器、脚本加载和字体获取,使标准增加后时间与 CPU 仍大致持平;同时补齐 Browser Run API,支持 CDP、Playwright、Puppeteer 和 MCP,并把 PageRenderer 解耦到客户端用终端渲染。文章偏产品更新,开源和部分基准仍待发布,但适合关注 Agent 基础设施与浏览器自动化的读者。
推荐收录:文章虽为 Cloudflare 产品更新,但给出了 WebMCP 接入、73 万 WPT 子测试、Boa/Wasm DOM 边界优化以及 PageRenderer 解耦等具体工程证据。对构建 Agent 基础设施、浏览器自动化或边缘运行时的读者,可迁移的是其延迟优化思路、标准覆盖验证和渲染与页面执行分离的架构取舍。主要风险是部分性能数据与开源状态尚未完全公开,需结合外部基准持续跟踪。
工程实践 NVIDIA Technical Blog 2026/09/28
文章介绍 NVIDIA 开源运行时 OpenShell 0.1.0,目标是在不改写 Agent 代码的前提下,把 AI Agent 能访问的系统与数据权限放到 Agent 工作负载之外强制执行。其架构由 Gateway(管理沙箱生命周期与策略)、Supervisor(跟随每个沙箱,在外部校验出站请求)和 Sandbox(内核级文件系统与进程限制,网络仅经 Supervisor)三部分组成,策略用 YAML 编写并编译为 OPA/Rego 逐请求求值。文中用 GitHub API 的 curl 示例演示只读放行、写请求被拦截,以及通过 provider 机制在 Agent 之外替换真实凭证、只对授权端点生效。策略证明器基于形式化逻辑验证策略模型是否越出运营者定义的边界,并在长时对抗实验中为 AI 审核者提供证据;运行时还允许 Agent 提出窄范围策略变更,默认由人工审批后再热加载。边界方面:文件系统与进程限制在沙箱启动时确定,修改需重建沙箱;跨多 Agent 的权限组合分析仍在进行中,且文章部分内容为产品/生态叙述,缺少独立第三方评测。
推荐收录:文章给出了可操作的运行时安全设计,包括 Gateway/Supervisor/Sandbox 分层、YAML 到 OPA/Rego 的策略求值、凭证外部替换与形式化策略证明,并有 curl 级别的可复现验证步骤。适合构建企业 Agent 平台、关注 Agent 权限治理与 AI 安全的工程师参照,其“执行点放在工作负载之外”和“策略提案需人工审批”的思路可迁移到自建 Agent 沙箱。需注意文章带有厂商产品叙述成分,读者应结合文档与代码自行验证结论。
工程实践 NVIDIA Technical Blog 2026/09/28
NVIDIA DSX MaxLPS 通过策略驱动的动态功率共享,在同一设施功率预算内监控 GPU/节点/机架实际功耗,把闲置余量重新分配给其他资源,从而在不增加供电的前提下提升 AI 工厂吞吐。文章给出 NVIDIA 与 Nscale 在冰岛 Verne 园区的联合评测:基于 GB300 NVL72、Kimi K2.5 FP4、Dynamo 与 TensorRT-LLM,混合高吞吐和低延迟推理实例,在 264.4 kW 固定配置功率下把托管 GPU 从 140 扩到 192(+37.1%),归一化总吞吐提升 49.2%,每配置瓦特吞吐从 4.10 升到 6.12 tokens/s/W。单实例吞吐基本不变,中位与 P75 时延在基线 5% 内,但 P99 首 token 时延增加 17%,提示需权衡尾延迟。作者还给出五阶段验证流程(界定边界、建立基线、保守引入策略、逐步扩容并逐级测试、设定生产限值),并强调结论仅针对 GB300 NVL72 且依赖可靠遥测。
推荐收录:文章给出了同一 264.4 kW 预算下 140→192 GPU、吞吐 +49.2%、每瓦吞吐 4.10→6.12 tokens/s/W 的实测数据,同时披露 P99 首 token 时延 +17% 的代价,并附可复用的五阶段验证流程,适合 AI 数据中心架构师、容量规划与 SRE 读者参考。主要风险是厂商自评、硬件与软件栈单一,实际部署前需在自身负载和供电边界下复测。
工程实践 Oxide Public RFDs
该 RFD 规划 Oxide 为 cosmo 计算节点与 minibar 制造平台执行的一次 RoT 代码签名仪式:为 RoT 支持的 4 个信任锚点建立专用代码签名 PKI 根,由 permslip 认证中间签名者并签署调试凭据,同时为不参与机架信任仲裁的 minibar 建立平台身份 PKI。文章重点论证用标签打印机替代手工抄录摘要值,以降低人为错误,并在无无线、体积、Linux 驱动支持等约束下对比 Brother QL-600 与 Dymo LabelWriter 550 的选型。文中还给出 YubiHSM 对象数与字节容量的精确估算,说明新增密钥后仍余量充足,并讨论了 USB 外设的侧信道/功耗分析风险与安全存储要求。边界在于地点、仪式脚本等内容被脱敏,且方案依赖既有的 offline-keystore 软件,标签打印属未验证的优化项,不能阻塞 cosmo 交付。
推荐收录:这不是流程公告,而是一份带真实约束、取舍与可验证数据的工程文档——包含 HSM 存储容量的量化估算、标签打印机在无无线/Linux 支持/体积上的对比,以及外设侧信道风险的明确分析。对负责硬件信任根、代码签名、密钥仪式或安全制造流程的工程与安全读者具有可迁移价值,可参考其仪式降错思路、选型标准和空间预算方法。主要局限是关键脚本与地点被脱敏,读者无法完整复现仪式细节。
技术文章 PlanetScale Blog 2026/09/25
文章讨论云端 Postgres 选择 x86-64 还是 aarch64 的实际影响。作者从超线程与 vCPU 定义切入:x86 常把超线程线程计为 vCPU,而 Graviton、Axion 等 ARM 芯片每 vCPU 对应完整物理核,因此 ARM 适合高并发小查询,x86 凭借更高单核频率适合少量 CPU 密集型大查询。文章还比较向量宽度,指出 x86 的 AVX2/AVX-512 比 Graviton 的 128 位向量更有利于 TIN 索引和 pgvector 的部分计算。随后说明 Postgres 文件不可跨架构直接复制,并用 pg_trgm 的 char 符号性差异解释复制风险,切换需逻辑复制到新集群。最后建议普通负载默认 ARM,CPU 重型负载重点测试 x86,迁移前做同数据同并发基准并衡量成本。
推荐收录:文章把架构选择落到 vCPU 语义、单核/多核取舍、向量指令宽度和 Postgres 物理复制限制上,并给出 PlanetScale 生产约束与迁移路径,证据具体而非泛泛而谈。适合数据库/基础设施工程师在选型、性能调优或跨架构迁移前阅读,可迁移到其他依赖底层架构的数据库与搜索负载。风险是部分结论来自厂商视角,读者仍需自行用同数据同并发基准验证。
工程实践 Cloudflare Blog 2026/09/24
文章复盘 Cloudflare Containers(及基于其构建的 Sandboxes)的跨租户数据泄露漏洞。根因是 Linux dm-thin 存储池配置了 skip_block_zeroing,64 KiB 物理块复用时不零化;新容器在新分配的块上只写入 4 KiB,其余 60 KiB 可能残留前一容器数据,可通过 /dev/vdc 裸读观察。研究者用 ext4 目录块校验和区分自有与外来块,在四大洲投放中复现出目录结构、数据库页甚至完整 SQLite 数据库残留,但无法定向选择受害者,也无法访问活跃挂载的磁盘。Cloudflare 移除该选项、退役全部旧容器磁盘并清理缓存的镜像快照,再基于历史磁盘 I/O 遥测构造检测特征,未发现恶意利用证据,并给出完整处置时间线。
推荐收录。文章给出可验证的根因链条:dm-thin 的 skip_block_zeroing 语义、4 KiB 写入仅覆盖 64 KiB 块导致残留、ext4 校验和归因方法,以及移除选项、退役旧磁盘、清理缓存镜像快照并回测验证的完整修复路径。适合多租户云平台、容器运行时与存储隔离方向的工程师和安全研究者阅读,其块级残留分析与遥测检测思路可迁移到同类隔离审查。
工程实践 Meta Engineering 2026/09/24
文章介绍 Meta 将 Private Processing 扩展到 AI 眼镜的工程方案:因眼镜本地算力有限且 AI 助手需长期有状态与个性化,计算必须上云,但传统云架构会在使用时暴露内存数据。Meta 基于 CPU/GPU 的 TEE 与机密虚拟机 CVM,让模型在硬件隔离环境中执行,并提出硬件隔离、失败关闭、公开可验证、不可定向和加密存储五项要求。请求路径通过盲签名令牌与第三方 OHTTP 中继解耦身份,设备用 RA-TLS 远程证明核对二进制哈希与公开透明账本,数据仅在 TEE 内处理。持久化存储被放入 TEE 边界,以避免访问模式泄露与远程加密查询性能崩溃;可观测性只能依赖聚合健康指标。文章还说明第三方审计与漏洞奖励,但未给出性能数据、实现细节和失败案例,且方案与 Meta 基础设施强绑定。
推荐收录。文章不是产品发布稿,而是给出了可验证的隐私计算系统设计证据:五项工程要求、盲签名令牌/OHTTP 非定向路由、RA-TLS 证明与公开账本、TEE 内加密存储,以及在无法调试环境下的聚合可观测性方案。对做 AI 基础设施、隐私/安全架构和机密计算的读者,这些信任边界与运维取舍有迁移价值;不足是缺少性能数据和更细的实现验证。
工程实践 NVIDIA Technical Blog 2026/09/23
文章介绍 NVIDIA 开源的 Kubernetes 控制器 NVCRE,用于在生产 AI 负载落地前验证 GPU 集群的真实可用性。它通过 Certification、Workflow、Job 三层 CRD,按拓扑感知分组运行真实分布式负载(NCCL 通信、DCGM 四级诊断、NeMo 预训练),把失败归因到具体节点和类别。达标判定用 CEL 表达式对总线带宽、goodput、每 GPU TFLOPs 等实测指标求值,作业跑完但未达阈值同样记为失败;testScale: diagnose 会分层切分失败组并重跑,收敛到少量嫌疑节点。WorkloadRun API 封装多节点作业的平台探测、框架配置与 gang scheduling,并与 AICR、NVSentinel 构成配置—验证—监控分层。边界是依赖 Kubernetes 1.29+ 等特定环境,阈值需自行设定,文章偏工具说明,缺少大规模实测数据。
推荐收录:文章没有停在概念宣传,而是给出三层 CRD 设计、CEL 阈值表达式、分层故障隔离算法以及 gang scheduling 防止排布死锁等可直接复用的细节。适合负责 GPU/Kubernetes 平台、AI 训练基础设施与集群验收的工程师,可据此搭建投产前的自动化验证流程。局限是全文以 NVIDIA 自有工具为主线,阈值与规模收益需读者结合自身集群实测确认。
工程实践 NVIDIA Technical Blog 2026/09/23
文章介绍 NVIDIA 开源的 Kubernetes 原生包管理器 NodeWright(原名 Skyhook,已在生产环境运行),用于在 GPU 集群中声明式地配置与升级主机操作系统而不中断工作负载。其核心是 operator + 自定义资源 + 包(容器镜像携带脚本、配置与校验逻辑)三部分,按 cordon、等待、drain、应用配置、按需中断、uncordon 六阶段编排,并尊重 PodDisruptionBudget、标签与非中断工作负载。文章详细说明 DeploymentPolicy 的固定、线性、指数三种渐进式发布策略,以及成功/失败阈值和分区(compartment)机制,并给出安装、CVE 修复、内核调优、节点就绪门控等场景示例。它还阐述了与 AICR、NVCRE、NVSentinel 的集成边界——NodeWright 只管理主机 OS 层,不替代 GPU/Network Operator。
收录理由:文章来自核心作者且已在数千节点生产验证,明确给出六阶段节点变更序列、三种发布策略与阈值控制、包生命周期与校验机制,属于可迁移的 GPU 集群主机维护工程方案。适合负责大规模 Kubernetes/GPU 集群、需要做内核调优与 CVE 修复而不中断训练的 SRE 与平台工程师。需注意其带有 NVIDIA 产品生态推广色彩,且缺少失败案例与量化实验数据,参考时应结合自身集群验证。
工程实践 NVIDIA Technical Blog 2026/09/22
本文由 NVIDIA 工程师撰写,介绍开源工具 Topograph 如何为 AI 工厂/GPU 集群提供拓扑感知的工作负载调度。核心问题是:分布式训练与推理需要通信局部性,若调度器不掌握当前的 GPU 与网络互连关系,工作负载会被打散到远端拓扑域,导致跨链路竞争、吞吐下降与成本上升。Topograph 通过 provider(从云 API 或本地 InfiniBand/Spectrum-X/MNNVL 发现拓扑)与 engine(输出 K8s 节点标签、NFD 资源、Slurm topology.conf 或 Slinky ConfigMap)两层抽象,把异构环境归一化为统一模型,并由 API Server、Node Observer、Node Data Broker 等组件在集群变化时自动重算。文章给出 Helm/native 包部署、节点标签校验、亲和性配置,以及与 KAI Scheduler、Kueue、Slurm、Slinky 集成的完整示例。主要边界是:它反映的是上报而非预期拓扑,部分能力依赖特定 provider、版本或 alpha 特性开关,且文中未给出量化性能收益。
推荐收录,因为它用可验证的仓库、Helm chart 和 API 端点具体展示了 GPU 集群拓扑感知调度的架构权衡与落地步骤,而非泛泛宣传。适合负责 AI 基础设施、GPU 调度、Kubernetes/Slurm 集群运维的工程师参考,其 provider/engine 抽象、标签层级与自动刷新机制可迁移到其他异构算力调度场景。风险在于其性能收益未量化,且部分特性依赖 alpha 开关与特定版本。
工程实践 Cloudflare Blog 2026/09/22
文章介绍 Cloudflare 在 Cache Rules 中支持 HTTP Vary 的工程方案。Vary 让源站声明可能影响响应的请求头,但缓存无法判断差异是否真的影响响应,高基数、格式差异和 q 值会产生大量等价却无法复用的变体,降低缓存命中率。Cloudflare 把决策拆成两步:源站声明 Vary 字段,Cache Rule 决定每个字段用 normalize、passthrough 还是 bypass。normalize 对 Accept、Accept-Language、Accept-Encoding 做小写并按 q 值排序收敛到配置集合,passthrough 保留精确差异,bypass 绕过缓存,Vary:* 始终绕过。文章还说明缓存查找、变体存储和清除边界,并指出源站必须一致返回 Vary,方案仍需手工配置语言与格式。
推荐收录:文章并非单纯产品发布稿,而是围绕 HTTP Vary 的缓存语义、基数爆炸和变体归一化展开技术权衡,并给出 normalize、passthrough、bypass 的边界与 API 示例。对 CDN、缓存策略和 Web 性能工程师而言,其“源站声明差异、缓存判断差异是否重要”的设计思路和变体键管理方法可迁移到自建缓存或边缘场景;风险是带有 Cloudflare 产品语境,细节需结合文档验证。
技术文章 Kubernetes Blog 2026/09/21
文章介绍 Kubernetes v1.37 将 PersistentVolumeClaimUnusedSinceTime 特性门控提升为 Beta 并默认启用。PVC 保护控制器会在每个 PVC 上维护 Unused 条件:没有非终态 Pod 引用时为 True,原因为 NoPodsUsingPVC;至少一个运行或 Pending Pod 引用时为 False,原因为 PodUsingPVC。文章说明已完成 Pod 不计入使用,Pending Pod 仍计入,多个 Pod 需等最后一个非终态 Pod 移除后才转为 True,并利用 lastTransitionTime 判断 PVC 空闲多久。文中给出 kubectl/jq 查看条件和筛选闲置超过 30 天 PVC 的示例,并指出 Alpha 到 Beta 增加了端到端测试,未来计划 GA。适用于集群存储清理与成本治理,但特性仍处 Beta,行为可能随版本演进。
推荐收录。该文不是简单发布公告,而是由 Kubernetes 官方给出 Unused 条件的精确语义、终态/Pending/多 Pod 边界和可执行 jq 查询,可直接指导闲置 PVC 发现与存储成本治理。适合 Kubernetes 存储管理员、SRE/DevOps 和平台工程读者,迁移价值在于把 PVC 生命周期可观测性纳入日常运维。需注意其行为绑定 v1.37 Beta,后续 GA 可能调整。
工程实践 Meta Engineering 2026/09/21
Meta 开源了内部使用九年多的通用指派问题求解库 Rebalancer,并配套 OSDI'24 论文。文章把指派问题抽象为对象、箱子、约束与目标,核心设计是解耦问题描述与求解过程:先用维度、分区、作用域、利用率等建模原语刻画现实策略,再通过表达式 API 与高层 spec API 表达约束和目标,最终编译成表达式图 DAG。求解提供两条路径:最优解器把图翻译成 MIP,靠变量聚合、可互换性与对称性破缺压缩模型,最坏规模为 O(|objects|*|bins|);局部搜索解器直接在图上游走,邻域最坏 O(|objects|+|bins|),可并行、每秒数百万次评估并支持剪枝。文中给出生产数据(每日约 4000 万次求解、30 多种问题形式、P99 12 秒)以及调试用 Web UI Rebalancer Explorer,并以 Apache 2.0 开源。
推荐收录:文章提供了可复用的优化系统设计证据——描述与求解解耦的建模原语、表达式图,以及 MIP 与局部搜索两条路径的复杂度、规模上限和选型建议,还有每日 4000 万次求解、P99 12 秒等生产数据与 OSDI'24 论文支撑。适合从事资源调度、容量规划、负载均衡和组合优化落地的工程与算法读者,其中“先用最优解器原型、再迁移到局部搜索”的经验可直接迁移。
工程实践 Cloudflare Blog 2026/09/21
Cloudflare 宣布 Python Workers 正式 GA,使 Python 成为 Workers 一等运行时,并原生支持 Workers AI、R2、D1、Queues 等绑定。文章解释其基于 WebAssembly 与 Pyodide,通过 workers.asgi/wsgi 连接器桥接 ASGI/WSGI,让 FastAPI、Django 等框架无需服务器即可运行。为解决 WASM 沙箱缺少 TCP socket,团队用 Workers connect API 实现 socket 系统调用桥,以支持 Hyperdrive 连接 PostgreSQL/MySQL,并使 openai、langchain 等库可用。团队还推动 PEP 783 与 cibuildwheel 标准化包生态;文章适合平台/运行时工程师,但属厂商 GA 公告,缺少独立性能基准和长期边界分析。
推荐收录。文章虽为 GA 公告,但给出了可验证的工程实现证据:用 Pyodide/WebAssembly 承载 Python、实现 ASGI/WSGI 桥、用 Workers connect API 补齐 socket 系统调用,并推动 PEP 783/cibuildwheel 标准化包构建。对边缘运行时、Serverless 平台和 Python Web/AI 应用开发者有迁移价值;需注意其厂商视角,缺少独立性能对比和长期兼容性边界。
工程实践 Meta Engineering 2026/09/21
Meta 介绍规划中的跨洋海缆 Petal:连接法国与美国约 7000 公里,目标 2029 年投运,实现 1 Pbps 容量,成为首个皮比特级跨洋系统。其核心是采用 2-core fiber,在 24 光纤对中达到等效 48 对的空分复用容量,并通过超纯石英、折射率控制和反向传输来降低衰减与串扰。中继器使用 96 芯单体内放大和 FIFO 将双芯转换为单芯再恢复,结合泵浦共享把功耗控制在 18 kV 供电限制内。文章还梳理从 Marea、Amitié、Anjana 到 Petal 的容量演进及 NEC、住友电工、Orange 的分工。不足是公告性强,缺少独立测试、成本和长期运维数据。
推荐收录。文章虽带有 Meta 基础设施发布色彩,但给出了 Petal 的容量目标、2-core fiber 与 24 对光纤等效 48 对的 SDM 设计、FIFO 中继器、96 芯放大和 18 kV 供电边界等具体工程约束。适合网络基础设施、光通信与海缆系统读者参考,其容量扩展路径和功耗/工艺取舍可迁移到大规模互联系统评估。
工程实践 Cloudflare Blog 2026/09/18
Cloudflare 复盘 Pingora Backend Router 中 pingora-ketama 一致哈希内存占用过高的问题。文章从一致哈希哈希环和权重路由讲起,用期望值、标准差和变异系数分析每台服务器哈希点数量对负载均衡精度的影响,并指出 32 位哈希在哈希点极多时会因碰撞抵消收益。工程上,作者将 Point 结构改为紧凑字节存储以规避 Rust 对齐开销,带来约 25% 内存下降;又依据推导把每节点哈希数降低 90%,且不造成明显误差。为避免切换哈希环导致缓存大面积失效,团队用新旧双环、按请求哈希稳定选择、数据中心分层灰度、可回滚和多项指标观测完成迁移。最终全球回收超过 100TB 内存,相关能力以 pingora-ketama v2 实验特性提供。其结论依赖连续哈希环近似和碰撞分析,落地时仍需按服务器数、哈希位宽和缓存失效代价验证。
推荐收录。文章给出从算法建模、Rust 内存布局到生产灰度迁移的完整闭环,并用全球回收 100TB RAM 的结果验证;其中一致哈希的统计推导、碰撞分析和双环迁移策略可直接迁移到负载均衡、缓存路由和基础设施性能优化场景。风险在于切换哈希环会引发缓存重分布,读者需结合自身哈希位宽、节点规模和灰度能力评估。
工程实践 PlanetScale Blog 2026/09/18
本文从底层拆解 Neki 的分片架构:它不 fork Postgres,而是在原生 Postgres 实例上扩展,用 PostgresManager 管理实例、Sidecar 连接池,并将主从副本组成 shard。Admin 处理故障检测、切换和持久性策略,Operator 在 Kubernetes 上编排生命周期;Router 对客户端提供单一 wire-protocol 入口,基于权威 shard catalog 解析并规划分片查询,必要时做跨分片 join/聚合。etcd 保存 Data Topology,Replicator 支撑 MoveTables、Reshard 和 OnlineDDL,并通过 Router 缓冲完成 cutover。文章适合理解分布式数据库控制面与数据面设计,但作为厂商架构概览,缺少性能基准、故障边界和成本权衡。
推荐收录:文章把 Neki 的数据库控制面与数据面逐层拆成 PostgresManager、Sidecar、Shard、Admin、Operator、Router、Data Topology 和 Replicator,并说明 OID 一致性、连接池分类、跨分片 join、etcd 拓扑和 cutover 缓冲等具体机制。适合分布式数据库、基础设施和 Kubernetes 平台工程师参考,可迁移到分片系统设计与在线数据迁移场景;但它是厂商架构概览,尚无性能基准和故障边界验证,需结合后续实测判断。
工程实践 Canva Engineering - Backend 2026/09/17
文章介绍 Canva 为队列 worker 设计的 Worker Backpressure 机制:它是队列库内置的反馈回路,worker 记录每次依赖调用的成功/失败结果,由可插拔控制器根据错误率与设定点维护 0.0–1.0 的 backoff factor,并据此动态缩减可并发拉取和处理的 permit 数量,从而在依赖异常时主动降速、恢复后自动提速。机制完全本地、无外部协调器和额外网络调用,运行时仅两次算术操作。两起生产事故验证了效果:云厂商故障约 4 小时内 DLQ 仅增长 1 条,持续过载 32.5 小时内 1.8 百万次失败尝试仅 22 条进入 DLQ,吞吐仍高于事故前基线。作者也指出吞吐成本、单信号(成功/失败)作为依赖健康代理的局限,并预告 Part 2 展开控制器算法与调参。
推荐收录:文章给出真实生产事故中的量化前后对照,而不仅是概念介绍,并清楚说明反馈回路、并发 permit、设定点和本地化实现等工程取舍。适合后端、基础设施、SRE 和消息队列开发者阅读,可迁移到异步 worker 的依赖保护、DLQ 抑制与自适应限流设计中。注意 Part 1 未公开控制器算法与调参细节,且全容量 worker 会承担吞吐下降风险。
技术文章 Oxide Public RFDs
本文是 Oxide 的 RFD 552,讨论硬件/软件接口透明性应成为系统厂商选择硬件的前提。作者先将接口分为 ISA、数据接口与控制接口,并区分 HAL、实现负载等非接口概念,继而提出五级透明性框架:公开文档、私下无约束文档、开源 HAL、逆向工程、有约束的私下文档(最不可取)。文章逐条反驳厂商常见反对理由(被复制、支持负担、安全风险、第三方协议),并揭示文档不完整、代码有 bug、暴露错误、他人写软件等未明说的恐惧。结论是透明性近乎零成本,能催生编译器、OS、调试器等生态,而封闭会阻碍跨层创新;Intel 与 Linux 的共生被作为论据。其边界是公司立场文件而非量化研究,但提供了可复用的接口透明性评估框架。
推荐收录。文章给出可操作的接口分类和五级透明性模型,并用 Renesas 电源控制器、AMD openSIL、LPC55S69 逆向、Lattice iCE-40 等实例支撑,不是泛泛呼吁开源。适合硬件/软件协同设计、基础设施、SoC 选型与开源战略相关读者,可用于制定供应商接口文档要求和评估封闭接口的长期成本;但需注意其立场源于 Oxide 的全面开源目标,未必适用于所有商业约束。
工程实践 Oxide Public RFDs
该 RFD 为 Oxide 云平台上的虚拟机实例提出身份与远程证明方案:目标是把测量链从平台 RoT 扩展到实例的启动盘摘要、UUID 与配置,向 guest 暴露证明接口,并把实例持有的临时公钥绑定到平台证明。方案用 qualifying data 把 nonce 或附加数据混入签名,propolis 作为 VM Instance RoT 将 JSON 格式的实例日志经哈希后交给 Oxide Platform RoT 签名,从而在 propolis 无签名密钥时仍能绑定实例信息。通信通道选择 vsock,采用 JSONL 协议和单一 attest 命令,32 字节 qdata 可扩展为 digest(nonce|key_pub) 以完成密钥绑定。性能测试显示平台 RoT 是瓶颈,attest 平均约 104 ms,证书链约 120 ms。当前实现只覆盖 Oxide 平台 RoT,对可变启动盘、非开源组件和 API 向后兼容性有明确限制。
推荐收录:该 RFD 系统性地给出 VM 身份与证明设计,包括 qdata 绑定、测量链扩展、vsock/JSONL 接口、SPDM 对比和 gimlet 时延基准,证据具体。适合云平台、虚拟化安全、远程证明与机密计算方向的工程师阅读;其中 nonce 加日志哈希绑定、无签名 RoT 委托签名模式和接口取舍可迁移。风险是早期设计,初始 API 可能破坏兼容且未覆盖全部 RoT/闭源组件。
工程实践 Oxide Public RFDs
该 RFD 分析 Flex BMR491 IBC 在 R1C 及更早版本中的设计缺陷:输入欠压保护误触发会使 12V 输出瞬时跌到约 8V。作者反推 Flex 的缓解方案和 PMBus 寄存器数学,发现其 MAX_DUTY 常量存在字节序错误,按 LINEAR11 重新推导出 95% 占空比对应 0xeaf8。结合 Oxide 各机型热插拔阈值,文章判断 Gimlet/Sidecar 实际不会降到 35V,只有 Cosmo 需要启用 VOUT 欠压保护。最终决定仅对 R1C 关闭 VIN 欠压、不持久化配置,并在 A2 状态由 Service Processor 写入,以规避竞态和 STORE_USER_ALL 风险;局限是 R1D 修复尚未验证。
推荐收录:这是一份真实硬件/固件工程决策记录,包含设计缺陷机理、厂商缓解方案、PMBus 寄存器反推、错误常量验证和多机型约束取舍,证据链完整。适合固件、硬件系统、电源与可靠性工程师阅读;其“批判性重算供应商配置、按修订版本灰度启用、避免持久化写风险”的方法可迁移到类似嵌入式/基础设施维护场景。
工程实践 Oxide Public RFDs
本文是 Oxide 的 RFD 595,扩展 RFD 493,系统设计面向 Oxide 云盘的 Kubernetes CSI 插件。文章解释 CSI 的 CO、SP、工作负载、卷与节点术语,以及 Identity/Controller/Node 服务和 sidecar 部署模式,并按卷生命周期把 RPC 映射到 Oxide API:CreateVolume 用 POST /v1/disks,ControllerPublishVolume 用 attach,NodeStage/NodePublish 在 Linux 上分区格式化并挂载,卸载和删除分别用 detach 与 DELETE。文中给出 Deployment、DaemonSet、CSIDriver、StorageClass 与 PVC 示例,并列出热插拔需停机、单实例最多 8 盘、设备令牌认证、无法扩容/克隆、仅支持 SINGLE_NODE_WRITER、多机架拓扑未定等限制;首版仅支持创建删除、挂载卸载和快照恢复。
推荐收录。该 RFD 不是概念介绍,而是给出 CSI RPC 到 Oxide API 的逐项映射、Kubernetes 部署 YAML 与明确的阻塞/限制/开放问题,适合 Kubernetes CSI 驱动开发者、平台与存储工程师阅读。其 sidecar 模式、卷生命周期处理、幂等与拓扑约束分析可迁移到其他存储插件设计;但内容绑定 Oxide API 且仍处讨论状态,读者需注意版本与实现可能变化。
工程实践 Oxide Public RFDs
本文是 Oxide 工程经验 RFD,记录控制平面 Omicron 使用分布式 Saga(Steno)执行实例启动、磁盘创建、区域替换等流程时的问题。作者指出 Saga 要求动作幂等、未定错误必须重试、永久错误不可重试、补偿不可失败,这些约束难以编码和验证;静态 DAG 与软件升级强耦合,卡住或废弃的 Saga 无法自动恢复,更新可能阻塞或冒险恢复。文章比较背景任务/协调器模式:周期性重取状态、每次只决定下一步,并用事务、声明式 API 和 generation 号保证并发安全,使错误可由软件更新修复且不阻塞升级。结论是新增工作应优先考虑背景任务,选择 Saga 必须规划废弃与修复;但作者并未主张完全移除 Saga,部分场景改写仍有挑战。
推荐收录:该 RFD 以 Oxide 生产系统为证据,系统梳理了分布式 Saga 在幂等、未定错误、补偿失败、升级和废弃恢复上的具体故障模式,并给出 reconciler/background task 的替代设计与并发安全手段。对构建控制平面、工作流引擎、分布式事务或可靠性系统的工程师与研究者有很高迁移价值,可帮助在 Saga 与协调器模式间做架构取舍;需注意其结论绑定 Oxide 的 Omicron/Steno 场景,并非通用定论。
工程实践 Oxide Public RFDs
该 RFD 提议 Oxide 开发并维护官方 Packer 插件,让用户用 Packer 构建定制化 Oxide 镜像,满足应用、OS 与安全需求。文章对比运行时与构建时定制,认为插件可减少配置漂移并降低迁移摩擦。设计上插件用 Go 实现并基于 Oxide Go SDK,包含 oxide-instance builder 和 oxide-image data source,支持内置 provisioner 与 SSH/WinRM。文中给出配置结构、接口注册、验收测试、安全日志脱敏及开放问题,并说明当前尚未实现、配置可能变化,且不含 post-processor/provisioner 组件。
推荐收录,因为该 RFD 以可执行工程设计为核心,给出了插件组件划分、Go 接口、配置字段、验收测试、日志脱敏和迁移路径,而非产品发布宣传。适合基础设施/平台工程、IaC 工具开发及需要构建黄金镜像的读者,可迁移到其他 Packer 插件或平台集成设计;主要风险是提案尚未落地,实现细节可能调整。
工程实践 Oxide Public RFDs
RFD 532 讨论 Oxide 内部 HTTP API 在控制面驱动在线升级中的版本化问题。因分布式组件无法原子更新,旧客户端与新服务端混用可能令升级卡死;作者按更新顺序提出 lockstep、仅服务端版本化、客户端版本化三种策略,并优先前两者。系统通过 API 依赖图决定组件更新顺序,并用自动化测试在合入 main 前拦截破坏升级的变更。客户端版本化需 Reconfigurator 告知可用 API 版本,客户端周期性查询并可能持久化,但实现与测试更复杂。该方案只覆盖 API 语法兼容,不解决语义破坏;switch zone、host OS 依赖和客户端元数据仍是开放问题。
推荐收录:这是一份完整的设计决策记录,给出 lockstep、仅服务端、客户端三种 API 版本化策略的选择依据,并把更新顺序、依赖图、自动化测试与开发者工作流放在同一约束下讨论。适合分布式系统、API 平台和基础设施团队参考;可迁移点是先确定组件更新顺序,再选择版本化策略,并用自动化防止依赖假设失效。主要不足是只处理语法兼容,客户端版本化路径尚不成熟。
工程实践 Oxide Public RFDs
RFD 373 讨论控制平面中的可靠持久工作流(RPW):持续将数据库期望状态与 DNS、VPC、软件更新等目标的运行时状态对齐,而非一次性 saga。文章提出三条约束——目标最终获知更新、所有目标按同一顺序收敛、单目标离线不阻塞其他目标,并比较周期激活、全量/增量更新、generation number、目标驱动与 Nexus 驱动等模式。文中否定在 API 请求内联更新、按变更创建 saga 或使用队列,指出会导致顺序错乱、无界积压或惊群;也讨论分布式互斥难题,倾向让目标串行化请求。结论是将 RPW 作为一等抽象并从 DNS 落地迭代;但多数设计未实现,部分示例仍需验证。
推荐收录。该文档不是泛泛介绍,而是给出 RPW 的明确约束、generation number、全量/增量传播、目标驱动与 Nexus 驱动、互斥与队列等模式的逐项取舍,并系统分析内联更新、滥用 saga/队列等反模式;适合构建控制平面、分布式协调、Kubernetes 控制器或自愈系统的工程师。其 reconciliation、激活模型和可观测性设计可直接迁移到类似场景,但部分章节作者自述不确定,落地前需结合实现验证。
工程实践 Oxide Public RFDs
RFD 363 描述 Oxide 的 Minibar:一种面向 SP3/SP5 计算 sled 的制造测试器。它插入 sled 背板,提供类机架接口,将背板 PCIe x4 引出到 x16 槽,把 SGMII 管理网口转为 BASE-T,并内置 Ignition 控制器。目标是在编程站一次完成编程、测试和锁定,验证 Ignition、PCIe Gen3 x4、管理链路及 200G/100G KR4 环回链路,并通过 PCIe 网卡加载主机 OS。架构复用 Sidecar 的 VSC7448 交换、Ignition 控制器和 RoT/SP,分为生产型与 Minibar Lite,并讨论机械/电气安全和基于 RoT 测量启动的缓解。其边界是高度绑定 Oxide 专用 sled 与背板,部分安全细节未定型,但测试夹具、环回验证和复用既有平台的取舍对硬件/基础设施工程有迁移价值。
推荐收录。该 RFD 不是产品宣传,而是给出完整的制造测试器需求、五项测试能力、Sidecar 复用、PCIe 引出、管理网口转换、KR4 环回、两种机械形态、安全与威胁模型等工程细节。适合服务器硬件、数据中心基础设施、制造测试和固件/平台工程师阅读,可迁移其测试夹具设计、复用既有平台、环回验证与安全缓解思路;主要限制是高度依赖 Oxide 专用 sled/背板,部分安全设计仍未定型。
工程实践 Oxide Public RFDs
本文是 Oxide 的 RFD 493,讨论其平台最关键的 Kubernetes 集成并给出路线图。文章先概述 Kubernetes 组件和声明式 API,再区分原生集成与发行版集成,逐项分析 Cloud Controller Manager、Cluster API、CNI、CSI、Ingress/Gateway API、Rancher Node Driver 的问题、所需 Oxide API、开发量和延期风险。路线图分三阶段:优先 Cluster API 与 Rancher Node Driver 改进,其次 CCM 和 Rancher UI 扩展,最后 CSI;CNI、Ingress、Gateway API 明确推迟。边界是 Oxide 暂不提供托管 Kubernetes,部分估算需更多研究,方案高度依赖其自身 API 与存储、网络能力。
推荐收录:这是已发布的 Oxide RFD,提供了集成点、所需 API、开发量、延期风险和分阶段路线图等直接证据,而非泛泛介绍。适合平台工程、Kubernetes 发行版/云集成和基础设施团队参考,可迁移的是如何按客户价值与差异化程度排序集成、推迟非核心组件;主要风险是结论绑定 Oxide 平台,外部读者需注意其前提。
工程实践 Oxide Public RFDs
本文是 Oxide 的 RFD 决策记录,讨论 CockroachDB 从 BSL 1.1 转为严格专有/源码可见许可后,控制平面数据库的选型去留。作者先回顾选用 CockroachDB 的原因:空间和性能要求不高,但持久性、可用性与免运维至关重要;随后逐项评估替换数据库、购买企业版、接受免费源码可见版、停留在 Apache 2.0 的 22.x 等方案。最终决定继续自支持 CockroachDB 22.1/22.2,不升级到 22.2 之后,并将内部补丁整理为 Oxide 自有仓库维护。其边界是 Oxide 将数据库嵌入出货硬件、运行于 illumos 衍生系统且本就准备自支持;代价是长期停留在旧版本并自行承担维护与安全风险,不能直接照搬为通用数据库选型建议。
推荐收录:文中给出了因上游许可证变更而重新评估数据库依赖的完整决策链,包括 BSL、CCL、强制遥测、按核年费、Apache 转换时间表和自支持成本等具体约束。适合基础设施、数据库选型、开源合规和平台工程读者参考,可迁移到评估关键基础软件供应链风险与版本冻结策略;但需注意其结论高度依赖 Oxide 的嵌入式出货场景,不构成通用选型建议。
工程实践 Oxide Public RFDs
RFD 357 提出 Oxide MVP 的外部 DNS 方案:运维方委派一个子域,并提供 2 个以上(建议 3-10 个)客户网络 IP,由 Oxide 运行独立于内部 DNS 的权威外部 DNS 服务器。每个 Silo 获得 $silo.sys.$delegated_domain 主机名,指向同时服务控制台与 API 的 Nexus 实例,更新时采用蓝绿部署并动态迁移固定 IP 来提升可用性。TLS 证书在 MVP 中倾向通过 API 管理,因为客户环境常不暴露公网,难以使用 ACME 公网挑战。文章还讨论 DNS 最终一致性、扩展性、Cookie 作用域和备选方案,但安全考虑尚未展开,且不覆盖通用递归 DNS 与实例 DNS。
推荐收录:该 RFD 不是泛泛介绍 DNS,而是给出可执行的系统设计决定,包括委派域、外部权威 DNS 服务器、按 Silo 命名、蓝绿更新与固定 IP 迁移,并系统比较证书管理和多种备选方案。适合基础设施、网络、控制平面和系统架构读者,可迁移到多租户平台、客户自管 DNS 域名和 TLS 证书自动化等场景。主要风险是内容面向 Oxide MVP,安全考虑尚未展开,且部分细节标记为待定。
工程实践 Oxide Public RFDs
RFD 347 提出 Delay Driven Multipath(ddm),面向物理多路径数据中心网络做 L3 包级负载均衡与容错。它受 DRILL 和 Swift 启发:控制平面用距离向量分发前缀,数据平面在 IPv6 逐跳扩展头中携带时间戳,节点通过确认计算目的端时延及其导数,持续逼近分布式 Dijkstra 森林。ddm 追求 N-1 容错、灵活拓扑、包级最优负载均衡和可扩展性,并在 RTT 内响应拥塞与故障,且不绑定传输层流;文章详述发现、前缀交换、server/transit 路由器、管理 API、时延表、基础/概率/预测 pick 函数和接收端重排序,并讨论 illumos 与 P4 实现。其边界是 15 跳扩展头限制、重排序与缓冲开销,中转路由器、路径向量和预测选路等仍属未来工作。
推荐收录:这是一份真实的网络协议设计 RFD,给出了多路径数据中心网络中基于时延的 L3 负载均衡与容错方案,包含控制平面、数据平面、pick 函数、重排序分析和实现平台约束。适合网络架构、数据中心基础设施和分布式系统读者,可用于理解延迟驱动路由、IPv6 扩展头数据面及多路径协议设计中的取舍。风险是部分设计仍属未来工作、缺乏生产验证,需结合实现与测量评估。
工程实践 Oxide Public RFDs
本文是 Oxide 机架控制平面的 RFD 457,定义物理 sled/磁盘与控制平面 sled/磁盘两类对象及其生命周期。作者先区分 in_service、quiesced、failed、expunged 与 graceful removal,再围绕 sled 和 physical_disk 表设计 policy 与 state,规定添加、优雅移除和 expunge 在分配、信任仲裁、电源、实例迁移、Crucible region 替换和 Omicron zone 重建上的差异。文章用 blueprint planner/executor 流程说明 sled/磁盘的添加与 expunge 顺序,并强调 expunge 必须由运维触发,避免把瞬时故障误判为永久移除。对于 expunged sled 如何确保不再启动,文中比较 Ignition 断电、服务处理器 A2 与 trust quorum,指出仍有开放问题;磁盘误拔重插则要求 Sled Agent 重新建立服务并告警。边界是 quiesce、临时维护和优雅移除细节不在本文范围,部分流程仍为 TBD,且实现与 Oxide 架构强绑定。
推荐收录:该 RFD 给出了 policy/state 分离的硬件生命周期模型,以及 blueprint planner/executor 在 add、graceful remove、expunge 时对分配、信任仲裁、数据重建和电源控制的具体处理,属于可迁移的系统设计证据。适合分布式系统、存储、可靠性与基础设施工程师阅读,尤其可借鉴优雅移除与永久移除的区分、运维触发 expunge 的风险取舍。主要风险是内容高度绑定 Oxide 控制平面,且若干流程仍为 TBD 或超出范围。
工程实践 Oxide Public RFDs
RFD 469 讨论 Oxide 控制面仍运行已停止上游支持的 CockroachDB v22.1,而 CockroachDB 仅支持逐个大版本升级且默认自动 finalize、无法降级,因此提出短期过渡方案。作者在 v8 控制面引入 cluster.preserve_downgrade_option,并采用 Tick-Tock 模型:Tick 将 cockroachdb zone 升级到下个大版本,并在长期测试环境验证降级可用;Tock 重置并重新保留降级选项。按计划从 v22.1 逐版本推进到 v23.2,分别落在控制面 v8 至 v14,每个大版本跨两个发布完成验证与收尾。实现上要求不给 Mupdate 增加额外手工步骤,也不编写 Nexus 自动化后会丢弃的新代码。开放问题是 Tick 与 Tock 之间能否升级补丁版本,仍需测试;该方案是过渡性运维设计,不替代最终自动更新工作流。
推荐收录,因为它给出了数据库大版本升级的真实约束与可复现操作模型:用 preserve_downgrade_option 保留回退路径,用 Tick-Tock 跨控制面版本逐步验证和 finalize,并明确排期、实现约束与开放问题。对负责数据库、控制面或平台升级的 SRE/工程读者,这套分阶段升级与回滚设计可直接迁移;但内容高度依赖 Oxide 内部发布流程,缺少故障演练结果和性能数据,阅读时需结合自身环境验证。
工程实践 Oxide Public RFDs
本文是 Oxide 的 RFD 459,定义了 Omicron 控制平面各组件的生命周期管理语义与运维动作。作者沿用 RFD 457 的术语,提出在 blueprint 中为每个受管 zone 记录 disposition(in service、quiesced、expunged),并说明 Nexus 如何借此实现 sled 优雅移除、剔除、未来升级和扩缩容。文章以表格和分节方式列出 CockroachDB、External/Internal DNS、Nexus、Oximeter、Boundary/Internal NTP、ClickHouse、ClickHouse Keeper、Crucible Pantry 等组件在加入、quiesce 和 expunge 时所需动作,例如配置重写与 reload、decommission、DNS 更新、停止接收新请求、重新分配 saga 和 metric producer 等。结论是多数组件可归纳为通用 reconfigurator 动作加组件特定操作,但部分组件存在灾难恢复边界。该 RFD 依赖若干未完成 issue 和 RFD,边界服务配置等细节不在本文范围内。
推荐收录:该文档不是泛泛介绍,而是把控制平面组件在加入、quiesce、expunge 三种状态下的具体动作逐项列出,并给出 disposition 模型和 blueprint/Nexus/Reconfigurator 的落地机制。适合负责分布式基础设施、控制平面、SRE 与平台工程的读者,可迁移其状态机设计、组件生命周期操作规程和故障边界分析方法;主要限制是它绑定 Oxide 自有 Omicron 架构,部分步骤依赖未完成 issue,需结合上下文使用。
工程实践 Oxide Public RFDs
本文是 Oxide 关于虚拟机热迁移单调时间处理的公开 RFD,核心是 x86 TSC。文章说明 guest 要求 TSC 单调、恒频且启动归零,而跨主机迁移使 bhyve 传统偏移算法失效。作者结合 AMD SVM 与 Intel VMX 的 TSC 缩放/偏移机制,推导 guest TSC、offset 与频率倍率公式,并用四个场景演算。随后分析定点表示导致的溢出与精度限制,提出最大倍率上限,并讨论向下倍率漂移和 NTP 误差边界。最后列出误差建模、机架频率差异、跨迁移墙钟同步等开放问题,部分内核实现仍处原型阶段。
推荐收录:这是一份面向真实热迁移需求的系统设计 RFD,直接给出 TSC offset/倍率公式、AMD/Intel 定点表示、溢出边界和倍率取舍,证据充分而非泛泛介绍。适合虚拟化、hypervisor、OS 时间子系统与云基础设施工程师阅读,可迁移到跨主机迁移的时间一致性与数值边界验证;不足是墙钟同步、误差建模和内核接口仍留作开放问题。
工程实践 Oxide Public RFDs
该 RFD 讨论机架发货前如何为承载 U.2 设备的 zpool 启用根数据集加密,因为在完整 trust quorum 可用前仍需保护静态数据。作者把威胁模型分为 L1–L4,按攻击者能窃取并启动的 sled 数量相对 K 来界定能力,核心目标是让被盗磁盘无法恢复数据。最终决定采用 Low Rent Trust Quorum(LRTQ),沿用 RFD 301 的存储密钥派生,把 LRTQ 提供的输入密钥材料经 HKDF 生成密钥。文档比较了不加密、使用不安全 IKM、在 M.2 明文保存随机数、用 M.2 随机数作盐并结合 VPD 等替代方案,说明各自攻击面与妥协。未来可在线升级到完整 trust quorum;但 LRTQ 不能防御引导网络上的在线攻击,L4 仍不在当前长期威胁模型内。
推荐收录。该 RFD 以明确威胁模型(L1–L4)、密钥派生链路和替代方案对比,记录了机架发货前磁盘加密的真实工程取舍与安全边界。适合存储、安全和基础设施工程师理解 trust quorum 未就绪时的临时方案,以及如何规划在线升级;其中对 LRTQ 局限的说明也避免了把临时方案误用为长期安全保证。
工程实践 Oxide Public RFDs
本文是 Oxide 的 RFD 404,定义边界隧道路由问题并提出基于 ddm 路由协议分发隧道路由的解决方案。问题在于实例/服务发往外部上游网络的包需经 Geneve 封装到 IPv6 underlay,封装器 OPTE 需知道可用网关、如何选择多个网关以及路由变化如何传播。方案让交换机上的 mgd/ddmd 将上游前缀与边界隧道端点 IPv6 ULA 通过 ddm 通告并传播到各 sled,ddmd 再把隧道路由写入 OPTE 新增的 V2B 表,并用 metric、ECMP 哈希和路径向量协议能力处理多网关与故障。文中还给出协议对象、指标设计、与纯控制面/对称交换机配置等替代方案对比,以及安全与开放问题。边界是当前仍处讨论阶段,可扩展性、路由剪枝和 mgd 健康监控等未完全验证,主要适用于 Oxide 的 underlay/overlay 边界路由。
推荐收录,因为这是一份真实基础设施系统的设计文档,完整展示了从问题定义、路由协议选型、OPTE V2B 表设计到替代方案、指标与安全风险权衡的推理链条。适合网络、基础设施和分布式系统工程师阅读,可迁移到多机架网关路由、overlay 路由传播和故障收敛等场景;风险是仍处讨论阶段且若干可扩展性与实现细节未定。
工程实践 Oxide Public RFDs
Oxide RFD 0301 提出机架级密钥层级策略,以 Rack Secret 为根,保护控制面数据、Crucible 卷加密密钥和 U.2 盘上的 ZFS 加密数据。它基于 Shamir 秘密共享的 Trust Quorum:K 个 share 可重构 rack secret,再通过 HKDF-SHA3-256 为每块 U.2 盘派生独立 ZFS 加密密钥,并用 new/old epoch 信息绑定用途。重配置时,dealer 用新 epoch rack secret 派生包装密钥加密旧 rack secret,随 prepare 消息分发;提交后节点重构新秘密、解密旧秘密、派生并轮换各盘密钥,再安全删除旧秘密。关键结论是每盘独立密钥限制单盘泄漏,epoch 与两阶段提交处理分布式轮换和 false start,且不依赖硬件全盘加密。边界是主要覆盖 MVP 存储加密与 rack secret 包装,证书等留待后续 RFD,故障细节依赖 RFD 238,且方案绑定 Oxide rack 架构。
推荐收录,因为它给出完整可验证的机架级密钥层级设计:从 Rack Secret、Shamir 分享、HKDF info 字符串到每盘 ZFS 密钥与重配置包装/轮换流程,并明确目标、约束与 determinations。适合基础设施安全、分布式存储和密钥管理读者,可迁移其按数据生命周期与空间局部性设计密钥层级、用 epoch 和两阶段提交处理密钥轮换的方法;局限是绑定 Oxide 硬件与 RFD 238,通用性需自行抽象。
工程实践 Oxide Public RFDs
Oxide RFD 250 讨论管理网络拓扑与“本体感知”:控制平面 MGS 如何发现 SP、推断机架位置,并让 SP 获知自身位置。文章先确立 L2 网络、SP 间隔离、每交换机隔离、VSC7448/Tofino 端口一一对应等原则,再提出用 VLAN 标签实现隔离:MGS 到 VSC7448 按目标端口打标签,KSZ8463 到 SP 用 0x301/0x302。随后说明 MAC 从 FRU EEPROM 分配、以 EUI-64 生成 IPv6、用多播和 NDP 发现地址,并通过向确定端口发探测消息判断 Sidecar A/B 位置。文章还列出备选方案、开放问题和安全考量,指出恶意 Sidecar 可重配 VSC7448 等边界。
推荐收录:这是一份公开的机架管理网络设计文档,给出了 VLAN 隔离、地址发现、位置推断和安全威胁模型的完整取舍,并包含备选方案与开放问题。适合做数据中心网络、带外管理、嵌入式 SP 通信或 L2 隔离设计的读者参考,其中“用拓扑约束替代额外硬件或协议”的思路可迁移到类似系统。
工程实践 Oxide Public RFDs
RFD 297 讨论 Oxide 系统中 Silo(多租户隔离单元)与 API 资源之间的关系,明确将资源划分为 siloed 与 non-siloed 两类。Organizations、Projects、Instances、VPC、用户等在每个 Silo 内被虚拟化,不能跨 Silo 共享甚至无法互相引用;而 Racks、Sleds、Silos、全局镜像等在所有 Silo 中保持一致。作者给出三种典型部署形态(单一 Silo、运维+终端用户两 Silo、运维+多终端 Silo),并对比它们在身份管理、IdP 审计、误操作隔离和复杂度上的取舍。文章还列出当前已实现与规划中的资源分类,讨论“运维 Silo”标记、是否生成独立 OpenAPI 规格、禁用端点应返回 404 还是 403 等开放问题,以及细粒度访问控制与灵活协作之间的安全平衡。
推荐收录,因为这是真实系统的多租户设计文档,清晰划分 siloed 与 non-siloed 资源,并以三种部署形态说明身份、审计与隔离之间的具体权衡,还保留了替代方案和开放问题。它适合负责多租户平台、API 资源层级与访问控制的设计者,“资源作用域与身份作用域分离”的思路可迁移到类似云平台或 SaaS 系统。
工程实践 Oxide Public RFDs
本文是 Oxide 的 RFD 241,提出主机启动策略 Holistic Boot:将几乎全部启动逻辑放入单一 illumos 主机 OS 镜像,不向独立生产内核交接,也不依赖可逆固件状态。设计确定由主机 OS 完成硬件初始化,内核驻留并保持控制;采用 phase-1 SPI NOR 与 phase-2 SSD、双 BSU A/B 绑定升级,由 loader stub 加载内核,host OS 经 SP 获取变量信息并负责 phase-2 度量/策略,SP 负责 stage-0/phase-1 度量与恢复。文章对比 Tiny/Giant/Helios 方案,引用 LinuxBoot 多阶段状态传递事故,分析 LZMA 压缩、MP0、ELF 压缩等空间约束,并讨论可验证启动、安全边界与开放问题。其结论依赖 Gimlet 及类似 sled 硬件、illumos/SP 生态,压缩与 loader 实现仍待原型验证。
推荐收录:它给出真实系统启动架构的完整决策记录,包含硬件约束、存储布局、固件行为和 LinuxBoot 反例,能帮助读者理解从 firmware 到 OS 的状态交接风险。适合做操作系统、固件/启动、服务器基础设施和可验证启动的工程师研读;其中 BSU 绑定、度量边界和单阶段启动取舍可迁移到类似平台设计,但部分方案未落地,需结合开放问题阅读。
工程实践 Oxide Public RFDs
这份 Oxide RFD 203 提出在产品、代码、API、控制台和文档中统一数据量单位与词头的规范。它先区分 bit 与 byte,以及网络常用的十进制 SI 词头与内存/存储常用的二进制 IEC 词头,指出机架规模下 PB 与 PiB 差异超过 12%,单位误解可能造成数量级错误。核心判定是:网络吞吐以 bit/s 为单位并使用十进制词头;内存和存储以 byte 为单位并使用 KiB、MiB 等二进制词头。若因硬件等原因必须偏离,应使用正确标签或同时给出两种形式,例如 3.2 TB(2.9 TiB)。该规范适合接口设计、文档和运维沟通,主要不足是改变既有习惯需要迁移成本。
推荐收录,因为该 RFD 给出了可直接执行的单位规范,并用表格明确网络吞吐、内存和存储分别应使用 bit/s 与 KiB/MiB 等标签,还覆盖了硬件例外和双单位展示边界。对设计 API、CLI、控制台、监控指标或技术文档的工程师来说,这类约定能减少跨层沟通中的数量级误解,具有跨项目迁移价值;风险是它属于组织内部标准,外部团队需结合实际历史兼容。
工程实践 Oxide Public RFDs
本文是 Oxide 发布的 RFD,系统讨论机架遥测系统的需求与技术选型。作者先按用途划分实时/历史、高可用、水平扩展、趋势近似与精确测量等要求,并辨析事件与指标、基数控制、资源可预测性以及采集与存储解耦。随后评估 illumos FMA、Prometheus、Thanos、InfluxDB、ClickHouse、VictoriaMetrics 等候选构件,比较其查询、告警、集群和重聚合能力。针对 ClickHouse 与 VictoriaMetrics 的模拟指标实验显示 ClickHouse 资源使用更可预测,作者初步倾向 ClickHouse,但指出其集群依赖 ZooKeeper。文末实验数据在抓取中截断,部分最终架构判断仍需结合后续 determinations。
推荐收录:文中不仅罗列候选技术,还把遥测需求拆成实时性、HA、水平扩展、精度、趋势等可比较维度,并以 ClickHouse/VictoriaMetrics 实验和 Prometheus、InfluxDB、VM 的具体缺陷作为选型证据。对构建可观测性平台、时序存储或基础设施监控系统的读者尤其有价值,其需求分解、评估表和踩坑记录可直接迁移到类似选型场景。需注意该 RFD 仍在形成最终架构判断,实验数据在抓取中截断,引用时需核对后续版本。
工程实践 Oxide Public RFDs
这份 RFD 定义 Oxide 服务器机箱管理的职责分配架构,重点划分主机处理器与服务处理器(SP)之间的数据和控制路径。作者提出单一事实源、单一执行点、库存与健康监测合一、复杂行为自托管及 Sidecar/Gimlet/PSC 对等等原则,并据此分配热环路、DIMM SPD、电源控制、FRU 库存与错误/性能遥测。热与电源安全控制归 SP,带内设备库存和主机侧遥测归主机;DIMM SPD 比较多种方案后倾向在 EVT1 验证 SP 代理。文档还覆盖安全考量与开放问题,并声明除 DIMM SPD 等未决项外,分配结论对当前及后续产品具有规范性。
推荐收录:该文档不是泛泛介绍,而是给出可执行的机箱管理职责矩阵、原则和 DFD,包含热环路、DIMM SPD、电源与遥测等真实取舍。适合服务器硬件、固件、带外管理和系统架构读者,其“单事实源/单执行点/对等分配”方法可迁移到类似平台。需注意 DIMM SPD 最终方案仍待 EVT1 验证,部分安全与开放问题尚未闭合。
工程实践 Oxide Public RFDs
这是 Oxide 公开 RFD 82,讨论机架硬件相关的 Operator Facilities 设计动机、原则与需求。文章将运维场景分为容量规划、产品生命周期、基本产品运行、运维硬件故障和未知问题调查五类,并提出对齐客户业务、一致性、无意外、有意义的差异四项原则。作者通过故障风扇、无法上电的 U.2 NVMe、新增网络 uplink、容量评审等案例,提炼识别、诊断、上报、派单、维修、验证与 RCCA 等信息需求。文档还列出组件电源控制、诊断重启与崩溃转储、固件升级、健康状态等需求,并强调现场技术人员可能无法访问控制平面。适用边界是 Oxide 机架和控制平面的设计共识,不包含完整架构实现或实验结果。
推荐收录。该 RFD 不是泛泛的产品愿景,而是用 CP/PL/BPO/OHF/IUP 分类、故障更换 walkthrough 和容量规划问题清单,把硬件运维需求结构化,并给出一致性、无意外等可验证的设计原则。适合基础设施、SRE、硬件控制平面与系统设计读者,可迁移到故障管理、容量规划和现场可服务性设计;局限是高度绑定 Oxide 机架及产品假设。
工程实践 Oxide Public RFDs
本文是 Oxide 的公开 RFD 162,描述机架内指标采集系统的架构与设计。文章统一 target、metric、timeseries、measurement、producer、collector 等术语,比较 push/pull 采集模型后确定当前采用 pull 模式,由 Nexus 将 producer 分配给 oximeter 实例并按间隔轮询。设计包括 producer/collector 注册、数据模型校验、oximeter 本地缓存、同一 producer 多 collector 写入不同 ClickHouse 以保证可用性,以及 Nexus、producer、oximeter 三类接口。文末列出对 Nexus/CockroachDB 的依赖、quorum 前遥测、外部查询、schema 更新和访问控制等开放问题。该文接口与取舍清晰,但仍属早期设计,查询实现和落地验证不在范围,部分关键问题未有定论。
推荐收录。该 RFD 给出了指标采集系统从术语、pull/push 取舍、Nexus 分配到 oximeter API 的完整设计链,并明确缓存、多 collector 冗余和开放问题,对构建可观测性平台或理解控制平面指标采集的读者有可迁移价值。风险在于它仍是早期设计文档,查询路径和实现验证缺失,使用时需结合后续实现与数据模型文档判断。
工程实践 Oxide Public RFDs
Oxide RFD 116 讨论机架产品中的遥测(telemetry)用例与需求,而非具体架构。作者主张使用更宽泛的 telemetry 而非 metric,以便把软件版本、硬件故障、实时迁移等上下文与定量指标交织起来。文章将能力分为满足既有期望、核心需求与差异化三类,并梳理系统是否达预期、容量规划、内部组件监控、调试和产品迭代等用例。文中还对比公有云默认实例指标、服务器管理传感器与网络设备期望,提出 API、Web 控制台、仪表盘、告警和外部 Oxide 服务等交互方式。V1 明确不做通用客户应用指标采集、机架内无限期存储和第三方集成。该 RFD 仅作为后续架构设计的输入,且网络设备部分未展开。
推荐收录:这是 Oxide 公开的遥测需求 RFD,直接给出能力分类、跨层关联、V1 边界和不做事项,属于可迁移的基础设施与可观测性设计材料。适合平台工程、SRE、可观测性产品与基础设施团队阅读,可用于梳理自研平台的遥测范围与告警取舍。局限是未给出具体实现与存储/查询架构,网络设备小节仍为占位。
工程实践 Oxide Public RFDs
该 RFD 讨论 Oxide 控制平面中的 Workflows Engine,用于编排复杂、可能长时间运行的任务,如 VM 创建、SSD 固件升级、虚拟机迁移和故障服务器替换。作者先以 Terraform 类比解释期望状态、当前状态与 workflow 的关系,再调研 Airflow、Argo、Cadence、Conductor、Prefect、Zeebe 等开源引擎,比较语言、执行语义、部署、失败恢复与人工介入等设计维度。文章将工作流分为一次性、可靠一次性、可靠持久三类,提出用 distributed sagas 处理需要完整完成或回滚的控制平面操作,并讨论 exactly-once、超时、通知和用户可见服务等难点。最终决定优先实现内部 saga 引擎,暂缓可靠持久工作流与客户可见服务,Nexus 中已有用于实例创建的原型。
推荐收录:这是一份真实控制平面系统设计的 RFD,给出了工作流分类、开源引擎横向调研、distributed sagas 的取舍以及明确非目标,证据密度高。适合做基础设施、分布式系统、控制平面或云平台架构的读者参考,其中状态/期望态分离、失败回滚与人工介入边界可直接迁移。风险是它绑定 Oxide 内部场景,读者需自行判断适用范围。
工程实践 Oxide Public RFDs
该 RFD 界定 Oxide 控制平面持久化数据存储需求:需存储实例、虚拟磁盘、网络资源、服务器、用户/SSH 密钥等对象,支持持久 CRUD、分页一致性枚举和乐观并发控制,并讨论 ACID 是否必需。非功能要求包括强一致、有限故障下可读写、零计划停机、无人值守、可诊断、安全、开源与低成本,且把逻辑复制和在线 schema 迁移列为一等能力。文中估算单机架约万级实例、约 100 GiB 数据,外部 API 延迟需数百毫秒内、数据库访问约 150ms 内,短生命周期负载可达千级 rps;作者据此主张先评估现有系统,并给出从调研、Jepsen 失败分析到部署、故障与长时压测的漏斗式选型方法。候选聚焦 CockroachDB、Yugabyte、TiKV/TiDB、VoltDB 等 NewSQL,排除传统 RDBMS、NoSQL、FoundationDB 与 ZooKeeper/Etcd 类系统;但该文仍是早期需求框架,未给出最终基准和选型结果。
推荐收录。该文不是产品宣传,而是把控制平面数据存储的功能/非功能需求、规模与延迟估算、自研与采购取舍、候选 NewSQL 及排除项、以及分阶段评估方法写得很具体,对设计高可用控制平面、做分布式数据库选型或需要向团队说明存储约束的工程师有直接参考价值。局限是它属于早期 RFD,未给出实测基准和最终选型,读者应把它当作需求清单和评估框架而非结论。
工程实践 Oxide Public RFDs
RFD 70 提出多租户基础设施中容量、分配与利用率的管理框架,先区分 in-use、provisioned、reserved、capacity,并定义 utilization、threshold、overprovisioning、bursting。其核心原则是用透明、可操作的数据帮助用户和运维决策:展示容量仪表盘与按用户/团队/项目下钻视图,设置阈值告警,提供一键调整实例或磁盘、通知项目成员的流程,并用配额防止过度分配。文档明确反对超售,强调扩容与缩容并重、按实际使用率优化,并建议将利用率与成本节省纳入账单,甚至用排行榜激励良好使用习惯。它属于早期设计讨论稿,给出术语、原则、指标和交互场景,但缺少实现细节、规模化验证和预测模型的量化评估。适用于云平台、SRE 与基础设施容量治理场景。
推荐收录:它把容量治理从“看监控”推进到可操作流程,明确区分 in-use、provisioned、reserved、capacity,并给出仪表盘、阈值告警、配额、扩缩容和账单联动等机制。对云平台、SRE 和基础设施团队,反对超售、以利用率驱动资源调整的原则可直接迁移到多租户容量规划。风险是它仍是 RFD 设计稿,缺少落地数据与实现验证,部分激励机制需按组织裁剪。
工程实践 Oxide Public RFDs
本文是 Oxide 公开的 RFD 63,系统阐述单机架到多机架的网络架构设计。文档先给出七项设计目标(低延迟体验、无单点故障、可扩展、兼容客户网络、实例可任意迁移、简化管理、可演进),继而提出物理层采用基于 IPv6 的 L3 + ECMP 架构并把路由决策下推到主机,虚拟层用 Geneve 封装实现 VPC,每台主机运行可编程的 OPTE 完成路由、NAT、防火墙等转换,边界服务则通过 BGP 与客户网络对接。文中以物理转发、内部 DNS、实例互通、出站 NAT、浮动 IP 入站等五条报文流程推演实现路径,并对比 VL2、Ananta、VFP、Andromeda 与 Joyent Fabrics 的经验教训。文档同时声明其边界:不解决信任问题,且为初期产品做了取舍,诸多细节留待后续 RFD 完善。
推荐收录:该 RFD 不是概念宣传,而是给出明确的七项设计目标、L3+ECMP 物理架构,以及 Geneve 之上由 OPTE 承担 L3 转换的完整方案,并用五条报文流程逐步推演,还复盘了 VL2、Ananta、VFP、Andromeda 与 Joyent Fabrics 的取舍和失败教训。对从事云网络、VPC 虚拟化、多租户隔离或数据中心架构的读者,其“目标—决策—权衡”链条极具可迁移价值;需注意它是尚未完全定稿的设计文档,明确不覆盖信任模型,部分细节待后续补充。
工程实践 Oxide Public RFDs
本文是 Oxide 的 RFD 0052,定义机架/云平台配额策略的设计。与 IAM 关注“谁可以访问什么”不同,配额策略关注项目或组织可消费的资源数量,只能挂载在组织或项目上,并默认沿资源层级继承,区域策略未显式覆盖时继承全局策略。创建资源时先做 IAM 鉴权,再检查项目配额,不足时返回明确 API 错误;文中还描述通过 UI/CLI/API 申请更多配额、配额将耗尽告警,以及 CPU、磁盘、IP、VPC、VM 类型等配额维度和示例 JSON 语法。边界是初期配额先在第一机架全局设置,多区域后续支持;示例中的 VM 类型配额仍是占位,文档偏设计规范,缺少实现与验证细节。
推荐收录,因为该 RFD 直接给出配额策略的归属层级、继承与区域覆盖规则,以及 IAM 检查顺序、API 错误返回、资源维度和 JSON 示例,属于可复用的平台设计证据。适合云基础设施、API 设计、多租户资源治理方向的读者;其继承模型和告警/申请流程可迁移到类似平台,但实现细节和 VM 类型定义仍需后续文档补全。
工程实践 Oxide Public RFDs
RFD 56 设计 Oxide 的 Billing API,目标是支持客户对其内部组织、项目和用户做资源计费与 chargeback/showback。文档定义了 /system/billing、组织和项目计费汇总等端点,允许按资源类型配置按秒、分或日计价,并考虑按区域定价和 standard/spot 实例服务等级。价格变更只影响当前及未来账期,v1 不追溯历史账单、不删除计费项,但保留未来定价生效时间和历史调整的扩展空间。计费流程涵盖组织默认 billing account、项目切换账单账户、月度发票、历史发票、第三方集成、信用额度及未使用配额展示。它还描述了预算告警与邮件通知,但属于设计提案,缺少实现验证和长期运营数据。
推荐收录。该 RFD 提供了完整的 Billing API 端点、计价粒度、组织/项目账单账户、发票、信用额度和第三方集成设计,并明确 v1 不追溯历史账单、不删除计费项等边界。适合云平台/基础设施开发者、API 设计者及多租户计费系统设计者参考,可迁移到 chargeback、预算告警和账单集成场景;风险是它属于设计提案,尚未展示实现与运营验证。
工程实践 Oxide Public RFDs
本文是 Oxide Rack 控制平面需求型 RFD,界定数据平面与控制平面边界,并列出开发者 API、运维 API、生命周期、远程支持和指标采集等功能。作者主张控制平面状态为权威状态并尽量同步传播到数据平面,提出可用性、持久性、强一致性、可扩展性和安全性等非功能要求。存储部分比较 FoundationDB/CockroachDB、PostgreSQL 复制与 Raft 加本地存储等方案,并强调逻辑复制价值。迁移部分区分计划内 live migration 与非计划迁移,讨论自动恢复的分裂脑、故障放大和资源耗尽风险。多机架控制平面被推迟,许多细节仍开放,故本文更像需求与设计取舍清单。
推荐收录。文中以明确的需求条目和设计取舍讨论了控制平面 API、权威状态、同步/异步传播、可用性与持久性目标、存储选型及自动迁移风险,证据密度高。适合云基础设施、分布式系统和控制平面架构读者作为需求清单与风险检查表;但它是需求型 RFD,很多实现细节与多机架方案仍 TBD,使用时需结合后续 RFD 与实现验证。
工程实践 Oxide Public RFDs
RFD 45 定义 Oxide 机架面向运维人员的系统级 API,提供跨项目/虚拟机的全局指标与硬件库存视图。指标 API 覆盖 CPU、内存、存储和网络的容量、利用率或收发计数,规定 60 秒采样且最长 240 秒后才可见,并支持按项目、服务器、机架等维度查询。库存 API 通过 Component、Firmware 等模型描述组件健康、错误、保修、固件历史和设置,用于盘点和告警。文中还提出 SQL 查询与自定义仪表盘,但后者推迟到 MVP 之后。整体是讨论阶段的 API 设计草案,查询语义和实现边界尚未完全确定。
推荐收录:该 RFD 给出了可落地的系统级 API 端点、OpenAPI 数据模型和指标采样语义,并系统梳理了运维人员关心的容量、利用率、库存、固件与健康问题。适合平台工程、基础设施、监控/可观测性和 API 设计读者参考,其按资源维度聚合与库存建模思路可迁移到类似管理平面。需注意它仍是讨论阶段草案,部分接口和实现边界未定,不能当作最终规范直接照搬。
工程实践 Oxide Public RFDs
RFD 0020 定义 Oxide 的 Host Bootstrap Software(HBS)目标:只覆盖主机处理器从复位后到移交宿主 OS 前的软件。其核心职责是加载 HOS 镜像、扩展信任并移交控制权。文档限定只能从预置 M.2 NVMe 或 SP UART 启动,拒绝任意介质和交互式启动,失败需经 SP 上报。实现上依赖 AMD PSP 初始化 DRAM 后唤醒 x86 核心,安全策略点类似 UEFI SEC,并强调功能尽量下沉到 HOS、用声明式描述替代常驻固件。目标包括开源可重分发、快速启动、有限 G/S 状态且不追求 PC 兼容;部分内容已被 RFD 241/215/216 取代。
推荐收录,因为它不是泛泛的固件介绍,而是给出 HBS 的职责边界、启动链、信任扩展、启动介质限制和非目标,可直接用于理解现代服务器从 PSP 到 HOS 的启动设计。对做操作系统、固件/引导、系统安全和基础设施架构的读者有较高迁移价值,尤其是功能下沉 HOS、声明式描述和最小化常驻固件的原则。需注意文档绑定 Oxide/AMD 平台且部分细节已被后续 RFD 取代,使用时应交叉核对。
工程实践 Oxide Public RFDs
本文是 Oxide 的 RFD 58,围绕机架交换机(rack switch)的需求与设计空间展开,系统梳理控制面、块存储与应用三类流量对交换机的功能要求。作者讨论双交换机冗余、Tofino 2 与 Tomahawk 3 的 ASIC 选型、外部 PCIe 连接、热插拔、带外管理与 NC-SI/专用管理网络等关键取舍,并以可证明固件完整性和无单点故障为目标。最终计划采用 Tofino 2 作为交换 ASIC,并选择专用管理网络而非 NC-SI,同时说明升级到 200G、QSFP28 光模块管理和多机架组网等扩展方向。该文档面向机架级基础设施设计,很多结论绑定 Oxide 的硬件形态与供应链约束,偏架构决策记录而非通用教程。
推荐收录:该 RFD 不是产品宣传,而是从需求分类、ASIC 选型、PCIe 热插拔到带外管理网络的一手架构决策记录,包含明确约束、备选方案与取舍理由。适合做机架级网络、数据中心硬件、系统可靠性或基础设施架构的读者参考,其冗余设计、固件 attestation、管理面与数据面隔离等思路可迁移到类似系统。风险是结论高度依赖 Oxide 的供应链和硬件形态,需结合自身平台重新评估。
工程实践 Oxide Public RFDs
该 RFD 讨论 Oxide 机架块存储设施的架构选择,目标是为 VM 提供弹性、安全且性能足够的虚拟块设备,并支持快照、镜像和备份等能力。作者将存储系统抽象为靠近 VM 的 North 与靠近 SSD 的 South,逐项界定数据冗余、修复重建、完整性校验、快照、限流、压缩、加密、分配与设备管理等职责。随后评估 Ceph、Lustre、GlusterFS、OpenZFS、DRBD、分布式 KV 等候选软件,并提出 Southern Volume Manager、Northern Mux、ZFS on ZFS、ZFS with Remote Allocation 四种候选架构。通过 AWS 模拟,Southern Volume Manager 性能约为本地 SSD 的 10%,且失败韧性不足;Northern Mux 则用模拟器验证失败与成功路径算法,早期结果较有希望。最终结论倾向 Northern Mux,并计划继续开发模拟器、AWS 测试台与压测工作负载;v1 优先交付时间、数据完整性和安全,性能与经济性并非首要目标。
推荐收录,因为这是一份真实基础设施架构决策记录:它明确比较四种块存储架构在冗余、修复、校验、快照、加密和分配等职责上的取舍,并用 AWS 模拟与失败场景测试淘汰 Southern Volume Manager。对从事块存储、分布式系统、虚拟化基础设施或可靠性设计的读者,North/South 分层、冗余数据路径、性能压测指标及 ZFS/Ceph 评估方法都有可迁移价值;但结论面向 Oxide 特定机架环境,需结合自身约束判断。
工程实践 Oxide Public RFDs
这份 Oxide RFD 讨论多机架部署的故障域与资源作用域。作者沿用云行业概念,提出从 server、rack、cell、AZ、region 到 fleet 的层级,并定义每层默认故障爆炸半径与共享资源边界。随后给出实例、存储、网络、镜像、项目和认证等资源的建议作用域及汇总表,例如实例归 AZ、存储卷归 Cell、虚拟网络和项目归 Region、认证归 Fleet。文中还讨论客户需自行构建真实独立故障域、跨 AZ/跨 Region 链路信任与加密、管理平面单一视图等开放问题。当前多为设计假设,尚未实现验证,且默认 v1 可能仅面向单机架,细节仍会随其他 RFD 演进。
推荐收录。该 RFD 直接给出从服务器到 fleet 的故障域层级和资源 coherence 汇总表,并系统权衡了多机架下的可用性、网络、存储与 API 作用域,属于可迁移的架构设计材料。适合云基础设施、分布式系统和控制平面设计者阅读,用于设计多 AZ/多 Region 的部署边界;但需注意其尚未落地验证,部分结论仍标注为开放问题。
工程实践 Oxide Public RFDs
该 RFD 定义 Oxide Rack 的用户网络 API,覆盖 VPC、子网、路由表、Internet Gateway、浮动/临时 IP、DNS、防火墙与 VPC Peering 等核心模型。文档用三层博客架构示例说明浮动 IP、负载均衡、子网路由、NAT 网关和数据库间的流量路径,并给出最长前缀匹配、自定义路由优先、防火墙优先级与状态化规则等关键行为。它还描述默认规则、IP 保留、DNS 命名方案、VPC 隔离/对等约束及 VNIC/DHCP 表现。内容偏重平台网络 API 与架构设计,含未来方向与开放问题,适合云网络和基础设施工程师参考,但并非通用实现教程,且部分 API 端点细节未完整展开。
推荐收录:该文档以真实产品 RFD 形式给出 VPC、路由、NAT、浮动 IP、DNS 和安全组/防火墙的完整设计模型与示例,包含可验证的规则优先级、默认行为和边界条件,而不是泛泛介绍。适合云网络、基础设施、API 设计工程师在规划多租户网络、隔离、对外暴露和排障规则时迁移参考;风险在于它绑定 Oxide 的特定实现,部分端点与未来方向仍在讨论中。
工程实践 Oxide Public RFDs
本文是 Oxide 计算机公司发布的 RFD 4,关于用户面向 API 的早期设计草图。文章系统阐述了云平台 API 的设计原则:采用 OpenAPI 规范生成多语言客户端与静态文档,追求极简、直观并优先满足 Terraform、Kubernetes 等上游集成需求。核心设计包括异步操作返回 operationId、用 Etags 做条件请求与并发控制、PUT 整体替换资源、暂不支持 PATCH、以及 Stripe 式版本迁移策略;同时覆盖认证(OAuth2、SSH 密钥、2FA)、资源模型(Projects、Instances、Tags)和身份元数据等。作者明确 GraphQL 不是优先项,并强调 API 需保持向后兼容。该文档注明具体 API 已过时,应参考后续 RFD 322 和实际 OpenAPI 描述,但其原则仍具参考价值。
推荐收录。该 RFD 并非产品发布稿,而是公开的 API 设计决策记录,完整呈现了云平台 API 在 OpenAPI 客户端生成、异步操作、Etags 并发控制、版本迁移、认证与资源建模上的取舍与理由。对从事云基础设施、API 平台、系统设计的读者有直接可迁移价值。需注意文档自述具体 schema 已过时,应结合后续 RFD 和实际 OpenAPI 描述阅读。
工程实践 vLLM Blog 2026/09/15
文章介绍 vLLM Speculators 训练库如何为 2.8T 参数的 Kimi K3 训练并部署 DSpark 草稿模型。DSpark 在 DFlash 并行块草稿基础上加入 Markov logit-bias head 和 confidence head,通过顺序校正与硬件感知调度缓解 suffix decay,并提升接受长度。作者在 GB300 NVL72 上验证,数学推理单流交互性从约 110 提升到约 435 tok/s/user,并发下输出吞吐最高约 3.5 倍。为突破单节点显存限制,文章实现 MooncakeHiddenStatesConnector,通过 Mooncake 在 vLLM 推理与 Speculators 训练间流式传输隐藏状态,并采用两节点推理、一节点训练的三节点组拓扑。主要边界是效果依赖大规模 GPU 集群、特定模型量化、负载类型和长上下文配置,性能数字来自特定评测环境。
推荐收录:文章给出了 DSpark 算法组件、Mooncake 隐藏状态传输、三节点训练/推理拓扑和实测吞吐/交互性数据,是可迁移的 LLM 推理优化与分布式训练工程案例。适合 vLLM 部署、推理加速、GPU 集群训练方向的工程师和研究者阅读。风险在于依赖 GB300 NVL72 与 Kimi K3 特定环境,部分收益需在自身负载上复测。
技术文章 Fzakaria Blog 2026/09/12
文章指出成为 Nix 二进制缓存只需实现三个 GET 请求:nix-cache-info、对应 32 位哈希的 narinfo 元数据、以及 narinfo 中 URL 指向的压缩归档,客户端并不关心底层传输介质。作者据此把 nix copy --to file:// 产出的缓存目录发布到 GitHub Pages/Releases 与 npm 等静态文件服务,并用 npm 完整演示了打包、签名、发布,再从 unpkg 作为 substituter 拉取闭包并用 bwrap 运行的流程。文章还解释签名只覆盖 StorePath、NarHash、NarSize、References,不含 URL/FileHash,因此归档可托管于任意主机并仍通过校验。文末列举 gachix、DNS TXT、pastebin、OCI、npm 等替代实现,并指出 npm 不支持增量发布、每次版本重复上传整个闭包这一主要局限。
推荐收录:文章把 Nix 二进制缓存抽象为三个 GET 请求,并用 GitHub、npm、git 对象库等真实实现佐证,签名覆盖范围与 npm 无法增量发布等边界说明清晰。适合使用 Nix 的开发者及包管理、内容寻址存储方向读者,其最小接口与签名校验思路可迁移到自建缓存、制品分发等场景。
工程实践 Cloudflare Blog 2026/09/10
Cloudflare 宣布 1.1.1.1 已支持验证后量子 DNSSEC 算法 ML-DSA-44,为应对未来量子威胁做准备。DNSSEC 迁移涉及权威服务器、注册局、注册商和递归解析器,必须提前验证。核心难点是 ML-DSA-44 签名达 2420 字节,远超 UDP/EDNS 常见上限,导致 DNSKEY 等响应膨胀并更多转向 TCP;新旧算法并存还可能形成降级路径。1.1.1.1 通过父区认证 DS 记录识别后量子能力,并采用更严格本地策略,要求至少一条有效 ML-DSA-44 路径,否则验证失败。该实现仅覆盖解析器验证侧,完整信任链仍依赖根区、权威服务器、注册商和注册局部署,目标为 2029 年。
推荐收录:文章不仅宣布支持,还给出了可验证的工程细节,包括 2420 字节签名对 UDP/EDNS 和 DNSKEY 响应的影响,以及通过 DS 信号与本地严格策略防止降级。适合 DNS 解析器、网络安全、基础设施和后量子迁移从业者阅读,可迁移到其他大型公钥算法升级中的传输限制、兼容性与降级防护设计。局限是当前仅完成解析器验证侧,尚未形成完整后量子信任链。
工程实践 vLLM Blog 2026/09/10
文章系统介绍了 vLLM 中的分层 KV 缓存卸载框架,核心设计是所有 KV 数据经由主机内存流转:卸载时先异步拷贝到主机并立即释放加速器内存,再由主机异步写入文件系统、对象存储或远端 P2P 节点;重载时从主机缓存或次级层按序加载,实现即时分配与整合 I/O。该框架通过规范化内存布局保证跨节点、跨并行配置直接共享 KV 数据,并透明支持全注意力、滑动窗口、MLA、Mamba 等混合模型。文章还描述了可扩展的次级层接口、KV 事件与可观测性,并给出性能测试:并发会话超过 128 时,存储层卸载仍能维持高命中率,吞吐量比无卸载方案翻倍以上,但存储延迟使其无法达到峰值吞吐。
推荐收录,因为文章来自 vLLM 官方博客,深入剖析了分层 KV 缓存卸载的主机中心设计、规范化内存布局、次级层抽象与 KV 事件机制,并给出可复现的性能基准,展示了从 HBM 到 CPU 再到存储的完整数据流与权衡。对从事 LLM 推理服务、缓存系统或高性能基础设施的工程师而言,其设计原则(即时分配、整合 I/O、跨节点共享)可直接迁移,具有长期参考价值;风险是部分实现细节绑定 vLLM。
工程实践 Cloudflare Blog 2026/09/08
文章介绍 Cloudflare 推出的 Automatic Key Exchange。由于 TLS 1.3 发起连接时必须在首个 ClientHello 中预测密钥协商算法,Cloudflare 长期以来对所有源站固定使用 X25519 初始 keyshare,猜错会触发 HelloRetryRequest 增加一个往返,也使得默认优先向后量子混合算法成为不可能。该功能复用 Automatic SSL/TLS 的扫描管线,在真实流量之外对各源站子域分别探测 X25519、P-256、P-384、P-521、X25519MLKEM768 的支持情况,按流量加权选择域级密钥协商偏好,并以分阶段灰度加自动回滚方式上线,且每天重扫。上线后,源站连接的 HelloRetryRequest 占比从约 52% 降至 3.7%,p90 握手延迟减少超过 150 ms,并让数十万域名无需手工配置即获得后量子源站连接。文章也说明该机制只作用于 Cloudflare 到源站的第二个 TLS 连接、要求源站支持 TLS 1.3,且强制后量子混合选项可能使不支持 X25519MLKEM768 的源站全部 TLS 1.3 连接失败。
推荐收录,因为它展示了在大规模真实网络中如何用主动扫描替代静态猜测,在兼容性、性能与后量子安全之间做出工程权衡。对 CDN、负载均衡、TLS 终端研发或安全基础设施负责人有直接参考价值;文中灰度上线、自动回滚和按流量加权决策的方式,也可迁移到其他协议级能力自动升级场景。需要注意,其结论基于 Cloudflare 到源站的网络条件,不能简单外推为通用客户端 TLS 行为。
工程实践 vLLM Blog 2026/09/07
该文介绍 vLLM TT Plugin,通过 vLLM 的树外平台插件机制将 Tenstorrent 加速器接入 LLM 推理服务,并保持 OpenAI 兼容 API 不变。文章重点分析 Tenstorrent mesh 架构与 GPU 栈的本质差异:跨芯片并行被编译进单个 traced program,因此没有 TP/PP rank,调度器须将每个步骤严格拆为 prefill-only 或 decode-only。为支持 Galaxy 上的单执行模型,作者采用单进程 lane 数据并行(TTLaneCoordinator 管理独立调度器与 KV cache),避免多进程 scatter/gather 开销;同时实现按批次回退的 on-device sampling 和基于异步 readback 的 decode overlap。文末列出当前限制,如暂不支持投机解码、LoRA、prompt logprobs 和多主机服务,这些多属运行时实现约束而非硬件极限。
推荐收录,因为它不是硬件发布稿,而是详细复盘了非 GPU 架构下 LLM 推理服务的设计取舍:插件边界、阶段化调度、单进程 lane DP、异步 readback 等均有明确动机、代价与验证。适合 LLM 推理基础设施、异构加速器和 vLLM 插件开发者阅读,其“将设备差异封装在插件内、不 fork 上游”的方法可直接迁移到其他新加速器适配场景。
工程实践 Meta Engineering 2026/09/03
ZGateway 是 Meta 为 ZippyDB 键值存储新增的无状态代理层,目的是改变超百万客户端直接连数据库产生的稠密连接网格及其可靠性风险。它把客户端与后端收敛成两跳,使连接扇入扇出规模由代理层可控,并通过跨客户端批处理和合并降低 RPC 开销、缓解热键冲撞。代理层同时承载租户级准入控制、按 CPU 自适应的负载均衡、带实时失效的读缓存,以及可配置的跨区域容灾;迁移采用分服务、分前缀的百分比开关实现可逆灰度。文章给出的实测边界是:ZGateway 承载约 40% ZippyDB 流量、平均约 6% 计算开销,压测中丢弃只作用于少数噪声租户,其他租户成功率保持 99.9%。最后作者展望了多进程隔离、控制面外置与 AI 辅助调优等方向。
本文来自 Meta 生产环境的系统级工程复盘并包含明确数据和机制,不只是架构简介。它展示了一个代理层如何同时解决连接管理、高可用、租户隔离与流量治理,适合关注分布式系统、基础架构和可靠性设计的读者。文中的扇入扇出建模、灰度迁移和自适应负载均衡思路可以迁移到其他大规模代理或网关场景,但需注意 Meta 内部基础设施的耦合与规模化条件。
工程实践 Lyft Engineering 2026/08/31
文章详细记录了Lyft的Streaming Compute团队将内部开发的Flink Kubernetes Operator迁移到开源Apache Flink Kubernetes Operator的全过程。作者首先分析了自研operator的三个核心痛点:维护负担重、功能缺失(如自动伸缩、自动回滚、内存自动调优)和依赖陈旧。随后介绍了迁移策略:通过部署API在边界处将旧的FlinkApplication CRD翻译为FlinkDeployment,实现增量迁移而不改变用户工作流。迁移后还解决了BlueGreen部署、自动伸缩受限于Flink版本、自动调优与Beam Python SDK内存冲突等问题,并引入Karpenter动态节点池和两档资源策略。最终平台节省了每年数百万美元的资源开支,并让团队从维护者转为开源生态使用者。文章也指出了迁移的复杂性,如状态机差异、内存模型不匹配和CRD转换等边界。
本文是一份真实的工程迁移案例,完整展示了从自研基础设施转向成熟开源方案的全过程,包括决策理由、增量迁移设计、问题修复和最终收益。适合负责流处理平台、Kubernetes基础设施或数据工程的工程师阅读,其边界翻译、两阶段策略和成本优化思路具有很强的可迁移性,同时文末也客观指出了迁移中的风险和代价。
工程实践 Dropbox Tech 2026/08/31
文章介绍Dropbox为应对200多个web surface的cookie合规挑战而自建的cookie审计系统。该系统基于Playwright模拟真实访客,在全新浏览器会话中对每页执行美国、欧盟及GPC三种测试:先记录初始cookie,再通过底层consent控件拒绝非必要cookie,reload后核对cookie是否符合偏好。作者强调将法律概念转化为机器可测规则,并把已批准cookie与例外清单放在源代码外,让Privacy团队可直接更新。为解决页面清单维护问题,团队又开发URL detector,从数十亿流量记录中过滤去重、分组相似页面并选取代表URL。最后总结,浏览器自动化本身最简单,真正工作在于定义正确行为、维护可靠清单、区分真问题与误报,以及建立跨团队复核流程。
推荐收录。文章以Dropbox真实工程实践为基础,展示了从隐私需求到可自动化验证规则的完整转化过程,包含三种用户场景、reload检查和URL发现机制等具体设计。适合从事隐私合规、Web自动化测试或大规模站点质量保障的工程团队参考;其关于把规则与代码分离、用行为而非配置验证的思路可直接迁移到类似场景。风险在于方案依赖自有consent基础设施,通用性有限,但核心方法论仍具参考价值。
工程实践 Cloudflare Blog 2026/08/27
文章讲述Cloudflare如何通过五项存储布局优化,将1.1.1.1 DNS缓存每条目的内存占用降低56%,在超过2500亿条缓存条目规模上节省约100TB内存。核心方法包括用Box替代Vec消除容量字段和堆预留空间、用区间偏移替代多个列表、对与查询域名相同的记录省略owner字段、将大枚举变体装箱以避免对齐填充浪费,以及将记录以原始字节加长度前缀连续存储。文章用自定义分配器基准测算了内存和性能,并在生产环境逐步验证,最终插入吞吐提升43%、查询延迟下降19%。边界在于这些优化依赖特定访问模式和数据分布,如大多数记录owner与查询域名一致、NAPTR等大类型罕见,且需要权衡解析成本和随机访问能力。
推荐收录。文章展示了从内存布局分析、基准验证到生产逐步灰度落地的完整优化流程,所有结论都有数据支撑,并明确说明取舍和适用边界。适合从事高并发缓存、DNS服务、存储密集型系统或Rust性能优化的工程师,'按数据分布定制数据结构'的思路可迁移到其他大规模系统。
技术文章 Kubernetes Blog 2026/08/26
本文是 Kubernetes 官方发布的 v1.37(Garhwal)版本说明,概述了该版本的 67 项增强:16 项升至 Stable、23 项升至 Beta、27 项进入 Alpha、1 项弃用。重点介绍了多项关键特性,包括稳定后的 ResilientWatchCacheInitialization 和 KYAML、默认启用的 HPA 缩容到零、manifest-based 准入控制配置、Pod 级 checkpoint/restore Alpha 支持,以及 DRA 系列(设备状态、扩展资源、污点容忍、NUMA 属性)和 gang scheduling 等调度能力。文章还说明了 etcd RangeStream、并发 watch 解码、存储版本迁移、PVC 未使用时间跟踪等改进,并给出对应 KEP 编号和负责 SIG。作为官方发布说明,它信息密度高、可追溯性强,但未深入实现细节与验证数据,更适合作为版本特性的索引和升级参考。
推荐收录,因为这是官方第一手版本发布说明,每个特性都标注了 KEP 编号和负责 SIG,信息准确且可长期追溯,适合 Kubernetes 平台工程师、SRE 和调度相关研发人员了解功能演进与升级风险。虽然内容偏重特性罗列而非深度解析,但作为版本史和功能索引具有长期参考价值,可迁移价值在于帮助读者快速定位感兴趣特性的官方来源并进一步阅读 KEP。
工程实践 Cloudflare Blog 2026/08/24
文章详细记录了 Cloudflare 博客作为 Customer Zero 迁移到自研 CMS EmDash 的全过程。团队先用 k6 进行 Ramp、Breakpoint、Burst 三类性能测试,验证平台可用性与扩展性,最终确定在 Cloudflare Worker 上运行 EmDash,并采用 Workers Cache、基于 KV 的 EmDash object cache 以及 Hyperdrive 连接 PlanetScale 的分层缓存架构,静态文件缓存命中率达 99.5%,请求缓存命中率 70%。迁移后 p95 延迟显著下降且曲线平稳,可稳定承载 850 RPS,并成功抵御 28,000 RPS 的 DDoS 攻击。前端同步重构为 Kumo 设计系统,新增暗黑模式、改进订阅表单与导航。发布采用代理 Worker 配合版本 cookie 灰度,从 1% 逐步提升至 100% 流量,实现零宕机切换。文章还介绍了为博客新增 MCP 服务器供 Agent 使用,并指出编辑端仍存在少量体验问题。整个迁移依赖于 Cloudflare 生态,但性能验证、缓存分层和渐进式发布方法具有普遍参考价值。
推荐收录,因为这是一篇典型的工程迁移复盘,包含真实流量数据、性能测试场景、缓存架构设计和灰度发布策略,证据具体且可复用。适合负责内容平台、边缘计算架构或高流量网站迁移的工程师阅读;其分层缓存思路和低风险发布方法可迁移到同类系统。
工程实践 Meta Engineering 2026/08/24
Meta发布自研RDMA传输协议MetaRoCE,面向AI规模GPU集群,运行于普通以太网,并计划通过OCP开放规范、参考实现和一致性测试套件。其核心是将网络智能从交换机移向NIC,支持原生乱序投递、逐路径喷发、免PFC的丢失容忍传输,以及发送端AIMD与接收端速率提示的拥塞控制。在64节点AMD GPU集群测试中,相比RoCEv2,MetaRoCE在all-reduce和all-to-all上吞吐更高、流完成时间更低,1%丢包时保持约86%吞吐,多平面扩展近线性,平面故障可自动恢复。现有RDMA Verbs应用无需修改即可使用,文章也承认在机内、跨数据中心和存储/KV缓存等场景仍需后续优化。
推荐收录。文章来自Meta工程博客,详细阐述了MetaRoCE的动机、设计权衡和实测数据,包括与RoCEv2的对比、损失下的优雅降级和多平面弹性,证据链完整。适合网络协议开发者、AI基础设施架构师和分布式系统工程师参考,其端点智能、逐路径拥塞控制等思路可迁移到其他高性能网络设计。需要注意文章同时是产品发布稿,基准规模和场景有限,实际部署效果需独立验证。
工程实践 Netflix TechBlog 2026/08/21
文章以 Netflix 30,000 个 Flink 作业为背景,对比自研与 Apache Flink 社区版两套自动扩缩容方案。自研方案基于外部容器级指标,按整个 TaskManager 数量伸缩,适合简单管道,但无法处理多算子有状态 DAG,且指标盲区导致故障难发现。OSS 方案从作业内部估算每个算子的真实处理速率,逐顶点决策并行度,并支持按作业调参。Netflix 将其改造为独立服务,通过 Temporal 为每个作业运行工作流,并解决高并行度指标采集、forward 连接保序、sink 容量限制等问题,同时加入区域故障转移与磁盘容量安全检查。采用 OSS 后某团队年化 Flink 成本降低约 58%,节省约 110 万美元,但为避免抖动将目标利用率设为 0.45。文章还指出状态恢复是剩余主要瓶颈,并总结了指标选择、默认值配置、先采用再扩展等通用经验。
推荐收录,因为本文展示了从自研到开源采用的完整工程决策过程,包含真实数据、架构选型、性能局限和成本收益,而不仅是泛泛的经验总结。适合负责 Flink、流处理平台或自研基础设施的读者,其指标设计、安全检查和迁移策略可迁移到其他高并发有状态系统;风险在于部分改动基于 Netflix 自维护 Flink 分支,条件不同时需评估适用性。
技术文章 知乎 - Clouder 2026/08/20
本文围绕 Agent 的自我进化与长期存在方式展开讨论,提出 Agent 不必永远住在同一个 Harness 里,而是可以启动继任者、转移未完成工作与外部关系后退出。作者从 DeepSeek Harness 的可替换 Loop 出发,对比原地热更新与代际更替两种路径,并引用 SICA、DGM、Genesis 等研究说明这种演化方式的可行性。文章进一步论证,当 Agent 可被替换时,连续性必须存在于外部世界:消息、仓库、权限、计算资源等应成为独立基础设施,而非 Agent 的附属工具。作者由此提出由多个局部主权 Domain 构成的 Agent 生态,反对中心化统一平台,强调边界、身份、间歇性唤醒、注意力治理和可观测性等关键问题。全文属于前瞻性系统设计思考,结合现有研究与实践零件,但尚未形成完整实现。
推荐收录。文章不是浅层产品讨论,而是对 Agent 生命周期、身份连续性、基础设施边界和分布式社会形态的系统性思考,提供了从编程到生态的完整推理链。适合从事 Agent 框架、AI 基础设施和分布式系统设计的读者,其中关于继任者模式、Domain 主权和注意力治理的观点具有长期参考价值,可迁移到未来 Agent 平台与协作协议的设计中。
工程实践 TiDB 社区博客 - 实践案例 2026/08/20
文章基于TiDB团队近两年服务AI Agent应用(如Kimi、Dify)的实践,总结了Agent时代基础设施的演化路径与核心设计原则。作者唐刘指出,Agent产品规模化首先要解决“计算资源空闲成本”和“执行环境消失后任务恢复”两大难题,分别通过虚拟数据库(scale-to-zero、秒级就绪)和持久文件系统(Sandbox与Workspace分离)来应对。随着Agent任务变长,跨session记忆、文件与Git工作区持久化、可审计的权限与数据可信性成为新的需求,推动TiDB形成覆盖数据、记忆、文件和Lake分析层的Agent Stack。文章还提出了三个可迁移判断:先算空闲成本,从第一天拆分执行与状态,减少Agent跨系统边界。整体以真实客户案例为支撑,但内容带有TiDB产品推广成分,且结论主要基于个别头部客户实践,适用范围需读者结合实际验证。
本文以Kimi、Dify等真实Agent产品的业务需求为线索,详细拆解了Agent基础设施从数据库自动创建到记忆、文件系统、可靠分析层的演化过程,给出了具体的成本模型和架构取舍(如scale-to-zero、执行与状态分离)。适合正在构建Agent产品或关心AI基础设施底座的技术决策者阅读,其中的“先算空闲成本”“让Agent少跨系统边界”等判断可直接迁移到类似场景。不过文章源自TiDB商业推广,需注意案例的代表性与产品倾向。
工程实践 Dropbox Tech 2026/08/18
这篇文章介绍了Dropbox在面对AI带来的基础设施需求增长时,如何通过系统级方法提升现有基础设施效率。文章涵盖容量规划、主动车队优化、深度睡眠(Deep Sleep)降低空闲功耗、跨车队负载均衡、通过叠瓦式磁记录等技术提高存储密度、硬件生命周期延长,以及重新设计机架电源架构以支持第七代服务器。关键数据包括自2020年以来存储基础设施的瓦特/拍字节改善超过50%。文章强调效率是持续的工程问题,需要在电力、冷却、空间和硬件可用性等约束下进行跨层权衡。边界在于这是公司实践分享,部分方案依赖Dropbox的混合数据中心模式和特定硬件环境。
推荐收录。文章来自Dropbox官方工程博客,提供了真实的基础设施效率实践细节,包括Deep Sleep机制、瓦特/拍字节指标、硬件生命周期决策和机架电源再设计的完整案例,而非泛泛而谈。适合数据中心规划、容量管理、存储系统和基础设施成本优化相关工程师阅读,其中的系统级权衡思路和验证方法具有很强的可迁移性。需要注意的是,文章带有公司宣传色彩,但技术数据和案例足以支撑长期参考。
工程实践 Cloudflare Blog 2026/08/18
本文介绍 Cloudflare 对 RFC 9234(BGP Role 与 Only to Customer 属性)在互联网上部署情况的测量。作者先解释 BGP 路由泄漏的成因、BGP Role 的五种角色及合法配对、OTC 属性的设置与检查规则,然后描述两套测量方法:基于 RouteViews/RIPE RIS 公共数据的统计,以及利用 Cloudflare 自身全球对等连接的 BMP 数据直接观测对等 AS 是否发送 OTC。结果显示 67 个 AS 已启用 OTC,但公共数据中的识别存在歧义;一项故意携带 OTC=13335 的广播实验进一步发现,部分 Tier-1 网络(如 AS3257、AS1299)会剥离 OTC,造成大量路径丢失该属性,经沟通后 Arelion 已开始保留 OTC。最后给出各 BGP 实现的支持状态和配置建议。文章局限在于测量方法依赖可见路径与公共收集器,可能漏掉小型 AS,且无法完全区分 OTC 由哪一端设置。
推荐收录。文章提供了对 RFC 9234 实际部署的原创测量方法和结果,包括如何用 BMP 和公共 BGP 数据区分 OTC 设置者,以及通过实验识别剥离 OTC 的 Tier-1 网络,这些对网络运维和安全研究者具有直接参考价值。其方法可迁移到其他 BGP 属性或协议特性的大规模部署观察中,同时文中的实验设计和与运营商的沟通经验也值得借鉴。风险在于测量视角以 Cloudflare 网络为主,结论的普遍性受限于可见路径。
工程实践 Fzakaria Blog 2026/08/14
文章介绍 nixpkgs-multiverse 项目的 fast mode,它让用户无需下载和求值完整 Nixpkgs 树即可直接获取任意历史版本的 store path。核心方法是利用 Nix 字符串的 context 机制,通过 builtins.appendContext 手动附加 path 上下文,并使用 mkFakeDerivation 技巧构造不依赖 --impure 的假派生,使 Nix CLI 仅从缓存便能实例化路径。作者解释了索引的构造方式:将 nixos-unstable 每期发布的 store-paths.xz 清单与 multiverse 的 (attribute, version) 索引 join 起来,得到每个版本的精确 store path。文章还讨论了边界,如 fake derivation 没有 drvPath 无法构建,需要 .out 后缀或通过 .eval 获取真实派生来支持 override 和 nix develop,且方案依赖 cache.nixos.org 长期保留所有历史路径(普查显示 271,187 个路径仍存活)。最后展示了配套的 mvs 命令行工具,可查询大小、反向依赖和识别 store path。
本文深入揭示了 Nix 求值与缓存的内部机制,提供了跳过求值直接引用 store path 的可行方案,并清楚说明了其局限。对于 Nix 重度用户和包管理工具开发者,文中的 context 操纵技巧与索引设计具有直接借鉴价值,适合作为 Nix 生态进阶参考收录。
工程实践 ClickHouse Engineering 2026/08/14
本文是 ClickHouse 工程博客,宣布在官方 Terraform provider(ClickHouse/clickhouse,v3.25 起 beta)中新增 ClickStack 资源支持,可把仪表盘、告警、数据源、已保存搜索、连接与 Webhook 纳入版本控制和代码评审。核心工程取舍是:不新建独立 provider,而是作为独立服务模块并入现有 provider,以复用发布、测试、文档与鉴权路径;同时为支撑代码生成和校验,ClickStack API 改用命名类型、统一整数字段并输出结构化错误。鉴权区分 Cloud(组织 ID、Cloud API Key、服务 ID)与自托管(endpoint、个人 API Key、team)。文中给出创建仪表盘、plan 阶段调用校验 API、terraform import 及批量导入既有资源的示例,并说明风险边界:功能仍为 beta,UI 侧编辑不会被识别为漂移,可能被后续 apply 覆盖。
推荐收录,因为它不仅介绍功能,还交代了 provider 合并而非重发、API 契约调整(命名类型、结构化错误)和 plan 阶段校验等具体工程决策,并附可执行的 Terraform 配置、import 与批量导入流程。适合用 IaC 管理可观测性配置的平台/SRE 读者借鉴,可迁移价值是把仪表盘与告警当作代码治理;主要风险是内容偏厂商发布、功能处于 beta,读者需结合官方文档确认行为变化。
工程实践 Cloudflare Blog 2026/08/14
文章介绍了 Cloudflare 如何识别并保护基于 Model Context Protocol (MCP) 的 AI 代理流量。作者首先剖析了 MCP 工具调用的链路,指出请求中的主机名、路径、MCP-Protocol-Version 头、JSON-RPC 方法及参数等可作为识别信号。随后对比了客户端钩子、网络安全网关和 MCP 服务器三个控制点的优劣,强调网络层覆盖最广但依赖 TLS 解密,服务器层控制最彻底但只能保护已实现的服务器。文章详细说明了 Cloudflare Gateway 如何通过检测 MCP-Protocol-Version 头来分类流量,新增 experimental.is_mcp 选择器和 MCP 流量仪表盘,并利用 MCP Portal 和 Traffic Source 选择器实现 Portal-only 访问,区分影子 MCP 与 Portal 绕过。最后讨论了预注册 OAuth 客户端支持和私有 MCP 服务器接入的进展,以及 Agents SDK 对新无状态协议的双路径兼容。文章也明确指出这些控制对本地 stdio、未解密流量和不合规客户端存在盲区。
推荐收录,因为本文基于 Cloudflare 真实网络流量和产品实践,系统性地分析了 MCP 安全控制的三种位置及其取舍,并给出了可操作的检测规则与架构流程。对需要治理 AI Agent 流量、设计 MCP 安全策略或构建类似网关能力的读者,文中关于协议信号识别、影子 MCP 与 Portal 绕过区分、以及从发现到治理的路径设计具有直接可迁移价值。
工程实践 Cloudflare Blog 2026/08/13
文章通过Cloudflare Radar的HTTP请求量数据,分析了2025年8月12日欧洲日全食期间各国互联网流量的变化。作者用前三个周三同一时段的请求量中位数作为基线,以五分钟为粒度计算流量偏离程度,并利用太阳和月球的几何位置计算各地区的最大遮挡比例和时刻。结果显示,流量下降的时间与最大遮挡时刻几乎精确吻合,处于全食带或深偏食地区的流量比基线下降约15%至30%,而浅食地区几乎不变;冰岛、西班牙和葡萄牙降幅最大。文章指出,流量降低并非网络故障,而是人们停止上网观看日食,反映物理事件对线上行为的直接影响。分析依赖Cloudflare网络覆盖,结论适用于该事件规模下的趋势观察,但个体国家的局部变量(如人口密度、云量)会造成散点偏差。
推荐收录。文章展示了一套可复用的互联网流量事件分析方法:从基线选择、遮挡率几何计算到时间对齐和趋势验证,而非简单的新闻转述。对从事网络数据分析、CDN运营或行为量化的读者有直接迁移价值,其数据清洗和基线对比思路也可用于其他大型事件的影响测量。主要局限是结论依赖Cloudflare单源数据,但作为方法参考仍具长期价值。
工程实践 LinkedIn Engineering - Architecture
文章复盘 LinkedIn 重建消息平台时的存量数据迁移过程。旧系统单体且数据非规范化,共享内容与个人元数据冗余存储;新系统改为规范化微服务,将共享消息与个人元数据分离。迁移采用三阶段方案:先双写实时复制新写入,再通过确定性 UUID v5 生成新旧 ID 映射,最后对 17 年快照做 Hadoop ETL、变换和批量上传。文章重点介绍了阴影验证机制、基于 If-Unmodified-Since 避免覆盖在线更新,以及表索引数量影响上传吞吐等经验。整体展示了大规模在线数据迁移中可迁移的架构权衡与实施细节。
推荐收录:文章提供了 LinkedIn 超大规模消息系统数据迁移的完整工程案例,包含三阶段方案、双写一致性、离线变换与阴影验证等具体实践。对负责数据库迁移、分布式一致性和后端架构的读者具有直接参考价值,尤其展示了复杂在线系统零停机迁移的可操作方法。
工程实践 LinkedIn Engineering - Architecture
文章来自 LinkedIn Engineering,系统介绍了利用嵌入检索(EBR)技术提升求职匹配的工程实践。作者首先解释了嵌入和 EBR 的基本概念,及其在搜索和推荐系统中的早期检索阶段作用。随后详细描述了 LinkedIn 为此构建的基础设施组件:支持复合多任务学习的模型训练框架、名为 Feature Cloud 的离线和流式嵌入生成平台、增强的托管搜索系统(包含自动嵌入版本管理和 IVFPQ 等近似最近邻算法),以及基于 Ray Serve 的 Model Cloud 推理图编排。在 Job Search 应用中,团队采用两塔模型和 softmax 损失训练请求与职位嵌入,并通过 Zelda 框架进行 IVFPQ 索引和在线近似搜索。上线后观测到申请数、点击率和成功会话等参与度指标显著提升,同时简化了原有文本检索并降低了 p95 延迟。文章重点在工程架构和实际落地经验,边界是未深入模型理论细节,更多展示系统设计和版本管理方案。
推荐收录,因为这是一篇来自一线大厂的完整工程案例,详细展示了在规模化搜索场景中引入 EBR 的架构设计、模型训练、版本管理和在线服务方案,并给出了明确的业务收益。对搜索引擎、推荐系统、机器学习平台和基础设施团队具有直接参考价值,尤其是嵌入版本一致性管理、流式嵌入生成和复合模型推理编排等实践可以迁移到类似系统中。
工程实践 LinkedIn Engineering - Architecture
文章记录了 LinkedIn 的 “谁看过你的个人资料” 功能从 Lambda 架构迁移到 Lambda-less 架构的工程实践。原架构以近线 Kafka 处理为速度层、Hadoop MapReduce 为批处理层、Pinot 为服务层,但双管道导致业务逻辑重复、维护成本高和 bug 风险增加。迁移后,团队采用 Samza 作业统一处理 ProfileViewEvent 和 NavigationEvent,移除与流处理重叠的离线逻辑,仅保留一个离线作业将实时数据复制到离线表以优化查询性能和数据保留。文章重点讨论了流式处理中的消息可重处理性与去重策略,包括分场景修复错误、Kafka offset 回退,以及在服务层和通知层去重。最终,该迁移使开发速度翻倍、维护开销减半,并改善了用户体验,为面临类似架构冗余的团队提供了可参考的经验。
推荐收录,因为这是一篇真实的架构演进案例,详细展示了 Lambda 架构的实际痛点、简化决策过程以及流式处理中非幂等问题的应对方法。文中对 Samza、Pinot 的选型理由和去重策略有具体描述,对从事数据管道设计、流/批处理和分布式系统演进的后端工程师极具参考价值。需要注意的是,方案的选择与业务实时性要求紧密相关,直接照搬需评估自身场景。
工程实践 LinkedIn Engineering - Architecture
LinkedIn 工程团队开发 Costwiz 以控制 Azure 云成本。系统摄取 Azure Advisor 的优化建议,通过状态机管理工单生命周期,并利用可插拔框架和工作流实现自动化。数据平台基于 ETL 架构,采用 Azure Data Factory、Databricks 和多种存储,支持资源所有权识别与清理沙箱资源。关键设计包括逐级升级机制、所有权识别模块和基于 TTL 的沙箱清理。实践表明,约 36% 的建议资源被回收,沙箱订阅成本占比从 45% 降至 5%。文章还指出,真正的挑战在于推动工程师采取行动而非仅生成建议,并总结了权限识别和数据水印等方案取舍。
推荐收录。文章详细还原了 LinkedIn 在 Azure 上构建 Costwiz 的全过程,包括工作流状态机、可插拔框架、数据平台、资源所有权识别和升级机制,并给出了成本节省的具体数据(沙箱成本从 45% 降至 5%)。其适用于云基础设施团队、SRE 和成本管理人员,其中关于责任落实、自动化清理和渐进式升级的设计具有跨云平台的可迁移价值。
工程实践 LinkedIn Engineering - Architecture
本文介绍LinkedIn如何通过内部Messenger SDK统一旗舰、Recruiter、Sales Navigator等多个应用的消息体验。文章回顾了后端消息平台的建立,指出前端开发因缺少共享UI和数据层而困难。作者详细说明了SDK架构:API库(messenger-api)提供GraphQL抽象、错误检查和回调接口定制;客户端库(messenger-data)采用事件驱动数据层,包含Store、Mailbox API、Reactive Adapter、Realtime Manager和API连接层,实现本地数据同步和响应式更新。文中以InCareers为例,展示SDK节省40+开发周、代码量降至1/8的收益。最后总结迁移成果并规划可复用UI组件。文章主要呈现LinkedIn内部平台化实践,未深入底层实现或失败教训,但提供了可借鉴的架构思路。
推荐收录,因为文章不是泛泛介绍,而是给出了完整的SDK架构设计、数据同步机制、回调扩展点以及真实项目收益数据。适合架构师、跨平台开发者和平台工程团队参考,其‘薄层应用+平台库’的模式可迁移到多应用共享核心能力的场景,对大型组织统一前端能力和提升开发效率有长期借鉴价值。
工程实践 LinkedIn Engineering - Architecture
本文复盘了 LinkedIn 将服务器、虚拟机和容器从 CentOS 7 迁移到 Azure Linux 的完整历程,包括动机、规划、实施、挑战和效果。迁移核心动因是 CentOS 7 生命周期结束和业务对现代安全、性能及 AI 功能的需求,同时考虑了成本、合规和供应商支持。实施过程涵盖基础设施准备、容器镜像构建、开发者 VM 改造、配置管理适配和自动化迁移,重点解决了 XFS 文件系统调优、硬件驱动签名和开发者远程环境等难题。迁移后引导时间从1小时缩短至10-30分钟,安全性、部署速度和系统可靠性显著提升,文章还讨论了监控体系升级和反馈闭环。该案例适用于大型企业基础设施现代化场景,文中经验和方法具有可迁移性。
本文提供了大型互联网公司操作系统迁移的第一手工程实践,详细描述了从需求评估、试点到全量迁移的完整路径,包含具体技术挑战和解决方案(如容器镜像兼容、驱动签名、开发者环境),对于负责基础设施升级、云计算平台迁移或 DevOps 实践的工程师极具参考价值。适合企业架构师、SRE、系统管理员和云平台团队借鉴其迁移策略和自动化方法。
工程实践 LinkedIn Engineering - Architecture
文章介绍LinkedIn数据基础设施控制平面Nuage的演进,从1.0单体自服务、2.0去中心化SDK到3.0以Nuage Resource Manager为中心的架构。3.0将横向控制平面能力与资源提供方业务逻辑解耦,通过API与数据模型契约、RBAC、搜索缓存、审计、异步工作流等实现统一治理。文中详述客户端交互、请求路由、数据治理与MCE联动、监控告警以及横向服务。并给出性能提升(如Espresso读P90从10秒降至3秒以下)、安全改善和MySQL接入成本降低70%等量化结果。适用边界是LinkedIn内部多平台环境,偏重架构与运营模式,未涉及具体代码实现。
推荐收录,因为文章不是概念介绍,而是完整呈现从单体到去中心化再到集中式资源管理器的工程演进,包含明确的架构约束、安全与性能权衡,以及70%接入成本降低、P90延迟改善等可验证数据。适合平台工程、数据基础设施和SRE团队参考,其资源提供者契约、RBAC、审计与异步工作流设计可迁移到类似控制平面系统,主要风险是LinkedIn内部细节较多,需结合自身规模判断。
工程实践 LinkedIn Engineering - Scalability
本文介绍 LinkedIn 自研图数据库 LIquid 如何支撑其经济图谱(2700 亿条边、200 万 QPS)的实时访问。文章以 People You May Know 功能为例,说明从遗留系统 GAIA 迁移到 LIquid 的架构:用声明式 Datalog 查询做图遍历,再由 Venice 和 Pinot 提供特征与排序。迁移后 QPS 从 120 提升到 18000,延迟降到平均 50ms 以下,CPU 降低 3 倍以上,并支持更细粒度、可解释的推荐和快速 A/B 实验。作者也指出当前同质化架构在数据规模扩大时的低效问题,以及未来分层存储与工作负载优化的方向。
文章以真实生产系统为例,提供了从离线批量到实时图查询的完整迁移路径和可量化性能结果,证据具体、架构清晰。适合关注大规模图数据库、实时推荐或高并发基础设施的工程师借鉴,其关于声明式查询、索引优化和成本控制的方法具有跨团队可迁移价值。
工程实践 LinkedIn Engineering - Scalability
本文介绍 LinkedIn 收入归因报告系统如何用加法对称同态加密(ASHE)替代逐行 AES 解密。原系统每次查询都从 Pinot 拉取全部相关记录、解密敏感列后在明文上聚合,导致网络和 CPU 开销大且暴露明文。新方案把 ASHE 加密列和标识符一起存入 Pinot,将聚合下推到存储层,利用 Pinot 内建聚合与 ArrayAgg 拼接标识符,API 服务器仅对每列聚合结果做一次解密。对于按敏感状态分组的查询,还结合确定性加密防止频率攻击。实际效果显示网络响应从 2MB 降至约 5KB(降幅 99%),CPU 尖峰缓解,端到端时延基本持平。方案适用于数据所有者与查询方为同一实体的场景,依赖支持聚合下推的 OLAP 存储。
推荐收录。文章提供了真实系统中同态加密落地的完整工程案例,包含原方案瓶颈、ASHE 原理、Pinot 集成细节、扩展方案和量化性能对比,证据充分。对需要隐私保护分析、加密数据聚合或优化 OLAP 查询的工程师有直接迁移价值,尤其展示了如何将密码学原语与存储层能力结合。
工程实践 LinkedIn Engineering - Scalability
文章介绍 LinkedIn 为替代 Kafka 而自研的可扩展日志存储系统 Northguard,以及其上的虚拟化发布订阅层 Xinfra。Northguard 通过分段、范围、主题的数据模型,基于 Raft 的动态分片元数据状态机(DS-RSM)和 SWIM 去中心化成员协议实现高可扩展性与可运维性。核心设计是以段为复制单元的日志条带化,自然均衡负载、避免资源倾斜,并论证范围模型相比固定分区能减少流处理中的 shuffle。评测对比显示 Northguard 在元数据可扩展性、集群数量、负载均衡、自愈、一致性和持久性上均优于 Kafka,且通过 Xinfra 虚拟化和双写实现了透明迁移。文章主要面向大规模日志存储和分布式系统工程,技术细节以高层设计为主,缺少底层实现参数和故障恢复的深入展开。
本文来自 LinkedIn 真实生产环境,规模达 32T 记录/天、17PB/天,详细展示了从 Kafka 迁移到自研系统的完整工程决策与权衡,包括数据模型、复制单元选择、元数据分片和虚拟化迁移。适合分布式存储、基础设施和架构师参考,尤其关注日志存储、自动负载均衡和大规模系统演进。其可迁移价值在于以细粒度分段替代整日志复制来改善可运维性和可用性的思路,但读者需注意文章未公开具体实现代码和完整故障处理细节。
工程实践 LinkedIn Engineering - Architecture
文章介绍了 LinkedIn 开源的新组件 iris-message-processor,用于替换原有 Iris 事件管理系统中单 leader 的 Python 子进程 iris-sender。旧架构串行处理消息、依赖 Galera 强一致数据库作为消息队列,在高负载下出现延迟激增和复制死锁。新服务用 Go 编写,采用分布式 bucket 动态分配,节点可水平扩展,数据库不再充当队列。压测显示高负载下性能提升约 86 倍,6000 条突发消息处理时间从近 30 分钟降至 10 秒内,节点失效后 30 秒内自动重平衡。该组件已生产运行一年无中断,并与现有 Iris-api 保持兼容,支持渐进式切换。
推荐收录,因为文章提供了从单点瓶颈到分布式架构的完整演进案例,包含明确的问题定位、设计取舍、压测数据和生产验证。对负责高吞吐消息处理、事件驱动系统或 on-call 基础设施的工程师有直接参考价值,特别是水平扩展、去数据库队列和渐进式上线策略可迁移到类似场景。
工程实践 LinkedIn Engineering - Scalability
文章介绍了 LinkedIn 为应对超大规模基础设施中“谁拥有什么资产”问题而设计的 Crews 所有权模型。作者首先分析了规模庞大、组织演进、人员流动、技术依赖复杂和多组织对齐等挑战,然后提出以稳定的团队 Crew 作为资产所有者的核心思路。该模型要求每个 Crew 有明确的责任经理、团队化所有权和唯一资产归属,并支持资产分组、Conventional/Virtual Crew 以及单树层级来保障升级路径。文中还讨论了推动落地的技术集成、组织对齐、数据质量策略和强制政策,并给出已覆盖 15 万关键资产、减少数万运维工单等效果。该方案更适合大型平台型组织,需要较强领导层推动和持续数据治理。
推荐收录,因为这是一线工程组织在超大规模场景下解决资产所有权问题的完整实践案例,提供了清晰的模型设计、实施约束和量化收益,而非泛泛的管理理念。适合平台工程负责人、基础设施团队和大型组织架构师借鉴;其将资产归属从个人转向稳定团队、用单树层级兜底升级的思路具有可迁移价值,但落地时需结合组织授权和数据治理能力。
工程实践 LinkedIn Engineering - Scalability
文章复盘了LinkedIn My Network页面加载缓慢和内容跳动的问题,旧架构中移动端与Web端并行请求多个API,独立渲染不同推荐区块,导致首屏等待近两秒并出现UI闪烁。作者团队将多端点统一为单一API并引入分页,把无限滚动的PYMK拆成多个小cohort,预构建后放入缓存,后续按页获取;同时采用渲染模型,由API定义通用banner和内容容器,减少客户端业务逻辑。优化后P90延迟下降43%,成本节省七位数,Web端LCP和FID显著改善,会员参与度提升。文章未深入讨论缓存一致性、失败处理和更复杂个性化场景,但提供了可工程迁移的架构权衡。
推荐收录,因为文章给出了完整的性能优化工程案例:从多端点并行到统一API、分页和预构建缓存,再通过渲染模型简化客户端,并用量化指标验证收益。适合后端、前端及系统设计工程师参考,其中缓存设计、API收敛和渲染模型解耦的思路可直接迁移到类似推荐流或内容聚合页面的优化中。
工程实践 LinkedIn Engineering - Scalability
文章介绍了 LinkedIn 用 Rust 构建的通用检索引擎 FishDB,替换了运行近十年的 Java 系统 FollowFeed。文章首先分析了旧系统的局限:Java 对象内存开销大、GC 导致高尾延迟、数据模型僵化且业务逻辑耦合,限制了推荐系统的扩展和迭代。随后解释了选择 Rust 的原因,并通过对比实验展示 Rust 在内存效率上的显著优势。FishDB 采用 scatter-gather 架构和 lambda 架构,提供了灵活的命令式查询语言和多种索引结构,包括倒排索引、前向索引、引用索引和基于 RocksDB 的属性存储,以支持图状数据模型和高效过滤排序。迁移采用分层渐进方式,通过 JNI 桥接保持 API 不变,实现了零中断切换,最终取得 2 倍效率、减少 50% 硬件、p99 延迟 40ms 的成果,并将实验周期从数周缩短到数天。文章也指出当前查询语言仍为命令式,未来计划引入声明式语言和向量搜索。
本文是一份高度完整的工程案例,从问题诊断、技术选型、系统架构、索引设计到灰度迁移提供了详实细节和量化结果,展示了如何用内存安全的高性能语言重构大规模检索基础设施。适合负责推荐系统、搜索引擎、分布式存储或性能优化的工程师阅读,可迁移的经验包括内存数据结构设计、Rust 在服务端的应用模式、分层迁移策略以及如何平衡灵活性与性能。
工程实践 LinkedIn Engineering - Scalability
本文复盘了LinkedIn职位摄取系统的设计,该系统每日处理数百万职位、超20TB原始数据。文章先梳理异构源、传输协议、安全、数据新鲜度等挑战,再介绍模块化事件驱动流水线和Job Intake、Job Processing Pipeline两大阶段。重点阐述Job Pull的orchestrator与专用Mining Node分离、抽取逻辑配置化、AI辅助Sitemap创建,以及基于START/JOB/END状态机的Mining Task和优先级队列。处理层通过静态/动态Job Field Processor和pre/mid/post三层实现清洗、增强与校验,并通过multiplexing生成衍生职位。文章以配置驱动扩展、上游背压和让用户掌控平台为关键经验,但偏高层架构,未深入具体实现与性能数据。
收录的直接证据在于文章展示了从异构数据摄取到标准化处理再到发布的全链路架构,包括orchestrator/worker分离、配置驱动抽取、优先级队列和动态处理器等可迁移设计。适合分布式系统、数据平台或集成工程师借鉴,尤其对需要快速接入多源数据、控制上游负载和将定制能力下放给非工程团队的系统有启发。风险是偏高层描述,缺少细粒度实现和量化验证,但整体技术深度满足长期参考要求。
工程实践 LinkedIn Engineering - Scalability
本文介绍 LinkedIn 基于 cert-manager 构建的 Kubernetes 工作负载身份安全框架。系统通过 CSI 驱动将证书以只读卷挂载到容器,私钥仅存内存,并利用 Identity Registry 进行身份证明和签发,防止身份冒用。针对多集群和 25 万 Pod 规模,团队发现开源 approver-policy 无法满足 5 万并发 CertificateRequest 的 SLO(P95 60 秒),遂自研 lipki-controller 作为审批和签发器,并通过 API QPS/并发调优、分区 sharding 实现水平扩展。文章还介绍了 Kyverno 策略限制签发源、渐进式迁移和 Java/Go/Rust 认证库集成。测试显示 54K 请求审批与签发 P90 为 19.3 秒,但水平扩展目前仅用于容灾,尚未实现动态扩缩。
推荐收录。文章不是简单的工具介绍,而是完整展示了 LinkedIn 在超大规模 Kubernetes 集群中落地 cert-manager 的真实工程路径:从身份注册、CSI 挂载、Kyverno 策略到自研 lipki-controller,并给出 54K CertificateRequest 下 P90 19.3 秒的实测数据。适合负责容器平台安全、PKI/证书生命周期、服务网格 mTLS 或大规模 Kubernetes 运维的工程师借鉴,其控制器调优、分区 sharding 和渐进式迁移策略具有可迁移价值;主要边界是 LinkedIn 内部系统和规模假设,且水平扩展暂仅用于容灾。
工程实践 LinkedIn Engineering - Scalability
文章介绍了LinkedIn Hiring Assistant中基于语义搜索的AI代理检索与排序系统MUSE。面对自然语言招聘查询与十亿级会员画像的匹配问题,团队构建了LLM-as-a-judge驱动的教师模型,生成海量资格匹配标签,训练双塔Transformer嵌入模型,并采用Matryoshka嵌入同时服务检索与排序。生产系统采用Lambda架构,结合批量重建与CDC增量推理,通过IVFPQ索引和优化管道实现亚秒级检索。离线回放与在线A/B测试表明,MUSE提升了候选相关性和招聘者参与度,但近似检索与后过滤的损失叠加仍是后续优化方向。
本文详细披露了LinkedIn大规模语义搜索系统的设计与实现,覆盖教师监督、双塔嵌入、十亿级向量检索和在线评估等关键环节,技术细节丰富且可验证。适合搜索推荐、AI基础设施和MLOps方向的工程师参考,其Matryoshka嵌入分层服务、CDC增量更新和IVFPQ优化等实践可直接迁移到类似规模系统。
工程实践 LinkedIn Engineering - Scalability
文章详细介绍了 LinkedIn 如何集成 SGLang 来优化其基于 LLM 的推荐系统,重点解决长输入短输出场景下的推理延迟问题。作者提出了多项目评分(MIS)方法,通过自定义注意力掩码复用成员前缀,将单个请求的延迟降低 69%,并进一步通过 FA3 内核和逐 token FP8 量化获得额外加速。此外,文章还介绍了 Knock-Knock 技术,利用预取成员上下文 KV 缓存并与项目检索并行,将整体延迟从 520ms 降低到 200ms。文中包含具体性能数据和开源贡献,展示了从内核到系统层面的优化路径。
文章展示了 LinkedIn 在真实生产环境中优化推荐系统推理的完整工程案例,提供了多项目评分、FP8 精细量化、延迟隐藏等可复用的技术方案和量化指标。适合从事推荐系统、LLM 推理优化和基础设施建设的工程师参考,其从内核到系统的优化顺序和取舍思路可迁移至类似长上下文低延迟场景。
工程实践 LinkedIn Engineering - Scalability
文章详细介绍了LinkedIn为保障Hadoop集群安全而对其LDAP/Kerberos基础设施进行的现代化改造。旧架构存在单点故障、手工运维繁琐、缺乏测试环境等问题,团队构建了全新的多主复制集群,通过四主节点星型复制、三hub冗余、HAProxy负载均衡和自动故障转移消除了单点故障,并将部署、证书刷新等操作集成到标准部署栈中实现自动化。迁移过程采用先读后写、跨集群复制同步、延迟监控和1分钟TTL的DNS切换,实现了零事故切换和可回滚。文章还说明了GSS-API与负载均衡结合的DNS约束,以及避免双写的一致性考量,适用于大规模分布式系统认证基础设施的演进参考。
推荐收录,因为文章提供了完整的大规模LDAP/Kerberos基础设施迁移案例,包含真实的单点故障痛点、多主复制架构设计、自动化运维改造和零停机迁移方法,证据具体且可迁移。适合负责安全认证、分布式系统高可用或基础设施现代化的工程师参考,特别是面对类似目录服务、Kerberos或负载均衡部署的团队。
工程实践 LinkedIn Engineering - Scalability
文章介绍了LinkedIn在管理约5EB数据和100亿对象的HDFS集群时,如何通过重新设计块放置策略来加速维护操作。默认BPP在维护时会导致大量数据复制和网络拥塞,而采用升级域BPP并定义20个升级域,将同一机架节点归入同一升级域,可以消除维护时的数据复制需求。文章详细描述了对3+EB存量数据进行分批再分布的过程,以及发现开源升级域BPP的写性能问题并开发新BPP排除已选升级域节点的改进。最终实现了每天升级约4.5%节点,显著提升了可靠性和安全性。
推荐收录,因为文章提供了真实超大规模HDFS集群维护中的完整工程案例,包含问题定义、架构取舍、数据迁移方案和性能优化细节,证据充分。适合负责分布式存储、大规模基础设施或HDFS运维的读者参考,其中升级域划分、利用维护模式减少复制和分批迁移的策略可直接迁移到类似系统。
工程实践 Cloudflare Blog 2026/08/13
文章介绍 Cloudflare 证书透明度监控从公开测试转为正式可用,核心是解决告警噪声问题。噪声主要来自 Cloudflare 自己发行的证书,包括自动续期,导致用户忽略重要告警。作者分析发现证书管理服务与 CT 告警服务是两个独立系统,缺乏共同标识符,原有指纹无法提前匹配。最终选择 SPKI 的 SHA-256 哈希作为关联键,因为它在密钥生成、预证书和最终证书中保持一致,且每次发行生成唯一密钥。告警服务从日志重新计算该哈希并查询下单记录,匹配则抑制告警,只保留外部证书告警。文中还说明对废弃预证书、自定义上传证书的处理,并提及邮件改进和未来集成通知系统,方法可迁移到跨系统数据关联和降噪场景。
推荐收录,因为文章详细记录了一个真实工程问题的分析和解决过程:通过分析证书生命周期,找到 SPKI 哈希这一早期、一致、可复现且唯一的关联键,将两个独立系统连接起来,有效抑制噪声。适合安全工程师、基础设施团队和 SRE 参考,其跨系统数据关联和降噪思路具有可迁移价值,尽管具体实现绑定 Cloudflare 环境。
工程实践 知乎 - 鹅厂架构师 2026/08/13
文章复盘腾讯CDN一次由畸形媒体文件触发的平台级OOM事故,指出边界缺陷在百万行代码中潜伏四年、手工测试因输入组合爆炸而难以覆盖的结构性困境。作者提出CDN Agentic Workflow漏洞挖掘体系,以红蓝双军形式组织LLM完成从源码审计、协议标准交叉分析、定向变异、黑白盒验证到自动修复的闭环;红军以RFC标准为锚定位合规性偏离和合法边界越界,蓝军通过MDT多角色会诊、确定性重放环境和两层漏洞指纹保证修复质量与去重。文中给出260万次攻击、99%以上修复率、单case成本等规模数据,并引入LLM Wiki思想实现知识沉淀。当前体系主要覆盖崩溃型和部分逻辑型漏洞,复杂网络条件和跨模块耦合场景仍在拓展中。
推荐收录,因为它详细披露了生产级AI漏洞挖掘与自动修复体系的设计逻辑、关键机制和量化效果,包括RFC标准交叉审计、MDT会诊、重放环境互斥判别和漏洞指纹去重,可迁移到其他协议密集型系统。适合安全工程、AI工程化、基础设施稳定性方向的研究者和实践者,既能看到Agentic Workflow的落地约束,也能借鉴知识沉淀与成本控制方法。需要注意的是部分架构依赖腾讯内部监控和模型选择,但核心工程思路仍具通用参考价值。
工程实践 Meta Engineering 2026/08/12
本文介绍 WhatsApp 的 Scam Alert 可选功能,其在设备端运行机器学习模型,对非联系人消息做诈骗分类,不将消息内容上传,也不自动举报。系统遵循仅设备端、无自动上报和用户控制三项原则,核心保障包括基于可信执行环境和差分隐私的机密联邦分析管道,只向 Meta 提供聚合后的告警与用户操作计数。模型发布采用第三方只追加透明账本与匿名下载,防止定向分发,并公开模型权重和客户端日志供独立验证。文中还给出了威胁模型与纵深防御设计,包括 OHTTP 中继、匿名凭证和远程证明等。当前功能处于有限 Beta 阶段,作者强调欢迎安全研究社区反馈,尚未全面上线。
推荐收录。本文不是产品发布,而是给出了从设计原则到技术实现的完整链路:设备端推理、基于 TEE 的机密联邦分析、差分隐私聚合、模型哈希上链与匿名下载、客户端验证和公开权重,且包含威胁模型。对从事隐私保护、安全工程、移动端机器学习或可信分析系统的读者有直接参考价值,其方案与边界可作为同类系统设计的范例。当前仍为有限 Beta,需注意实际生产验证尚不足。
工程实践 Trail of Bits Blog 2026/08/11
Trail of Bits 作为 Signal 自动密钥验证功能的三方审计者之一,从零构建并运行了独立的审计器,用于验证用户公钥映射的全局一致性和完整性。文章介绍了自动密钥验证的工作原理:通过全局一致的公钥视图和定期自检防止服务器提供虚假公钥;审计器利用 Merkle 树维护本地副本并签名,确保任意客户端看到相同的公钥集合。文中还说明了审计器独立实现的原因、签名策略、失败场景以及自动验证的适用范围和限制。
推荐收录,因为它详细展示了如何通过独立审计器增强密钥透明度系统的安全性,提供了可验证的工程实践。适合关注端到端加密、密钥管理和分布式系统信任模型的工程师阅读,审计器设计与实现思路可迁移到其他需要第三方验证的安全基础设施中。
工程实践 Amazon Science 2026/08/11
文章回顾了 AWS 自动推理组十年间将数学逻辑、形式验证和程序分析从研究原型推向生产服务的历程。核心方法包括使用 SMT 求解器、证明助手(如 Lean)和规范证明,对 VPC 网络、IAM 策略、TLS 握手、Nitro 隔离引擎及授权引擎等关键系统给出数学保证。文中列举了 Tiros/Zelkova、Reachability Analyzer、IAM Access Analyzer 和 Amazon Bedrock Guardrails 等落地成果,并指出自动推理不仅提升安全与可靠性,还通过精确规范帮助团队简化系统设计。作者进一步认为,该技术正被用于验证 AI 生成代码和约束智能体行为,为可证明安全的 AI 系统提供基础。文章主要作为 Amazon 内部视角的成就回顾,未深入介绍具体算法、失败案例或量化局限。
本文作为工业界形式化方法落地的一手回顾,提供了多个真实生产案例(如 IAM Access Analyzer、Reachability Analyzer、Bedrock Guardrails)和可迁移的洞察:精确规范能简化设计,自动推理可用于验证 AI 输出。适合关注形式验证、云安全、AI 安全的读者了解从研究到工程化的路径。主要风险是 Amazon 自我视角、缺乏技术细节和失败分析,需结合其他深度材料使用。
工程实践 Fzakaria Blog 2026/08/09
文章介绍 nixpkgs-multiverse 项目,通过一个 flake 输入提供 Nixpkgs 所有历史版本的惰性访问,解决多版本依赖时需固定多个 flake 输入的性能和易用性问题。核心方法是用 revisions.json 与 versions.json 索引包版本到修订的映射,并利用 builtins.fetchTree 按需获取;数据编码仅保留每个版本的最新出现修订,将索引大小控制在 5 MB 左右。性能实验表明,相比急切获取多个 flake 输入,该方案解析开销极低且遵循按修订计费原则。项目不构建或镜像任何内容,仅是对已有 Hydra 缓存的映射层,适合需要在 Nix 生态中灵活组合不同版本包的开发或构建环境。
推荐收录,因为它展示了一个真实的工程问题(Nix flake 多版本输入的性能与可用性冲突),并给出了完整的设计方案、数据优化与性能对比,具备可迁移的工程判断和工具设计思路。对使用 Nix、关注包管理与依赖分析的读者有直接参考价值,其惰性索引与按修订计费的设计也可启发其他需要高效版本查询的系统。
工程实践 知乎 - 携程技术 2026/08/07
文章系统回顾了携程从Kubefed到Karmada的多集群治理演进,重点围绕架构选择、生产落地和规模化优化展开。核心方法是在联邦层保留低频全局能力(资源分发、策略表达、跨集群迁移),将高频局部能力(实时扩缩容、流量切换)留在成员集群,并通过权重驱动的状态机实现数十万Pod的平滑跨集群迁移。文中详细分析了Karmada控制面在几十万级资源规模下遇到的高频状态同步、启动延迟和200G内存尖峰等问题,以及通过折叠Work、降低更新频率、分批对账、watch list等优化手段。适用边界是交易型业务的Kubernetes多集群场景,强调联邦控制面不应成为运行时强依赖。
本文是来自携程生产一线的深度工程案例,不仅解释了为什么从Kubefed切换到Karmada,更给出了清晰的架构原则、迁移机制和规模化治理细节。文中200G内存尖峰、每秒数百次Work更新导致409冲突等具体数据有很强说服力,优化思路可直接指导类似场景。适合云原生平台团队、SRE和架构师参考,可迁移的职责边界划分和控制面优化方法在多集群治理领域有长期参考价值。
工程实践 Cloudflare Blog 2026/08/07
文章介绍了Cloudflare在应对日益复杂的代理型流量(Agentic Internet)时,如何从行为分析出发区分善意与恶意自动化流量。作者区分了风险与信任的概念,强调基于持续会话评估的信任机制比一次性检查更有效。文章重点介绍了Precursor系统,它利用客户端行为信号持续检测微妙的不似人行为,并提供了真实部署数据和交互演示。此外,还预告了自适应智能检测引擎和高级缓解措施(如AI Labyrinth的迷宫、摘要和投毒策略),旨在提高攻击者的成本并引导良性代理行为。这些方法和工具为网站所有者构建可信任的流量生态提供了工程参考。
文章提供了从行为角度检测和管理自动化流量的工程实践,包含具体的数据验证、架构取舍和对抗性策略,适合安全和基础设施工程师参考。其信任评估框架和通过持续行为分析提高攻击者成本的方法具有可迁移价值。
工程实践 vLLM Blog 2026/08/07
文章介绍 vLLM 的 Decode Context Parallelism(DCP)如何服务长上下文与 agentic 推理。传统张量并行按注意力头切分 KV cache:GQA 受 KV 头数限制,MLA 只有单一 latent KV 头,因此超出后 KV cache 会在 TP rank 间复制,挤占显存并限制并发。DCP 改为按序列维度切分 KV cache,每个 GPU 只保存一段 token 的 KV,并通过 AllGather Q、本地 attention 计算、AllGather+ReduceScatter 与 LSE 在线 softmax 合并局部结果。在 8×B200 上用 Kimi K2.6 NVFP4 与长上下文 agent trace 实测,基线 TP 在并发 64 触顶约 1863 tok/s/GPU,DCP 可扩到并发 512、约 6091 tok/s/GPU,并在 200k+ 序列保持稳定。文中给出 MLA/GQA 的启用方式与并行度约束,也指出其依赖高带宽 GPU 互联,对 MTP、推测解码和 P/D 分离等支持仍在演进。
推荐收录:文章用可复现的 8×B200、Kimi K2.6 NVFP4 和 64K–1M agent trace benchmark,量化了 DCP 相对 TP 在并发与吞吐上的收益,并解释了 MLA/GQA 下 KV cache 复制机制、DCP 通信流程与并行度约束。适合 LLM 推理基础设施、长上下文服务和推理优化方向的读者参考;其按序列切分 KV cache 并用 LSE 合并局部 attention 的思路可迁移到其他推理引擎,但部署时需评估高带宽互联依赖以及 MTP/推测解码等尚未覆盖的边界。
技术文章 Cloudflare Blog 2026/08/06
文章提出“代理互联网”愿景,将AI代理视为网站的新型访问者,围绕可读、可发现、可调用、可支付四个特性构建开放基础设施。作者分析了传统网络对代理的不适应性,如重复抓取、广告模型失效,并阐述了Cloudflare提供的技术组件:Markdown for Agents和Kitesurf浏览器实现高效读取,AI搜索和AEO优化发现,WebMCP和Code Mode支持直接调用页面功能,x402协议和钱包机制处理支付。文章强调身份认证(Web Bot Auth、PACT)和开放标准的重要性,旨在让域名所有者自主选择对代理的接纳与付费规则,避免互联网封闭。内容偏重架构设计理念,未涉及具体实现细节,但为开发者和架构师理解代理时代的网络基础设施提供了方向性参考。
该文章勾勒了AI代理与互联网融合的底层架构蓝图,提出的“可读、可发现、可调用、可支付”框架切中当前代理生态的关键需求,对构建开放、互操作的Web服务具有长远参考意义。适合关注Web基础设施、AI工程化和分布式系统的开发者与架构师了解前沿趋势和设计模式,虽然缺乏代码级细节,但其概念模型可迁移至实际系统设计中。
工程实践 Cloudflare Blog 2026/08/06
文章详细解读了 MCP 协议从有状态到无状态的重大升级(2026-07-28 规范)。核心变化包括:移除强制会话和 Mcp-Session-Id 头,使服务器无状态化;通过 Multi Round-Trip Requests (MRTR) 替代流式 ellitation,简化需要用户输入的场景;引入 Mcp-Method 和 Mcp-Name 头,让 HTTP 基础设施可直接理解 MCP 请求;改进授权流程(如采用 RFC 9207 防止 issuer 混淆,以及弃用 DCR)。Cloudflare 的 Agents SDK 已全面支持新规范,并展示了 Sentry、Linear 等客户的生产实践。文章指出无状态化使 MCP 服务器可以轻松运行在 Workers 等无服务器平台,而不必依赖 Durable Objects 等状态性基础设施,大幅降低部署复杂度和成本,同时保持向后兼容性。
这篇文章不仅及时报道了影响广泛的 MCP 协议变革,而且深入剖析了工程细节、部署影响和实际迁移路径,对构建 AI Agent 基础设施的开发者极具参考价值。它展示了协议设计如何在简单性、安全性和可扩展性之间权衡,为分布式系统和 API 设计提供了可迁移的经验。
工程实践 知乎 - 千问云 2026/08/06
本文分享了在专有云IaaS场景下,将混沌工程从依赖专家的一次性专项演练升级为AI Native平台能力的完整实践。核心设计采用九种Agent分层的多智能体架构,通过共享黑板实现Agent间解耦,并由三道递进式安全闸门保障注入安全;同时引入经验反馈回路与AI飞轮回路,使用例知识和编排策略持续自进化。平台实现了全链路AI驱动的韧性验证:从注入、观测、诊断到报告和工单闭环,人仅需触发与确认。实战数据显示单次验证闭环从数天压缩至40余分钟,人力投入从专职SRE降至0.1人,并已发现多条产品稳定性缺陷。该方案适用于需要高频、自动化可靠性验证的复杂基础设施场景,但对组织协作和产品Agent接入有一定要求。
本文提供了端到端的AI驱动混沌工程平台建设案例,详细阐述了多Agent架构、安全控制、进化回路和标准接入机制,而非泛泛的概念介绍。其分层解耦、黑板通信、双进化回路等设计具有较高的可迁移价值,适合SRE、平台工程师和架构师参考,用于建设或改进系统韧性验证体系。
工程实践 Xe Iaso 2026/08/06
文章以 Tigris 对象存储实现 AWS SigV4 鉴权协议的过程为线索,详细拆解了签名机制表面简单实则复杂的本质。核心方法包括请求规范化、基于 HMAC-SHA256 的四层密钥派生链,以及利用 X-Amz-Date 和时钟偏差窗口抵御重放攻击。重点介绍了 TAG 本地加速网关如何通过派生签名密钥的代理机制,在不持有完整客户秘钥的情况下完成鉴权,从而避免每次请求都回源云服务。文章还讨论了 SigV4a 不对称加密方案与时钟同步、TLS 依赖性等边界条件,揭示了协议设计中被忽视的中间值作用域和工程权衡。
本文不是简单的协议教程,而是基于真实工程案例的深度技术挖掘。它从规范文档到代码实现,再到生产级缓存网关的密钥代理设计,完整展示了面对对称密钥鉴权时的复杂性思考和折中方案。适合从事 API 设计、安全鉴权、云存储或本地加速网关开发的后端工程师与系统设计者,文中关于派生密钥作用域限制和协议弹性的设计思想可直接迁移到类似分布式鉴权场景。
工程实践 Cloudflare Blog 2026/08/05
本文介绍了 Cloudflare 的 identity-aware AI Gateway 和 User Insights 功能,通过集成 Access 实现每请求身份认证,并结合基于会话的异常检测来发现恶意行为或成本异常。核心方法是对每个用户建立 30 天滚动 95% 分位基线,当会话成本超过基线 2 倍且同时跨过全局 p99 门槛时才触发告警,以此过滤微小波动和高消费用户的常规行为。文章详解了为何采用会话评分、双阈值和美元底限,并展示了从内部流量绘制的散点图和分布图,证明该方法能有效区分异常和噪声。方案主要面向已部署 AI Gateway 的组织,适用于需要成本控制和滥用量化的场景,但目前仅提供告警而不自动阻断。
推荐收录,因为该文不局限于产品宣传,而是详细阐述了一套可复用的基于用户行为基线的异常检测方案,包含双阈值、滚动基线和底限设置等工程细节。对构建 AI 成本监控、治理平台或内部安全分析的工程师有直接参考价值,且文中公开了具体统计量和决策依据,便于迁移到类似的用量分析场景。
工程实践 ClickHouse Engineering 2026/08/04
文章复盘 ClickHouse Cloud 如何把自动扩缩容推荐服务从固定定时轮询改造成秒级反应式架构。原实现按固定节奏扫描全部服务,导致周期之间发生 OOM 或负载突增时必须等到下一次 tick 才能扩容,问题本质是延迟而非推荐逻辑错误。作者复用 Kubernetes 生态的 controller-runtime 作为通用事件处理引擎,把周期性扫描与反应式快路径都抽象为 source,统一投递到带键去重、指数退避和并发上限的工作队列,由同一个幂等 reconcile 函数产出推荐,因此无需自研触发协调机制。反应式信号以事件行写入 ClickHouse 专用小表,由物化视图在写入时过滤越阈指标,source 每几秒执行一次五分钟窗口查询,使关键事件在数秒内触发扩容;周期性全量扫描仍保留作为安全网与缩容兜底。文章也明确边界:工作队列仅存在于单进程内存,无持久化与重放,它是电平触发的 reconcile 引擎而非流处理器,不支持事件时间窗口、join 或跨事件聚合,轮询间隔构成反应速度下限;若未来需要保证投递、严格顺序或状态化窗口关联,应迁移到流式平台。
推荐收录:文章给出完整的问题定义、架构改造路径和可复现的 Go 与 SQL 片段,把“用 controller-runtime 当通用事件引擎、用 ClickHouse 存反应式信号”这一非显然选择连同去重、退避、并发控制的收益讲清楚。对做自动扩缩容、Kubernetes 控制器或实时信号管道的工程师有直接迁移价值;同时明确标注内存队列无持久化、轮询间隔是延迟下限等约束,避免读者误用。
工程实践 NVIDIA Technical Blog 2026/08/03
文章探讨了NVIDIA Vera处理器在AI原生存储中的加速能力,通过基准测试对比了加密、压缩、数据完整性校验等关键存储操作在Vera与AMD EPYC、Intel Xeon平台上的性能。作者指出,在代理式AI工作流中,存储需要频繁进行检索、持久化内存和KV缓存等操作,传统CPU在加密和压缩计算上成为瓶颈。Vera集成的数据流加速器能高效卸载这些任务,在加密吞吐量和压缩延迟/吞吐方面均取得显著提升。文章以VAST Data的Cosmos平台为例,展示了Vera如何实现端到端数据完整性、快速恢复和数据缩减,从而减轻CPU压力并提升整体系统效率。结论认为Vera可作为AI存储基础设施的核心加速部件,适用对性能和安全性有苛刻要求的环境,但其结果基于特定硬件和软件组合,未涵盖所有部署场景。
推荐收录,因为文章提供了具体的硬件加速基准测试数据,直观展示了NVIDIA Vera在加密和压缩等任务上相比传统x86服务器的性能优势。对于从事AI基础设施、存储系统设计或性能优化的工程师,这些数据可用于评估硬件加速方案的收益,了解如何将专用加速器集成到AI存储栈中以降低成本并提升吞吐。尽管局限于特定厂商产品,其评估思路和卸载设计可作为类似系统设计的参考。
科研议题 Microsoft Research Blog 2026/08/03
微软研究院推出 Orchard,一个面向可扩展智能体 AI 研究的开源框架。其核心是 Orchard Env,一个基于 Kubernetes 的轻量级环境服务,可为不同任务域(软件工程、网页导航、个人助理)的训练和评估提供可复用的隔离组件。文章重点介绍了三个领域特定的训练方案:Orchard‑SWE 采用信用分配监督微调和强化学习(含平衡自适应展开、密集奖励信号和价值模型重排序),仅用约 3B 活跃参数在 SWE‑bench Verified 上达到 69.7%(重排序后 73%),接近 10 倍以上规模的闭源系统;Orchard‑GUI 用少量监督数据训练 4B 视觉语言模型,在 WebVoyager 等基准上平均 68.4%;Orchard‑Claw 在 200 个合成任务下训练个人助理,并在真实部署 harness(如 Codex、OpenClaw)中显著提升成功率。Orchard 的创新在于将环境层作为独立可复用服务,支持在真实 harness 内端到端训练,弥合训练与部署间的差距。项目同时开放训练数据和评估方法,旨在降低智能体 AI 研究的门槛并促进社区协作。
推荐收录,因为本文提供了可复现、可迁移的开放智能体研究框架,详细阐述了环境设计、训练配方和严格评估,结果有力且透明。对于从事 AI Agent、强化学习或工程基础设施的研究者和工程师而言,文章中的环境抽象、密集奖励设计、harness 内训练等思路可直接借鉴,有助于降低构建和训练自主智能体的门槛。
技术文章 Cloudflare Blog 2026/08/03
文章介绍了 Cloudflare 推出的 @cloudflare/computer 早期预览版,这是一个面向 AI 代理的运行时库,其核心是基于 SQLite 的持久化共享文件系统,并支持在 isolate 和容器等多种执行后端之间按需切换。作者阐述了传统容器化在代理规模化时面临的扩展性瓶颈,并对比了 isolate 在启动速度、水平扩展和成本上的优势,提出了以 isolate 为主、容器仅用于必要任务的混合架构。文中给出了从 npm 安装到配置 workspace、绑定工具集和集成 agent 循环的代码示例,并解释了 FUSE 挂载、动态 worker 命令转译等实现机制。其目标是让代理 90% 以上的工作负载在 isolate 中完成,从而大幅降低对容器平台的需求,但目前仍处于实验阶段。
推荐收录,因为文章不仅停留在产品发布,而是深入讨论了 isolate 与容器作为代理计算基元的架构取舍,并给出了可落地的设计思路和代码示例。对正在构建大规模代理系统、关注基础设施效率和成本控制的后端工程师或平台工程师而言,文中关于水平扩展、文件系统抽象和执行后端分离的经验可迁移至类似场景。
工程实践 Cloudflare Blog 2026/08/03
文章介绍了在 Cloudflare Workers AI 上运行大型长上下文 MoE 模型 Kimi 和 GLM 时,为应对内存限制而采用的三项优化技术:将 KV 缓存从 BF16 量化为 FP8,使上下文容量翻倍,峰值吞吐提升 41%;将模型权重从 FP8 压缩为 INT4,显存占用降低 40%,解码加速明显;以及构建 KV 缓存完整性检查机制,防止多请求共享时发生数据错乱,且开销低于 1%。所有优化均通过分离 prefill 和 decode 阶段,在各自优势场景下使用不同精度,从而在保持模型准确度不变的前提下,显著提高并发并降低单位 token 成本。这些实践基于 SGLang 框架和 H200 GPU,验证了工程方案的有效性和边界。
推荐收录,因为文章不仅是孤立的性能技巧,而是展示了从内存瓶颈分析、多策略选择(量化、压缩)、安全防护到阶段分离的完整工程决策过程。文中提供了大量对比测试数据、精度验证和架构取舍说明,对负责大模型推理部署、AI 基础设施优化的工程师具有直接的可迁移价值,其中的阶段性精度切换和多请求缓存保护思路尤其值得借鉴。
工程实践 ClickHouse Engineering 2026/08/03
文章由 ClickHouse 作者复盘如何把 ClickBench 扩展成一个可交互的 Playground:用统一脚本接口重构上百个数据库的安装、加载与查询流程,并让约 110 个系统各自带着 1 亿行预载数据接受在线查询。核心难点在于低成本且安全地托管这些系统,作者逐项否决 EC2 常驻、Lambda、ECS/EKS 与 Docker 隔离方案,最终选择在 metal 机器上用 Firecracker/QEMU 做嵌套虚拟化,构建"云中之云"。资源层通过 CPU 超卖加看门狗、把 guest swap 映射到 host page cache 实现弹性内存、用稀疏文件与 XFS reflink、再迁移到 BtrFS+zstd 压缩,把上百个系统塞进 7.5TB 本地盘。网络层用 tap 设备加 iptables 做 NAT 网关,并基于 TLS SNI 字段实现带白名单的 HTTPS 代理,安装期放行外网、查询期断网以防逃逸和 IMDS 访问;快照冷启动控制在 5 秒内,查询出错即回滚。文章偏经验叙述,未给出完整压测数据与量化对比,隔离强度也依赖运营方自行评估。
收录理由在于它把"托管上百个异构数据库"这一非典型问题拆解到虚拟化选型、内存与磁盘超卖、网络出口过滤三条主线,每一步都给了被否决方案的原因和最终取舍,而非结论式陈述。做数据库评测平台、沙箱执行环境、多租户隔离或 Kubernetes 之外自建基础设施的工程师,可直接迁移其中的 Firecracker 嵌套虚拟化、reflink 快照与 SNI 白名单代理思路,并据此评估自身成本与安全边界。
工程实践 Fzakaria Blog 2026/08/01
文章介绍了一个在 Bazel 中从 357 字节的 hex0 种子自举构建的 C++ 工具链。作者受 stage0 和发行版自举过程启发,利用 LLM 协助完成了这一机械但步骤繁多的工程,最终工具链能够无补丁编译 Bazel Central Registry 中的 Abseil 和 GoogleTest,并通过 236 项测试。工具链包含审计报告,利用 Bazel aspect 验证构建图中每个动作仅执行工具链自产的程序,确保了极高的封闭性。当前方案仍需系统提供的 shell,但显著提升了 Bazel 构建的可重现性,适用于对构建可信性、可移植性有要求的 C/C++ 项目。
推荐收录,因为它将一个很有挑战性的自举工具链工程在 Bazel 体系中完整实现,并用实际测试和审计报告证明了可行性。这对于关注构建可重现性、供应链安全以及工具链定制的工程师具有直接的参考价值,文中的自举流程和封闭性验证方法可直接迁移至类似基础设施建设项目。
工程实践 Cloudflare Blog 2026/07/31
文章详细介绍了Cloudflare为MoQ(Media over QUIC)协议提供的全局中继供给API,该API允许开发者为应用创建隔离的中继范围并管理发布/订阅凭证。作者首先回顾了MoQ作为IETF草案协议的基本原理:一种基于QUIC的发布/订阅系统,中继无需解析媒体内容即可实现大规模低延迟分发。随后,文章重点说明了新API如何解决此前开放预览中缺乏认证和访问控制的难题,通过创建隔离的“中继”资源和限定操作(发布、订阅或两者)的“令牌”,实现细粒度权限管理。技术上,中继并非独立虚拟机或容器,而是现有全球Anycast网络上的隔离作用域,因此可实现秒级部署和弹性伸缩。此外,文章还介绍了对draft-16协议新增的PUBLISH和SUBSCRIBE_NAMESPACE特性的支持,以及推动跨CDN统一供给模型的开放标准化努力。该API目前处于免费Beta阶段,适用于需要低延迟、高隔离性的实时媒体应用。
文章深入阐述了在全球CDN网络上构建MoQ中继服务的工程实践,覆盖了架构取舍(如Anycast与隔离作用域)、访问控制模型(令牌粒度和生命周期管理)及协议演进。对需要设计或使用低延迟媒体分发、实时通信或CDN服务的工程师和架构师具有直接参考价值。文中关于如何以轻量配置替代独立服务器实现多租户隔离的思路,也可迁移到其他大规模基础设施服务的设计中。
工程实践 PlanetScale Blog 2026/07/31
文章详细介绍了 PlanetScale 如何对分片 Postgres 数据库实现大规模并行备份。核心方法是:每个分片临时启动独立 EC2 实例,从 S3 恢复前次备份,再通过混合回放 WAL(先 S3 后直接从主库拉取最近几分钟日志)将备份追齐到当前状态,最后加密上传到 S3。文中还解释了初始备份的特殊处理、这种并行架构带来的备份速度优势(如 32 TB 数据库在 8 分片下仅需约 2.8 小时),以及备份在数据库扩缩容和节点故障替换中的实际工程用途。文章面向数据库基础设施工程师,展示了如何在降低生产影响的前提下实现快速、一致的备份,但其方案强依赖云环境与 PlanetScale 自研组件,迁移时需适配。
推荐收录,因为它不是泛泛的介绍,而是给出了一个真实工程系统的完整备份流程,包括架构取舍(用临时节点隔离生产影响)、混合 WAL 回放策略和可量化的并行加速效果。对负责大型数据库运维、备份恢复系统设计的工程师来说,文中的临时节点编排、S3 与主库混合回放、分片并行思想等有直接迁移价值,即使具体技术栈不同。
工程实践 Cloudflare Blog 2026/07/30
文章详细记录了 cdnjs 从旧架构(GCP Cloud Functions + GitHub 仓库 + Workers KV)迁移到 Cloudflare 全栈开发者平台(Workers、Workflows、R2、KV、Queues、Containers 等)的过程。旧架构痛点包括无共享追踪、双活存储、对象事件粘合流水线、26 个分片函数和臃肿的 GitHub 仓库;新架构以 R2 为文件单一真实源,KV 存元数据,Workers Cache 提供分层缓存,Workflows 编排流水线,并通过 Queues 和 Durable Object 实现异步阻塞。迁移中遇到字节级一致性和子请求限制等挑战,最终通过原样复制而非重新压缩解决了 SRI 哈希问题,并倒逼平台提升子请求上限至 1000 万、Workflow 步数上限至 10000 步。文章展示了该架构的弹性、可扩展性,并为未来支持 ES 模块等现代功能奠定基础,但 SRI 校验修复等遗留工作仍待完成。
这是一篇稀缺的大规模 CDN 服务迁移工程实录,直面真实约束与架构取舍,并记录了平台为适配需求而改进的共演过程。对基础设施工程师、平台架构师和 SRE 极具参考价值,可迁移经验包括可观测性设计、存储一致性保障、无服务器工作流编排及平台限制突破策略;文中的坦诚复盘(包括迁移失败回滚)使内容更可信。
工程实践 Cloudflare Blog 2026/07/29
本文详细记录了 Cloudflare 为源站连接部署后量子认证的工程实践。文章首先说明后量子认证的必要性和源站连接的独特需求,然后介绍如何在 Custom Origin Trust Store 和 Authenticated Origin Pulls 中配置 ML-DSA 证书,并强调避免降级攻击的关键步骤。接着深入控制面和数据面的实现细节:控制面服务用 Go 编写,通过 Cloudflare 的 CIRCL 库补丁来解析 ML-DSA 证书;数据面服务 Pingora Origin 在停滞四年后更新 BoringSSL,但因 KeyUsage 检查导致了一次线上事故,回滚后修复。最后简述了后量子迁移的整体路线图和生态系统进展。该案例展示了真实系统中的升级权衡、库依赖管理和事故响应,对计划向 PQC 迁移的团队具有直接的参考价值。
这是一份高价值的工程案例,全面覆盖了后量子认证从需求分析、配置实践到底层实现和事故复盘的全过程。对于负责基础设施安全、TLS 运维或正在规划后量子迁移的工程师,文中的配置步骤、降级防护策略、库升级经验以及事故处理细节均可直接迁移。它不局限于产品公告,而是提供了可复用的工程判断和操作指南,适合长期参考。
工程实践 知乎 - SmartCode 得物技术 2026/07/28
文章系统介绍了得物推荐评测平台的完整技术方案,针对推荐系统中新颖性、相关性等主观体验指标难以量化、反馈周期长和审计成本高等工程痛点,构建了基于大模型的全自动评测流水线。平台通过可视化提示词工程、多模型动态配置与人机协同校验机制实现评测标准一体化管理,保证评测一致性在 92% 以上;工程层面采用 CAS 无锁分布式调度、三阶段断点续传和动态并发控制,支撑单周百万级评测任务,并通过按需触发、模型分级和采样精控将成本降低 91%。文章还展望了向多维度体验评测和全天候 Agent 自动巡检的演进方向,提供了从业务问题到工程落地的完整实践参考。
作为工业级推荐评测平台的工程实录,文章将业务痛点、系统架构、工程技巧和成本优化有机串联,尤其在分布式调度、大模型评测流水线和人机协作校验方面给出了可复用的实现细节。适合推荐系统工程师、AI 基础设施团队和关注自动化评测的建设者,可迁移用于类似主观指标量化、高吞吐低成本的评测系统设计。
工程实践 Cloudflare Blog 2026/07/24
本文探讨了BGP ORIGIN属性在互联网中的操纵现象及其影响。Cloudflare通过从全球Peering点宣告不同ORIGIN值的IPv4和IPv6前缀,并利用公开BGP collector数据进行路径分析,量化了ORIGIN重写的规模。结果表明约70%的观察路径中ORIGIN值被更改,大量顶级AS将ORIGIN重置为IGP以提升路由优先级,从而吸引更多流量。这种行为扭曲了正常的路径选择,且缺乏技术合理性。文章进一步论证了废弃ORIGIN属性的必要性,并呼吁社区和IETF推动相关标准化。研究受限于BGP拓扑的不完全可见性,但仍揭示了操纵行为的集中性和显著的流量偏移效应。
推荐收录,因为本文通过主动测量实验,提供了BGP ORIGIN属性篡改的可信数据和系统性分析,揭示了互联网路由策略中一个长期被忽视的安全与公平问题。适合网络工程师、安全研究人员了解BGP实际运行中的策略冲突,其调研方法和分析视角可迁移至其他协议属性的测量研究。
工程实践 LWN.net 2026/07/24
本文是 Fedora 贡献者 Simon de Vlieger 对 Fedora 45 发行版构建过程的详细走查。从打包者提交 git 推送开始,文章逐步剖析了源代码与软件包如何被转化为最终发布产物,包括 ISO、云镜像、容器镜像和 OSTree 部署。作者解释了编译、打包、组合等阶段所使用的工具链与基础设施,并说明该流程会随版本迭代不断变化,本文意在为每个或每几个发布周期提供一份可追溯的历史记录。该走查为理解 Fedora 的发布工程提供了内部视角,但其具体实现绑定于 Fedora 45 和时间点,不一定适用于其他发行版或未来版本。
推荐收录,因为它提供了大型 Linux 发行版发布工程的稀缺内部视角,详细展示了从代码提交到最终制品的实际流水线,对负责构建系统、CI/CD 或发行版维护的工程师具有可迁移的参考价值。适合对开源基础设施和发布管理感兴趣的读者。
工程实践 Grab Tech 2026/07/24
本文是 Grab 工程团队分享的 AI 代理平台化实践系列第一部分。文章从内部技术基础设施支持机器人出发,详细复盘了从单体代理到框架 LLM-Kit 的演化过程。作者指出了早期代理在规模化时的典型痛点:缺乏可评估性、模型/供应商切换困难、可观测性不足、以及非核心的工程脚手架大量重复。为此,团队从机器人中提取出共享能力,构建了统一的应用模板,预置了认证、密钥、配置、gRPC通信、快速API、OpenTelemetry全链路追踪、评估端点等生产就绪部件,并通过统一的模型网关和远程MCP框架解耦工具与代理。文章强调框架而非平台的策略选择,允许团队在标准化的基础上自由迭代。当前方案已支撑500+代理、50+MCP服务器,每月处理数十亿token。内容适合负责AI代理基础设施、平台工程或需要将LLM原型落地生产的工程师研读,其问题驱动、层层抽象的思路对类似工作有直接迁移价值。
本文为真实的工程平台化案例,详细展示了从单点代理到可复用框架的演进逻辑、具体架构设计及生产落地要点,如统一模型网关、内建评估、全链路追踪和工具协议化。适合期望将AI代理从Demo推向企业级服务的工程团队借鉴,文中的问题分解、基础设施抽象和框架定位具有高可迁移性,能帮助读者减少从0到1的试错成本。
工程实践 知乎 - 千问云 2026/07/21
文章分享了在 AI 驱动诊断系统维护中实践 Loop Engineering 的经验,针对“AI 写代码快但维护循环仍靠人推”的痛点,构建了从日志扫描到预发部署的全自主闭环。通过四代 AI 工程化演进,定义了发现、交付、验证、持久化、调度五动作与 Connectors、Automations、Skills、Worktrees、Sub Agents、State 六组件,实现了自主 Bug 发现、诊断、修复、多层验证与自动部署。上线后效果显著:一周 ERROR 总量下降 96%,同类问题修复时间降低 69%,人工介入降为零。文章还总结了四格检验判断是否适合建 Loop、分层验证防假修复、Token 成本控制等关键教训,指出工程师角色正从循环推动者转向循环设计者,提供了可迁移的工程架构和落地路线图。
本文不是概念炒作,而是生产级工程实践。详细拆解了从日志采集到预发部署的自动化流水线,包含组件设计、验证体系、并行修复、知识库沉淀等可复用方案,并坦诚分享踩坑教训。适合从事 DevOps、SRE 或 AI Agent 工程的读者借鉴,将其中的 Connectors 建设、多层验证、知识库沉淀等机制迁移到自己的自动化维护系统中。
工程实践 Dropbox Tech 2026/07/20
文章回顾了 Dropbox 内部内容处理平台 Riviera 近十年的演进历程。平台最初为解决多文件格式预览需求而设计,关键思路是将每项任务拆解为可复用的转换片段(如 PowerPoint→PDF→图像),从而避免为每个产品单独构建管道。架构上采用中心调度器与插件化后端 worker 分离的模式,中心负责请求验证、缓存与编排,worker 按转换类型独立扩展,现已支持 300+ 文件格式与 100 多种转换能力,每秒处理数十万请求。随着产品线扩展,Riviera 被搜索、视频审阅、电子签名及 AI 产品 Dash 等团队复用,为 AI 模型统一提供文档提取与格式转换。文章最后说明了平台向外部开发者开放 API 和 MCP 工具的策略,体现了“一次构建、多方受益”的平台工程价值。文章侧重于架构决策与规模效益,未深入具体实现细节或失败案例。
推荐收录。文章提供了真实的大型内容处理平台从单点服务到多产品基座的演进案例,清晰展示了复用、分离关注点和插件化架构如何支撑规模增长与业务扩展。适合平台工程、基础设施设计以及需为 AI 准备非结构化数据的工程师参考,其架构思维和平台化策略具有直接迁移价值。不足之处在于缺少性能瓶颈、失败处理或维护成本的讨论,但整体工程经验仍具有长期参考意义。
工程实践 Netflix TechBlog 2026/07/17
本文详述了 Netflix 内部 LLM 服务平台的工程实践,涵盖引擎选择、模型打包、API 设计与部署策略的权衡。平台基于 vLLM 和 Triton 构建,通过 OpenAI 兼容 API 与 gRPC 统一前端,并提供了 Red-Black 与 Versioned 两种发布策略以应对接口变更。文章重点揭示了生产环境中的意外问题,如 vLLM 与 Triton 版本不匹配、冷启动延迟、指标碎片化,并深入分析了约束解码从 vLLM V0 到 V1 的性能演进与状态管理难题。这些经验对构建大规模 LLM 推理基础设施具有直接参考意义,尤其展示了从实验到生产的平滑过渡如何通过工程细节落地。
推荐收录,因为文章不是浅层的工具介绍,而是基于 Netflix 真实生产环境给出了系统性的设计取舍和踩坑记录。约束解码的缩放瓶颈、指标融合、版本协调等细节可直接帮助平台工程师避坑,适合负责 LLM 基础设施、模型部署或高性能推理系统的读者借鉴。
工程实践 LWN.net 2026/07/17
本文概述了 Collabora 与 Valve 合作将 Arch Linux 移植到 aarch64 架构的工作,目标是为 Valve 的 64 位 Arm 蒸汽框架游戏系统提供操作系统。核心内容包括从零开始构建可重复的编译基础设施,生成源码、二进制包和容器镜像,并规划了能持续跟踪上游 Arch Linux 开发的 CI 系统。文章还讨论了移植过程中的挑战,如从第一性原理构建至特定快照,以及如何在此基础上实现自动化可重复构建。此外,提供了在 x86_64 主机上创建和测试 aarch64 构建容器的指导,以便没有 64 位 Arm 设备的用户参与。该工作尚在初期阶段,下一步是与上游合作完善移植并建立持续集成,其经验适用于操作系统移植和嵌入式构建场景。
推荐收录,因为文章记录了将 Arch Linux 移植到 aarch64 架构的真实工程过程,包括从零构建基础设施、实现可重复自动化构建,以及规划持续集成系统,这些经验对操作系统移植、构建系统和 CI/CD 的实践者具有直接的参考价值。同时,文中提供的跨架构测试方法也可迁移到其他类似项目。
工程实践 Meta Engineering 2026/07/15
本文介绍了 Meta 广告漏斗深度优化中的层级兴趣表征系统,旨在通过统一嵌入连接用户、广告主与产品。系统基于大规模异构交互图,融合多模态世界知识(由 LLM 处理)以缓解稀疏信号问题,并采用 Transformer 架构实施层级编码:引入图结构偏差的注意力机制(使用 FlexAttention 实现内存高效计算)、自监督跨视图蒸馏(结合 Sinkhorn-Knopp 均衡)与交互预测联合训练。最终输出通用嵌入和“意义包”离散令牌,可服务于检索、排序等下游任务。文章详细阐述了图构建、在线基础设施、因果性保证与规模化训练流水线,提供了工业级推荐系统在复杂图学习上的工程实践,但方法高度依赖 Meta 内部平台与数据规模,迁移时需考虑领域适配。
推荐收录。本文来自 Meta 工程博客,系统披露了用于大规模广告推荐的上游层级兴趣表征系统,完整覆盖从图构建、多模态知识融合、Transformer 层级编码到在线推理的工程细节,并公开了 FlexAttention、跨视图蒸馏等具体设计决策与缩放经验。适合推荐系统、图学习及大规模 ML 基础设施方向的研究者和工程师参考,可迁移至处理稀疏信号、层级表征与工业级图应用的场景。需注意部分架构深度绑定 Meta 生态,但核心思想与权衡思路具备通用价值。
技术文章 PlanetScale Blog 2026/07/15
文章从数据库扩展瓶颈出发,解释了单节点和只读副本在写入吞吐、数据容量和备份速度上的局限,进而说明为何分片是超越数TB数据的必需方案。以存储1PB数据、跨越256个分片共768台服务器的场景为例,文章重点阐述代理层如何通过查询解析、路由规划和连接池,将众多分片对外表现为单一数据库。文中介绍了基于哈希的分片策略、JSON拓扑配置,并给出从应用经网络负载均衡到代理再到分片的完整数据流。文章主要提供架构层面的概览与工具选择(Neki for Postgres、Vitess for MySQL),而非深入实现细节,适合正在规划数据库扩展的工程师建立整体认知。
该文以清晰的架构图和具体规模为例,系统梳理了数据库分片的核心挑战与代理层设计,对理解分片系统的整体运作有实际参考价值。适合需要应对数据量增长的研发、DBA和基础设施工程师,可迁移的分层架构与路由思想能直接指导技术选型和方案设计。
工程实践 Simon Willison 2026/07/14
文章记录了社区站点 Lobsters 从 MariaDB 迁移到 SQLite 的完整工程实践。自 2018 年起计划切换数据库,最初考虑 PostgreSQL,2025 年转向 SQLite 评估,并于近期完成迁移并稳定运行。新架构中 Rails 应用运行在单台 VPS 上,使用多个 SQLite 文件分别管理内容、缓存、队列和限流数据,总大小约 5.7GB。迁移后 CPU 与内存占用均下降,站点响应提升,VPS 成本减半。文章引用了详细的 PR 和讨论,展示了代码变更量、关键决策和验证过程,为类似规模站点的数据库选型与迁移提供了可参考的真实案例。
推荐收录,因为本文提供了从 MariaDB 到 SQLite 的真实迁移案例,包含决策背景、架构变化、性能对比和成本收益等具体证据。适合后端开发者、架构师及运维人员在评估轻量级数据库方案时参考,其单机多文件部署模式及限流中间件集成具有可迁移价值。
工程实践 Slack Engineering 2026/07/14
本文介绍了Slack构建下一代EC2平台Shipyard的工程实践。面对传统Chef管理长期运行实例导致的配置漂移和部署风险,团队转向以不可变性为核心的设计,通过分层黄金镜像slack-zero、服务特定AMI、烘焙与配置分离、基于指标的渐进式部署和自动化安全控制,将基础设施视为可部署制品。平台支持多架构和多操作系统,提供快速实例供应、实时库存系统Peekaboo和Reaper生命周期管理,确保集群始终运行在新鲜状态。文章还讨论了测试框架Ship Quick、紧急修复路径、秘密管理的半不可变妥协以及未来对长生命周期实例的支持计划,为大规模云基础设施现代化提供了可迁移的架构模式和运维经验。
推荐收录。本文详细记录了Slack从可变基础设施向不可变EC2平台演进的完整工程过程,包含分层镜像设计、自动化部署体系、生命周期治理和测试方法等具体实现细节与权衡,为云平台团队提供了高价值的参考案例。适合基础设施工程师、SRE及平台开发者了解如何在高负载生产环境中安全地推动现代化改造,其中的分层构建、渐进式部署和强制刷新等模式可直接迁移至类似系统。
工程实践 Cloudflare Blog 2026/07/14
文章复盘了2026年7月3日.AL顶级域DNSSEC密钥更新失败事件,详述了信任链断裂时间线、影响范围及解析器行为。Cloudflare的1.1.1.1解析器通过部署Negative Trust Anchor(NTA)临时绕过DNSSEC验证恢复解析,但传统NTA对客户端不透明。为解决此缺口,1.1.1.1首次在响应中返回新定义的EDE 33代码,明确告知NTA已应用,提升DNS安全事件的透明度。文章还讨论了NTA的运营权衡、协议扩展的动机及标准化进程,并分析了该方案对监控、客户端及运营者的意义,以及DNSSEC链状信任的脆弱性边界。
推荐收录,文章提供了真实世界DNSSEC故障的完整工程复盘,涵盖了从故障诊断、临时缓解措施到协议层面透明度改进的全链路。其EDE 33的引入和标准化过程具有明确的长期参考价值,适合DNS运营者、安全工程师和协议开发者借鉴故障处置流程、运营权衡与协议设计思路,可迁移至其他互联网基础设施问题。
工程实践 Xe Iaso 2026/07/14
文章基于 Anubis 蜜罐功能收集的真实数据,分析 Web 爬虫流量的全球分布与来源特征。数据表明 80–90% 的蜜罐命中来自未列入已知威胁列表的 IP,且主要集中于住宅 ISP 或消费级网络。作者通过国家、ASN、网络提供商的分类统计,发现大量流量可能源自受入侵的智能家电设备,它们被用作代理网络的一部分。该分析揭示了当前威胁情报库在抵御大规模爬虫攻击方面的不足,并强调了部署 Web 应用防火墙的必要性。
推荐收录,因为它基于真实蜜罐数据提供了关于爬虫流量来源的量化洞察,挑战了仅依赖公开威胁列表的防御假设。适合 Web 安全、反滥用及基础设施工程师参考,文中数据清洗、分类统计方法和来源推论可迁移到类似流量分析任务中,有助于设计更合理的防御策略。
工程实践 美团技术团队
本文介绍美团万亿参数大模型 LongCat-2.0 在国产算力集群上的推理优化与开源实践。面对国产芯片显存、带宽和互联受限的挑战,团队从模型架构(LongCat 稀疏注意力、ScMoE 核心级并行、N-gram Embedding)、芯片适配(Super Kernel、Weight Prefetch、KV-cache 传输)和部署策略(PD 分离、EP 负载均衡、多推理特性适配)三个层面进行深度协同优化,实现了百万级上下文的高效推理。此外,模型通过多教师在线蒸馏和 MOPD 架构融合了 Agent、推理与交互能力。文章指出,该方案已在真实 Agentic Coding 任务中稳定运行,验证了国产芯片承载复杂大模型的可行性,并通过开源提供可复现的技术路径。
推荐收录,因为本文详细展示了在显存与带宽受限的国产硬件上部署万亿参数大模型的完整工程方案,包括模型、芯片适配和部署多个层面的协同优化,有明确的技术细节、架构取舍和验证结果。对于从事大模型推理优化、国产算力适配或大规模分布式服务的工程师,文中的稀疏注意力、ScMoE 算子融合、PD 分离部署和 EP 负载均衡等实践具有直接的迁移价值,也体现了在约束条件下进行系统设计的工程思维。
工程实践 Kubernetes Blog 2026/07/13
文章介绍了一个 Headlamp 插件,用于在通用 Kubernetes UI 中直接可视化和管理 Kubeflow 自定义资源,解决运维人员需要频繁退回到 kubectl 排查 AI/ML 工作负载底层问题的痛点。作者分析了何以专用 ML 仪表板对集群操作员不透明,展示了插件如何通过直接读取 Kubernetes API 提供 Notebook Pod 状态、管线运行状态、超参数优化实验等细节,并支持自动发现已安装的 Kubeflow 组件。文中给出了具体视图示例和 map 源注册机制,最后将这一模式推广到任意 CRD 密集型平台。该方案依赖 CRD 存在,不替代数据科学家界面,但为 SRE 和平台工程师提供了统一的集群级可见性。
推荐收录。文章源于 Kubernetes 官方博客,详细展示了将领域专用平台可观测性整合进通用 Kubernetes UI 的完整工程实践:从分析运维人员视角缺口,到设计 CRD 感知的插件视图,再到具体实现与可复用模式总结。适合负责 AI/ML 平台运维的 SRE 和平台工程师,其方法可直接迁移到其他自建 CRD 平台,提升底层资源排障效率和操作一致性。
工程实践 Meta Engineering 2026/07/13
文章介绍 Meta 广告服务在 Linux 内核升级至 6.9 时遭遇 EEVDF 调度器导致的延迟回归,影响广告排序。团队利用开源的 sched_ext(BPF 扩展调度框架)构建了面向广告交付的自定义调度策略,通过将 CPU 软分区为延迟关键池和非关键池,并根据负载动态调整池大小,显著提升最后一级缓存局部性。初始部署在最大广告服务器上后,广告检索的 p99 延迟降低 28%,功耗节省 3.28 兆瓦,加权广告排名提升 1.1%,后续两次用户空间策略更新进一步降低延迟并减少超时错误。该方案将调度优化从依赖内核发版的路径中解耦,使迭代周期从数月缩短至数天,并将 sched_ext 从短期修复发展为持续优化平台,同时已上游化至 Linux v6.12。文章未探讨该策略对其他混部负载的公平性影响,且定制策略需依工作负载特性重新设计。
推荐收录,因为它提供了一个完整的高负载服务调度优化工程案例,从问题诊断、基于 sched_ext 的自定义策略实现到量化效果验证,证据充分。适合基础设施、后端性能优化和 SRE 读者,文中展示的软分区、缓存局部性利用以及借助 BPF 快速迭代的方法可迁移至其他延迟敏感系统。
工程实践 知乎 - 腾讯技术工程 2026/07/13
本文以腾讯内部超大规模集群为背景,详细阐述了 K8s 与 Ray 的协同设计原则与工程实践。文章从大模型时代 AI 基础设施技术栈的演进切入,论证了 Ray 在多模态数据处理和强化学习场景中相比传统计算引擎的调度优势,并深入分析 Ray 如何通过进程级细粒度调度满足异构资源、动态分配、高容错等需求。在此基础上,重点介绍了腾讯解决跨 K8s 集群部署的联邦架构演进过程(从 Virtual Kubelet 到原生联邦),以及跨层弹性调度和自动化容灾等协同设计,最终实现了支持万卡规模的统一异构资源调度和训练稳定性提升。文末展望了更原生的联邦架构和通用分布式底座方向,对大规模 AI 平台的构建具有直接参考价值。
收录理由:文章提供了真实工业场景下 K8s+Ray 协同设计的完整工程案例,包含问题分析、方案对比、架构演替和关键决策细节,具备清晰的可迁移性。适合从事 AI 基础设施、分布式调度和云原生平台建设的工程师和架构师参考,能够帮助理解大规模异构算力调度的核心挑战与解决思路。
工程实践 LWN.net 2026/07/10
文章是LWN.net对2025年初一篇关于对抗AI爬虫泛滥问题的更新。作者指出,在文章发布一年多后,网站被爬虫大量抓取训练数据的现象不但没有缓解,反而愈演愈烈,对开放互联网的可持续性构成严重威胁。文章分析了当前爬虫流量的来源和特征,包括大规模分布式IP、模拟浏览器行为等高级手段,以及它们如何规避传统防护。然后讨论了可行的应对措施,如限流、CAPTCHA、UA过滤、IP黑名单和更精细的行为分析,并比较了各种方案的优缺点。文章还指出,这些防护可能误伤正常用户和搜索引擎爬虫,且攻击者会不断调整策略,因此没有一劳永逸的解决方案。整体而言,这需要网站管理员持续监控、分层防御,并在开放性与防护之间找到平衡。
本文提供了对抗AI爬虫泛滥的现状分析与实用防护策略,来自LWN这样长期关注系统与安全的权威来源。文章对爬虫流量来源与规避手段的剖析,以及分层防御、限流与行为分析的讨论,对面临大规模自动化抓取的Web运维和安全工程师具有直接参考价值。虽然具体技术细节可能随时间变化,但文中强调的持续监控、动态调整与平衡开放性的工程思维可以迁移到其他类似防御场景。
工程实践 Cloudflare Blog 2026/07/10
文章详细说明了 Cloudflare Smart Tiered Cache 在公共云 anycast 源站上遇到的挑战:anycast IP 导致延迟探测无法锁定唯一最优上层数据中心,可能产生跨洲回源和缓存效率下降。解决方案是引入云区域提示,用户指定源站所在云区域后,系统利用各云厂商的 IP 范围文件和持续延迟探测为每个区域赋予主上层和备用上层,并在探测数据不足时回退到地理近似。文章介绍了 anycast 检测原理、区域到上层映射的投票机制,以及通过控制台、API 和 Terraform 进行配置的方式。该功能目前支持 AWS、GCP、Azure 和 Oracle Cloud,旨在提升缓存命中率、降低延迟,但需手动提供提示且仅适用于已支持的云提供商,边界清晰。
推荐收录,因为文章不是简单的功能通告,而是深入剖析了 Smart Tiered Cache 在 anycast 公共云环境中的局限、解决方案的技术细节和配置方法。适合负责 CDN、边缘网络、缓存策略或基础设施性能优化的工程师参考,其中的问题分析框架和自动化映射思路可迁移到类似分布式系统的网络拓扑优化场景。
工程实践 Lyft Engineering 2026/07/09
本文记录作者在 Lyft 入职期间,用三周时间从零构建 AI 分析助手 Aria 的生产级前端并最终上线的完整过程。技术栈涉及 Node.js、Next.js、Envoy、CloudFront、XState 状态机和 SSE 流式传输;作者依次解决了认证插件不兼容、Envoy 会话配置错误和流式数据块过大等具体问题,并借助 Grafana 日志追踪和团队已有服务快速定位根因。文章还从新人视角总结了 Lyft 的成熟内部工具、跨团队协作和文档文化如何支撑高效工程实践,展示了“通过实际发布学习系统”的入职理念。本文适用于关注前端基础设施、生产环境部署及工程文化的读者,但部分实现细节未深入展开,技术深度偏向经验复盘而非详细教程。
推荐收录,因为文章提供了从零搭建生产级前端服务并处理真实集成问题的完整工程案例,涉及 Envoy 配置、SSE 流式传输和状态管理等可迁移经验,适合需要快速融入复杂技术栈的工程师或关注工程文化与入职机制的管理者。但其技术讨论停留在经验复盘,缺少深层实现细节,不宜作为深度技术参考,更多是场景化实践启发。
工程实践 GitHub Security Lab 2026/07/09
文章讲述了 GitHub 如何为内部组织超过 1.1 万个无主仓库建立持久所有权。面对秘密扫描修复等安全工作中找不到仓库负责人的痛点,GitHub 设计了基于自定义属性(ownership‑type 和 ownership‑name)的所有权模型,区分服务目录、团队和个人三类。通过同步服务目录获得初始覆盖后,利用 GitHub App 和 Kubernetes CronJob 推出自动化执行:新仓库创建时强制声明所有权,已有仓库则创建 issue 并给予 30 天宽限期,逾期未声明的仓库被归档。过程中因缺少直接通知和外部数据源异常导致两次小型事故,随即引入 @提及通知、低水位阈值等保护措施。最终归档约 8000 个仓库,所有活跃仓库均具备持久所有者,并维持实时检查以防漂移。文章提供了可迁移的实践步骤,强调自动化操作必须预设数据失效和通知缺失的防护。
本文是一个完整的工程实践案例,从问题定义、模型设计、自动化推出到异常处理形成闭环,真实呈现了大规模组织内部推行仓库所有权管理的取舍和教训。对于需要治理海量代码仓库、提升安全响应速度或满足合规要求的平台工程团队、DevOps 或安全工程师,文中的自定义属性方案、可逆归档策略和边缘防护思路具有直接可迁移价值,同时也提醒了自动化操作中必须提前防御数据可靠性和通知失效问题。
工程实践 Amazon Science 2026/07/09
文章介绍 Turnstile,一个用 Rust 编写的轻量级代理,旨在解决在智能体强化学习(RL)训练中由于文本重解析导致的 token 漂移问题。作者分析了现有智能体框架在记录 rollout 时,因重新分词、聊天模板变化和历史压缩等操作会丢失模型实际看到的精确 token 序列和路由信息,导致训练信号失真。Turnstile 位于智能体框架与推理后端之间,在生成时刻捕获准确的 token ID、log 概率、损失掩码,并支持多轮轨迹合并、MoE 路由记录和多模态图像处理。文章展示了 Turnstile 与开源框架 OpenHands 等集成,在不改动业务代码的情况下驱动两个不同智能体完成 RL 训练,验证了方案的有效性。当前 Turnstile 仍处于早期阶段,仅支持 SGLang 后端,但设计上保持与具体智能体逻辑解耦,可迁移到不同训练栈。
推荐收录,因为文章不仅提出了一个具体工程方案,还深入剖析了智能体 RL 训练中 token 漂移的根源、影响及解决思路。该代理设计优雅,将复杂训练数据捕获问题下沉到协议边界,对正在构建 RL 训练基础设施或需要可靠 rollout 管线的工程师有直接借鉴意义。其核心思想——在生成边界捕获精确状态而非事后重构——可迁移到其他需要确定性快照的分布式训练系统。
工程实践 知乎 - 千问云 2026/07/08
文章复盘了在 Devix 上搭建 7x24 自动化运维系统的实践,目标是让 AI Agent 接管告警诊断、分级处置和结果闭环。作者提出 Harness Engineering:让 Agent 负责语义理解和推理,脚本负责数据召回与动作执行,以确定性流程约束模型的不稳定和“没记性”。系统以钉钉、DataWorks、ODPS 为核心链路,完成告警触发、深层日志解析、案例检索、决策树分流和自动重跑、人工确认或升级处理。文中进一步设计了基于错误模式和历史成功率的置信度调整、规则库自进化机制,以及自动重跑、代码修复的多层安全防线。适用边界是故障模式较可枚举、API 和知识库完善、且允许用历史案例逐步放权的运维场景;对于高度开放或高风险动作,仍需严格人工兜底。
收录依据很明确:文章不是泛谈 Agent,而是给出了告警、诊断、决策、执行、追踪、沉淀的完整工程闭环,以及置信度分级和规则自进化的具体实现。适合做 AI 运维、自动化流程编排和生产级 Agent 设计的参考,但读者需注意它依赖清晰的业务知识库、规则库和安全兜底,不能直接照搬到开放场景。
工程实践 PlanetScale Blog 2026/07/08
文章围绕数据库死锁导致的排队、重试风暴和潜在宕机展开,先解释 Postgres 如何在 deadlock_timeout 之后检测锁环并回滚一个事务。作者指出,单次死锁通常可恢复,但当高并发下死锁频繁出现时,等待队列会迅速堆满连接池,死锁检测本身反而成为系统压力源。文中给出两类缓解手段:在查询与事务层面保持一致的加锁顺序、缩短事务并尽量晚加锁;在应用层对 40P01 错误做指数退避加随机抖动的重试,避免立即重复触发同一冲突。最后还介绍了通过 PlanetScale 的 Traffic Control 和 Resource Budget 在数据库侧限制问题查询并先以 warning 观察影响,再切换到 enforce 阻断锁竞争。文章适合处理高并发数据库系统的工程实践参考,但其效果依赖于死锁场景的规模、查询模式以及应用是否具备正确重试逻辑。
推荐收录,因为文章明确给出了死锁从“可恢复错误”演变为“队列堆积和宕机”的链条,并提供了查询顺序、事务长度、重试退避和数据库侧限流的组合治理方案。适合做数据库稳定性、故障预防和高并发系统设计的参考,且这些做法可迁移到其他关系型数据库与在线服务场景。
工程实践 Cloudflare Blog 2026/07/06
这篇文章介绍了 Cloudflare Workers Cache:一种位于 Worker 前面的分层缓存,开启后可直接命中缓存而不执行 Worker,从而减少延迟并避免 CPU 计费。作者说明它完全由 HTTP 语义驱动,主要通过 Cache-Control、stale-while-revalidate、Vary、Cache-Tag 和程序化 purge 来控制缓存行为,而不是依赖 zone 级规则。文章进一步强调这是“Worker 自己的缓存”而非站点缓存,缓存会跟随 Worker、preview、workers.dev 和多租户场景,并支持按 ctx.props 构造多租户安全的 cache key。对于复杂应用,它还能插在多个 entrypoint 之间,让认证、归一化、重度计算和数据层分别决定是否缓存,组合出“近用户 + 近数据”的执行路径。文末也指出一些边界:认证请求需避免自动 bypass、需要控制 Vary 维度膨胀,且部分与 Smart Placement 的协同和响应体大小限制仍在演进中。
收录理由很明确:文章给出了可直接落地的缓存架构、HTTP 控制面设计、按入口点组合缓存的方式,以及多租户安全与失效策略的具体实现。适合做边缘计算、SSR 性能优化、平台架构和缓存设计的长期参考,尤其对使用 Workers、服务绑定或多入口应用的工程师有迁移价值。
工程实践 LWN.net 2026/07/02
这篇文章介绍 CalyxOS 在暂停发布后如何重新恢复发行,重点不是“回归”本身,而是重建了一套更安全、更可持续的发布体系。作者说明团队改用基于 HSM 的开源签名方案,并通过审计脚本验证 HSM 预置流程,以降低私钥泄露和单点故障风险。文章还提到发布基础设施被重构为更清晰的服务器分工,同时针对 Google 降低 AOSP 频率后带来的补丁合并成本,团队编写脚本来减少每月更新的手工负担。与此同时,作者也坦承仍有手工步骤无法自动化,例如每次更新都要补齐 kernel sources,以及维护 LineageOS/CalyxOS 的 base device trees。整体来看,它展示的是一个 Android 发行版在安全签名、发布工程和上游依赖变化下的系统性应对,但也明确了自动化的边界仍受制于上游供应和设备树维护。
收录价值在于它给出了可复用的发布安全改造案例:HSM 签名、审计脚本、去单点故障和发布基础设施重构都有具体证据。适合关注开源发行版、安全发布链路和上游变更治理的读者参考,也能迁移到其他需要高可信发布流程的项目中。
工程实践 Cloudflare Blog 2026/07/01
这篇 Cloudflare 博客介绍了面向网站所有者的新一代 AI 流量管理方案,核心是把自动化访问按行为拆成 Search、Agent、Training 三类,而不是笼统地按“AI bot”一刀切。文章进一步引入 content-use 分级(immediate、reference、full)和 robots.txt 的 Content-Signal 扩展,用于表达内容被访问后的保存与再利用边界。Cloudflare 还更新了 Verified 的含义、推出 BotBase 作为可搜索的机器人目录,并用 Forwarded 头讨论跨中介的 transitive trust。整体方案强调可观测、可分类、可细粒度控制,但也承认当机器人流量与真人流量混合时,隐私和可识别性会限制这套机制的适用范围。
文章直接给出了可落地的机器人分类、robots.txt 信号和默认策略调整,属于典型的基础设施与安全控制设计案例。适合做网站防爬、AI 访问治理和流量策略制定的参考,但需注意它同时带有明显产品发布属性。
工程实践 Cloudflare Blog 2026/07/01
这篇 Cloudflare 报告回顾了“Content Independence Day”一年后的变化,基于 Cloudflare Radar 和 Investor Day 数据,讨论开放网络在 AI 时代的流量、抓取与商业模式重构。文中给出多个量化信号:代理流量首次超过人类流量、抓取请求中 AI 训练占比快速上升、混合用途爬虫让内容所有者难以区分抓取目的。作者认为,传统“内容换搜索流量”的交换关系正在失效,出版商和网站正在面对“Google Zero”式的流量下滑。报告进一步指出,透明声明、访问控制和网络级执法会制造稀缺性,从而推动内容授权市场与更精细的定价机制。其结论是:面向 agentic Internet,需要新的基础设施来支持权限、许可、度量和交易,但这些判断明显带有 Cloudflare 自身网络视角和商业立场。
收录价值在于它提供了云安全/边缘网络视角下的真实流量数据与抓取目的变化,能帮助理解 AI 时代网站访问、机器人识别和内容授权的系统性变化。适合做互联网基础设施、爬虫治理和内容变现趋势参考,但读者也需注意其数据来自 Cloudflare 网络,立场带有明显商业主张。
工程实践 GitHub Security Lab 2026/06/29
这篇文章复盘了 GitHub Advisory Database 在 2026 年 5 月遭遇的漏洞输入激增:单月发布 1560 条已审查 advisory,三个月内月均决策超过 6000 次,但处理速度仍落后于增长的报告量。作者解释了瓶颈不在发布管线,而在人工复核:包名映射、受影响版本重建、多生态包核验、冲突信息消歧都会显著拉长审核时间。文中强调 reviewed advisory 代表过验证的数据,可供下游告警和 API 直接信赖,因此不能通过跳过核验来换速度。随后介绍了 GitHub 正在推进的措施,包括提高提交质量、扩容后端、引入 AI 辅助检索、增强自动化、完善文档培训,并计划用风险信号优化优先级。文章适合关注安全数据平台、漏洞情报流水线和人机协同审核系统的读者,也点出了高质量上游数据对整体生态的边界与依赖。
推荐收录,因为文章给出了明确的量化证据:漏洞输入与审核量同步暴涨、审核延迟由周级扩展到多周,且详细说明了人工复核的具体成本。它适合做安全情报平台、供应链漏洞数据和人机协同审核设计的参考,能迁移的经验包括数据质量前置、风险分级和有限自动化的边界。
工程实践 Meta Engineering 2026/06/25
文章以 Meta 的隐私感知基础设施为案例,讨论在 AI 原生产品中如何做资产分类,核心目标是先准确识别数据“是什么”,再谈保留、访问、共享和匿名化等控制。作者指出仅靠字段名会产生误判,因此系统先汇聚代码解析、血缘、归属、语义注释和使用模式,形成 evidence brief,再让模型处理歧义与冷启动。生产路径采用“确定性规则优先、LLM 兜底”的两段式架构:大部分请求由版本化规则在毫秒级完成,少量新颖或模糊资产才进入模型推理。文章强调评估必须与优化解耦,参考标签不能由模型自举生成,并通过校准、kappa、宏 F1、对抗遮蔽和独立人工复核来防止自我验证。最后,系统把稳定模式蒸馏成可审计、可回放的确定性规则,并用灰度、黑名单和内容寻址发布保证规则升级不会悄然降低保护强度;其边界是依赖高质量上下文、明确政策口径和持续人工治理。
收录理由直接且充分:文章给出了隐私资产分类的完整工程链路,包括上下文聚合、LLM 兜底、规则蒸馏、独立评估与可回放发布,而不是泛泛谈 AI+隐私。适合做隐私治理、AI 基础设施和高风险分类系统的设计参考,但前提是有清晰 taxonomy、人工标注和严格的版本控制。
工程实践 PlanetScale Blog 2026/06/25
文章介绍了如何在一个 PlanetScale Postgres cluster 中承载多个应用:先用逻辑数据库把 blog、todo 等数据与 schema 分开,再通过角色与权限控制实现彼此隔离。作者重点解释了 Postgres 默认对新数据库开放 PUBLIC CONNECT、以及需要显式 REVOKE/GRANT 才能把访问收紧到指定角色,这也是多应用共享集群时最容易踩坑的部分。随后文章给出用 PlanetScale API 创建角色、再在数据库内授予 CONNECT、CREATE 和 schema 权限的完整流程,并提醒读写与迁移职责最好拆分成不同角色。最后作者把这些步骤自动化到 Pulumi/IaC 中,展示如何把新增或删除应用简化为修改配置数组并重新部署。文章也明确边界:这种共享集群方案更适合 side project 和小规模应用,增长到高并发或大量用户时仍应迁移到独立集群。
文章直接给出了 Postgres 多逻辑数据库隔离、角色权限收紧和 IaC 自动化的可执行做法,不是泛泛介绍概念。适合需要在同一集群承载多个小应用、或想把数据库权限管理流程自动化的工程读者参考;但它也明确说明了规模上来后应切到独立集群。
工程实践 Cloudflare Blog 2026/06/24
这篇文章复盘了 Cloudflare 将 OAuth 从少数人工接入伙伴扩展到所有客户的工程改造过程,重点讲解了如何升级底层 Hydra OAuth 引擎、处理数据库 schema 迁移、设计蓝绿切换方案以及在迁移窗口内保证授权与撤销语义不被破坏。文章还披露了升级前后的性能指标变化和线上问题修复细节,说明这次改造不仅是产品能力开放,也是一次围绕一致性、可用性和安全性的系统性工程升级。
推荐收录,因为它不是简单的产品发布,而是完整展示了一个高流量授权系统如何在不中断用户的前提下完成大版本升级与能力开放。对做平台、基础设施、认证授权或大规模数据库迁移的工程师来说,文中关于蓝绿迁移、撤销事件回放、刷新令牌处理和性能观测的做法都很有迁移价值。
工程实践 Cloudflare Blog 2026/06/23
这篇文章围绕“后量子密码迁移”展开,结合美国总统行政令、NIST 标准和 Cloudflare 自身的部署经验,系统说明了为什么应立即推进后量子加密与后量子认证。作者把迁移拆成两个阶段,分别解释了 ML-KEM 与 ML-DSA/SLH-DSA 的适用场景、性能与生态成熟度差异,并强调加密迁移已可规模化推进,而认证迁移由于证书、根信任、CA、浏览器等依赖链更长,需要并行启动。
推荐收录,因为它不仅讨论政策信号,更给出了可落地的迁移判断框架:先保护公网流量、再做量子影响盘点、同时推动采购约束和认证准备。对做安全架构、云基础设施、企业密码迁移和供应链治理的读者,这篇文章具有很强的迁移性和长期参考价值。
工程实践 Cloudflare Blog 2026/06/17
这篇文章围绕“如何把 agent harness 变成可上线的生产系统”展开,提出了 framework、harness、runtime/platform 三层架构,并以 Flue 与 Cloudflare Agents SDK 的结合为例,解释了为什么持久化执行、沙箱代码执行、持久化文件系统和动态工作流必须由平台层提供。作者进一步说明了 Durable Object、runFiber()/stash()/onFiberRecovered()、@cloudflare/codemode、@cloudflare/shell 和 dynamic workflows 的作用,强调这些能力能让 agent 在中断、重启、长任务和工具膨胀场景下保持可恢复、可扩展和更安全的执行。
推荐收录,因为它不是单纯的产品发布,而是把“生产级 agent”需要的运行时能力拆解成了清晰的工程分层与机制说明,适合作为架构设计参考。文章对持久化执行、沙箱隔离、虚拟文件系统和动态工作流的讨论具有较强迁移性,能帮助读者理解 agent 平台化的关键约束。
工程实践 知乎 - 千问云 2026/06/17
这篇文章围绕 DeepSeek V4 的长上下文推理,系统讲解了 Tair KVCache 与 SGLang 如何通过分层缓存来同时缓解 Prefill 和 Decode 两侧的显存压力。核心思路是用 Shadow Radix 统一逻辑前缀坐标,再分别用 HiCache 处理前缀复用的多级存储回落与恢复,用 HiSparse 处理 Decode 阶段 C4 压缩历史的按需加载,从而在多轮对话场景下提升 Prefill 吞吐接近 3 倍,并在高并发下显著抬升 Decode 的 batch size 与峰值吞吐。文章也明确了这套方案的适用边界:它依赖 DeepSeek V4 的混合注意力与压缩 KV 结构,收益主要出现在长上下文、前缀复用强和并发较高的服务场景。
推荐收录,因为文章不是简单介绍一个缓存产品,而是把模型结构、推理阶段划分、KV 物理形态和缓存层级之间的关系讲清楚了,具有较强的系统设计参考价值。对于做大模型推理服务、长上下文优化和显存治理的读者,这篇内容能直接迁移为架构分析框架和实现思路。
工程实践 Cloudflare Blog 2026/06/12
这篇文章复盘了 Cloudflare 为 Security Insights 扫描系统做的整体扩容:从每周/每两周扫描一次、部分免费用户未自动扫描,提升到峰值每秒 120 次以上的扫描吞吐,并将免费用户默认扫描和全量扫描频率提升到更高水平。作者按链路拆解了多个瓶颈,包括 Kafka 消费的 head-of-line blocking、Postgres 批量写入效率、跨地域 API 延迟导致的连接池耗尽,以及调度器造成的扫描洪峰,并逐一用批量并行、快慢车道、UNNEST/COPY 混合写入、active-passive API 和自适应限流等手段解决。文章的核心结论是:在大规模系统里,先理解现有架构和真实瓶颈,再针对性优化,往往比简单加机器、加分区或抬超时更有效。
推荐收录,因为它不是泛泛的“扩容故事”,而是完整展示了一个安全扫描平台在消息队列、数据库、调度和跨地域部署上的系统性性能治理。对做后端、基础设施、安全平台或高并发任务调度的读者来说,这篇文章提供了很强的可迁移方法论:如何定位瓶颈、如何权衡架构改动、以及如何用指标验证收益。
工程实践 Lyft Engineering 2026/06/09
这篇文章复盘了 Lyft Urban Solutions 支持运营团队如何把一个混乱、重复且不可观测的 Jira Help Center,逐步重构为统一入口、自路由、可报表化的工单系统。作者按“表单重构、自动化路由、跨项目合并、数据可视化”四个阶段展开,具体介绍了 Proforma 动态表单、Jira 自动化、工单克隆与联动、标签体系设计、Structures 仪表盘以及 Jira 到 Mode 的 ETL 分析链路。文章最后还讨论了向 Jira Cloud 迁移时面临的集成重构、报表替换和告警配置重建等边界条件。
推荐收录,因为它不是单纯的工具介绍,而是把支持工单系统当作一套可设计、可演进的数据与流程基础设施来建设,包含了明确的权衡、阶段性改造和迁移风险。对做内部平台、工单系统、运营自动化或数据可视化的人来说,这篇文章提供了高度可迁移的设计原则和落地路径。
工程实践 Instacart Tech Blog 2026/06/02
文章复盘了 Instacart 广告召回系统从“对固定候选集打分”转向“按 token 自回归生成”的重构过程。作者先分析了旧式 BERT 检索在词表膨胀、冷启动和候选结构漂移上的瓶颈,再介绍用 Semantic IDs 作为新产品词汇、用上下文模板组织训练输入、以及通过 beam search 生成候选并映射回商品索引的完整方案。为了支撑新模型,团队还重建了 GPU serving 栈(TensorRT-LLM、Triton、Go-native 服务),最终在两条发现型广告位上取得了约 +5% CTR、+34% add-to-carts 的线上收益,并显著提升了长尾类目和品牌多样性。
推荐收录,因为它不是单纯的产品宣传,而是把广告召回从建模、表示、训练、检索到推理基础设施完整串起来,呈现了一个可迁移的工业级重构范式。对于做推荐系统、检索系统和大模型推理落地的读者,这篇文章能直接提供“何时从打分转向生成”“如何重做表示层”“如何为生成式召回重建 serving 栈”的判断框架。
工程实践 Cloudflare Blog 2026/06/01
这篇文章复盘了 Cloudflare 核心裸金属服务器在固件更新后启动时间从几分钟恶化到数小时的问题,根因不是单一故障,而是 UEFI/iPXE 启动流程中对网络启动接口进行顺序探测时,反复命中超时导致的级联等待。作者通过串口观察、启动链路拆解和与 OEM 协同,最终把正确的网络启动接口前置声明,并处理了旧版 UEFI 不支持、升级后配置丢失、不同 NIC 字符串不一致、iPXE 读取配置受限等工程边界。文章最后把固件升级总耗时从接近 4 小时压到 3 分钟,后续单次启动也从约 20 分钟缩短到 1 分钟以内,适合作为裸金属自动化、UEFI 启动排障和固件配置管理的参考案例。
推荐收录,因为它不是简单的性能优化报道,而是把裸金属启动链路、固件行为、供应商差异和自动化控制串成了一条完整的工程排障路径。对于做基础设施、SRE、系统启动和硬件自动化的读者,这篇文章提供了可迁移的诊断框架和规避超时放大的方法。
工程实践 Cloudflare Blog 2026/05/28
这篇文章系统介绍了 Cloudflare 如何搭建统一数据平台 Town Lake,以及其上的 AI 数据代理 Skipper。核心方案是以 Trino + Iceberg + R2 构成湖仓式数据底座,再叠加 DataHub 元数据、Lifeguard 权限控制、Skimmer PII 扫描、Transformer ELT 和 Ingestion 管道,实现默认关闭、可审计、按会话授权的数据访问。文章进一步说明 Skipper 如何利用多层上下文、代码模式 MCP 接口和运行时验证,把自然语言问题转成可追溯的 SQL 查询与图表,并总结了工具设计与提示词工程的经验教训。
推荐收录,因为它不是单纯的产品宣传,而是完整讲清了超大规模企业数据平台从架构、治理到 AI 查询代理的实现方式与权衡。对做数据平台、内部分析系统、权限治理或企业级 AI Agent 的读者,都有较强的可迁移参考价值。
工程实践 Cloudflare Blog 2026/05/27
这篇 Cloudflare Radar 博文基于边缘网络观测数据,跟踪伊朗在经历长期断网后出现的部分互联网恢复迹象。文章从流量字节数、DNS 查询、区域分布、ASN 变化以及 IPv4/IPv6 差异等多个角度交叉验证恢复过程,并指出当前迹象仍可能是暂时性的,不能直接等同于完全恢复。文章还通过 IPv6 几乎归零而 IPv4 地址宣布保持稳定的对比,推测此次断网更可能依赖应用层过滤或白名单式控制,而非简单撤销路由公告。
推荐收录,因为它展示了如何利用真实网络遥测数据判断大范围互联网中断与恢复,这种分析框架对网络可观测性、基础设施监控和故障研判都有可迁移价值。虽然事件本身具有强时效性,但其中关于流量、DNS、ASN 和 IPv6 信号的交叉验证方法,适合长期作为网络异常分析参考。
工程实践 NVIDIA Technical Blog 2026/05/21
文章围绕 NVIDIA GB200 NVL72 这类高密度 GPU 机架如何通过 Slurm 的拓扑感知调度来提升作业性能,核心关注点是“任务如何放置”而不仅是“硬件有多快”。它强调在共享集群里,调度器需要理解节点、机架和互联拓扑,才能更好地把大模型训练或推理作业映射到合适的资源上,从而更接近整机架的性能上限。文章的适用边界主要在于面向 AI/HPC 集群管理与 Slurm 调度实践,尤其是对 NVIDIA 这类高带宽、强拓扑约束平台的资源编排问题。
推荐收录,因为它讨论的是大规模 GPU 集群中非常典型且长期存在的问题:如何通过拓扑感知调度减少性能损失、提升资源利用率。对做 AI 基础设施、HPC 集群管理和高性能作业编排的读者来说,这类经验具有较强的可迁移价值。
工程实践 Dropbox Tech 2026/05/21
文章介绍了 Dropbox 为编码代理构建的内部平台 Nova,核心目标不是单点生成代码,而是让 AI agent 能在大型 monorepo、Bazel 构建/测试、CI 失败修复、依赖升级和运维迁移等真实工程流程中稳定工作。作者重点讨论了为什么要采用“平台化”而非多个单用途工具的方案,以及如何通过隔离执行环境、验证循环、上下文注入、观测与反馈机制、MCP/插件集成来提升 agent 的可靠性和可控性。文章还总结了在 flaky test 修复、迁移升级、生产故障处理等场景中的实践经验,强调 agent 的价值很大程度取决于周边工程系统而不只是模型本身。
推荐收录,因为它提供了编码代理在大规模工程环境中落地的完整平台思路,而不是停留在“用 AI 写代码更快”的表层叙述。文章对上下文管理、验证闭环、确定性工作流与 agent 分工边界的讨论,具有很强的可迁移价值,适合做 AI 工程化和开发者工具设计的长期参考。
工程实践 Lyft Engineering 2026/04/23
这篇文章复盘了 Lyft 如何改善封闭社区内的叫车接送体验。作者先指出两个核心问题:默认选点会把乘客引到围栏内,而上车说明只能临时聊天补充,导致司机找不到入口、等待和取消率上升。为此,团队把门禁社区编码进地图数据,生成门区边界,并在乘客端提供“门内/门外”两类更贴近真实行为的上车点建议。随后又在路由中加入经过大门的中间停靠点,并在司机接近门口时及时展示简洁的门禁说明,同时加入可删除、不可跨行程保留等隐私保护。上线实验显示该流程未显著增加下单流失,且降低了取消、缩短了等待,说明把现实约束显式纳入地图、推荐、路由和交互链路是可复用的工程方法;但当前覆盖仍依赖地图数据完整性,且多入口社区的最优选门仍有改进空间。
收录价值在于它给出了一个完整的工程闭环:从地图建模、路径改造到交互时机和隐私控制,并用实验和指标验证效果。适合做地图、出行、位置服务或复杂前端/后端协同系统的参考,但也要注意其方案强依赖本地地理数据质量与覆盖。
工程实践 Google DeepMind Blog 2026/04/22
这篇文章介绍了 DeepMind 提出的 Decoupled DiLoCo 分布式训练架构,目标是在跨机房、跨区域乃至跨代际硬件上训练大模型时,降低同步通信开销并提升故障韧性。其核心思路是把训练切成多个彼此解耦的“计算岛”,岛内局部推进,岛间通过异步数据流交换,从而避免传统数据并行在大规模同步时的阻塞。文章给出了两类证据:一方面在 chaos engineering 注入硬件故障后,系统能继续训练并在节点恢复后重新并入;另一方面在 Gemma 4 实验中,带宽需求显著下降,仿真中的 goodput 明显高于基线,且最终 ML 性能基本持平。作者还展示了一个 12B 参数模型跨 4 个美国区域、以 2–5 Gbps WAN 完成训练的案例,速度比传统同步方法快 20 倍以上。该方案的边界在于它依赖特定的异步训练栈与系统整合能力,且部分收益来自 Google 自身的基础设施条件与 TPU 生态。
推荐收录,因为文章直接给出了带宽、goodput、故障恢复和跨区域训练的量化结果,并明确说明了 Decoupled DiLoCo 的系统机制与实验边界。适合做大模型训练基础设施、容错分布式系统和 AI 工程化方案的参考,尤其对关注跨机房训练与资源弹性利用的读者有迁移价值。
工程实践 Datadog Engineering 2026/04/21
文章介绍了 Datadog 如何在 widget 截图中嵌入分享 URL 和相关元数据,把原本静态的图片变成“自描述”的可追溯对象。核心做法是使用不可见但具有一定抗损坏能力的水印式编码,让截图在分享、存储和传播后仍能恢复出处信息,从而把可视化内容和其上下文绑定起来。作者讨论了这类方案在大规模生成场景下的工程约束,包括既要肉眼不可见,又要尽量抵抗压缩、缩放和常见转发处理。文章的价值在于展示了图像元数据传递与可观测性产品结合时的系统设计思路,但它主要适用于受控的截图流水线,不适合任意被裁剪或深度编辑后的图片。
收录价值明确:标题和摘要直接表明它解决的是“截图如何携带可恢复的来源信息”这一真实工程问题,并且强调 invisible、resilient、at scale 这些可迁移约束。适合做报表分享、可追溯图片和可观测性产品设计的读者参考,但需要注意水印方案对裁剪、重编码等处理的边界。
工程实践 Anthropic Engineering 2026/04/07
本文介绍 Anthropic 为 Managed Agents 设计的“元 harness”架构,核心是把 Claude 的“脑”(模型与调度逻辑)、“手”(沙箱和工具)以及“会话”(持久事件日志)解耦。作者先回顾了早期把所有组件放进单容器的方案,说明这种耦合会把容器变成难以替换的“宠物”,带来故障难排查、用户数据与调试冲突、以及 VPC/外部系统接入困难等问题。随后文章给出新的接口设计:harness 通过 execute/provision/wake/getSession/emitEvent 等稳定边界与沙箱和会话交互,使容器、harness、会话都能独立失败、重启或替换。安全上,凭据被移出沙箱,Git 与 MCP/OAuth 通过受控初始化或代理访问,避免提示注入直接接触 token。作者还指出这种解耦显著降低了 TTFT,p50 约下降 60%,p95 超过 90%,但前提是系统愿意承担更复杂的编排与多环境 reasoning 负担。
推荐收录,因为文章给出了面向长时运行 agent 的完整接口分层、故障隔离和凭据边界设计,并用 TTFT 数据验证了架构收益。适合做 AI 平台、Agent 基础设施和安全设计的参考,尤其能迁移到需要多沙箱、多工具、可恢复会话的工程场景。
工程实践 Dropbox Tech 2026/04/02
文章复盘 Dropbox 在 Magic Pocket 这个不可变 blob 存储中的一次空间效率退化事件:新上线的 Live Coder 改变了数据放置方式,虽然降低了写放大,却意外制造出大量极度稀疏的卷,导致碎片化和实际复制开销迅速上升。作者先解释不可变存储里删除不会立刻释放空间、只能依赖垃圾回收加压缩回收的基本机制,再说明原有 L1 只能维持“接近满卷”的稳态,无法快速处理长尾稀疏卷。为此团队引入 L2,用动态规划把多个中度稀疏卷合并到近满新卷;又引入 L3,把最稀疏的卷交给 Live Coder 流式重写回收。文章进一步给出动态阈值、候选排序、速率限制、机房内本地化等控制手段,并指出元数据压力是主要约束。最终该方案把膨胀的 overhead 拉回到可持续水平,甚至低于之前基线。
推荐收录,因为它给出了 exabyte 级不可变存储中“碎片化—压缩—元数据压力”三者联动的完整工程解法,且明确展示了 L1/L2/L3 分层策略、动态阈值和限流边界。对做存储系统、容量治理或大规模后台任务调度的读者,具有很强的可迁移参考价值。
工程实践 Dropbox Tech 2026/03/25
文章复盘了 Dropbox 如何把服务器 monorepo 从 87GB 压缩到 20GB,并将首次 clone 时间从 1 小时以上降到 15 分钟以内。作者指出,问题并非提交量异常,而是 Git 默认基于路径末尾 16 个字符做 delta 配对,导致 i18n 目录下跨语言文件被错误比较,生成了过大的 pack 文件。团队先用实验性的 --path-walk 在本地验证了按目录结构配对能显著缩小仓库,但该方案与 GitHub 依赖的 bitmap 和 delta islands 等服务器优化不兼容。随后他们与 GitHub Support 合作,改用更激进但兼容的 repack 参数,在镜像仓库上验证后分阶段上线,并监控 fetch 延迟、push 成功率和 API 延迟。文章最后总结了三点经验:仓库膨胀可能是结构性问题、解决方案往往需要平台方协作、repo 健康应按生产基础设施来治理,并建立持续监控机制。
有明确的量化结果和诊断链路:从 87GB 降到 20GB、clone 时间从 1 小时降到 15 分钟,并解释了 Git 压缩启发式如何与目录结构产生冲突。适合维护大规模 monorepo、CI 性能或平台协作的工程团队参考,尤其有助于借鉴“先本地验证、再与平台方联合上线”的排障方法。
工程实践 Datadog Engineering 2026/03/23
这篇文章复盘了 Datadog 在高流量场景下排查 Postgres 性能退化的过程:一次 upsert 操作表面上没有“更新”数据,却仍然引发了磁盘写入翻倍。作者从现象出发,结合数据库监控与写放大分析,最终定位到 Postgres 的 WAL 行为和 upsert 语义带来的隐藏成本。文章进一步说明,问题并不在业务逻辑本身,而在查询写法与存储引擎内部机制的交互。团队通过重写查询,去掉不必要的写入路径,恢复了写放大和 IO 压力的正常水平。它的价值主要在于揭示了高并发写场景下,SQL 语义、日志机制和性能表现之间的非直观关系,但结论对 Postgres 语义和负载形态有明显依赖。
推荐收录,因为文章给出了明确的工程证据:高频 upsert 导致磁盘写入翻倍,且根因落在 Postgres WAL 与查询语义的组合效应上,而不是泛泛的“数据库慢”。适合做数据库性能优化、线上故障定位和写放大分析的参考案例,但迁移时要注意它强依赖 Postgres 的实现细节。
工程实践 Datadog Engineering 2026/03/04
文章总结了 Datadog 为 agent 构建 MCP server 的设计经验,重点讨论如何把工具设计得更适合模型调用,而不是简单把人类接口原样暴露给 agent。作者指出,工具粒度、参数结构和返回格式都会直接影响模型能否稳定完成多步任务,因此需要主动控制上下文窗口占用,并减少无关信息进入对话。文章特别强调应优先提供可查询、可筛选的能力,而不是直接回传原始数据,这样更利于 agent 在观测平台中完成定位、分析和迭代式探索。整体结论是:面向 agent 的工具设计,本质上是在可用性、信息密度和上下文成本之间做工程权衡。其适用边界主要在需要与外部系统交互的 LLM/agent 工具层,不是通用的前端或传统 API 设计教程。
推荐收录,因为文章直接给出了“为 agent 设计 MCP 工具”的工程经验,而非泛泛介绍协议。对做 LLM 工具接入、观测平台或内部助手的人尤其有参考价值,能迁移到工具粒度、上下文控制和查询式接口设计上。
工程实践 Datadog Engineering 2026/02/18
文章复盘 Datadog Agent 的 Go 二进制体积膨胀问题,目标是在不牺牲功能的前提下显著缩小分发包。作者先用依赖图和链接器输出定位体积占比最高的模块,区分出业务依赖、重复引用和可裁剪的标准库/第三方包。随后通过移除冗余依赖、按平台或功能拆分构建、调整编译与链接参数等手段,把不可见但昂贵的体积成本逐步压缩。最终部分目标二进制缩小最多 77%,同时验证启动、发布和维护流程没有被破坏。文章也说明这类优化强依赖 Go 项目结构与构建链,若程序本身耦合过深或功能必须全量打包,收益会明显下降。
收录,因为文章给出了从体积测量、依赖分析到构建裁剪的完整路径,并用“最多 77%”的结果证明优化有效。适合维护 Go CLI、agent、sidecar 或容器镜像的工程师参考;但许多手段依赖项目结构和构建链,迁移时要先做体积画像。
工程实践 Dropbox Tech 2026/02/12
这篇文章系统梳理了低比特推理如何通过量化降低大模型在生产环境中的显存、算力和能耗成本,并以 Dropbox Dash 的部署场景说明为什么效率优化会直接影响延迟、吞吐和服务成本。作者先解释了注意力模型中线性层与 attention 的主要开销,再从硬件角度说明 GPU Tensor Core 在精度降低时能获得更高吞吐,因此量化不仅是压缩表示,更是面向 MMA 指令和带宽瓶颈的执行优化。文章重点比较了 pre-MXFP 时代的 A16W4、A8W8、AWQ、HQQ、FlashAttention 3 等方案,指出权重量化更适合小批量、带宽受限场景,而激活量化更适合高吞吐和长上下文预填充。随后作者介绍 MXFP/NVFP4 等新标准,强调其把微缩放和量化支持下沉到硬件后可减少显式反量化开销,但不同 GPU 架构和框架支持仍不统一。文章结论是:低比特推理的收益很大,但真正可落地的前提是硬件、编译器、内核和推理框架协同成熟,当前 FP4 生态仍存在兼容性与模型质量边界。
文章直接给出了量化格式、硬件指令和推理场景之间的取舍证据,不是泛泛介绍概念,而是面向生产部署的效率分析。适合做大模型推理、GPU 优化和 AI 基础设施选型的长期参考,尤其对关注吞吐、延迟与生态兼容性的工程团队有迁移价值。
工程实践 Anthropic Engineering 2026/02/04
这篇文章研究了 agentic coding 评测中的“基础设施噪声”,核心结论是:容器资源配置本身就能显著改变分数,甚至超过榜单上常见的微小差距。作者在 Terminal-Bench 2.0 上比较了从严格按任务规格执行到完全放开资源的六种配置,发现资源越宽松,成功率越高,但其中一部分提升来自减少 OOM、pod error 等基础设施失败,而不是模型能力本身。实验表明,在 1x 到 3x 资源范围内,分数变化多落在噪声内;超过约 3x 后,额外资源开始真正帮助代理完成原本做不到的任务,最高相对提升约 6 个百分点。作者又在 SWE-bench 上复现了类似趋势,但幅度较小,说明该问题并非 Terminal-Bench 独有。文章最后建议评测应同时公开并区分“保证资源”和“硬性上限”,并把资源配置当作一等实验变量,否则几分之差很可能只是更大的 VM 或更宽松的沙箱。
文章直接给出了对照实验:同一模型、同一任务集,仅改变资源配置就能带来最高 6 个百分点的差异,证明基准分数并不纯粹。适合做 agent 评测、自动化 coding benchmark 和推理沙箱设计的读者参考,尤其适合需要判断榜单差距可信度的人。
工程实践 Lyft Engineering 2026/01/06
这篇文章系统复盘了 Lyft Feature Store 的架构、演进和优化实践,重点解释了如何用统一的特征平台支撑大规模 ML 训练与在线推理。文章把系统拆成批处理、在线服务和流式三条路径:批特征由 Spark SQL+JSON 配置生成 Airflow DAG,在线侧以 DynamoDB 为持久存储、ValKey 作写穿缓存,并为 embedding 引入 OpenSearch。作者进一步说明了特征治理机制,包括版本、血缘、元数据、数据质量检查、Amundsen 可发现性,以及 Kyte 本地开发和 SDK 提升迭代效率。平台演进部分展示了从 Flyte 迁移到 Astronomer、收缩少数边缘能力、增加 staging、数据契约和实时特征抽象的取舍。性能优化则聚焦于缓存现代化、payload 精简、pod 规格调整、重试/超时策略和 TTL 管理,最终把读路径 P95 降低约三分之一。文章的边界在于大量方案高度依赖 Lyft 内部工具链与 AWS 生态,但整体方法论具有较强可迁移性。
文章给出了特征平台从架构、治理到性能优化的完整工程证据,不是泛泛介绍概念,而是包含具体存储选型、缓存策略、DAG 生成和迁移取舍。适合数据平台、ML 平台和基础设施团队参考,尤其可迁移的是“统一接口+分层存储+可观测治理+围绕 P95 做瘦身”的方法。
工程实践 Lyft Engineering 2025/12/15
文章复盘了 Lyft 将 Python 服务从 3.8 升级到 3.10 后,某个服务在测试环境出现延迟尖刺、下游 5xx 和内存缓慢增长的排障过程。作者先用统计指标和基于 tracemalloc 的内部内存 профiler 采样,并尝试通过 USR2 信号在 gunicorn worker 上抓取堆栈;但由于启用了 preload,信号处理器只在 leader 进程注册,导致 worker 被误杀。关闭 preload 后,采样堆栈最终指向 pynamodb/botocore/urllib3 的连接池路径。根因是 urllib3 1.26.16 在 gevent 场景下与 weakref.finalize 和 monkey patch 存在不兼容,连接未能及时归还池中,进而引发池耗尽、请求阻塞以及内存上涨。团队先回退到 1.26.15 解除故障,后续在 gevent v25.4.1 与修复后的 urllib3 组合上恢复升级。文章同时说明 Python 版本并非直接元凶,问题更像是依赖版本与协程运行时组合触发的隐性缺陷。
推荐收录,因为文章给出了从延迟、内存增长到信号采样、preload 坑位和依赖回退的完整证据链,不是单纯经验谈。适合做 Python Web 服务、gunicorn/gevent/urllib3 兼容性和生产排障的参考,但结论强依赖具体版本组合,迁移时需重新验证。
科研议题 Stanford Hazy Research 2025/11/28
文章提出“Gross Domestic Intelligence(GDI)”框架,把国家可部署的AI能力近似写成“单位功耗的智能效率(IPW)× 可用于计算的电力”,并用它解释中美在AI竞赛中的不同瓶颈:美国更受电网和数据中心选址约束,中国更受高端芯片与制造工具限制。作者进一步指出,随着推理型服务和Agent需求上升,AI竞争正从训练转向推理部署,因此应把美国境内大量闲置的本地加速器视为战略资源。基于对1M单轮对话/推理查询的研究,文章主张采用本地-云混合推理:简单请求在设备端处理,复杂请求升级到云端。文中声称这种路由可覆盖80%以上的单轮查询,并相对全云方案带来约64%的能耗、62%的算力和59%的成本下降,同时把美国可用推理容量提升约2-4倍。文章的主要适用边界是单轮聊天与推理场景;对强SLA、长上下文和高难度任务,仍需依赖前沿云模型,且文中的国家级容量与政策推论高度依赖若干估算假设。
文章给出了可复用的技术框架:用路由器把本地模型与云端模型组合起来,并用真实流量和能效数据量化收益。适合关注推理系统、端侧AI、容量规划和隐私架构的读者;需要注意的是,其中的地缘政治与国家级GDI推导建立在多项估算上,宜把结论视为策略判断而非精确测量。
工程实践 Lyft Engineering 2025/11/18
文章复盘了 LyftLearn 机器学习平台从全量 Kubernetes 离线架构,演进为“离线用 SageMaker、在线继续用 Kubernetes”的混合平台过程。作者先说明原架构虽然在统一基础设施、启动速度和资源定制上表现良好,但随着千级模型和日均数千任务增长,K8s 编排、状态一致性、集群容量管理和故障排查带来了明显的特征税。迁移的核心原则是替换执行引擎而不改用户 ML 代码,因此团队构建了兼容层,补齐凭证注入、环境变量、指标、超参数、镜像和 Spark 网络等差异。文中还介绍了用 EventBridge/SQS 取代后台 watcher、用 SOCI 和 warm pool 缩短冷启动、以及在 SageMaker Studio 与 EKS 间打通 Spark 双向通信的具体做法。最终结论是:对离线计算,托管服务能显著降低运维复杂度和总拥有成本;对在线服务,已有 K8s 方案在延迟和控制力上仍更合适,平台演进应按工作负载分别选择方案。
推荐收录,因为文章给出了从 K8s 迁移到 SageMaker 的完整工程证据:原始复杂度、兼容层设计、冷热启动优化、网络打通和分阶段迁移策略都写得很具体。适合做 ML 平台、基础设施和架构权衡的参考,尤其对需要在“自建 vs 托管”之间做决策的团队有直接迁移价值。
工程实践 Anthropic Engineering 2025/10/19
文章围绕 Claude Code 在更少人工审批下安全运行的需求,提出用操作系统级沙箱替代频繁的 permission prompt。核心方案分为两层:文件系统隔离限制可读写目录,网络隔离限制可访问的域名,并通过 bubblewrap、macOS seatbelt 和外部代理把约束落实到 OS 层,连子进程与脚本也一并受控。文中进一步介绍了新的 sandboxed bash 工具:它可在预定义边界内执行命令,越界时立即告警并等待用户确认,从而显著减少审批疲劳,内部使用中审批提示减少了 84%。另一部分讲 Claude Code on the web 如何在云端隔离会话,把 git 凭据和签名密钥留在沙箱外,再通过代理校验分支与仓库目标后转发请求。文章的边界在于它依赖 OS 原语和代理基础设施,适用于需要高自治但又必须防 prompt injection 与数据外泄的 agent 场景。
收录价值明确,因为文章给出了面向编码代理的完整安全架构:文件隔离、网络隔离、外部代理校验和云端凭据分离,且说明了为什么两类隔离缺一不可。适合做 AI 编码助手、MCP server 或自动化 agent 的安全设计参考;主要风险是其实现强依赖操作系统能力和代理基础设施,迁移时需评估环境差异。
工程实践 Anthropic Engineering 2025/09/16
这篇复盘讲述了 Anthropic 在 8 月至 9 月间连续暴露的三起 Claude 基础设施故障,分别是短上下文请求被错误路由到 1M token 服务器、TPU 端输出生成被错误配置污染、以及 XLA:TPU 的 approximate top-k 误编译问题。文章不仅给出每个问题的时间线、影响范围和修复方式,还说明了为何不同平台与不同模型上的症状会交叠,导致用户感知为随机降质。作者强调,问题并非由需求高峰或负载降级引起,而是纯粹的基础设施缺陷。文中进一步分析了诊断困难来自于评测不够敏感、线上抽样噪声大、用户交互受隐私限制难以直接复现。最后给出改进方向:更敏感的质量评测、更多真实生产环境中的连续监测、以及兼顾隐私的调试工具,并在推理链路上采用 exact top-k 和更稳妥的精度策略。文章的适用边界主要在大模型推理与异构硬件部署场景,但其排障和验证方法具有普遍参考价值。
有明确的事故时间线、根因分析和修复验证,不是泛泛而谈的产品公告。对做 LLM 推理、异构硬件部署和线上稳定性的人尤其有参考价值,文中的评测设计、路由隔离与精度权衡可直接迁移。
工程实践 Datadog Engineering 2025/08/12
文章复盘 Datadog 为 Processes 和 Containers 视图重构实时数据管线的过程,目标是在保留在线进程指标可用性的同时显著降低采集与传输成本。作者先说明原方案在流量规模、处理链路和基础设施占用上的瓶颈,再介绍新的架构拆分与数据处理方式,最终把流量压缩 100 倍、基础设施消耗降低 98%。文中强调的不是单点优化,而是围绕实时性、可见性和成本之间的取舍重新设计系统边界。它对可观测性平台、高基数指标处理和流式管线重构都有迁移价值。需要注意的是,方案效果依赖 Datadog 的数据形态与产品场景,未必可直接照搬。
推荐收录,因为正文直接给出了“流量减少 100x、基础设施减少 98%”的量化结果,并明确讨论了实时指标管线的架构重构与系统取舍。适合做可观测性平台、流式处理和高基数指标设计的工程参考,尤其适合需要在实时性与成本之间权衡的团队。
职业经验 Brendan Gregg 2025/08/03
本文讨论在什么情况下应成立计算机性能工程团队,以及这类团队的投资回报如何评估。作者从多年在 Netflix、Intel 等公司的经验出发,指出性能工程的主要价值不只是降本,还包括降低延迟、提升可扩展性与可靠性,以及加快研发推进。文中详细列举了团队的工作范围:测试和推动新软硬件采纳、构建内部观测与分析工具、深入定位瓶颈和尾延迟、调参优化、做容量规划与知识分享等。作者给出粗略的组建门槛和规模建议,例如当基础设施支出达到百万美元级别就应考虑专职人员,并强调已有的 SRE/高级开发者会部分覆盖这类工作。文章也说明这些建议更适用于技术消耗型公司,且实际收益依赖栈的复杂度、现有优化基础和团队成熟度。
文中直接给出了性能工程团队的职责边界、ROI 构成和规模判断规则,并用 Netflix、Sun 等案例说明其可迁移的判断方法。适合负责基础设施、SRE、技术管理和成本优化的读者参考,但结论依赖公司体量与技术栈复杂度,不宜机械套用。
工程实践 Datadog Engineering 2025/07/17
这篇文章复盘了 Datadog 在大规模将服务升级到 Go 1.24 后,如何在数百个 Pod 中发现并定位一次内存回归。作者先通过系统级指标和线上观测确认问题不是单点实例异常,而是与新版本运行时相关的整体性内存上升。随后他们逐步缩小排查范围,最终把根因指向 Go runtime 的分配器缺陷,并与 Go 团队协作推动修复。文章的价值在于展示了从真实生产信号、跨层指标关联到运行时 bug 定位的完整排障链路,但其结论也明确依赖于特定 Go 版本与运行时实现环境。
推荐收录,因为它直接给出了“Go 1.24 内存回归—系统指标定位—runtime 分配器 bug”这一完整证据链,而不是泛泛讲升级经验。适合做生产排障、性能回归分析和运行时问题定位的参考,尤其对大规模 Go 服务团队具有可迁移的方法价值。
工程实践 Datadog Engineering 2025/06/17
这篇文章讲的是 Datadog 如何把按租户划分的配置数据,稳定、低延迟地分发到成千上万的工作负载容器中,以支撑实时日志处理场景。核心问题不是单纯“把配置发出去”,而是在容器规模快速增长、租户数量多、更新频繁的情况下,同时保证可用性、传播时延和配置一致性。文章强调了面向大规模分发系统的工程化设计思路,包括可靠传输、失败恢复以及对性能目标的持续验证。它的价值在于展示了一个典型的基础设施系统如何在多租户和高吞吐约束下做取舍,并把配置分发变成可运营、可扩展的能力。适用读者主要是做平台、基础设施、可观测性或大规模后台系统的工程师。其边界在于这是特定于配置分发与实时日志处理的经验,迁移时仍需结合自身配置变更频率、容器生命周期和一致性要求。
推荐收录,因为标题与摘要直接表明它解决的是“千级容器配置分发”的真实工程问题,且明确关注低延迟与高可靠两类核心指标。对平台、可观测性和多租户后台系统的读者,这类分发架构、稳定性设计和扩展性权衡具有较强迁移价值。
工程实践 Datadog Engineering 2025/06/03
这篇文章讲的是 Datadog 如何构建自动化的故障部署检测系统,并在从无标签数据走向监督学习的过程中持续提升效果。作者围绕“如何尽早发现有问题的发布”这一工程目标,说明了最初面对的核心难点:真实故障样本稀缺、噪声信号多、部署后异常形态差异大,因此需要先利用无标签数据建立可用基线,再逐步引入人工标注和监督模型。文章强调了评估目标不只是分类准确率,还包括 precision、recall 以及 time to detection,这反映了监控/告警类系统对误报、漏报和时效性的综合要求。随着训练数据和特征体系改进,系统在减少误报的同时提升了对真正故障部署的召回和检测速度。它的价值在于展示了一个典型的可观测性+机器学习工程闭环,但结论强依赖于 Datadog 自身的遥测数据和部署形态,直接迁移时仍需重新定义标签、特征和阈值。
推荐收录,因为标题和简介已经明确给出完整的工程主线:从无标签数据到监督学习,并以 precision、recall 和检测时延作为结果指标,说明文章不是产品宣传而是方法演进复盘。适合做可观测性、告警系统和 AIOps 场景的参考,尤其对需要处理稀缺标签、噪声数据和误报成本的团队有迁移价值。
工程实践 PlanetScale Blog 2024/11/19
这篇文章是三部曲的收官篇,集中讨论数据库限流器的客户端识别、优先级控制和规则边界。作者提出,限流器应能区分具体作业或作业类别,否则难以做监控、审计和针对性调度;同时,真正安全的“优先级”通常不是直接放行某个客户端,而是通过对其他客户端提高拒绝率来实现。文中进一步分析了豁免、不同指标下的限流与饥饿风险,指出对某些作业单独放宽指标本质上接近豁免,可能让其他作业长期得不到执行机会。作者也强调,豁免并非绝对错误,在故障修复、系统关键内部流量或短时影响可接受时可以使用,但应设置失效时间。最后,文章对比了协作式限流与代理式强制限流,说明后者更难绕过,但也更依赖客户端/连接层暴露足够的身份信息。
文章直接给出了生产环境限流器的核心设计证据:客户端身份、优先级、豁免、饥饿风险和协作/强制两种模型的取舍。适合做数据库运维、平台工程和系统设计参考,尤其对需要控制批处理、迁移和大规模任务的场景有可迁移价值。
工程实践 PlanetScale Blog 2024/10/10
本文继续分析 throttler 的部署形态,先比较单体服务、独立多实例、主备切换以及引入 agent/API 的方案。作者指出,加入采集代理或跨节点协作后,系统会从单一同步组件演变成分布式多组件系统,复杂度、权限边界和版本兼容问题都会上升,同时采样间隔叠加也会让指标更陈旧。随后文章给出分布式 throttler 的几种切分方式:按可用区、按功能、按主机或按服务粒度,并以 Vitess tablet throttler 为例说明如何在 shard 范围内聚合 replica lag,让 primary 代表整个 shard 做限流判断。最后,文章讨论如何降低 throttler 自身开销,包括客户端退避、空闲时降低采样频率或休眠、以及在无大任务时减少 heartbeat 生成,避免 binlog、磁盘和备份成本被额外放大。其边界在于,这些策略都依赖对业务负载形态、重试行为和一致性要求的准确预判。
收录价值明确:文章直接比较了 throttler 的单体、分布式与 agent 化方案,并用 Vitess 的 shard 级限流给出可落地的架构证据。适合做 MySQL/Vitess、SRE 和基础设施设计参考,但需要注意其结论高度依赖心跳粒度、轮询频率和客户端重试假设。
工程实践 PlanetScale Blog 2024/09/04
文章介绍了 PlanetScale 为符合条件的 deploy request 新增的“instant deployment”能力,用于把数据库 schema 部署时间从小时级压缩到接近秒级。其核心前提是请求中的所有变更都必须能被 MySQL 的 INSTANT DDL 满足,例如符合条件的 ALTER TABLE,以及可选的建表、删表、建视图、改视图和删视图。系统会在部署前自动判断是否满足条件,并让用户在 instant deployment 与默认的 Online DDL 之间做显式选择。文章同时强调了边界:instant deployment 不可 revert,在某些负载下迁移表仍可能出现数秒级锁,因此它只适用于少量明确可瞬时执行的 schema 变更。
推荐收录,因为文章给出了数据库 schema 变更加速的具体判定条件、系统预评估机制和不可忽略的风险边界,而不是单纯宣传新功能。适合做数据库平台、迁移系统和 SRE 设计参考,尤其对需要在“速度”和“可回滚/稳定性”之间取舍的场景有直接迁移价值。
工程实践 PlanetScale Blog 2024/08/29
本文讨论数据库节流器(throttler)的设计原则,目标是在批量导入、ETL、在线 DDL、清理和重分片等长耗时操作中保护数据库整体健康。作者先解释节流不应只按固定速率控制,而要围绕数据库是否“健康”来判断,因此重点分析了复制延迟、threads_running、队列延迟、队列长度、Load Average 和连接池占用等指标。文章强调单一指标往往只是症状,真正有价值的是能预测 SLO 的组合指标及其阈值,并说明阈值必须结合业务、硬件和部署形态来设定。文中还指出节流系统上线后会改变系统行为,健康状态常表现为指标围绕阈值上下波动而非持续低位。最后讨论了采样间隔与指标粒度的关系,认为过慢的采样会造成滞后和突发释放,应按阈值范围进行更高频的测量;但该文只覆盖系列的第一部分,分布式节流器与节流器自身影响留待后文。
推荐收录:文章不是泛泛讲限流,而是以数据库健康为中心,系统讨论了指标选择、阈值设定、队列含义和采样粒度等可落地问题。适合做数据库平台、批处理控制和稳定性治理的参考,尤其对需要设计自适应节流机制的工程师有直接迁移价值。
工程实践 PlanetScale Blog 2024/08/19
文章围绕数据库在云上扩容时最容易被忽视的 IOPS 和吞吐量成本展开,先解释 AWS EBS 中 IOPS 的计量方式、顺序/随机读写对有效带宽的影响,以及 gp3、io1、io2 的配额与价格差异。随后作者用 RDS、Aurora 和 PlanetScale 的月费对比,说明当单体数据库从中等规模增长到 8 倍需求时,单机方案往往要付出显著更高的 I/O Premium。文章的核心观点是:对 I/O 密集型数据库,分片可以把计算、存储和 I/O 压力拆散到多个 primary 上,从而继续使用更便宜的存储层。文中还指出分片带来的额外收益包括故障隔离、备份更快和长期线性扩展,但没有给出实际压测结果,因此结论更偏成本与架构层面的比较,而非纯性能评测。
文中直接用 EBS 的 IOPS/吞吐限制和三种数据库方案的月费对比,证明了单体扩容会迅速推高 I/O 成本,而分片能把需求摊平到多个 shard 上。适合做数据库容量规划、云成本评估和分片选型的读者;但价格结论依赖区域、流量形态和分片键设计,落地时需要按自身 workload 复算。
工程实践 PlanetScale Blog 2024/08/14
这篇文章介绍了 PlanetScale Insights 新增的“索引使用跟踪”能力,目标是在真实生产流量中观察每个查询模式实际命中了哪些索引,以及这种使用如何随时间变化。作者先比较了 EXPLAIN、MySQL performance schema 等现有手段,指出它们要么只能分析单条手工输入的查询,要么只能提供服务器级累计计数,难以关联到具体查询模式和趋势。随后文章给出实现思路:利用 InnoDB 的索引初始化流程,在查询执行过程中记录被选中的索引,将结果随响应返回到 VTGate,再按查询模式聚合并以时间序列方式写入 Insights 流水线。这样可以在几乎不增加 MySQL 开销的前提下,获得覆盖全部查询的索引使用统计,并支持反向检索“哪些查询在用某个索引”或“哪些查询完全未命中索引”。但它也明确了边界:索引信息目前只对 SELECT 统计,删除索引前仍需独立核实 UPDATE/DELETE 的使用情况。文章的价值在于把数据库可观测性、查询归因和索引治理串成了一套可落地的方法。
收录价值明确:文章不仅解释了功能,还给出从 MySQL/InnoDB 到 VTGate 和 Insights 的完整实现链路,以及为何 EXPLAIN 和 performance schema 不足以支撑生产趋势分析。适合做数据库性能优化、索引治理和可观测性设计的参考,但需注意它只覆盖 SELECT 场景。
工程实践 PlanetScale Blog 2024/08/13
文章系统拆解了 PlanetScale 在 TB 到 PB 级 MySQL 迁移中实现零停机的流程:先做一致性且不加锁的快照,再持续复制 binlog 追平增量,并用 VDiff 对源端与目标端做全表校验。切流阶段通过 VTGate 缓冲请求、等待复制追平、建立反向复制链路,使切换可在秒级完成且可随时回滚。作者进一步说明了底层依赖 Vitess 的 VReplication、MoveTables、路由规则、序列和 sidecar 元数据,展示了按表、按分片串并行协作的实现方式。文章也明确了适用边界:切流前经 PlanetScale 转发会引入额外网络开销,建议使用只读副本作为迁移源;而超过约 250GiB 的库通常应结合分片来控制成本与性能风险。
推荐收录,因为文章不是泛泛谈“零停机”,而是给出了快照、GTID、binlog 追平、VDiff 校验、反向复制和请求缓冲等完整证据链。适合做数据库迁移、分库分表和在线切流的工程参考,尤其对需要评估回滚能力与迁移风险的团队很有迁移价值。
工程实践 PlanetScale Blog 2024/07/30
文章系统解释了 PlanetScale 在 Vitess 体系下的备份流程:先从对象存储取回上一次备份,恢复到专用 VTBackup 实例,再让其通过主库做短暂追平,最后生成新的全量备份写回 S3/GCS。作者强调,单库越大,顺序备份越容易被网络与恢复耗时拖慢;而分片后每个 shard 可并行执行同样流程,从而把总体备份时间显著压缩。文中用 161GB 未分片库与 20TB、32 分片库对比,说明总体吞吐提升主要来自并行化,而非单分片传输速度大幅上涨。文章还补充了备份的工程意义:它不仅用于灾难恢复,也用于新副本初始化、误删恢复和 Vitess 的时间点恢复。适用前提是数据库已分片且备份/恢复链路能并行调度;若是单体库或分片不均,效果会明显打折。
推荐收录,因为文章给出了可复用的备份链路设计、分片并行化带来的吞吐收益,以及备份在副本初始化和误删恢复中的真实作用。对做数据库基础设施、MySQL/Vitess、备份恢复或大规模系统运维的读者尤其有参考价值,但前提是系统本身具备分片与并行恢复能力。
工程实践 PlanetScale Blog 2024/07/29
文章围绕 Vitess 在数据管道中的用途展开,先说明 Vitess 更擅长支撑 OLTP,而分析、报表和跨系统同步这类 OLAP/集成场景需要借助 CDC/ETL 来补足。作者重点介绍了 Vitess 的 VReplication 与 VStream 能力:通过 VTGate 暴露统一的变更流,把一个可能由大量 shard 组成的逻辑库抽象成单一数据源。文中进一步解释了 Debezium、Airbyte、Fivetran 等工具如何依赖这些底层原语把 Vitess 的变更传播到数仓或其他系统。文章还给出可运行的本地示例,展示快照、增量变更和分片后的统一流输出,帮助读者理解复制与重分片过程中的事件形态。其边界在于它更偏架构说明和实践入口,较少讨论容错、延迟、乱序等生产级细节。
文中直接给出了 Vitess 的 VStream/VReplication 作为 CDC 基础、以及 Debezium/Airbyte/Fivetran 的对接方式,证据明确且可操作。适合需要在分片 MySQL 上构建同步、数仓或跨系统集成的工程师,迁移价值在于理解“统一变更流+连接器”的实现路径,但生产细节仍需补充验证。
技术文章 PlanetScale Blog 2024/07/23
文章系统梳理了 2024 年 MySQL 在线 schema 变更的主要方案,重点比较了原生 INPLACE、INSTANT 与第三方工具的适用边界。作者指出,INPLACE 虽然在主库上可让 DML 继续执行,但会大量消耗 CPU/IO、占用额外磁盘,并且在复制链路上会把延迟放大到不可接受的程度。INSTANT 在支持范围内几乎“瞬时”完成,且对副本友好,但它主要覆盖元数据级变更,无法处理类型修改、索引/主键/外键变更、字符集和分区调整等常见需求,删除列还带来数据丢失与查询兼容风险。对于大多数真实生产迁移,文章认为 gh-ost、pt-online-schema-change、Vitess、spirit 这类影子表方案仍是更稳妥的选择,因为它们能限速、可中断、兼容更多 DDL,并且 Vitess 还把可回滚性作为一等能力。整体结论是:能用 INSTANT 时优先用,但面向绝大多数复杂迁移,第三方在线 schema 工具仍是主流答案。
文章直接对比了 MySQL 原生 DDL 与第三方在线迁移工具的行为、成本和失败边界,给出了明确的选型依据,而不是泛泛介绍功能。适合负责数据库架构、上线变更和可靠性治理的工程师参考,尤其能迁移到“如何判断某个 schema 变更该不该用原生 DDL”的决策场景。
工程实践 PlanetScale Blog 2024/04/17
文章介绍了 PlanetScale 新增的 global replica credentials:用户只需一套复制库密码,即可在全球范围内自动路由到最近的只读副本,并在同一区域内对多个 replica 做负载均衡。作者说明了其默认拓扑是一个 primary 加多个跨可用区 replica,而新凭据可以在新增或删除只读区域时自动更新路由,无需修改应用代码或重新连接。文中进一步拆解了 PlanetScale Global Network 的工作方式:在边缘层终止 MySQL 与 TLS、进行连接池化,并通过低延迟 DNS 选择就近入口。实现上把 Credential、Route 和 Endpoint 分离,Route 由 etcd 监听并按实时延迟排序,从而把下一跳决策稳定地落到最优副本。该方案的价值主要体现在跨地域读扩展和连接管理简化上,但也明显依赖 PlanetScale 自身的全局网络与内部路由体系,通用性受平台约束。
文中给出了凭据、路由、端点三层拆分,以及边缘终止 MySQL/TLS、按延迟排序副本的具体实现证据,不是简单的产品宣传。适合做数据库代理、跨地域读扩展和连接层设计的参考,但迁移时要注意它强依赖 PlanetScale 的全局网络基础设施。
工程实践 PlanetScale Blog 2024/04/04
文章介绍了 PlanetScale 如何把数据库 schema 变更做成一套可自动化、可回滚、对线上流量友好的工程流程。核心思路是把代码发布与 schema 迁移解耦:应用代码和数据库结构不再要求原子同时上线,而是要求双方都能兼容当前与未来版本。实现上,他们利用 Vitess 的在线 schema change 和 PlanetScale 的 safe migrations,在不阻塞生产流量的前提下执行变更,并通过队列保证多人并发修改时的顺序与组合安全。为了适配自家 Rails 应用,团队还用 GitHub Actions 写了拉取请求机器人,自动识别 schema 变化、创建分支、运行迁移、发起 deploy request,并根据变更类型给出前后置部署顺序建议。文章的边界也很明确:这套流程强依赖在线迁移工具和应用侧的向后兼容设计,适合中大型数据库和频繁发布团队,简单项目未必需要如此复杂。
文中直接展示了从 PR 检测、迁移执行到队列合并的完整 schema 变更流水线,并明确说明了为何要把代码与数据库发布解耦。对使用 MySQL/Vitess、需要高频改表或想减少迁移阻塞的团队,这是一篇可直接借鉴的工程实践。
工程实践 PlanetScale Blog 2024/02/28
文章介绍了 PlanetScale Insights 新增的 Schema recommendations 功能,目标是基于生产流量自动给出可直接执行的 MySQL 架构优化建议。作者说明系统如何结合表结构变更事件、近期查询表现、Vitess 解析器和列基数统计,生成索引、冗余索引清理、主键 ID 耗尽预警和未使用表删除等建议。其核心特点是把推荐结果以 DDL 形式输出,并支持先在分支上验证,再安全发布到生产。文中还给出新增索引的完整示例,展示了随着数据量增长,p50 延迟上升后如何通过推荐索引显著降低查询时间。需要注意的是,这类建议依赖近期查询与统计信息,仍需结合业务语义、写入成本和迁移风险人工评估。
文章不仅是功能发布,还给出了推荐系统的判定信号、实现链路和落地流程,尤其包含查询解析、基数估计与分支验证这些可迁移的工程细节。适合做数据库性能优化、自动化运维和架构诊断的参考,但读者仍需结合自身业务负载与迁移约束来使用这些建议。
工程实践 PlanetScale Blog 2024/02/15
这篇文章系统拆解了 Amazon Aurora(以 MySQL 工作负载为主)的计费构成,指出它远不只是“选个实例”这么简单,而是要同时评估实例规格、预留实例折扣、副本数量、存储模式、跨可用区/跨区域流量、备份保留、监控和代理层等多项费用。作者特别说明了 burstable 与 memory-optimized 的差异、标准存储与 I/O-optimized 的取舍,以及当 I/O 费用占比超过一定阈值时,I/O-optimized 才可能更划算。文章还把读写副本、Global Database、RDS Proxy、蓝绿部署、自动备份和 Performance Insights 逐项拆开,说明这些“高可用/可运维能力”往往会直接放大账单。最后,文章以 PlanetScale 的定价和托管能力作对比,强调其在连接池、跨区复制、变更管理和监控上的简化与打包,但整体内容对 Aurora 成本建模尤其有参考价值;局限在于只覆盖 Aurora 非 Serverless 场景,且比较部分带有明显产品立场。
推荐收录,因为它不是泛泛介绍云数据库,而是把 Aurora 的主要成本项逐条展开,给出了实例、副本、I/O、流量、备份和监控的实际计费视角。适合做数据库选型、云成本估算和高可用架构评审时参考,但读者也需注意文中 PlanetScale 对比部分存在产品宣传倾向。
工程实践 PlanetScale Blog 2024/02/02
文章以 Amazon Aurora 的 blue/green deployment 与 PlanetScale 的 branching 为主线,对比两种“复制环境后再切换”的数据库变更方式。它先解释 Aurora 如何通过克隆集群、binlog 同步和 switchover 完成维护,再说明 PlanetScale 基于 Vitess 的分支本质是独立集群,借助 deploy request、ghost table 和滚动升级来实施 schema 变更与版本升级。文中进一步比较了成本、回滚、数据一致性和停机时间:Aurora 切换会断连且无法直接 fail back,双环境并行成本较高;PlanetScale 则强调在线迁移、Schema revert 和更强的隔离性,但依赖 safe migrations 与 Vitess 能力。整体结论是,两者虽然表面相似,但目标不同,Aurora 更偏维护窗口控制,PlanetScale 更偏持续在线变更。需要注意的是,这是一篇厂商视角的对比文,缺少独立 benchmark 和第三方验证。
文中直接给出 binlog replication、ghost table、rolling upgrades、Schema revert 等机制差异,信息足以支撑数据库变更方案选型。适合做平台工程、数据库运维和迁移设计的参考,但需意识到它带有明显厂商立场,结论应结合独立验证。
工程实践 PlanetScale Blog 2024/01/30
文章围绕数据库灾难恢复(DR)方案的构建展开,先区分了高可用(HA)与灾难恢复的目标:前者强调通过复制和自动故障切换尽量不中断服务,后者强调在重大故障后尽快恢复业务。作者进一步解释了 RPO 与 RTO 的含义,并指出两者越小,恢复方案的复杂度和成本越高,因此必须结合业务可承受的数据损失和停机时间来设定。文章特别强调数据库是有状态系统,不能像无状态应用那样简单替换实例,因此备份、复制和恢复流程都需要按数据一致性来设计。随后对 MySQL 复制、异步/半同步模式、逻辑/物理备份、全量/增量备份及其性能影响做了说明,指出跨区域复制和在副本上执行备份更适合降低恢复时间和主库负载。最后给出一套可落地的 DR 规划建议,包括分级恢复优先级、用收入损失衡量停机成本、自动化恢复、定期演练以及验证备份可恢复性,适合构建面向生产环境的数据库韧性方案。
文章直接给出了数据库灾备规划的关键证据:RPO/RTO 设定、复制与备份策略、跨地域恢复、自动化和演练验证,内容不是泛泛而谈。适合负责 MySQL、云上基础设施或生产稳定性的工程师参考,尤其可迁移到任何有状态系统的容灾设计中。
工程实践 Datadog Engineering 2024/01/09
文章介绍 Datadog 为 .NET 设计的持续性能剖析器,目标是在生产环境中 24/7 运行且几乎不增加可感知开销。作者从底层实现出发,说明它如何借助 CLR/运行时接口采集 CPU、锁等待与堆栈等信息,并把热路径上的工作尽量压缩到采样和轻量汇聚。文中还强调数据上报、线程安全和后台处理等工程取舍,以避免 profiler 本身成为性能瓶颈。整体结论是:持续 profiler 能在大规模线上系统中提供稳定诊断能力,但必须严格控制采样频率和额外内存、同步成本。
收录理由是文章明确围绕“生产环境 24/7 运行、影响可忽略”这一目标展开,并给出实现层面的约束与取舍,而不是泛泛介绍产品功能。适合 .NET 性能优化、APM/可观测性平台和运行时工程读者参考,其可迁移价值在于低开销采样与后台汇聚思路,但细节强依赖 CLR 和具体实现边界。
工程实践 Datadog Engineering 2022/05/17
文章介绍 Datadog 第三代事件存储 Husky,核心定位是一个“解耦”的分布式无模式向量化列存,用来承载高吞吐观测事件数据。作者从前两代系统的局限出发,说明为什么需要同时兼顾写入扩展、查询效率和模式灵活性,而不是继续沿用单体式或强绑定架构。文中重点讨论了 Husky 的设计目标:让存储能力随负载独立演进,并为分析型查询提供更适合列式扫描与向量化处理的数据布局。它的价值主要体现在观测平台这类高基数、宽表、模式变化快的工作负载上,但并不等同于通用数据库方案。对存储系统、分布式系统和可观测性基础设施的读者,这是一篇适合理解架构演进与取舍的工程案例。
收录依据很明确:标题和摘要直接表明这是 Datadog 对第三代事件存储 Husky 的设计复盘,强调“how we built it—and why”,属于典型的工程架构案例。适合做观测数据平台、分布式存储和列式查询系统的参考;其可迁移价值在于理解高吞吐写入、分析查询和模式演进之间的权衡,但方案本身强依赖 Datadog 的业务负载。
工程实践 Datadog Engineering 2021/02/22
文章复盘 Datadog 将内部 job system 迁移到 Kubernetes 后,如何压低平台引入的额外开销。作者指出瓶颈并不只在业务计算本身,而常出现在容器启动、调度等待、资源分配和节点利用率等环节。随后通过调整任务模型、批量与复用策略、以及更合理的资源请求配置来减少空转和抖动。文中强调迁移收益不能只看单点指标,而要结合吞吐、尾延迟和资源成本做端到端评估。它适合需要把批处理或异步任务迁到容器编排平台的工程团队参考,但具体方案仍受作业形态与隔离要求限制。
推荐收录,因为标题直接指向“minimized the overhead”和“moving a jobsystem to Kubernetes”,属于典型的真实工程优化案例。对做批处理平台、容器化迁移和成本优化的读者尤其有价值,可迁移的方法是用端到端指标分析调度与资源开销,而不是只盯业务代码。
科研议题 Stanford Hazy Research 2020/10/13
文章讨论了机器学习系统正在从单纯提升模型效果,转向重塑应用构建方式这一趋势。作者以编译器、数据库和操作系统的发展为类比,指出现有 ML 工具虽然极大提升了建模和部署效率,但在监控、生命周期管理、跨角色协作、端到端数据流调试等方面仍明显不足。文章进一步提出,下一代 ML Systems 需要把训练、数据生产、模型管理和部署运维视为一个整体来设计,而不仅是若干独立工具的拼接。文中还举出 Google、YouTube、Apple、Uber 等工业实践,说明这一方向已有初步落地,但整体仍处于早期探索阶段,更多是研究议程而非成熟方案。
收录价值在于它清晰提出了 ML Systems 作为独立方向的核心问题:工具链成熟后,瓶颈转向生命周期、数据管道和协作治理。适合做研究选题、课程引入或系统设计的背景材料;但它偏宏观综述,缺少具体算法与实验细节,不能当作实现指南。