Architecture

326 篇内容

工程实践Salesforce Engineering

Engineering Multi-Agent AI Teams That Build and Test Themselves

Salesforce Marketing Cloud 团队构建 Agent Designer,用编排器加七个专业代理自动化多智能体团队的设计、验证、测试与修复,将人工 2–4 小时的流程压缩到约 15–30 分钟,约 200 名工程师开始采用。核心机制包括强制单一协调者并用 cu teams validate 校验后端与模型兼容性,把写权限边界固化在提示中,预算按单代理、swarm、团队等拓扑用不同公式集中计算,验证器输出结构化 PASS/WARN/FAIL 并由编排器做元检查,自愈限于两次修复和 3 美元上限。文章强调编排器不得自行写代理文件,人类仍需审批架构与验证结果。局限在于多为经验性设计说明,未给出量化评测、失败率或对照实验数据。

推荐收录,因为文章给出了多智能体系统治理的可迁移工程方案:写权限边界、拓扑相关预算公式、验证器契约与元检查、有界自愈等,都是可直接借鉴的架构决策。适合构建 Agent 平台、AI 工程化与多智能体编排的读者。风险是来源为厂商博客,缺少量化实验和失败率数据,部分结论需结合自身场景验证。

技术文章Random Oracle

Unhedgeable: EMP and lessons for living with risk

文章围绕电磁脉冲(EMP)风险展开,先区分自然来源的日冕物质抛射(CME)与高空核爆电磁脉冲(HEMP),并回顾1859年卡林顿事件、1989年魁北克电网停电和1962年Starfish Prime核试验。作者指出HEMP影响范围可达数百至数千英里,不会造成地面动能破坏,但E1脉冲能通过机柜缝隙耦合,烧毁普通IT设备。许多金融机构和加密货币团队追问数据中心如何防EMP,实为混淆两类威胁模型;CME防护更多取决于电网级韧性,而HEMP场景下只有政府连续性与军事指挥控制系统需要绝对生存能力。文章结论是,商业系统不应把文明级尾部风险当作可对冲的业务中断,而应把资源转向电网监管与核降级等公共政策。局限在于未给出具体工程指标或实验数据,偏重风险推理与政策主张。

推荐收录:文章用卡林顿事件、魁北克停电和Starfish Prime等证据,清楚区分CME与HEMP的物理机制和防护边界,并指出把EMP防护塞进数据中心DR计划是威胁模型错位。对安全、SRE、基础设施架构和威胁建模读者有迁移价值:先判断风险是否可工程对冲,再决定投入电网监管或核政策倡导。需注意作者对核政策的主张带有立场,引用时应区分技术判断与政策观点。

工程实践Cloudflare Blog

EmDash 1.0: the stable CMS with a secure plugin registry

Cloudflare 发布基于 Astro 的开源 CMS EmDash 1.0,并上线去中心化插件注册表。其核心是插件安全模型:插件运行在 Dynamic Workers 或 workerd 沙箱中,默认不访问站点内容、媒体、用户、密钥、文件系统和网络,只按声明且经管理员批准的能力授权,类似移动应用权限。注册表基于 AT Protocol,发布者用 Atmosphere 身份签名并保存包与发布记录,EmDash 通过签名 Merkle Search Tree 验证记录、校验和与构建来源,目录仅负责发现和审核,不拥有插件身份。文中还以 Cloudflare Blog 迁移、百万级周访问和 5k RPS 峰值说明生产可用性,并介绍 EmDash Build alpha 与 Workers for Platforms 多租户方案。但文章源自厂商发布,缺少独立安全审计、失败案例和成本对比。

推荐收录,因为它给出了 CMS 插件沙箱、能力授权和去中心化注册表的可迁移系统设计,并用 Cloudflare Blog 迁移与 5k RPS 峰值作为真实约束佐证。适合 Web 平台、CMS、插件市场或安全架构工程师参考;但来源为厂商发布,缺少独立审计和失败边界,引用其安全与性能结论时需自行验证。

工程实践Cloudflare Blog

Introducing Forge: the open source pipeline for generating SDKs, CLIs, docs, and more

Cloudflare 发布开源生成流水线 Forge,目标是统一生成 SDK、CLI、文档和库,以应对其 3500 多个 API 操作、跨 Rust/Go/TypeScript/Python 服务与数百仓库的规模化需求。Forge 以 CI 为中心,在 API 仓库中对每次变更做 lint 并产出带变更高亮的 CLI、SDK、文档预览,供合并前安装验证,类似 Workers Previews。其核心设计是可插拔 transformer 和输出串联,可把 OpenAPI 转成 Cap'n Web、TanStack Query、Zod、MCP 等,并支持把 CLI 手写命令回灌文档。文章还提出不破坏旧客户端的 API 版本化思路,并以 Apache 2.0 开源;但内容仍偏早期发布说明,缺少实现细节、性能数据和实际迁移案例。

推荐收录:文章虽为发布公告,但明确给出 Forge 在 CI 中做预览构建、transformer 可链式生成及把手写 CLI 命令合入文档等工程机制,对构建 SDK/CLI/文档生成流水线的团队有直接参考价值。适合 API 平台、开发者工具、CI/CD 基础设施从业者阅读,可迁移其预览验证、输出串联和版本兼容设计;风险是项目尚早期且缺少性能与落地数据。

工程实践ClickHouse Engineering

chDB Durable Layer for agent memory

本文介绍 ClickHouse 团队为 agent memory 设计的 chDB Durable Layer。作者先复现问题:基于嵌入式 OLAP 引擎 chDB 构建的 agent memory 状态只能停留在单机磁盘,无法在 CI、短生命周期沙箱和第二台机器上复用,而已有方案(SQLite checkpointers、SQLite+Litestream、Postgres/pgvector/服务端 ClickHouse、Cloudflare Durable Objects、本地 DuckDB/chDB)在可移植性与本地热路径之间各有取舍。核心方案是“本地工作副本 + 对象存储权威副本”两层结构:查询仍在进程内 chDB 上执行,以显式 flush() 作为持久化边界,checkpoint() 折叠 WAL,head.json 配合条件写实现单写者租约与 fencing。文章给出 append-only 表建模、冷热分层、ZSTD 压缩(1.45GB 转录压至 521MiB)、本地查询比远程快 58 倍等实践数据,并以 ClickMem、Maple Local、ReplayHouse、vcfclick 为例。边界包括单写者、V1 WAL 要求确定性语句、不适合 OLTP 与多写者共享场景。

推荐收录,因为它从真实工程问题出发,给出可复用的架构取舍:本地工作副本与对象存储权威副本分工、显式 flush()/checkpoint() 持久化边界、基于 head.json 条件写的单写者租约,并附方案对比表、压缩与延迟实测以及建模最佳实践。适合为 agent/LLM 应用设计记忆与持久化层的工程师,以及需要嵌入式 OLAP 可恢复状态的读者;主要限制是仅适用单写者、单用户/单项目场景,多写者共享仍需服务端数据库。

工程实践PlanetScale Blog

Handling hot shards

文章以 PlanetScale 的 Neki 分片方案为背景,讨论多租户场景下的热分片问题:按 tenant_id 均匀分布租户在业务增长后会失效,出现超大租户压垮单个分片、跨租户查询增多等情况,即租户均匀不等于数据均匀。作者引用 Slack 使用 Vitess 的真实案例,说明 messages 表从按 workspace 分片改为按 channel 分片后,把常用的单分片查询保持在一起、把跨分片查询限制在批量或管理路径,从而降低热点并获得 CPU 与存储余量。文中给出三级处置路径:纵向扩容、按 key range 隔离大租户,以及最终按访问模式和查询形状重新分片部分表,并说明 Neki 用声明式 data topology 与在线 Reshard 在不停机的情况下迁移数据。边界在于内容带有产品宣传色彩,缺少性能基准和失败案例,Postgres 与 MySQL 的表述也略有出入,读者需结合自身系统验证。

推荐收录:文章把热分片的成因与三类处置路径(扩容、按 key range 隔离大租户、按访问模式重分片)讲得具体,并给出 Slack/Vitess 的迁移决策依据与 key range 配置示例,可迁移到多租户 SaaS 的分片键复审。适合负责分库分表、租户隔离与在线扩容的工程师和架构师;但结论围绕厂商产品,缺少量化基准,引用前需自行压测验证。

工程实践Netflix TechBlog

Trading a Cloud Identity for Your Own: Workload Attestation on Managed Compute

文章介绍 Netflix 如何让托管计算上的 Spark/EMR 工作负载,从仅有 AWS IAM 执行角色换取内部 Metatron PKI 身份。做法是 Data Project 与专用 IAM 角色 1:1 映射,控制平面签发工作负载元数据,工作负载用 AWS 凭证生成 sts:GetCallerIdentity 预签名 URL,身份服务交叉验证 STS 返回角色与签名元数据后签发短期 X.509 证书。面对 driver/executor 扇出,driver 一次证明并通过加密 RPC 分发凭证,避免逐个 executor 调用 STS 造成放大与限流;driver 定时重证,executor 不刷新。结论强调两类独立声明取交集、签名者稀少、在可控运行时挂钩并提前决定放大策略;边界是方案高度依赖具体云/IAM 与内部身份系统,可迁移的是信任模型而非实现。

推荐收录:文章给出生产级 workload attestation 设计,直接证据是控制平面签名声明与 STS 预签名 URL 交叉验证、Data Project/IAM 角色 1:1 映射、driver 向 executor 分发凭证的扇出取舍和短证书续期。适合在托管计算上构建服务身份、PKI 或平台安全信任链的工程师,其中两类独立声明取交集、签名者稀少、提前处理身份放大等原则可迁移;风险是细节绑定 Netflix 内部系统与 AWS。

工程实践GitHub Engineering

Improving site performance by shipping more CSS

GitHub 团队复盘了将 Primer 设计系统及 dotcom 前端从 CSS-in-JS 迁移到 CSS Modules 的多年实践。起因是组件激增导致客户端样式初始化、SSR 样式收集和样式更新成本恶化。团队按组件增量迁移,新增 CSS Modules 文件,并以特性开关、视觉回归测试、逐级灰度和包装层兼容旧 sx。到 2024 年底 Primer 组件全部迁移,SSR 时间降 55%、组件初始化降 25%;随后全站迁移数千 sx,借助 codemod、VS Code 插件和 Copilot coding agent 移除 sx、styled-components 与 styled-system,完成主题解耦,2026 年实现 100% CSS Modules。该经验适合大型设计系统与前端性能治理,但依赖长周期、强测试和灰度基础设施。

推荐收录。该文提供了完整的工程迁移证据:组件级 CSS Modules 迁移、特性开关、视觉回归和灰度发布,以及 SSR 下降 55%、组件初始化下降 25%、sx 从约 7760 到 0 的具体指标,对前端架构、设计系统和性能治理团队有直接参考价值。其风险在于迁移周期长达数年,依赖设计系统、测试与灰度基础设施,直接照搬需评估组织规模和协作成本。

技术文章Trail of Bits Blog

Don't let TEEs break your MPC

文章讨论在 TEE 中运行 MPC/门限签名的安全边界,强调 TEE 只能作为纵深防御层,不能替代协议本身的安全性。作者先区分半诚实与恶意安全模型,说明 TEE 的机密性、完整性和远程证明可在正确实现时缓解参与者作恶,但会把信任集中到硬件厂商,并引入不可信主机这一新攻击面。文中归纳审计常见陷阱:证明范围不完整、验证步骤缺失、镜像未加固、备份/文件系统回滚、侧信道与物理攻击、厂商默认策略过宽。并以门限签名为例,恶意主机可在预签名删除后回滚文件系统,造成 nonce 复用和私钥份额泄露。最后给出实践建议:证明绑定参与方身份、在 TEE 内终止点对点通信、完整验证测量值、恒定时间实现,并尽量使用多厂商 TEE。

推荐收录:文章不是泛泛介绍 TEE 或 MPC,而是基于安全审计经验给出具体攻击路径(如预签名回滚导致 nonce 复用)和可执行的最佳实践,涵盖证明验证、信任模型、侧信道与厂商默认策略。适合安全工程师、密码协议实现者和机密计算架构师阅读,可作为审查 TEE+MPC 部署的检查清单;需注意部分风险细节依赖具体厂商和版本。

技术文章知乎 - 鹅厂架构师

Jev 为什么突然火了?它想把 Agent 里的大量 LLM 调用干掉

文章介绍面向 Agent 的 Jev 模型,它被定位为 System One Model,把 Agent 中大量原本由 LLM 承担的局部判断拆成独立决策模型:输入可为非结构化状态,输出不是自然语言而是 Bool/Choice/Score 等预定义类型及概率与置信度,训练方法名为 RLCD。作者给出关键数据:官方称响应 70–500ms、输入 0.042 美元/百万 token,在其自建 workflow 上最高快约 193.6 倍、便宜 444.6 倍,但判断一致率约 67.8%,低于对照的约 74.1%;第三方测试延迟约快 25 倍、成本低约 580 倍,作者自测分类 Macro-F1 约 70%,落后主流大模型。文中还列举游戏控制、浏览器操作、日志扫描等落地场景。作者判断 Agent 将走向分层架构:LLM 负责规划、Decision Model 做高频低延迟小决策、程序负责执行,但 RLCD 细节、模型规模、OOD 校准与独立 benchmark 仍待验证。

推荐收录:文章用官方数据(70–500ms、193.6 倍加速)、第三方测试与作者自测(Macro-F1 约 70%)交叉呈现收益与代价,并给出“LLM 规划 + Decision Model 高频小决策 + 程序执行”的分层 Agent 架构思路,同时点明 RLCD、OOD 校准与独立 benchmark 待验证。适合做 Agent、推理成本与延迟优化的工程师,其“把判断任务从 LLM 拆出”的思路可迁移到路由、分类、Computer Use 等场景;但模型仍属 early access,需警惕厂商宣传与热度带来的乐观偏差。

工程实践Salesforce Engineering

How Intelligent Load Shedding Prevents Cascading Failures in Tier-0 Systems

文章以 Salesforce Cloud Atlas 身份数据存储为例,讨论 Tier-0 身份服务在流量突增和上游重试下如何演变为级联故障。团队原有每实例限流在自动扩缩容和多租户场景中暴露阈值失真、全局容量不可见和 noisy neighbor 问题。重构方案包含基于队列时延提前感知压力、优先削减低优先级请求的智能负载卸载,以及无中心协调器的全局配额管理,由各服务器共享客户用量并独立限流。文章据此总结保护服务而非单机、先观测后执行、优雅降级、简化配置、纵深防御和可逆发布等原则。局限是问答形式偏高层,缺少具体算法、参数、实验数据和故障演练细节,读者难以直接复现,但架构权衡和原则仍有迁移价值。

推荐收录。文章直接呈现 Tier-0 身份平台从每实例限流到智能负载卸载与无协调器全局配额的工程演进,并给出队列时延、优先降级、多租户公平和纵深防御等可迁移取舍。适合 SRE、分布式系统与高可用平台工程师阅读,用于设计限流、过载保护和级联故障防护。局限是未展开算法与实验数据,需结合团队实际验证。

工程实践Meta Engineering

Bringing Private Processing to Meta AI Glasses

文章介绍 Meta 将 Private Processing 扩展到 AI 眼镜的工程方案:因眼镜本地算力有限且 AI 助手需长期有状态与个性化,计算必须上云,但传统云架构会在使用时暴露内存数据。Meta 基于 CPU/GPU 的 TEE 与机密虚拟机 CVM,让模型在硬件隔离环境中执行,并提出硬件隔离、失败关闭、公开可验证、不可定向和加密存储五项要求。请求路径通过盲签名令牌与第三方 OHTTP 中继解耦身份,设备用 RA-TLS 远程证明核对二进制哈希与公开透明账本,数据仅在 TEE 内处理。持久化存储被放入 TEE 边界,以避免访问模式泄露与远程加密查询性能崩溃;可观测性只能依赖聚合健康指标。文章还说明第三方审计与漏洞奖励,但未给出性能数据、实现细节和失败案例,且方案与 Meta 基础设施强绑定。

推荐收录。文章不是产品发布稿,而是给出了可验证的隐私计算系统设计证据:五项工程要求、盲签名令牌/OHTTP 非定向路由、RA-TLS 证明与公开账本、TEE 内加密存储,以及在无法调试环境下的聚合可观测性方案。对做 AI 基础设施、隐私/安全架构和机密计算的读者,这些信任边界与运维取舍有迁移价值;不足是缺少性能数据和更细的实现验证。

工程实践GitHub Engineering

Rendering huge pull requests in the GitHub Copilot app

文章复盘 GitHub Copilot 应用如何让超大 Pull Request 的 diff 与评论在滚动、展开等交互中保持流畅。作者用虚拟化和确定性行高支撑百万行代码 diff,但评论高度无法预知,于是把文档高度拆成精确的代码几何与动态块几何:块按文件、行侧锚定,惰性测量并缓存宽度与指纹。测量由空闲/滚动门控的批量调度完成,观察器只标记不回写,必要时同帧修正,并用身份锚定避免滚动跳动。数据侧先流式加载结构、按需高亮和构建 Markdown,并保留最近 diff 缓存。文中还介绍用结构化探针、端到端预算和自动驾驶循环定位只在特定引擎或滚动位置出现的 bug。方案面向代码评审界面,效果受评论数量与浏览器布局约束,不是通用虚拟列表方案。

推荐收录:文章以 2200 文件、百万改动行、400+ 条行内评论的真实超大型 PR 为基准,详细展示虚拟化、双几何、惰性测量、滚动锚定与数据管线取舍,并配套结构化探针、CI 预算和自动驾驶回归循环。对前端性能、代码评审工具、复杂虚拟列表架构的工程师有直接迁移价值;但方案高度依赖该 diff/评论场景和浏览器布局,其他虚拟滚动场景需谨慎复用其测量与锚定策略。

技术文章TiDB 社区博客 - 技术解读

我的TiDB 架构原理概念学习

文章系统梳理 TiDB 的分布式架构原理,围绕分层解耦与计算存储分离展开。先介绍 TiDB Server、PD、TiKV、TiFlash 四组件职责,再说明 Region 分片、RocksDB 双实例、Raft 多副本与 PD 调度机制;随后解释基于 Percolator 和 MVCC 的分布式事务,以及乐观/悲观两种模式。接着讨论 HTAP 双引擎:TiFlash 以 Raft Learner 异步同步、ReadIndex 一致性读取和 MPP 并行执行支撑分析查询,最后总结计算下推等优化原则。内容适合作为入门概览,但对具体源码、调优参数、故障案例与实验数据展开较少。

推荐收录:文章以分层解耦为主线,完整串联 TiDB 四组件、Region/Raft 存储机制、Percolator 事务和 TiFlash HTAP 协同,能帮助读者建立分布式数据库的全局架构认知。对需要理解计算存储分离、多副本一致性与 HTAP 取舍的开发者、DBA 和系统设计者具有迁移价值;不足是偏概念综述,缺少源码、参数调优和故障案例,适合入门与复习而非深度排障。

技术文章Greptime 技术

JSON Is No Longer a Blob: Inside GreptimeDB 1.2's New JSON Type

文章深入解析 GreptimeDB 1.2 新增的 JSON2 类型,针对传统 JSONB 按整文档存储、分析查询需读取并解析完整 JSON 的问题。其核心是有界自动 shredding:高频路径展开为独立列,并分为静态类型路径、预算内动态路径和 Parquet Variant 余量三层;查询时通过类型具体化从 SQL 推断所需结构类型,类型提示可固定路径类型并拒绝不匹配写入。结论是 JSON2 适合日志、trace 等可观测性场景,能按路径裁剪读取且保留原始嵌套;但冷路径仍需读余量,类型推断可能出错,自动展开有上限,1.2 中修改配置尚未正式支持。

推荐收录:文章不仅介绍功能,还给出 JSONB 与 JSON2 的读写差异、三层存储、类型具体化、类型提示和完整 SQL 示例,并引用 JSONBench 数据说明边界。适合数据库、存储引擎、可观测性平台工程师理解半结构化数据的列式化设计;可迁移到日志/trace 分析中的路径裁剪、列式存储和类型约束设计,但需留意冷路径读取与类型推断错误风险。

技术文章Greptime 技术

JSON Is No Longer a Blob: Inside GreptimeDB 1.2's New JSON Type

文章解析 GreptimeDB 1.2 新增的 JSON2 类型,面向日志、Trace 等路径繁多但查询只访问少数路径的 JSON 数据。传统 JSONB 按整文档存储,读一个字段也需扫描和解析完整文档,索引无法消除这类 I/O 与 CPU 放大。JSON2 采用有界自动 shredding,将热路径展开为独立 Parquet 列,长尾写入 Parquet Variant remainder,并支持 type hints 固定类型;查询端通过 query type concretization 从 SQL 推导结构化类型,实现列裁剪与向量化执行。局限是类型推断依赖 SQL 表达式,写错可能返回无意义结果,且 1.2.x 不能修改已有 JSON2 配置。该方案适合可观测性分析,但冷路径仍需读 remainder,自动展开预算默认 100。

推荐收录。文章基于 GreptimeDB 1.2.1 的真实实现,清晰给出 JSONB 整文档读放大、JSON2 有界 shredding、Parquet Variant remainder、query type concretization 与 type hints 的设计细节和 SQL 示例,并明确说明类型推断错误、冷路径成本和 1.2.x 配置不可变等边界。适合数据库内核、存储引擎和可观测性平台开发者参考,其“热路径列化+长尾归并+查询驱动类型推导”的取舍可迁移到其他半结构化分析系统。

工程实践美团技术团队

MTFM:美团统一推荐基座大模型在外卖多业务场景的落地实践

美团技术团队介绍统一推荐基座大模型 MTFM,在 MTGR 基础上首次实现外卖多个主要业务的统一精排。文章围绕规模可扩展性、场景可延展性和架构高效性三大挑战,提出异构 Tokenizer 与动态掩码实现多场景特征免对齐,混合注意力与 Target Scale-Up 提升 Scaling 能力,并借鉴 LLM 的初始化、Muon 优化器、动态归一化等训练实践。系统层面采用 User-Level 训练范式与定制 GPU 算子,降低训推开销;在线多个业务订单提升 2.06%~6.68%,推理成本降低 24%,工作被 KDD 2026 收录。适用边界在于结论来自美团外卖业务与特定模型规模,跨行业迁移仍需验证。

推荐收录。文章给出 MTFM 的完整架构、训练策略、GPU 算子优化、Scaling 验证与线上 A/B 收益(多业务订单提升 2.06%~6.68%、推理成本降 24%),属于少见的工业级推荐基座落地复盘。适合推荐系统、AI 工程化与大规模训推基础设施读者,其异构 Tokenizer、User-Level 训练和算子优化可迁移;但具体收益依赖美团外卖数据与业务结构,跨场景复用需重新验证。

工程实践vLLM Blog

Announcing vllm-metal: Concurrent Serving on Apple Silicon

文章介绍 vllm-metal v0.28.0,将 vLLM 的 V1 调度器、分页 KV 缓存和 OpenAI 兼容服务端移植到 Apple Silicon,底层由 MLX 与 Metal 执行。它复用 mlx_lm 的按 token 独立层,仅替换为分页 varlen Metal 注意力内核,并用 cu_seqlens 打包查询、以块表管理 KV,从而在连续批处理中混合预填充与解码。文中对比 llama.cpp、oMLX、mlx_lm 在并发 agent 负载下的 TTFT、吞吐与延迟,还覆盖内存预算、批处理 MTP、M5 NAX 预填充与混合模型前缀缓存复用。局限是 MTP 仅支持 Gemma 4 贪心采样和同步调度,混合模型前缀缓存仍属实验特性。

推荐收录:该文虽为版本发布博客,但给出了 vllm-metal 的完整服务架构、分页 varlen 注意力实现细节以及与 llama.cpp、oMLX 等引擎在并发 agent 负载下的可复现基准。它适合在 Apple Silicon 上部署本地 LLM 服务、研究连续批处理与内存/延迟权衡的工程师,其 packed query、paged KV 和 MTP 批处理方案可迁移到其他硬件后端。

工程实践Meta Engineering

Open-Sourcing Rebalancer: A Generic, High-Performance Library for Solving Assignment Problems

Meta 开源了内部使用九年多的通用指派问题求解库 Rebalancer,并配套 OSDI'24 论文。文章把指派问题抽象为对象、箱子、约束与目标,核心设计是解耦问题描述与求解过程:先用维度、分区、作用域、利用率等建模原语刻画现实策略,再通过表达式 API 与高层 spec API 表达约束和目标,最终编译成表达式图 DAG。求解提供两条路径:最优解器把图翻译成 MIP,靠变量聚合、可互换性与对称性破缺压缩模型,最坏规模为 O(|objects|*|bins|);局部搜索解器直接在图上游走,邻域最坏 O(|objects|+|bins|),可并行、每秒数百万次评估并支持剪枝。文中给出生产数据(每日约 4000 万次求解、30 多种问题形式、P99 12 秒)以及调试用 Web UI Rebalancer Explorer,并以 Apache 2.0 开源。

推荐收录:文章提供了可复用的优化系统设计证据——描述与求解解耦的建模原语、表达式图,以及 MIP 与局部搜索两条路径的复杂度、规模上限和选型建议,还有每日 4000 万次求解、P99 12 秒等生产数据与 OSDI'24 论文支撑。适合从事资源调度、容量规划、负载均衡和组合优化落地的工程与算法读者,其中“先用最优解器原型、再迁移到局部搜索”的经验可直接迁移。

工程实践ClickHouse Engineering

Postgres on NVMe: performance and the convergence of transactions and analytics

文章以 Postgres 在本地 NVMe 上的性能表现为切入点,在 482 GiB 数据集上对比 NVMe 与 gp3 EBS,测得 NVMe 吞吐约 9.2 倍、UPDATE 延迟 4.0 ms 对 36.9 ms。作者用 pg_stat_activity 和 CPU profile 解释:EBS 下大量后端阻塞在 DataFileRead,NVMe 将缓存未命中从毫秒级降到微秒级,并改善 VACUUM 与逻辑解码。针对本地 NVMe 的临时性,文章提出跨 AZ quorum 同步复制加 WAL-G 持续归档来保证持久性与可恢复性。随后论证存储加速只能提高行存上限,无法替代列存做大规模扫描,需用 CDC 将数据同步到 ClickHouse。适用时需注意 NVMe 容量受实例限制、复制与归档增加运维复杂度,且查询下推覆盖度需验证。

推荐收录:文章给出可复现的 benchmark 设计(pgbench 33,000、482 GiB、NVMe 对 EBS)和从 pg_stat_activity、CPU profile 到 VACUUM、逻辑解码的分层证据,并讨论本地 NVMe 临时性下的 quorum 复制与 WAL 归档方案。适合负责 PostgreSQL 性能、存储选型或 HTAP/CDC 架构的工程师,其中“存储解决 OLTP、列存解决 OLAP”的拆分逻辑可迁移。需注意文章来自 ClickHouse 厂商,benchmark 与产品推荐带有一定立场,pushdown 和运维复杂度仍需结合场景验证。

技术文章Trail of Bits Blog

SAML: A fractal of bad design

文章从历史与协议设计角度批判SAML,指出其源于四套XML安全规范的合并,并存在五大缺陷:基于XML、规范化、封装签名、大而全设计与协议僵化。作者结合XSW、XML注释绕过、解析器差异和libxml2怪癖等真实攻击,说明这些缺陷为何长期难修,且多数实现依赖复杂的libxmlsec。文章认为除SP与IdP无法直连等少数场景外,OIDC在网络假设、渐进演进及移动/SPA/IoT适配上更优,并给出SP优先支持OIDC、IdP制定弃用计划等迁移路径。其边界是未量化比较XML与JSON复杂度,偏架构与安全分析而非实现教程,也承认OIDC并非完美。

推荐收录。文章不只是批评SAML,而是以委员会合并历史、XSW与规范化等五类缺陷、解析器差异攻击和OIDC演进时间线为直接证据,给出可执行的迁移建议。适合身份认证、安全架构、协议设计和技术选型读者;其把安全缺陷反推为协议设计检查项的思路可迁移到新认证协议设计,但需注意OIDC并非零风险,存量SAML兼容仍是迁移约束。

工程实践TiDB 社区博客 - 实践案例

山东政务协同、聊城烟草与企业知识库背后:五类场景共用一套 TiDB 底座

文章整理山东腾安信息的 TiDB 实践:政务协同、烟草数据中台、企业知识库、异构迁移和数据库安全五类场景共用一套数据库底座。做法包括将 12 套政务系统收敛为两个隔离集群,用 RU 配额与优先级做多租户调度;烟草中台以 TiKV 行存和 TiFlash 列存同时支撑交易与分析;知识库把 SQL 权限过滤与 HNSW 向量检索结合在同一份数据上。迁移侧用 TiDTS 编排全量与增量同步,安全侧用 DBNginx 将连接入口变为访问治理入口,结论是共性数据能力应下沉为可调度、可分析、可迁移和可治理的基础设施。不足是文章为厂商实践分享,缺少性能、成本、故障和量化收益对比,方案有效性需结合自身规模验证。

推荐收录。文章给出了多系统收敛为两个集群、HTAP 行存列存协同、SQL 权限过滤与 HNSW 向量检索结合、TiDTS 迁移编排和 DBNginx 访问治理等具体证据,适合数据库平台、数据中台和安全治理工程师参考。其可迁移价值在于把重复建设问题拆成资源调度、分析、检索、迁移与安全等可治理能力;风险是厂商视角明显,缺少量化收益与失败边界,选型时仍需独立验证。

技术文章TiDB 社区博客 - 技术解读

TiDB 的 Region:不是书架格子,而是一段会“分裂、搬家、合并”的图书编号区间

文章以图书馆编号区间为比喻,纠正“Region 是固定物理格子”的常见误解,指出它是 Key 空间中的连续区间及对应 Raft 副本状态。作者分层解释 Region、Peer、Raft Group、PD 与 RegionCache 的关系,并说明 Split、Merge、副本迁移如何改变逻辑边界和副本分布。文中还串联 RegionEpoch、EpochNotMatch/NotLeader 处理,以及 SQL 请求经 TiDB、RegionCache、Leader Peer 到 RocksDB 的定位路径。核心结论是逻辑分片与物理存储、复制和调度解耦,从而支撑弹性扩展、高可用与负载均衡。边界在于作者声明为个人学习解读,未展开源码、实验和版本差异,阈值与具体机制仍依赖 TiDB/TiKV 配置。

推荐收录:文章用清晰比喻和分层结构,把 Region、Peer、Raft、PD、RegionEpoch 及请求路由串成完整认知链路,并明确 Split/Merge/迁移的边界,能帮助 TiDB/TiKV 初学者和分布式数据库开发者建立正确心智模型。它不是产品发布或泛泛教程,核心概念和排障思路可迁移到分布式分片系统,但读者需注意其个人解读属性,具体阈值应回到官方文档与版本源码验证。

工程实践Elastic Security Labs

One SOC, 100 projects: running centralized alert triage on Elastic Security Serverless

文章介绍 Elastic Cloud Serverless 上用跨项目搜索(CPS)实现集中式 SOC 告警分诊。作者把 1 个源项目连接 100 个关联项目,在源项目运行约 2100 条预置检测规则,验证检测、分诊、调查与响应全流程。结论是该集中模型在规模下可行:规则和告警集中在源项目,数据仍留在各项目,分析人员用统一队列查看跨项目上下文。文章给出 ES|QL 查询模式、告警按项目汇总和列投影等性能建议,指出成本主要取决于单项目数据量与查询形态,而非关联项目数量。同时列出边界:响应动作、关联项目自生告警、Attack Discovery 等不跨项目聚合,需坚持“集中分诊、本地响应”。适用于多团队/区域/客户需数据隔离但共享检测分诊的组织。

推荐收录:文章基于 1 个源项目连接 100 个关联项目、运行约 2100 条检测规则的真实压测,给出 ES|QL 查询模式、性能取舍和 CPS 能力边界表,属于可迁移的集中式安全运营工程经验。适合安全平台、SOC、云原生安全架构读者评估多租户检测与分诊方案;主要风险是功能强绑定 Elastic Serverless,落地时需核对响应动作不能跨项目等限制。

工程实践PlanetScale Blog

The architecture of Neki

本文从底层拆解 Neki 的分片架构:它不 fork Postgres,而是在原生 Postgres 实例上扩展,用 PostgresManager 管理实例、Sidecar 连接池,并将主从副本组成 shard。Admin 处理故障检测、切换和持久性策略,Operator 在 Kubernetes 上编排生命周期;Router 对客户端提供单一 wire-protocol 入口,基于权威 shard catalog 解析并规划分片查询,必要时做跨分片 join/聚合。etcd 保存 Data Topology,Replicator 支撑 MoveTables、Reshard 和 OnlineDDL,并通过 Router 缓冲完成 cutover。文章适合理解分布式数据库控制面与数据面设计,但作为厂商架构概览,缺少性能基准、故障边界和成本权衡。

推荐收录:文章把 Neki 的数据库控制面与数据面逐层拆成 PostgresManager、Sidecar、Shard、Admin、Operator、Router、Data Topology 和 Replicator,并说明 OID 一致性、连接池分类、跨分片 join、etcd 拓扑和 cutover 缓冲等具体机制。适合分布式数据库、基础设施和 Kubernetes 平台工程师参考,可迁移到分片系统设计与在线数据迁移场景;但它是厂商架构概览,尚无性能基准和故障边界验证,需结合后续实测判断。

工程实践JuiceFS 工程技术

Keeping GPUs Fed: How Meta's AI Storage Architecture Aligns with JuiceFS

文章以 Meta 公开的 AI 存储蓝图为例,剖析其 Tectonic 块存储、BLOB 元数据层、内嵌 BlockClient 的富客户端 SDK、Owl 分布式缓存以及 L1/L2/L3 分级缓存和跨区域全局数据湖设计,说明其如何缓解 exabyte 规模下 GPU 因存储瓶颈而 stall 的问题。作者指出 Meta 最终收敛的核心原则——数据与元数据分离、富客户端直连数据面、多级缓存、跨区域复制——与 JuiceFS 从设计之初的三组件架构(对象存储、元数据引擎、客户端)高度一致,并给出组件对照表和缓存预热(prefetch 对比 juicefs warmup)等具体例子。文中引用 80% 平均缓存命中率、跨区域摄取时间下降 93%/97%、GPU 空转 20% 对应每小时数千万美元损失等数据支撑动机。适用边界在于内容主要基于公开资料做高层对比,缺少可复现的测量细节与失败边界分析,且带有明显的厂商推广立场。

推荐收录,因为它把 Meta 的 AI 存储架构拆成数据层、元数据层、富客户端和分级缓存几个可迁移的设计维度,并给出与 JuiceFS 的逐项对照表、L1/L2/L3 缓存分层以及 prefetch/warmup 预热机制等具体证据,便于读者理解 GPU 训练场景下存储系统的通用取舍。适合从事 AI 训练基础设施、分布式存储或缓存设计的工程师参考。主要风险是内容源自厂商博客且数据多为二手转述,缺少独立验证,阅读时需对产品对比结论保持审慎。

工程实践Oxide Public RFDs

RFD 0619: Managing types across Dropshot API versions

RFD 619 讨论 Oxide 在 Dropshot HTTP API 服务端版本化后如何组织已发布类型,以降低新增 API 版本的修改负担。作者提出为每个 types crate 配套 versions crate,集中定义所有历史版本,types crate 仅重导出 latest,API trait 只依赖 versions crate,业务逻辑只依赖 types crate。核心规则包括:类型定义在最早出现版本,后续变更在新 vN 模块,相邻版本用 From/TryFrom 或 from_vN/into_vN 转换,非版本代码放 impls 模块,最新端点用 floating identifier、旧端点用 versioned identifier。文中还给出一次性迁移与新增版本指南,并论证旧方案、域优先嵌套、独立 conversion 模块等替代方案被拒原因。其适用边界是 Oxide/Omicron 的 Rust、Dropshot、OpenAPI/Progenitor 技术栈,外部团队需按自身仓库结构与兼容策略调整。

推荐收录:该 RFD 包含完整的动机、原则、determinations 和逐项 rationale,并用真实 PR 说明旧类型组织方案的维护痛点,属于可复核的工程决策证据。适合维护长期兼容 HTTP API、使用 Rust/Dropshot/OpenAPI 或需要设计服务端版本化的后端与基础设施团队阅读;versions crate 分层、按最早版本存类型、相邻版本转换等规则可迁移到其他 API 版本化场景。风险是它绑定 Oxide 特定 crate 命名与工具链,外部团队需按自身边界调整。

技术文章Oxide Public RFDs

RFD 0552: Transparency in Hardware/Software Interfaces

本文是 Oxide 的 RFD 552,讨论硬件/软件接口透明性应成为系统厂商选择硬件的前提。作者先将接口分为 ISA、数据接口与控制接口,并区分 HAL、实现负载等非接口概念,继而提出五级透明性框架:公开文档、私下无约束文档、开源 HAL、逆向工程、有约束的私下文档(最不可取)。文章逐条反驳厂商常见反对理由(被复制、支持负担、安全风险、第三方协议),并揭示文档不完整、代码有 bug、暴露错误、他人写软件等未明说的恐惧。结论是透明性近乎零成本,能催生编译器、OS、调试器等生态,而封闭会阻碍跨层创新;Intel 与 Linux 的共生被作为论据。其边界是公司立场文件而非量化研究,但提供了可复用的接口透明性评估框架。

推荐收录。文章给出可操作的接口分类和五级透明性模型,并用 Renesas 电源控制器、AMD openSIL、LPC55S69 逆向、Lattice iCE-40 等实例支撑,不是泛泛呼吁开源。适合硬件/软件协同设计、基础设施、SoC 选型与开源战略相关读者,可用于制定供应商接口文档要求和评估封闭接口的长期成本;但需注意其立场源于 Oxide 的全面开源目标,未必适用于所有商业约束。

工程实践Oxide Public RFDs

RFD 0605: Virtual Machine Identity and Attestation

该 RFD 为 Oxide 云平台上的虚拟机实例提出身份与远程证明方案:目标是把测量链从平台 RoT 扩展到实例的启动盘摘要、UUID 与配置,向 guest 暴露证明接口,并把实例持有的临时公钥绑定到平台证明。方案用 qualifying data 把 nonce 或附加数据混入签名,propolis 作为 VM Instance RoT 将 JSON 格式的实例日志经哈希后交给 Oxide Platform RoT 签名,从而在 propolis 无签名密钥时仍能绑定实例信息。通信通道选择 vsock,采用 JSONL 协议和单一 attest 命令,32 字节 qdata 可扩展为 digest(nonce|key_pub) 以完成密钥绑定。性能测试显示平台 RoT 是瓶颈,attest 平均约 104 ms,证书链约 120 ms。当前实现只覆盖 Oxide 平台 RoT,对可变启动盘、非开源组件和 API 向后兼容性有明确限制。

推荐收录:该 RFD 系统性地给出 VM 身份与证明设计,包括 qdata 绑定、测量链扩展、vsock/JSONL 接口、SPDM 对比和 gimlet 时延基准,证据具体。适合云平台、虚拟化安全、远程证明与机密计算方向的工程师阅读;其中 nonce 加日志哈希绑定、无签名 RoT 委托签名模式和接口取舍可迁移。风险是早期设计,初始 API 可能破坏兼容且未覆盖全部 RoT/闭源组件。

工程实践Oxide Public RFDs

RFD 0595: Oxide CSI Plugin

本文是 Oxide 的 RFD 595,扩展 RFD 493,系统设计面向 Oxide 云盘的 Kubernetes CSI 插件。文章解释 CSI 的 CO、SP、工作负载、卷与节点术语,以及 Identity/Controller/Node 服务和 sidecar 部署模式,并按卷生命周期把 RPC 映射到 Oxide API:CreateVolume 用 POST /v1/disks,ControllerPublishVolume 用 attach,NodeStage/NodePublish 在 Linux 上分区格式化并挂载,卸载和删除分别用 detach 与 DELETE。文中给出 Deployment、DaemonSet、CSIDriver、StorageClass 与 PVC 示例,并列出热插拔需停机、单实例最多 8 盘、设备令牌认证、无法扩容/克隆、仅支持 SINGLE_NODE_WRITER、多机架拓扑未定等限制;首版仅支持创建删除、挂载卸载和快照恢复。

推荐收录。该 RFD 不是概念介绍,而是给出 CSI RPC 到 Oxide API 的逐项映射、Kubernetes 部署 YAML 与明确的阻塞/限制/开放问题,适合 Kubernetes CSI 驱动开发者、平台与存储工程师阅读。其 sidecar 模式、卷生命周期处理、幂等与拓扑约束分析可迁移到其他存储插件设计;但内容绑定 Oxide API 且仍处讨论状态,读者需注意版本与实现可能变化。

工程实践Oxide Public RFDs

RFD 0704: The Ongoing Saga of Sagas

本文是 Oxide 工程经验 RFD,记录控制平面 Omicron 使用分布式 Saga(Steno)执行实例启动、磁盘创建、区域替换等流程时的问题。作者指出 Saga 要求动作幂等、未定错误必须重试、永久错误不可重试、补偿不可失败,这些约束难以编码和验证;静态 DAG 与软件升级强耦合,卡住或废弃的 Saga 无法自动恢复,更新可能阻塞或冒险恢复。文章比较背景任务/协调器模式:周期性重取状态、每次只决定下一步,并用事务、声明式 API 和 generation 号保证并发安全,使错误可由软件更新修复且不阻塞升级。结论是新增工作应优先考虑背景任务,选择 Saga 必须规划废弃与修复;但作者并未主张完全移除 Saga,部分场景改写仍有挑战。

推荐收录:该 RFD 以 Oxide 生产系统为证据,系统梳理了分布式 Saga 在幂等、未定错误、补偿失败、升级和废弃恢复上的具体故障模式,并给出 reconciler/background task 的替代设计与并发安全手段。对构建控制平面、工作流引擎、分布式事务或可靠性系统的工程师与研究者有很高迁移价值,可帮助在 Saga 与协调器模式间做架构取舍;需注意其结论绑定 Oxide 的 Omicron/Steno 场景,并非通用定论。

工程实践Oxide Public RFDs

RFD 0634: Git stub files for Dropshot versioned APIs

该 RFD 由 Oxide 提出,用于解决 Dropshot 版本化 OpenAPI 文档在 Git 中的存储难题:新增版本会被识别为全新文件,造成上万行 diff、失效的 blame 与工作副本膨胀。核心方案是 Git stub 文件——用 `<commit-hash>:<path>` 单行文本替代历史版本的 JSON,使 Git 将新版本识别为重命名而非新文件,从而恢复可读 diff 与 blame,并把 Omicron 工作副本从 76MiB 降至 46MiB。文中给出精确的转换规则(仅对已 blessed、非最新、且非同一提交引入的版本生效),说明了与 Progenitor 通过 Cargo build script 集成的做法,并系统对比了外部工具、current copy、diff chain、Git LFS、仅历史等替代方案。主要代价是解引用 stub 依赖完整 Git 历史、不兼容浅克隆,并会引入 rename/rename 合并冲突,需要 API manager 扩展冲突处理。

推荐收录。这是一份完整的设计文档:明确的问题(大 diff、blame 失效、仓库膨胀)、可验证的效果(工作副本降 39%)、带对比表的替代方案分析和已落地的实现状态,并诚实列出浅克隆、source archive、合并冲突等边界。对设计版本化 API 存储、开发者工具链或 Git 工作流的团队有直接迁移价值:用指针文件替代不可变历史、借重命名启发式恢复 diff 与 blame 的思路可复用;风险是需完整 Git 历史与额外冲突处理复杂度。

工程实践Oxide Public RFDs

RFD 0532: Versioning for internal HTTP APIs

RFD 532 讨论 Oxide 内部 HTTP API 在控制面驱动在线升级中的版本化问题。因分布式组件无法原子更新,旧客户端与新服务端混用可能令升级卡死;作者按更新顺序提出 lockstep、仅服务端版本化、客户端版本化三种策略,并优先前两者。系统通过 API 依赖图决定组件更新顺序,并用自动化测试在合入 main 前拦截破坏升级的变更。客户端版本化需 Reconfigurator 告知可用 API 版本,客户端周期性查询并可能持久化,但实现与测试更复杂。该方案只覆盖 API 语法兼容,不解决语义破坏;switch zone、host OS 依赖和客户端元数据仍是开放问题。

推荐收录:这是一份完整的设计决策记录,给出 lockstep、仅服务端、客户端三种 API 版本化策略的选择依据,并把更新顺序、依赖图、自动化测试与开发者工作流放在同一约束下讨论。适合分布式系统、API 平台和基础设施团队参考;可迁移点是先确定组件更新顺序,再选择版本化策略,并用自动化防止依赖假设失效。主要不足是只处理语法兼容,客户端版本化路径尚不成熟。

工程实践Oxide Public RFDs

RFD 0538: Webhook API

Oxide RFD 538 定义了机架控制平面对外提供 Webhook 通知的 API 契约。事件按层级化 event class 分类,订阅支持 * 与 ** 通配符,每个事件带全局唯一 UUID,用于跨接收方关联与去重;接收方需注册 endpoint 与至少一个 HMAC 密钥,密钥只能新增或删除以支持轮换。投递为 HTTP POST JSON,携带 delivery-id、webhook-id、event-class、event-id 与 x-oxide-signature 头,采用至少一次语义,失败最多重试三次(1 分钟、5 分钟后),3xx 视为失败,2xx 即确认且不再重投。文档还用 probe 事件做存活探测与失败事件重发,并附有可靠接收方的实现建议。边界是只保证至少一次、不保证投递顺序,且目前仅 fleet.admin 可创建 Webhook、统一以 fleet.viewer 权限运行,细粒度 RBAC 留待后续。

推荐收录。这是一份生产级 Webhook 接口契约,直接给出了多密钥 HMAC 轮换、至少一次投递与重试退避、3xx 视为失败、probe 探活配合失败事件重发等可迁移的设计决策,并明确写清失败语义与权限边界。适合设计事件推送或对外集成 API 的后端与平台工程师参考,附录的接收方可靠性要求也可直接当作对接方检查清单。

技术文章Oxide Public RFDs

RFD 0400: Dealing with cancel safety in async Rust

Oxide RFD 400 系统讨论 async Rust 的取消安全与取消正确性。作者把取消安全定义为单个 future 的局部属性,把取消正确性定义为系统级全局属性,并梳理 select!、timeout、try_join、task abort、runtime shutdown 等取消来源。文章给出库作者和调用方的处理模式:拆分复杂操作、reserve permit、恢复部分进度、协作式取消、避免 tokio::sync::Mutex、用后台任务隔离 cancel-unsafe 操作,并以串口代理、installinator、write_all_buf 等案例说明取舍。结论是取消安全没有银弹,需结合 Tokio 语义和业务边界逐案验证。

正文以 Oxide 控制面开发中的真实问题为背景,系统定义 cancel safety/cancel correctness,并给出 select!、timeout、try_join、task abort 等取消源和 reserve、部分进度恢复、协作取消等可迁移模式,还附多个生产案例。适合编写或评审异步 Rust 服务、库 API 与分布式控制面的工程师;主要风险是结论依赖 Tokio 语义和 Oxide 场景,迁移到其他 runtime 或业务时需重新验证。

工程实践Oxide Public RFDs

RFD 0373: Reliable Persistent Workflows

RFD 373 讨论控制平面中的可靠持久工作流(RPW):持续将数据库期望状态与 DNS、VPC、软件更新等目标的运行时状态对齐,而非一次性 saga。文章提出三条约束——目标最终获知更新、所有目标按同一顺序收敛、单目标离线不阻塞其他目标,并比较周期激活、全量/增量更新、generation number、目标驱动与 Nexus 驱动等模式。文中否定在 API 请求内联更新、按变更创建 saga 或使用队列,指出会导致顺序错乱、无界积压或惊群;也讨论分布式互斥难题,倾向让目标串行化请求。结论是将 RPW 作为一等抽象并从 DNS 落地迭代;但多数设计未实现,部分示例仍需验证。

推荐收录。该文档不是泛泛介绍,而是给出 RPW 的明确约束、generation number、全量/增量传播、目标驱动与 Nexus 驱动、互斥与队列等模式的逐项取舍,并系统分析内联更新、滥用 saga/队列等反模式;适合构建控制平面、分布式协调、Kubernetes 控制器或自愈系统的工程师。其 reconciliation、激活模型和可观测性设计可直接迁移到类似场景,但部分章节作者自述不确定,落地前需结合实现验证。

工程实践Oxide Public RFDs

RFD 0493: Initial Kubernetes Integrations

本文是 Oxide 的 RFD 493,讨论其平台最关键的 Kubernetes 集成并给出路线图。文章先概述 Kubernetes 组件和声明式 API,再区分原生集成与发行版集成,逐项分析 Cloud Controller Manager、Cluster API、CNI、CSI、Ingress/Gateway API、Rancher Node Driver 的问题、所需 Oxide API、开发量和延期风险。路线图分三阶段:优先 Cluster API 与 Rancher Node Driver 改进,其次 CCM 和 Rancher UI 扩展,最后 CSI;CNI、Ingress、Gateway API 明确推迟。边界是 Oxide 暂不提供托管 Kubernetes,部分估算需更多研究,方案高度依赖其自身 API 与存储、网络能力。

推荐收录:这是已发布的 Oxide RFD,提供了集成点、所需 API、开发量、延期风险和分阶段路线图等直接证据,而非泛泛介绍。适合平台工程、Kubernetes 发行版/云集成和基础设施团队参考,可迁移的是如何按客户价值与差异化程度排序集成、推迟非核心组件;主要风险是结论绑定 Oxide 平台,外部读者需注意其前提。

工程实践Oxide Public RFDs

RFD 0479: Dropshot API traits

RFD 479 介绍 Dropshot 的 API trait 方案:用 Rust trait(#[dropshot::api_description])定义端点集合,端点作为静态方法,从而把 API 接口定义与具体实现分离。宏会生成 support module,提供 api_description 与 stub_api_description,前者用真实实现启动服务器,后者无需实现即可生成 OpenAPI 文档。该设计主要解决函数式 API 的迭代慢、Nexus 与 sled-agent 循环依赖、OpenAPI 合并冲突和难以提供测试实现等问题。Oxide/Omicron 落地后,OpenAPI 测试从约 18 秒降到 1.5 秒,新增 KnownArtifactKind 的流程从 20 多分钟降到 1 分钟以内。边界是要求 Rust 1.75+、使用静态分发、trait 不能对象安全,且尚不支持 trait 组合与部分测试实现的自动委派,更适合大型服务或需要多实现的 API。

推荐收录:它给出了从问题、约束、迁移路径到量化收益的完整工程论证,并有 Dropshot 0.11.0 与 Omicron 全量迁移作为落地证据。适合 Rust 后端、API 平台、基础设施和架构设计读者,可迁移的是接口与实现解耦、宏生成 OpenAPI、打破循环依赖和加速迭代的模式。需注意其结论依赖 Oxide 的 Rust 技术栈与 Dropshot 工具链,其他团队要评估版本、静态分发和生态限制。

工程实践Oxide Public RFDs

RFD 0419: Only YOU can prevent unwinding sagas

本文是 Oxide Computer 的公开 RFD 419,探讨如何为分布式 saga 编写正确的节点。文章首先定义正确 saga 节点需满足的四个属性:补偿动作应尽量回滚前向动作或使系统保持一致、前向动作必须幂等、原子性(避免多步状态变更)以及必须得到已知结果。随后列举常见陷阱,包括在参数中使用名称引发 TOCTOU、动态状态变更的循环、无补偿动作的节点、中间状态可见导致并发 saga 冲突,以及删除与创建 saga 交错执行。文章强调 saga 并非事务,节点执行间隔可能很长,作者必须考虑重复执行、并发执行和跨时间重复的“企鹅”问题,并建议通过软删除和幂等端点来支持重试。最后指出这些约束需扩展到被调用的守护进程及其嵌套路径,但未给出强制机制,依赖代码作者和评审者的纪律。

推荐收录。本文系统总结了分布式 saga 节点正确性的四个核心属性(补偿、幂等、原子、已知结果),并列举了大量来自 Oxide 真实工程(如磁盘删除、快照创建、NIC 附加)的陷阱与应对模式,如避免参数用名、处理动态步数、防范并发 saga 交错。对设计分布式任务编排、微服务补偿流程或需要保证最终一致性的后端工程师极具参考价值,可直接迁移其检查清单。主要不足是缺少自动化强制手段,依赖作者与评审者纪律。

工程实践Oxide Public RFDs

RFD 0357: External DNS in the MVP

RFD 357 提出 Oxide MVP 的外部 DNS 方案:运维方委派一个子域,并提供 2 个以上(建议 3-10 个)客户网络 IP,由 Oxide 运行独立于内部 DNS 的权威外部 DNS 服务器。每个 Silo 获得 $silo.sys.$delegated_domain 主机名,指向同时服务控制台与 API 的 Nexus 实例,更新时采用蓝绿部署并动态迁移固定 IP 来提升可用性。TLS 证书在 MVP 中倾向通过 API 管理,因为客户环境常不暴露公网,难以使用 ACME 公网挑战。文章还讨论 DNS 最终一致性、扩展性、Cookie 作用域和备选方案,但安全考虑尚未展开,且不覆盖通用递归 DNS 与实例 DNS。

推荐收录:该 RFD 不是泛泛介绍 DNS,而是给出可执行的系统设计决定,包括委派域、外部权威 DNS 服务器、按 Silo 命名、蓝绿更新与固定 IP 迁移,并系统比较证书管理和多种备选方案。适合基础设施、网络、控制平面和系统架构读者,可迁移到多租户平台、客户自管 DNS 域名和 TLS 证书自动化等场景。主要风险是内容面向 Oxide MVP,安全考虑尚未展开,且部分细节标记为待定。

工程实践Oxide Public RFDs

RFD 0490: Packed Crucible extents

该 RFD 把 Crucible 原始文件格式从块数据与每块上下文分离,改为交错打包,以减少上下文冗余并提升对 ZFS 的机械友好性。为保证崩溃一致性,作者分析 ZFS 的 zfs_write 会在 recordsize 边界拆分事务,因此要求块与上下文落入同一 transaction group,并按 recordsize 对齐。元数据上把 BlockContext 缩减为 PackedBlockContext,去掉 on_disk_hash,依赖 ZFS 校验或解密验证,使 512 字节块的上下文开销从 18.75% 降至 6.25%。消息层引入 PackedWrite/PackedReadResponse,只读区域保留 raw,可写区域迁移到 packed;初步随机读测试显示小读约 1.4 倍提升,但方案依赖 ZFS 实现细节并增加迁移复杂度。

推荐收录。该 RFD 不是概念介绍,而是给出可验证的工程证据:ZFS 事务拆分源码分析、recordsize 对齐约束、上下文结构缩减方案,以及随机读 1.08–1.42× 的基准数据。适合存储系统、虚拟化与基础设施工程师阅读,其崩溃一致性设计、文件布局与消息格式迁移思路可迁移到其他基于事务文件系统的存储系统;风险是结论高度依赖 ZFS 与 Crucible 具体实现。

工程实践Oxide Public RFDs

RFD 0445: Crucible Upstairs Backpressure

该 RFD 解析 Crucible Upstairs 的背压设计,说明现有背压由在途写字节数和活跃作业数决定,取二次延迟曲线最大值,在写返回前施加人工延迟并持锁,避免并发写压垮系统。作者以“吞吐背压”模型解释系统稳定在“一进一出”状态,并指出 IOP/带宽限制未接入背压、MAX_ACTIVE_COUNT 为硬限制、大写在途字节延迟未钳制可能导致故障阈值难触发,以及大量写后 flush/read 延迟变长等不足。文末决定增加在途字节故障条件、调参曲线并移除/重实现 IOP/带宽限制,还讨论曲线形状、其他背压来源与资源受限下的 QoS 安全考量。结论主要基于 Crucible 具体实现,需结合目标系统验证。

推荐收录。它来自 Oxide 公开 RFD,围绕真实存储系统遇到的上层队列堆积问题,给出了背压实现、队列限制、故障阈值和延迟/吞吐权衡的一手设计证据,并明确列出不足与后续决定。适合存储系统、分布式系统、SRE 和性能可靠性工程师阅读,其中“按资源量分级施加背压、同时用故障阈值兜底”的思路可迁移到其他有界资源系统;需注意其参数和结论绑定 Crucible 实现,迁移时要重新验证。

工程实践Oxide Public RFDs

RFD 0347: Delay Driven Multipath

RFD 347 提出 Delay Driven Multipath(ddm),面向物理多路径数据中心网络做 L3 包级负载均衡与容错。它受 DRILL 和 Swift 启发:控制平面用距离向量分发前缀,数据平面在 IPv6 逐跳扩展头中携带时间戳,节点通过确认计算目的端时延及其导数,持续逼近分布式 Dijkstra 森林。ddm 追求 N-1 容错、灵活拓扑、包级最优负载均衡和可扩展性,并在 RTT 内响应拥塞与故障,且不绑定传输层流;文章详述发现、前缀交换、server/transit 路由器、管理 API、时延表、基础/概率/预测 pick 函数和接收端重排序,并讨论 illumos 与 P4 实现。其边界是 15 跳扩展头限制、重排序与缓冲开销,中转路由器、路径向量和预测选路等仍属未来工作。

推荐收录:这是一份真实的网络协议设计 RFD,给出了多路径数据中心网络中基于时延的 L3 负载均衡与容错方案,包含控制平面、数据平面、pick 函数、重排序分析和实现平台约束。适合网络架构、数据中心基础设施和分布式系统读者,可用于理解延迟驱动路由、IPv6 扩展头数据面及多路径协议设计中的取舍。风险是部分设计仍属未来工作、缺乏生产验证,需结合实现与测量评估。

工程实践Oxide Public RFDs

RFD 0457: Control plane sled lifecycle

本文是 Oxide 机架控制平面的 RFD 457,定义物理 sled/磁盘与控制平面 sled/磁盘两类对象及其生命周期。作者先区分 in_service、quiesced、failed、expunged 与 graceful removal,再围绕 sled 和 physical_disk 表设计 policy 与 state,规定添加、优雅移除和 expunge 在分配、信任仲裁、电源、实例迁移、Crucible region 替换和 Omicron zone 重建上的差异。文章用 blueprint planner/executor 流程说明 sled/磁盘的添加与 expunge 顺序,并强调 expunge 必须由运维触发,避免把瞬时故障误判为永久移除。对于 expunged sled 如何确保不再启动,文中比较 Ignition 断电、服务处理器 A2 与 trust quorum,指出仍有开放问题;磁盘误拔重插则要求 Sled Agent 重新建立服务并告警。边界是 quiesce、临时维护和优雅移除细节不在本文范围,部分流程仍为 TBD,且实现与 Oxide 架构强绑定。

推荐收录:该 RFD 给出了 policy/state 分离的硬件生命周期模型,以及 blueprint planner/executor 在 add、graceful remove、expunge 时对分配、信任仲裁、数据重建和电源控制的具体处理,属于可迁移的系统设计证据。适合分布式系统、存储、可靠性与基础设施工程师阅读,尤其可借鉴优雅移除与永久移除的区分、运维触发 expunge 的风险取舍。主要风险是内容高度绑定 Oxide 控制平面,且若干流程仍为 TBD 或超出范围。

工程实践Oxide Public RFDs

RFD 0444: Crucible Upstairs Refactoring

该 RFD 复盘 Oxide Crucible 存储 Upstairs 的重构:重构前多个 async 任务共享一个 tokio Mutex<Downstairs>,单个作业需加锁 11–15 次,io_send 等路径竞争严重,多任务拆分收益有限。作者提出按客户端拆分锁,并用 per-job 原子位标记跨客户端状态;同时给出更激进的“一个大任务”反提案,让同步状态机核心独占数据、异步仅位于边界。基准显示大块随机写提升约 20%–30%,但部分收益来自加解密移出锁范围,早期基准不够严谨。最终因 reconciliation 等路径依赖两个任务同时接触共享数据,无法渐进改造,团队选择并完成了非渐进式重构,消除约 3KLOC。

推荐收录:这是来自生产存储系统的真实架构重构记录,包含锁竞争量化、数据归属表、两种重构方案权衡、失败尝试和最终落地效果。对使用 Rust async、Tokio 或维护高并发存储/分布式系统的工程师尤其有价值,可迁移其从锁拆分到同步状态机核心的设计判断。阅读时应留意基准不严谨及后期归因修正,不能只照搬性能数字。

工程实践Oxide Public RFDs

RFD 0291: illumos GPIO Framework

该 RFD 提出 illumos 的 GPIO 框架设计,目标是为内核和用户态提供统一管理与消费方式。文章梳理 GPIO 在 Gimlet 上的用途,并对比多种 SoC 与 GPIO 扩展器属性,论证抽象必须保留设备特定性。方案包括内核 GPIO 框架与 provider API、控制器字符设备、gpioadm 工具,以及把受约束 GPIO 定义为 DPIO,通过 /dev/gpio/:name 提供 open/read/write/poll 语义。文章还讨论 I/O muxing、策略、中断与持久化难题,并列出内核框架、AMD Milan provider、仿真驱动和用户态命令等首批交付物。边界是不支持高速 bit-banging,muxing、中断与持久化仍属探索阶段。

推荐收录:这是 Oxide 公开的工程 RFD,直接给出内核 GPIO 框架、provider API、DPIO 与 gpioadm 的设计,并逐项比较 AMD Milan、Intel C620、ST H753 等控制器差异,证据密度高。适合操作系统、驱动开发、平台固件/硬件抽象相关读者,可迁移其属性建模、DPIO 约束和 I/O muxing 数据表方法;主要风险是部分设计仍为探索阶段,不能当作最终 API 规范。

工程实践Oxide Public RFDs

RFD 0459: Control plane component lifecycle

本文是 Oxide 的 RFD 459,定义了 Omicron 控制平面各组件的生命周期管理语义与运维动作。作者沿用 RFD 457 的术语,提出在 blueprint 中为每个受管 zone 记录 disposition(in service、quiesced、expunged),并说明 Nexus 如何借此实现 sled 优雅移除、剔除、未来升级和扩缩容。文章以表格和分节方式列出 CockroachDB、External/Internal DNS、Nexus、Oximeter、Boundary/Internal NTP、ClickHouse、ClickHouse Keeper、Crucible Pantry 等组件在加入、quiesce 和 expunge 时所需动作,例如配置重写与 reload、decommission、DNS 更新、停止接收新请求、重新分配 saga 和 metric producer 等。结论是多数组件可归纳为通用 reconfigurator 动作加组件特定操作,但部分组件存在灾难恢复边界。该 RFD 依赖若干未完成 issue 和 RFD,边界服务配置等细节不在本文范围内。

推荐收录:该文档不是泛泛介绍,而是把控制平面组件在加入、quiesce、expunge 三种状态下的具体动作逐项列出,并给出 disposition 模型和 blueprint/Nexus/Reconfigurator 的落地机制。适合负责分布式基础设施、控制平面、SRE 与平台工程的读者,可迁移其状态机设计、组件生命周期操作规程和故障边界分析方法;主要限制是它绑定 Oxide 自有 Omicron 架构,部分步骤依赖未完成 issue,需结合上下文使用。

工程实践Oxide Public RFDs

RFD 0388: Disk Encryption Keys at Rack Shipment

该 RFD 讨论机架发货前如何为承载 U.2 设备的 zpool 启用根数据集加密,因为在完整 trust quorum 可用前仍需保护静态数据。作者把威胁模型分为 L1–L4,按攻击者能窃取并启动的 sled 数量相对 K 来界定能力,核心目标是让被盗磁盘无法恢复数据。最终决定采用 Low Rent Trust Quorum(LRTQ),沿用 RFD 301 的存储密钥派生,把 LRTQ 提供的输入密钥材料经 HKDF 生成密钥。文档比较了不加密、使用不安全 IKM、在 M.2 明文保存随机数、用 M.2 随机数作盐并结合 VPD 等替代方案,说明各自攻击面与妥协。未来可在线升级到完整 trust quorum;但 LRTQ 不能防御引导网络上的在线攻击,L4 仍不在当前长期威胁模型内。

推荐收录。该 RFD 以明确威胁模型(L1–L4)、密钥派生链路和替代方案对比,记录了机架发货前磁盘加密的真实工程取舍与安全边界。适合存储、安全和基础设施工程师理解 trust quorum 未就绪时的临时方案,以及如何规划在线升级;其中对 LRTQ 局限的说明也避免了把临时方案误用为长期安全保证。

工程实践Oxide Public RFDs

RFD 0404: Boundary Tunnel Routing

本文是 Oxide 的 RFD 404,定义边界隧道路由问题并提出基于 ddm 路由协议分发隧道路由的解决方案。问题在于实例/服务发往外部上游网络的包需经 Geneve 封装到 IPv6 underlay,封装器 OPTE 需知道可用网关、如何选择多个网关以及路由变化如何传播。方案让交换机上的 mgd/ddmd 将上游前缀与边界隧道端点 IPv6 ULA 通过 ddm 通告并传播到各 sled,ddmd 再把隧道路由写入 OPTE 新增的 V2B 表,并用 metric、ECMP 哈希和路径向量协议能力处理多网关与故障。文中还给出协议对象、指标设计、与纯控制面/对称交换机配置等替代方案对比,以及安全与开放问题。边界是当前仍处讨论阶段,可扩展性、路由剪枝和 mgd 健康监控等未完全验证,主要适用于 Oxide 的 underlay/overlay 边界路由。

推荐收录,因为这是一份真实基础设施系统的设计文档,完整展示了从问题定义、路由协议选型、OPTE V2B 表设计到替代方案、指标与安全风险权衡的推理链条。适合网络、基础设施和分布式系统工程师阅读,可迁移到多机架网关路由、overlay 路由传播和故障收敛等场景;风险是仍处讨论阶段且若干可扩展性与实现细节未定。

工程实践Oxide Public RFDs

RFD 0289: Steno Upgrade

本文是 Oxide 的公开 RFD,讨论分布式 saga 框架 Steno 的升级问题。Steno 将复杂分布式操作拆解为幂等动作并持久化每个动作的输出,导致软件版本变化时恢复旧 saga 状态非常脆弱。作者提出“同一 saga 仅由同一版本 Nexus 执行”的约束,并通过蓝绿部署排空旧实例以及为 saga 存储版本/签名来实现。文章详细分析了签名设计、升级本身也是 saga 的边界情况、回滚与孤儿 saga 的处理,并对比了显式键值存储、Stripe 式 API 版本化和 WASM 等备选方案。该方案可避免跨版本恢复的复杂性,但代价是存在 bug 的在途 saga 无法被新版本修复,且旧版本可能因等待排空而延长暴露时间;文中尚有许多实现细节待定。

推荐收录,因为该 RFD 针对真实分布式系统的升级难题给出了具体约束、机制设计和多种备选方案对比,并讨论了排空、版本签名、回滚失败与安全暴露等工程取舍。适合设计分布式 saga、持久化工作流或升级系统的工程师阅读,其中的问题拆解和权衡方法可迁移到类似场景。但需注意它只是方向性草案,并非已验证实现,适合作为设计推理参考而非直接落地方案。

工程实践Oxide Public RFDs

RFD 0250: Management Network Topology and Proprioception

Oxide RFD 250 讨论管理网络拓扑与“本体感知”:控制平面 MGS 如何发现 SP、推断机架位置,并让 SP 获知自身位置。文章先确立 L2 网络、SP 间隔离、每交换机隔离、VSC7448/Tofino 端口一一对应等原则,再提出用 VLAN 标签实现隔离:MGS 到 VSC7448 按目标端口打标签,KSZ8463 到 SP 用 0x301/0x302。随后说明 MAC 从 FRU EEPROM 分配、以 EUI-64 生成 IPv6、用多播和 NDP 发现地址,并通过向确定端口发探测消息判断 Sidecar A/B 位置。文章还列出备选方案、开放问题和安全考量,指出恶意 Sidecar 可重配 VSC7448 等边界。

推荐收录:这是一份公开的机架管理网络设计文档,给出了 VLAN 隔离、地址发现、位置推断和安全威胁模型的完整取舍,并包含备选方案与开放问题。适合做数据中心网络、带外管理、嵌入式 SP 通信或 L2 隔离设计的读者参考,其中“用拓扑约束替代额外硬件或协议”的思路可迁移到类似系统。

工程实践Oxide Public RFDs

RFD 0238: Trust Quorum and Rack Unlock

本文是 Oxide RFD 238,定义机架级信任仲裁与磁盘解锁:在不需人工输入密码的前提下,防止 U.2 盘被盗或少于阈值 K 的 sled 被窃后读出数据。方案用 GF(256) 上的 Shamir 秘密共享,初始化时把机架秘密拆成 N 份,每个 sled 持有一份;启动时经 sprockets 的 mTLS 和远程证明向成员取回 K-1 份,重建秘密并派生 ZFS 密钥以解锁本地存储。成员须属于信任组,防止被篡改 sled 插机架偷取份额;重配置通过 epoch、Prepare/Commit、Peer Commit 与取消机制增删节点并轮换密钥。文中给出安全/活性不变量、K=N/2+1 取舍及 TLA+ 规范。适用于 Oxide 机架和非拜占庭、部分同步环境,依赖 RoT、PlatformId、sprockets 等基础设施。

推荐收录。该 RFD 完整覆盖了从威胁模型、Shamir 秘密共享、sprockets 远程证明到重配置协议的工程权衡,并明确安全/活性不变量和 K 值选择依据,属于可长期参考的系统安全设计。适合分布式系统、存储加密、可信计算和基础设施工程师阅读,其协议设计、形式化验证与故障处理思路可迁移到类似集群密钥管理场景;需注意其强依赖 Oxide 的 RoT/PlatformId 等专用硬件。

工程实践Oxide Public RFDs

RFD 0192: Omicron Database Design

本文是 Oxide Omicron 控制面数据库的设计 RFD,围绕强一致性与可扩展性,给出多租户 API 资源(Project、Instance、VPC 等)的建模与查询模式。作者采用 UUID 主键、身份元数据、按父作用域与 name 的唯一部分索引,支持分页、重命名和软删除,并避免显式外键。文章用条件 UPDATE、CTE、generation number 与 rcgen 处理并发更新和检查-使用竞态,也比较事务、CTE、saga 的适用场景。最后分析读-改-写、长事务、双管理员并发及集合删除/创建竞态,并指出实现尚不完整、方案依赖 CockroachDB SERIALIZABLE 与具体 API 约束。

推荐收录。文章不是泛泛介绍数据库范式,而是给出可核验的表结构、唯一部分索引、条件 UPDATE/CTE、rcgen 和 saga 选择规则,并明确 CockroachDB SERIALIZABLE、软删除与双管理员并发下的边界。适合控制面、分布式数据库和后端架构读者,其中的并发控制与一致性模式可迁移到多租户 API 设计;风险是方案与 Oxide/CockroachDB 强耦合且实现未完成。

工程实践Oxide Public RFDs

RFD 0297: Silos and API Resources

RFD 297 讨论 Oxide 系统中 Silo(多租户隔离单元)与 API 资源之间的关系,明确将资源划分为 siloed 与 non-siloed 两类。Organizations、Projects、Instances、VPC、用户等在每个 Silo 内被虚拟化,不能跨 Silo 共享甚至无法互相引用;而 Racks、Sleds、Silos、全局镜像等在所有 Silo 中保持一致。作者给出三种典型部署形态(单一 Silo、运维+终端用户两 Silo、运维+多终端 Silo),并对比它们在身份管理、IdP 审计、误操作隔离和复杂度上的取舍。文章还列出当前已实现与规划中的资源分类,讨论“运维 Silo”标记、是否生成独立 OpenAPI 规格、禁用端点应返回 404 还是 403 等开放问题,以及细粒度访问控制与灵活协作之间的安全平衡。

推荐收录,因为这是真实系统的多租户设计文档,清晰划分 siloed 与 non-siloed 资源,并以三种部署形态说明身份、审计与隔离之间的具体权衡,还保留了替代方案和开放问题。它适合负责多租户平台、API 资源层级与访问控制的设计者,“资源作用域与身份作用域分离”的思路可迁移到类似云平台或 SaaS 系统。

工程实践Oxide Public RFDs

RFD 0241: Holistic Boot

本文是 Oxide 的 RFD 241,提出主机启动策略 Holistic Boot:将几乎全部启动逻辑放入单一 illumos 主机 OS 镜像,不向独立生产内核交接,也不依赖可逆固件状态。设计确定由主机 OS 完成硬件初始化,内核驻留并保持控制;采用 phase-1 SPI NOR 与 phase-2 SSD、双 BSU A/B 绑定升级,由 loader stub 加载内核,host OS 经 SP 获取变量信息并负责 phase-2 度量/策略,SP 负责 stage-0/phase-1 度量与恢复。文章对比 Tiny/Giant/Helios 方案,引用 LinuxBoot 多阶段状态传递事故,分析 LZMA 压缩、MP0、ELF 压缩等空间约束,并讨论可验证启动、安全边界与开放问题。其结论依赖 Gimlet 及类似 sled 硬件、illumos/SP 生态,压缩与 loader 实现仍待原型验证。

推荐收录:它给出真实系统启动架构的完整决策记录,包含硬件约束、存储布局、固件行为和 LinuxBoot 反例,能帮助读者理解从 firmware 到 OS 的状态交接风险。适合做操作系统、固件/启动、服务器基础设施和可验证启动的工程师研读;其中 BSU 绑定、度量边界和单阶段启动取舍可迁移到类似平台设计,但部分方案未落地,需结合开放问题阅读。

工程实践Oxide Public RFDs

RFD 0223: Web Console Architecture

本文是 Oxide 的 RFD 223,讨论 Web Console 的客户端-服务端架构,并将其从 RFD 169 的认证议题中拆出。核心决定是:为避免在机架内引入 Node.js 和 npm 生态风险,Console 先做成由 Nexus 托管的静态 JS bundle,直接在浏览器调用 Nexus,并由 Nexus 接受会话 Cookie。文章对比浏览器单端、带/不带数据库连接的 Console 服务以及独立数据库方案,并分析 DDoS 缓解与 Node 依赖树风险。作者还评估 Deno、V8 Rust 绑定等服务端 JS 路径,以及共享校验、加载 spinner、SSR、Server Components、Remix 的收益与复杂度。结论是当前采用浏览器单端,后续加服务端集成不会丢弃代码;是否重启该决定取决于 UX 收益能否显著超过风险。

推荐收录:这是一份完整的架构决策记录,直接给出浏览器单端方案、会话 Cookie 认证、Node/npm 风险、DDoS 缓解和多种备选架构的取舍证据,而非泛泛介绍。适合前端架构、平台工程、控制面/基础设施开发者阅读,可迁移到 BFF 取舍、控制台认证、依赖治理和渐进式 SSR 决策。主要限制是结论高度依赖 Oxide 的 Rust 栈与安全约束,其他团队需重新评估。

工程实践Oxide Public RFDs

RFD 0177: Implementation of Data Storage

RFD 177 描述 Oxide 虚拟存储服务 Crucible 的实现,基于 Northern Mux 设计,将虚拟磁盘按 LBA 划分为多组三副本区域,由 Upstairs/Guest 转发读写,Downstairs 在物理 SSD 上以 extent 文件存储数据。文中详述 Volume 抽象、只读父层与快照/克隆、实时迁移和热插拔,并讨论端到端完整性哈希、AES-GCM-SIV 加密、TLS 传输及崩溃一致性。关键结论包括用 generation/flush/dirty 位驱动三副本 reconciliation 和 extent 修复,通过 WriteUnwritten 后台迁移只读父层,快照与密钥轮换也复用该机制。边界是部分章节因弃用 SQLite 已过时,且 IO 传输、认证、限流等仍有开放问题。

推荐收录:这是一份来自 Oxide 的公开 RFD,具体展示了三副本块存储服务在崩溃一致性、加密完整性、快照/克隆与在线迁移上的架构取舍,而非泛泛介绍。适合分布式存储、云基础设施和虚拟化平台工程师阅读,可迁移到副本选主、修复、只读父层和密钥轮换等设计。注意部分章节已标注因移除 SQLite 而过时,需结合 determinations 和开放问题判断时效性。

工程实践Oxide Public RFDs

RFD 0113: Engineering Determination

本文是 Oxide 的 RFD 113,讨论工程中“Determination”即方向性技术抉择的制定与沟通。作者区分 decision 与 determination,强调复杂权衡下应寻找可行方向而非唯一正确解,并以 Responsibility、Rigor、Urgency、Courage、Versatility、Teamwork、Thriftiness 等价值观分析其张力。文章主张 urgency 最终应压过 rigor,但须避免轻率与分析瘫痪,并建议把决定写下来,篇幅可伸缩。随后以 OpenTitan/Tock/Hubris、Host CPU 选择、SP 网络为例,说明可深入试错、及时改向,或保留选项以推进决策。其边界是 Oxide 特定工程文化与实践,并非通用量化决策框架。

推荐收录。它由 Oxide 的 Bryan Cantrill 撰写,直接给出工程 determination 的价值框架、沟通要求与三个真实系统决策案例,适合工程负责人、架构师和基础设施团队参考。其可迁移价值在于把 urgency/rigor 取舍、保留选项和书面决定用于实际项目;风险是高度依赖 Oxide 文化,不提供可量化评分或普适流程。

工程实践Oxide Public RFDs

RFD 0125: Telemetry requirements and building blocks

本文是 Oxide 发布的 RFD,系统讨论机架遥测系统的需求与技术选型。作者先按用途划分实时/历史、高可用、水平扩展、趋势近似与精确测量等要求,并辨析事件与指标、基数控制、资源可预测性以及采集与存储解耦。随后评估 illumos FMA、Prometheus、Thanos、InfluxDB、ClickHouse、VictoriaMetrics 等候选构件,比较其查询、告警、集群和重聚合能力。针对 ClickHouse 与 VictoriaMetrics 的模拟指标实验显示 ClickHouse 资源使用更可预测,作者初步倾向 ClickHouse,但指出其集群依赖 ZooKeeper。文末实验数据在抓取中截断,部分最终架构判断仍需结合后续 determinations。

推荐收录:文中不仅罗列候选技术,还把遥测需求拆成实时性、HA、水平扩展、精度、趋势等可比较维度,并以 ClickHouse/VictoriaMetrics 实验和 Prometheus、InfluxDB、VM 的具体缺陷作为选型证据。对构建可观测性平台、时序存储或基础设施监控系统的读者尤其有价值,其需求分解、评估表和踩坑记录可直接迁移到类似选型场景。需注意该 RFD 仍在形成最终架构判断,实验数据在抓取中截断,引用时需核对后续版本。

工程实践Oxide Public RFDs

RFD 0088: Chassis Management Responsibility Allocation

这份 RFD 定义 Oxide 服务器机箱管理的职责分配架构,重点划分主机处理器与服务处理器(SP)之间的数据和控制路径。作者提出单一事实源、单一执行点、库存与健康监测合一、复杂行为自托管及 Sidecar/Gimlet/PSC 对等等原则,并据此分配热环路、DIMM SPD、电源控制、FRU 库存与错误/性能遥测。热与电源安全控制归 SP,带内设备库存和主机侧遥测归主机;DIMM SPD 比较多种方案后倾向在 EVT1 验证 SP 代理。文档还覆盖安全考量与开放问题,并声明除 DIMM SPD 等未决项外,分配结论对当前及后续产品具有规范性。

推荐收录:该文档不是泛泛介绍,而是给出可执行的机箱管理职责矩阵、原则和 DFD,包含热环路、DIMM SPD、电源与遥测等真实取舍。适合服务器硬件、固件、带外管理和系统架构读者,其“单事实源/单执行点/对等分配”方法可迁移到类似平台。需注意 DIMM SPD 最终方案仍待 EVT1 验证,部分安全与开放问题尚未闭合。

工程实践Oxide Public RFDs

RFD 0082: Motivations and Principles for the Design of Operator Facilities

这是 Oxide 公开 RFD 82,讨论机架硬件相关的 Operator Facilities 设计动机、原则与需求。文章将运维场景分为容量规划、产品生命周期、基本产品运行、运维硬件故障和未知问题调查五类,并提出对齐客户业务、一致性、无意外、有意义的差异四项原则。作者通过故障风扇、无法上电的 U.2 NVMe、新增网络 uplink、容量评审等案例,提炼识别、诊断、上报、派单、维修、验证与 RCCA 等信息需求。文档还列出组件电源控制、诊断重启与崩溃转储、固件升级、健康状态等需求,并强调现场技术人员可能无法访问控制平面。适用边界是 Oxide 机架和控制平面的设计共识,不包含完整架构实现或实验结果。

推荐收录。该 RFD 不是泛泛的产品愿景,而是用 CP/PL/BPO/OHF/IUP 分类、故障更换 walkthrough 和容量规划问题清单,把硬件运维需求结构化,并给出一致性、无意外等可验证的设计原则。适合基础设施、SRE、硬件控制平面与系统设计读者,可迁移到故障管理、容量规划和现场可服务性设计;局限是高度绑定 Oxide 机架及产品假设。

工程实践Oxide Public RFDs

RFD 0169: Console Authentication and Session Management

本文是 Oxide Computer 的 RFD 169,讨论 Web Console 以静态 JS 包由 Nexus 提供后,浏览器直接调用 API 时的认证与会话管理。方案采用随机串 session cookie,服务端 sessions 表关联用户,并配置 Secure、HttpOnly、SameSite=Lax 以及空闲和绝对超时。为缓解 CSRF,文章在 SameSite 之外叠加会话级 CSRF token 与自定义请求头,借同源策略和 CORS 预检阻止第三方构造请求;HttpOnly 用于降低 XSS 窃取会话的风险。文中还描述登录 OAuth 流程、未认证时 API 返回 401 而页面重定向、过期会话硬删除和登录后回跳等取舍,并指出浏览器兼容、子域不可信和 token 生命周期等边界。适合设计 SPA 控制台、API 认证与 Web 安全机制的后端/安全工程师参考。

推荐收录:这是 Oxide 公开 RFD,正文给出可验证的会话 cookie 属性、SameSite+CSRF token/自定义头组合、过期策略和 OAuth 登录流程,不是泛泛的安全清单。对构建 SPA 控制台、API 网关或需要兼顾 CSRF/XSS 的 Web 后端读者,可直接迁移其威胁模型、属性配置和取舍思路;需注意方案绑定 Nexus 与 Oxide 环境,具体 TTL、CORS 和清理作业仍待实现确定。

工程实践Oxide Public RFDs

RFD 0161: Metrics data model

Oxide 的 RFD 161 定义了整个机架指标数据的建模方式,并确定在 ClickHouse 时序库中存储与查询这些数据。文章先提出数据模型目标——表达力、可操作性、可扩展性、效率与强类型,并借用 Google Monarch 的术语定义 target、metric、timeseries、field 与 metric type。随后用服务请求延迟、虚拟机 CPU 利用率、磁盘温度三个例子给出 target/metric schema 与 timeseries key 的构造方式,并列举代表性查询。核心内容是两种数据库组织方案的对比:字段展开(元数据表加大量 join)与动态表(按 target-metric 对建表,更少 join 但需管理数千张表)。最终决定采用字段展开模型,并列出 pre-quorum 数据、不同时间尺度字段的存储、日志与分布式追踪未覆盖等开放问题。

这是 Oxide 公开的真实架构决策文档,给出两种时序数据建模方案的具体 schema、示例查询与权衡:join 成本对比建表和 schema 管理复杂度,并指出 ClickHouse 数千表下的性能未知,最终明确选定字段展开方案。对设计指标/可观测性平台、在 ClickHouse 等列存库上建模时序数据的工程师有直接参考价值和可迁移的取舍方法。

工程实践Oxide Public RFDs

RFD 0162: Metrics collection architecture and design

本文是 Oxide 的公开 RFD 162,描述机架内指标采集系统的架构与设计。文章统一 target、metric、timeseries、measurement、producer、collector 等术语,比较 push/pull 采集模型后确定当前采用 pull 模式,由 Nexus 将 producer 分配给 oximeter 实例并按间隔轮询。设计包括 producer/collector 注册、数据模型校验、oximeter 本地缓存、同一 producer 多 collector 写入不同 ClickHouse 以保证可用性,以及 Nexus、producer、oximeter 三类接口。文末列出对 Nexus/CockroachDB 的依赖、quorum 前遥测、外部查询、schema 更新和访问控制等开放问题。该文接口与取舍清晰,但仍属早期设计,查询实现和落地验证不在范围,部分关键问题未有定论。

推荐收录。该 RFD 给出了指标采集系统从术语、pull/push 取舍、Nexus 分配到 oximeter API 的完整设计链,并明确缓存、多 collector 冗余和开放问题,对构建可观测性平台或理解控制平面指标采集的读者有可迁移价值。风险在于它仍是早期设计文档,查询路径和实现验证缺失,使用时需结合后续实现与数据模型文档判断。

工程实践Oxide Public RFDs

RFD 0107: Workflows Engine

该 RFD 讨论 Oxide 控制平面中的 Workflows Engine,用于编排复杂、可能长时间运行的任务,如 VM 创建、SSD 固件升级、虚拟机迁移和故障服务器替换。作者先以 Terraform 类比解释期望状态、当前状态与 workflow 的关系,再调研 Airflow、Argo、Cadence、Conductor、Prefect、Zeebe 等开源引擎,比较语言、执行语义、部署、失败恢复与人工介入等设计维度。文章将工作流分为一次性、可靠一次性、可靠持久三类,提出用 distributed sagas 处理需要完整完成或回滚的控制平面操作,并讨论 exactly-once、超时、通知和用户可见服务等难点。最终决定优先实现内部 saga 引擎,暂缓可靠持久工作流与客户可见服务,Nexus 中已有用于实例创建的原型。

推荐收录:这是一份真实控制平面系统设计的 RFD,给出了工作流分类、开源引擎横向调研、distributed sagas 的取舍以及明确非目标,证据密度高。适合做基础设施、分布式系统、控制平面或云平台架构的读者参考,其中状态/期望态分离、失败回滚与人工介入边界可直接迁移。风险是它绑定 Oxide 内部场景,读者需自行判断适用范围。

工程实践Oxide Public RFDs

RFD 0110: CockroachDB for the control plane database

本文是 Oxide 的 RFD 110,评估将 CockroachDB 作为控制平面数据库的可行性。作者先说明控制平面对强一致、高可用、水平扩展和低运维的诉求,再介绍 CockroachDB 的 range 分片、Raft 写、leaseholder 读、自动分裂/合并与故障恢复机制,并汇总在线扩缩容、长跑、schema 变更、备份恢复、滚动升级及多种故障注入测试。结果显示 CockroachDB 无数据丢失、故障后无需人工干预即可收敛,但扩缩容和 schema 变更会造成明显尾延迟上升,非企业版备份恢复与许可证也是主要风险。作者结论是 CockroachDB 足够可靠,值得继续推进,同时列出未测试项和后续风险。

推荐收录,因为它不是产品介绍,而是包含明确选型目标、测试设计、故障注入结果和风险清单的工程评估。对负责数据库选型、分布式存储或控制平面可靠性的读者,文中的测试维度、CockroachDB 行为边界以及备份/许可证风险可直接迁移到类似系统设计。注意其结论基于特定版本、AWS 与 illumos 环境,绝对性能结论有限。

工程实践Oxide Public RFDs

RFD 0063: Network Architecture

本文是 Oxide 公开的 RFD 63,系统阐述单机架到多机架的网络架构设计。文档先给出七项设计目标(低延迟体验、无单点故障、可扩展、兼容客户网络、实例可任意迁移、简化管理、可演进),继而提出物理层采用基于 IPv6 的 L3 + ECMP 架构并把路由决策下推到主机,虚拟层用 Geneve 封装实现 VPC,每台主机运行可编程的 OPTE 完成路由、NAT、防火墙等转换,边界服务则通过 BGP 与客户网络对接。文中以物理转发、内部 DNS、实例互通、出站 NAT、浮动 IP 入站等五条报文流程推演实现路径,并对比 VL2、Ananta、VFP、Andromeda 与 Joyent Fabrics 的经验教训。文档同时声明其边界:不解决信任问题,且为初期产品做了取舍,诸多细节留待后续 RFD 完善。

推荐收录:该 RFD 不是概念宣传,而是给出明确的七项设计目标、L3+ECMP 物理架构,以及 Geneve 之上由 OPTE 承担 L3 转换的完整方案,并用五条报文流程逐步推演,还复盘了 VL2、Ananta、VFP、Andromeda 与 Joyent Fabrics 的取舍和失败教训。对从事云网络、VPC 虚拟化、多租户隔离或数据中心架构的读者,其“目标—决策—权衡”链条极具可迁移价值;需注意它是尚未完全定稿的设计文档,明确不覆盖信任模型,部分细节待后续补充。

工程实践Oxide Public RFDs

RFD 0052: Quota Policies

本文是 Oxide 的 RFD 0052,定义机架/云平台配额策略的设计。与 IAM 关注“谁可以访问什么”不同,配额策略关注项目或组织可消费的资源数量,只能挂载在组织或项目上,并默认沿资源层级继承,区域策略未显式覆盖时继承全局策略。创建资源时先做 IAM 鉴权,再检查项目配额,不足时返回明确 API 错误;文中还描述通过 UI/CLI/API 申请更多配额、配额将耗尽告警,以及 CPU、磁盘、IP、VPC、VM 类型等配额维度和示例 JSON 语法。边界是初期配额先在第一机架全局设置,多区域后续支持;示例中的 VM 类型配额仍是占位,文档偏设计规范,缺少实现与验证细节。

推荐收录,因为该 RFD 直接给出配额策略的归属层级、继承与区域覆盖规则,以及 IAM 检查顺序、API 错误返回、资源维度和 JSON 示例,属于可复用的平台设计证据。适合云基础设施、API 设计、多租户资源治理方向的读者;其继承模型和告警/申请流程可迁移到类似平台,但实现细节和 VM 类型定义仍需后续文档补全。

工程实践Oxide Public RFDs

RFD 0048: Control Plane Requirements

本文是 Oxide Rack 控制平面需求型 RFD,界定数据平面与控制平面边界,并列出开发者 API、运维 API、生命周期、远程支持和指标采集等功能。作者主张控制平面状态为权威状态并尽量同步传播到数据平面,提出可用性、持久性、强一致性、可扩展性和安全性等非功能要求。存储部分比较 FoundationDB/CockroachDB、PostgreSQL 复制与 Raft 加本地存储等方案,并强调逻辑复制价值。迁移部分区分计划内 live migration 与非计划迁移,讨论自动恢复的分裂脑、故障放大和资源耗尽风险。多机架控制平面被推迟,许多细节仍开放,故本文更像需求与设计取舍清单。

推荐收录。文中以明确的需求条目和设计取舍讨论了控制平面 API、权威状态、同步/异步传播、可用性与持久性目标、存储选型及自动迁移风险,证据密度高。适合云基础设施、分布式系统和控制平面架构读者作为需求清单与风险检查表;但它是需求型 RFD,很多实现细节与多机架方案仍 TBD,使用时需结合后续 RFD 与实现验证。

工程实践Oxide Public RFDs

RFD 0058: Rack Switch

本文是 Oxide 的 RFD 58,围绕机架交换机(rack switch)的需求与设计空间展开,系统梳理控制面、块存储与应用三类流量对交换机的功能要求。作者讨论双交换机冗余、Tofino 2 与 Tomahawk 3 的 ASIC 选型、外部 PCIe 连接、热插拔、带外管理与 NC-SI/专用管理网络等关键取舍,并以可证明固件完整性和无单点故障为目标。最终计划采用 Tofino 2 作为交换 ASIC,并选择专用管理网络而非 NC-SI,同时说明升级到 200G、QSFP28 光模块管理和多机架组网等扩展方向。该文档面向机架级基础设施设计,很多结论绑定 Oxide 的硬件形态与供应链约束,偏架构决策记录而非通用教程。

推荐收录:该 RFD 不是产品宣传,而是从需求分类、ASIC 选型、PCIe 热插拔到带外管理网络的一手架构决策记录,包含明确约束、备选方案与取舍理由。适合做机架级网络、数据中心硬件、系统可靠性或基础设施架构的读者参考,其冗余设计、固件 attestation、管理面与数据面隔离等思路可迁移到类似系统。风险是结论高度依赖 Oxide 的供应链和硬件形态,需结合自身平台重新评估。

工程实践Oxide Public RFDs

RFD 0079: Rust approaches to concurrency in the control plane

本文是 Oxide 的 RFD 79,讨论控制平面软件在 Rust 中应选择 async/await 事件驱动还是同步多线程(threaded)方案。作者从内存占用、线程池规模设定、病态场景行为、编程模型易用性与可调试性五个维度逐项对比,并用权衡表和风险表量化两种方案的优劣、发生概率与缓解手段。核心结论是:在能够按需投入可调试性建设(自定义 executor、动态追踪、指标采集等)的前提下,建议继续沿用基于 async/await 的事件驱动方案。文章还讨论了不使用 async/await 的事件方案与 channel 通信的取舍,以及该决策难以低成本回退的边界。

推荐收录,因为它把一次真实且代价高昂的并发模型选型拆解为内存、线程池调优、病态故障、编程模型和可调试性等可验证维度,并给出风险概率、严重度与缓解措施。对负责 Rust 后端、控制平面或高可用服务的工程师,文中关于线程池设置、超时与并发上限、异步调试取舍的分析可直接迁移到类似系统设计中。

工程实践Oxide Public RFDs

RFD 0060: Storage Architecture Considerations

该 RFD 讨论 Oxide 机架块存储设施的架构选择,目标是为 VM 提供弹性、安全且性能足够的虚拟块设备,并支持快照、镜像和备份等能力。作者将存储系统抽象为靠近 VM 的 North 与靠近 SSD 的 South,逐项界定数据冗余、修复重建、完整性校验、快照、限流、压缩、加密、分配与设备管理等职责。随后评估 Ceph、Lustre、GlusterFS、OpenZFS、DRBD、分布式 KV 等候选软件,并提出 Southern Volume Manager、Northern Mux、ZFS on ZFS、ZFS with Remote Allocation 四种候选架构。通过 AWS 模拟,Southern Volume Manager 性能约为本地 SSD 的 10%,且失败韧性不足;Northern Mux 则用模拟器验证失败与成功路径算法,早期结果较有希望。最终结论倾向 Northern Mux,并计划继续开发模拟器、AWS 测试台与压测工作负载;v1 优先交付时间、数据完整性和安全,性能与经济性并非首要目标。

推荐收录,因为这是一份真实基础设施架构决策记录:它明确比较四种块存储架构在冗余、修复、校验、快照、加密和分配等职责上的取舍,并用 AWS 模拟与失败场景测试淘汰 Southern Volume Manager。对从事块存储、分布式系统、虚拟化基础设施或可靠性设计的读者,North/South 分层、冗余数据路径、性能压测指标及 ZFS/Ceph 评估方法都有可迁移价值;但结论面向 Oxide 特定机架环境,需结合自身约束判断。

工程实践Oxide Public RFDs

RFD 0024: Multi-Rack Oxide Deployments

这份 Oxide RFD 讨论多机架部署的故障域与资源作用域。作者沿用云行业概念,提出从 server、rack、cell、AZ、region 到 fleet 的层级,并定义每层默认故障爆炸半径与共享资源边界。随后给出实例、存储、网络、镜像、项目和认证等资源的建议作用域及汇总表,例如实例归 AZ、存储卷归 Cell、虚拟网络和项目归 Region、认证归 Fleet。文中还讨论客户需自行构建真实独立故障域、跨 AZ/跨 Region 链路信任与加密、管理平面单一视图等开放问题。当前多为设计假设,尚未实现验证,且默认 v1 可能仅面向单机架,细节仍会随其他 RFD 演进。

推荐收录。该 RFD 直接给出从服务器到 fleet 的故障域层级和资源 coherence 汇总表,并系统权衡了多机架下的可用性、网络、存储与 API 作用域,属于可迁移的架构设计材料。适合云基础设施、分布式系统和控制平面设计者阅读,用于设计多 AZ/多 Region 的部署边界;但需注意其尚未落地验证,部分结论仍标注为开放问题。

工程实践Oxide Public RFDs

RFD 0021: User Networking API

该 RFD 定义 Oxide Rack 的用户网络 API,覆盖 VPC、子网、路由表、Internet Gateway、浮动/临时 IP、DNS、防火墙与 VPC Peering 等核心模型。文档用三层博客架构示例说明浮动 IP、负载均衡、子网路由、NAT 网关和数据库间的流量路径,并给出最长前缀匹配、自定义路由优先、防火墙优先级与状态化规则等关键行为。它还描述默认规则、IP 保留、DNS 命名方案、VPC 隔离/对等约束及 VNIC/DHCP 表现。内容偏重平台网络 API 与架构设计,含未来方向与开放问题,适合云网络和基础设施工程师参考,但并非通用实现教程,且部分 API 端点细节未完整展开。

推荐收录:该文档以真实产品 RFD 形式给出 VPC、路由、NAT、浮动 IP、DNS 和安全组/防火墙的完整设计模型与示例,包含可验证的规则优先级、默认行为和边界条件,而不是泛泛介绍。适合云网络、基础设施、API 设计工程师在规划多租户网络、隔离、对外暴露和排障规则时迁移参考;风险在于它绑定 Oxide 的特定实现,部分端点与未来方向仍在讨论中。

工程实践Oxide Public RFDs

RFD 0004: User Facing API

本文是 Oxide 计算机公司发布的 RFD 4,关于用户面向 API 的早期设计草图。文章系统阐述了云平台 API 的设计原则:采用 OpenAPI 规范生成多语言客户端与静态文档,追求极简、直观并优先满足 Terraform、Kubernetes 等上游集成需求。核心设计包括异步操作返回 operationId、用 Etags 做条件请求与并发控制、PUT 整体替换资源、暂不支持 PATCH、以及 Stripe 式版本迁移策略;同时覆盖认证(OAuth2、SSH 密钥、2FA)、资源模型(Projects、Instances、Tags)和身份元数据等。作者明确 GraphQL 不是优先项,并强调 API 需保持向后兼容。该文档注明具体 API 已过时,应参考后续 RFD 322 和实际 OpenAPI 描述,但其原则仍具参考价值。

推荐收录。该 RFD 并非产品发布稿,而是公开的 API 设计决策记录,完整呈现了云平台 API 在 OpenAPI 客户端生成、异步操作、Etags 并发控制、版本迁移、认证与资源建模上的取舍与理由。对从事云基础设施、API 平台、系统设计的读者有直接可迁移价值。需注意文档自述具体 schema 已过时,应结合后续 RFD 和实际 OpenAPI 描述阅读。

工程实践PlanetScale Blog

Introducing TIN: full-text search for Postgres

PlanetScale 发布并 GA 全文搜索扩展 TIN,目标是在事务、复制与并发更新下支持布尔/短语/模糊/正则查询、COUNT(*) 和 BM25 top-k。其核心设计是直接用 Postgres ctid 作为 posting 标识,省去顺序 docid 到 ctid 的映射;再用页面级与偏移级位图压缩 48 位 ctid,并借助 AVX2/AVX-512 向量化交并和 POPCNT 计数。TIN 通过堆检查、可见性映射和 liveness bitmap 保证 MVCC 与 VACUUM 正确性,分段合并时因 ctid 不变可复用位图、降低写放大。基准在 85GB Stack Exchange 语料、8 vCPU/32GB 容器中对比 ParadeDB、pg_textsearch 与 GIN,TIN 吞吐至少高 8 倍。但这是厂商自测且查询轨迹合成,跨工作负载的独立验证和运维边界仍需观察。

推荐收录:文章虽为产品发布,但给出了 TIN 以 ctid 为文档标识、位图压缩与向量化执行、MVCC/VACUUM 集成的完整设计解释,并用可复现的容器配置和对比基准量化性能。适合数据库内核、搜索索引和性能工程读者,其“复用存储引擎原生标识以减少映射和合并开销”的思路可迁移到其他索引系统;风险是厂商自测、合成查询,需结合独立验证。

工程实践Yelp Engineering

ML based ranking using Nrtsearch

Yelp 工程团队介绍如何在自研 Lucene 搜索引擘 Nrtsearch 中通过 Inference Plugin 嵌入 ML 排序,替代独立推理服务。此前两阶段流程需从特征存储拉取大量候选特征并跨网络传输,候选和特征规模增大后出现延迟与序列化瓶颈。新方案将特征抽取与模型推理下沉到搜索层,在副本节点 JVM 内加载 MLflow/MLeap 模型并由内置 TensorFlow 模型服务器逐文档打分,支持 Function Score、rescore、多模型聚合、自定义 Java scorer 或内置通用 scorer。文章还覆盖设计目标、测试、金丝雀/滚动部署、Prometheus 监控和未来 GPU 推理计划。整体是高层架构复盘,未给出量化收益和资源隔离等边界讨论。

推荐收录:文章给出了从痛点、架构、插件机制到测试、部署、监控的完整闭环,直接证据是其中将特征抽取与推理共置于 Nrtsearch 副本节点,消除网络传输和序列化开销,并用 Prometheus 监控模型退化。适合搜索/广告/推荐排序基础设施与 ML 平台工程师阅读,可迁移到检索系统内嵌模型推理、自定义 scorer 扩展及模型灰度发布。主要不足是缺少延迟、吞吐和相关性收益的量化数据,资源隔离与故障边界也着墨较少。

技术文章SelectDB 技术分享

当 Variant 遇到 Lakehouse:Apache Doris 5.0 Variant 统一解决方案 Apache Doris 5.0 把 Variant 类型从内表扩展到了 Iceberg / Paimon 等开放湖格式,使用同...

文章介绍 Apache Doris 5.0 如何把内表 Variant 类型扩展到 Iceberg / Paimon 等开放湖格式,解决 JSON 半结构化数据在生产端(Flink/Spark 入湖)与消费端(Doris 分析)之间的割裂。作者以 AI Agent 轨迹、埋点和 IoT 遥测为例,说明双写同步带来的冗余存储、同步延迟与不一致,并结合 Parquet Variant 编码、Iceberg V3、Paimon 1.4 等标准化进展,提出上层统一类型与 SQL、中层统一执行算子、下层统一格式访问接口的三层方案,并给出 Agent 观测场景的查询、热数据入内表与结果回写 SQL 示例。文末对比内表与湖上 Variant 的能力并给出选型建议,但 Shredded 写入与读取性能细节留待后续文章,且缺少独立实测数据。

推荐收录:文章完整呈现了从问题(半结构化数据生产者与消费者割裂)到方案(统一类型/SQL、统一算子、统一格式接口)的设计脉络,并梳理 Parquet、Iceberg、Paimon 的 Variant 标准化时间线,对评估湖仓一体与半结构化数据分析的数据库、数据平台工程师有直接参考价值。需注意其来自 Doris 厂商,Shredded 写入与性能实测尚未给出,选型结论宜结合后续技术文章与自测验证。

技术文章知乎 - 鹅厂架构师

还在让 AI 单打独斗?三分钟搞懂 Graph Engineering

文章介绍 2026 年兴起的 Graph Engineering,澄清它并非知识图谱工程,而是面向多智能体协作的编排工程。作者提出 Prompt、Context、Harness、Loop、Graph 五层工程栈,说明图工程让智能体组织可编程,并用组织图与工作图分别管理稳定角色和动态任务。文中对比 Loop 串行重试与 Graph 并行拓扑,给出从单 Agent Loop、角色拆分到双图架构的三步落地路线,以及“80% 靠 Harness、15% 靠 Loop、5% 才需 Graph”的判断法则。作者也列出不适合用图的场景,强调先跑透单 Agent、监控瓶颈再决定是否上图。局限在于偏概念综述,缺少实验或真实生产数据,工具生态仍处早期。

推荐收录:文章给出了 Graph Engineering 的明确定义、五层工程栈、双图架构、Loop/Graph 拓扑对比,以及三步落地路线和“5% 才需图”的边界判断,信息密度高于一般热点解读。适合 AI 工程、架构和多智能体系统开发者用来建立概念框架、评估是否引入图编排。主要风险是术语较新、缺少生产案例与实验数据,读者应把它当作选型参考而非已验证结论。

工程实践Greptime 技术

Building a Unified Observability Platform on GreptimeDB: A Reference Architecture

文章提出在 GreptimeDB 上构建统一可观测性平台的参考架构,将指标、日志和追踪汇入同一数据库,同时保留现有采集器协议。作者以 OpenTelemetry Astronomy Shop 为验证环境,用单个 GreptimeDB 实例替换 Jaeger、OpenSearch 和 Prometheus,详述写入端点、按信号分表、Flow 物化视图、TTL/WAL、查询接口及三档集群拓扑。核心决策包括按信号分表、按量分区、用 Flow 隔离仪表盘告警热路径,并展示基于 trace_id 的跨信号 SQL 关联与延迟自连接分析。边界是 Loki 仅兼容写入、Elasticsearch 开源版仅 _bulk,亚毫秒指标查询弱于 VictoriaMetrics,部分隔离与告警属企业版。验证以单机演示和有限基准为主,生产需按自身负载验证。

推荐收录:文章给出可直接复用的参考架构、写入端点表、表设计、Flow/TTL/WAL 与三档拓扑,并用 OTEL Demo 实际数据展示跨 trace_id 日志关联和延迟自连接,工程证据具体。适合负责可观测性平台、数据库选型和 SRE/平台工程落地的读者。需注意来源为厂商博客且验证以单机演示和厂商基准为主,大规模生产收益应结合自身负载验证。

工程实践Greptime 技术

Building a Unified Observability Platform on GreptimeDB: A Reference Architecture

文章提出用单个 GreptimeDB 统一承载 metrics、logs、traces 的参考架构,并在 OpenTelemetry Astronomy Shop 演示环境中验证。它给出 Prometheus remote write、OTLP、Loki、Elasticsearch _bulk 等写入协议与端点,讨论 Metric Engine、表/分区设计、Flow 物化视图、TTL、WAL 和查询接口的工程取舍。文中用真实 SQL 展示从告警到 trace、日志的跨信号排障及客户端/服务端延迟自连接,并按 standalone、小集群、大集群三档给出拓扑建议。作者也列出迁移路径、开源/企业版边界,并承认亚毫秒热指标查询不如 VictoriaMetrics、Loki/Elasticsearch 读兼容有限。整体偏 GreptimeDB 产品指南,但架构流程与验证数据有可迁移价值。

推荐收录。文章以 OTel Demo 实测数据给出统一观测平台的写入协议、表设计、Flow 热冷路径隔离、TTL/WAL 和规模分层,并用真实 trace_id 串联日志与 span 排障,适合可观测性平台和 SRE 读者迁移参考。主要风险是内容来自 GreptimeDB 厂商,部分性能与 Agent 对比结论带有产品视角,需结合自建基准验证。

工程实践Salesforce Engineering

How AI Agents Get Trusted Customer Context with Data 360 Data Graphs

文章以 Q&A 介绍 Salesforce 如何用 Data 360 data graphs 为 AI Agent 提供可信客户上下文。核心是在上游连接身份、账户、产品、权益、合同与订单等关系并执行业务逻辑,再用分区架构隔离客户数据,仅向 Agent 暴露过滤后的客服视图。为应对不可预测提问,方案按访问模式拆分多图、建立索引并支持语义/关键词检索,使 P50 延迟从约 400ms 降至 200ms 以下;同时通过自动化部署和可复用校验,在六个月内交付五个数据图。局限是来自厂商访谈,缺少 schema、失败案例和成本细节,适合作为 Agent 上下文与数据图谱架构参考。

推荐收录:文章给出了 Agent 可信上下文落地的具体工程证据,包括按访问模式拆分多图、分区隔离身份数据、语义/关键词检索,以及 P50 延迟低于 200ms 的指标,并总结六个月交付五个数据图的可复用实践。适合 AI Agent、客户数据平台、数据图谱和低延迟服务的设计者参考,可迁移到上下文供给、数据隔离与性能取舍;但来自厂商访谈,缺少 schema、成本与失败细节,落地前需验证。

工程实践Salesforce Engineering

Engineering Real-Time Mobile Personalization Across iOS, Android, React Native, and Flutter

文章以问答形式复盘 Salesforce 团队如何在 iOS、Android、React Native 和 Flutter 四套技术栈上构建实时移动个性化架构。核心矛盾是跨端渲染与生命周期差异、跨渠道身份拼接、隐私与同意、有限屏幕空间内的动态原生渲染,以及营销活动变更不应触发 App 重新发版。团队通过统一 schema、事件语义和 SDK API、桥接层复用原生能力,并把身份解析与决策保留在服务端,移动 SDK 只接收决策并渲染开发者注册的原生组件。同时将应用埋点与体验配置分离,用 content zones、模板和 CDN 下发配置,并提供二维码预览与模拟器注入真实画像来验证定向和布局。结论是“一次埋点、营销可配置、服务端决策、动态渲染原生组件”,但文章偏经验总结,缺少具体性能数据、失败案例和实现细节。

推荐收录,因为文章给出了跨 iOS、Android、React Native 和 Flutter 的实时移动个性化架构取舍:统一 SDK 与桥接层、服务端身份解析与决策、content zones/模板分离配置与代码、CDN 下发、二维码预览等。适合移动端、平台工程和个性化系统架构读者,可迁移到多端 SDK、跨渠道身份和低代码配置场景;但属于厂商经验总结,落地细节与失败边界有限,需结合自身约束验证。

工程实践ClickHouse Engineering

ClickHouse Cloud vs. Snowflake: What drives the real-time performance-per-dollar gap

文章是 ClickHouse 团队 CostBench 的第二部分,对比 ClickHouse Cloud 与 Snowflake 在持续实时写入下的性能/成本差异。测试向两套系统灌入相同的 1132 亿行行情数据,速率约 100 万行/秒,并执行相同聚合与下钻查询,读侧资源尽量匹配到约 16 CPU。核心机制差异是 ClickHouse 在写入路径内完成排序和增量物化视图更新,Snowflake 的 Snowpipe Streaming 与异步 MV 刷新分离,MV 平均滞后约 1.4 分钟,聚合查询需在编译阶段补偿未刷新数据。结论称 ClickHouse 端到端实时性价比高 412 倍、聚合查询快 669 倍;但基准由厂商主导,Snowflake 资源估算和 fallback 成本归因需谨慎看待。

推荐收录,因为它给出了可核验的 CostBench 测试方法、相同负载和资源匹配信息,并具体解释了写入内增量 MV 与异步 MV 刷新导致查询时补偿的机制差异,而不仅是性能口号。适合实时数仓、OLAP 选型、性能成本评估方向的工程读者参考;但结论来自 ClickHouse 主导的对比,Snowflake 侧 CPU、fallback 和成本归因为估算,外推时需保留厂商立场风险。

工程实践QuestDB Engineering

Read DuckLake and QuestDB: the same Parquet, a different table format

文章对比两种开放表格式在元数据存放位置上的根本差异:Iceberg 把元数据写成对象存储中的 metadata JSON、manifest list 和 Avro manifest 文件,目录只保存指向当前元数据文件的指针;DuckLake 则把全部元数据(文件列表、schema 历史、快照、统计信息)存放在 SQLite、Postgres 或 DuckDB 这类 SQL 数据库中,目录即元数据本身。作者由此推导出三点后果:查询规划退化为对索引表的 SQL 查询、不存在元数据小文件堆积因而无需 compaction、但读取方必须能连接该数据库导致生态覆盖较窄。文章随后给出把 QuestDB 冷存储的 Hive 分区 Parquet 通过 ducklake_add_data_files 零拷贝注册进 DuckLake 的具体脚本,并讨论增量同步、删除单文件时需重新注册存活集合、关闭 auto_compact 保护原始文件,以及纳秒时间戳在 DuckDB 视图中降为微秒的边界。

推荐收录。文章不是产品宣传,而是把“表格式即 Parquet 之上的元数据层”这一抽象讲清楚,并用 Iceberg 与 DuckLake 元数据存放位置的差异推导出查询规划、运维成本和生态覆盖上的具体取舍。附带的注册与同步脚本、零拷贝约束和版本相关注意事项,对做数据湖、冷存储分层或 lakehouse 选型的工程师有直接可迁移价值;需注意示例仓库明确非生产工具,且结论带有 QuestDB 自身存储的视角。

技术文章Kubernetes Blog

Kubernetes v1.37: Scheduler Preemption for In-Place Pod Resize (Alpha)

Kubernetes v1.37 引入调度器抢占以支持就地 Pod 资源调整(Alpha)。此前运行中 Pod 申请扩容若超出节点余量,Kubelet 会将其标记为 Deferred 并无限等待;新特性让调度器跟踪此类 Pod,并在其所在节点上抢占低优先级 Pod 释放容量,使高优先级应用的扩容得以完成。抢占严格限于同一节点,扩容资源被视为已消费以避免重复分配,且决策统一交由调度器以遵循全局优先级、PDB 与优雅终止策略,并支持节点级关闭。文章含 kind 集群验证示例,但该特性仍为 Alpha,要求 v1.37+ 且全组件启用门控,若无合适抢占对象则扩容仍保持 Deferred。

推荐收录:文章来自 Kubernetes 官方博客,系统解释了 v1.37 就地 Pod 扩缩容的调度器抢占机制,包括 Deferred 状态处理、同节点抢占边界、资源预留和与 Kubelet 的职责分离,并给出可复现的 kind 验证步骤和节点级关闭配置。适合平台工程师、SRE 和集群运维人员评估在资源高利用率场景下如何安全使用就地扩缩容;其架构权衡与验证方法可迁移到其他调度策略设计。需注意该特性仍为 Alpha,且要求 v1.37+ 全组件启用门控,后续版本可能调整。

工程实践Lyft Engineering

Refreshing the Travel-Time Map Behind Lyft’s Marketplace: Rebuilding Neighborhood Reachability…

本文介绍 Lyft 如何重建其市场背后的 Neighborhood Reachability Signals 数据集。该数据集以 geohash-6 网格为单位,由 Airflow DAG 离线生成各区域的 ETA 矩阵与邻里中心文件,为动态定价、供给热力图等提供静态查找表。由于历史刷新均为增量式,核心 ETA 长期停留在 2018–2019 快照,导致旅行时间被系统性低估、可匹配的需求-供给对缺失,甚至把水面等不可驾驶网格纳入。重构以道路网派生的可驾驶 geohash 作为真值来源与最终否决清单,放宽剪枝以提升覆盖并新增消费方自助裁剪字段。Pricing 通过两周时间切分实验验证可行邻居结构从虚假近距离迁移到真实中距离,并计划自动化六个月刷新,下一步朝周内九时段的时间感知 ETA 演进。

推荐收录:文章来自真实生产系统,完整交代了数据集冻结的历史原因、三类缺陷、以道路网为真值的修复路径、放宽剪枝带来的覆盖与成本权衡,以及 Pricing 用两周时间切分实验验证的效果,证据链条清晰。对从事数据管道、地理空间 ETA、市场撮合或定价系统的工程师有直接可迁移价值,九时段分桶与预取权衡也提供了可复用设计模式。

工程实践ClickHouse Engineering

Introducing WalShadow: Sub-second Postgres replication to ClickHouse from physical WAL

ClickHouse 发布开源引擎 WalShadow,直接消费 Postgres 物理 WAL 将数据复制到 ClickHouse,绕开逻辑复制槽与逻辑解码插件。其架构分四阶段:在影子 Postgres 实例中回放 catalog WAL 以维护实时 schema,并行解码堆记录,按表批量组装成 ClickHouse 原生 block,再由独立插入池并发写入。为在并行乱序下保持正确性,每行携带源 WAL 位置 _lsn,schema 变更与 truncate 等操作设置屏障等待前序数据落盘。官方基准(同区域 c8i.2xlarge)给出提交到可见延迟约 200ms、吞吐 28.9 万行/秒,对比 PeerDB 的约 10 秒与 12 万行/秒,并支持加列、改列名、删列、建表等 schema 演进。文章属产品发布稿,性能数据来自单表受限场景,未深入讨论失败模式与运维成本。

收录理由在于它给出了可迁移的 CDC 设计证据:物理 WAL 替代逻辑解码的四阶段流水线、用 _lsn 加屏障解决并行乱序正确性,以及带方法说明的延迟/吞吐基准(约 200ms、28.9 万行/秒 vs PeerDB 约 10s、12 万行/秒)。适合正在设计 Postgres→OLAP 实时同步链路的数据与平台工程师参考。需注意其厂商产品发布属性、单表基准的局限,以及托管版仍处私有预览,落地前应自行验证 schema 变更与故障恢复路径。

工程实践知乎 - SmartCode 得物技术

企业级 MultiAgent 落地:Plan 模式与主子 Agent 协作|得物技术

文章介绍得物基于 AgentScope Java 的企业级 MultiAgent 平台,聚焦复杂任务如何规划、拆解并由主子 Agent 协作执行。平台采用 Plan-and-Execute,把计划操作注册成工具,注入 Hint 软约束,持久化计划状态并支持断点幂等恢复,同时通过 SSE 推送 CHAT/PROCESSING/ERROR 事件。主子 Agent 以声明式配置拆分职责、工具和权限,支持同步、异步、并行调用与协作式中断;A2A 协议借助 Agent Card、JSON-RPC 和 contextId 实现跨服务会话协作。企业级保障涵盖 ORM 多租户隔离、统一认证、调用树追踪、工具超时重试和 ReAct 迭代上限。方案适合大型企业 Agent 平台落地,但依赖 AgentScope Java 与自研基础设施,且隐去了具体组织信息。

推荐收录:文章给出了 Plan 全生命周期、主子 Agent 声明式配置、A2A 跨服务调用和 SSE 可观测性的具体机制,并明确多租户隔离、断点恢复、中断传播等生产约束。适合设计企业级 Agent 平台、MultiAgent 编排或 AI 基础设施的工程师与架构师参考,计划持久化、异步任务管理和调用树追踪可迁移到类似系统。风险是方案与 AgentScope Java 及得物自研基础设施耦合,且隐去组织环境细节,落地需重新评估。

工程实践SelectDB 技术分享

Apache Doris+ Paimon 2.0:构建 Agentic AI 数据闭环 通过统一 SQL 打通向量检索、实时分析与结果写回,共同为 Agent 构建新鲜、可信、可验证的业务上下文 湖仓...

文章围绕“Agentic AI 需要持续可行动的数据闭环”这一目标,指出传统 BI 只回答因果、RAG 只返回相关文档,而 Agent 还需要结合订单、库存、设备状态等实时业务事实进行关联分析和决策,并能够写回行动结果。为此,文章提出 Paimon 2.0 与 Apache Doris 的分工共治方案:Paimon 2.0 通过 BLOB、VECTOR、VARIANT、Data Evolution、Global Row ID 和 Global Index 支持多模态数据的持续演进与索引;Doris 通过 Paimon Catalog 保持快照读取语义,将 Vector Index 作为查询计划中的候选生成阶段,在 MPP 引擎中完成过滤、Join、聚合与全局 Top-K,并支持标准 SQL 的 INSERT、UPDATE、DELETE、MERGE 等写回操作,从而形成“感知—检索—分析—行动—反馈”闭环。文章还以工业故障诊断场景为例,介绍了快手在 Paimon 湖表上做千万到亿级向量检索的生产实践:召回率 96.0%~99.6%,在远端 Alluxio 缓存下与 Doris 内表对比的查询耗时为后者的 1.07~4.18 倍。文末给出了建目录、查询和写回的简单 SQL 示例。需要说明的是,部分能力仍属发版预告,性能数据依赖缓存配置,读者需结合实际版本和场景验证。

推荐收录。文章不是简单的产品宣传,而是具体展示了如何用 Paimon 2.0 的开放数据格式与 Doris 的 SQL 执行能力构建 Agent 可用的实时上下文,包括向量索引下推、候选裁剪、快照一致读取和 SQL 写回等关键设计,并给出了快手亿级向量检索的召回率与性能对比数据,证据相对直接。适合正在规划 Agent 数据平台、实时湖仓或多模检索架构的数据工程师和架构师参考;其“避免复制第二份数据进独立向量库”的架构思路具有可迁移价值,但能力成熟度和性能需要结合具体版本、缓存和硬件条件验证。

工程实践Cloudflare Blog

How we rebuilt Cloudflare Workers’ module registry for Node.js compatibility

本文介绍 Cloudflare 重写 workerd(Workers 运行时核心)模块注册表的工程实践。旧实现按文件系统路径而非 URL 解析 specifier,会预编译整个 Worker 包并让每个 V8 isolate 保存私有副本,带来 import.meta 缺失、解析不一致和重复编译开销。新注册表以 URL 为 specifier 基础,支持 import.meta.url/main/resolve、查询字符串隔离模块实例、import attributes 校验,并实现 Node 的 require(esm) 语义与统一错误行为。代码改为懒编译,并支持跨 isolate 共享及 WebAssembly source phase imports。该能力须显式开启 new_module_registry compatibility flag,尚未默认启用,旨在解决运行时与打包器的模块兼容问题。

推荐收录,因为文章不是泛谈 Node.js 兼容,而是从旧注册表的解析路径、复制编译等真实约束出发,梳理迁移到 URL 语义后的 API 行为和边界条件。适合运行时开发、模块系统研究者或需要维护打包器/兼容层的工程师阅读,其懒编译、错误一致性和 flag 迁移策略可作为同类演进设计的参考。

工程实践TiDB 社区博客 - 实践案例

从 MySQL 性能拐点,到交易、分析与运维一体化的新底座,青岛市外贸赋能中心的TiDB渐进式升级

文章介绍了青岛市外贸赋能中心从 MySQL 渐进式迁移到 TiDB 的完整实践。背景是业务规模和数据量持续增长,MySQL 5.6 主从架构在部分大表接近或突破 2000 万行后出现索引、分页、聚合成本上升,单机扩展受限,且分析负载与在线交易相互干扰。团队评估了分库分表等方案,认为其只是转移复杂度,最终基于 MySQL 兼容性、分布式弹性扩展、HTAP 能力以及运维工具链选择 TiDB。迁移没有一次性推倒重来,而是先从物流系统和金融平台两套核心系统开始,保留 MySQL 处理小规模业务。实际效果包括 DDL 从十几分钟缩短到秒级,复杂 SQL 从十几秒降至秒级甚至毫秒级,数据链路从分钟级缩短到秒级、人工干预率降低 90% 以上。文章也明确了边界:并非所有业务都适合分布式数据库,数据量长期稳定、低并发的小系统仍应使用单机 MySQL。

这是一个真实数据库选型与渐进式迁移案例,完整展示了从性能拐点识别、候选方案比较、迁移策略设计到效果验证和适用边界的全过程,不是单点技术技巧堆砌。适合数据库架构师、数据基础设施负责人和需要向分布式架构演进的团队参考,其中的分阶段换道、场景取舍与成本评估方法可直接迁移到类似系统。

工程实践Salesforce Engineering

How Metadata and Runtime Telemetry Reveal Which Enterprise System Problems to Fix First

这篇文章介绍Salesforce工程团队如何构建Health Insights,用于大规模企业组织健康监控。核心难点在于配置元数据与运行时遥测分散在不同系统,没有统一身份模型、新鲜度和访问规则。团队采用附加式架构而非重建底层管道,通过统一协调层和连接器模式将运行时活动映射到具体组件,同时保留数据来源、新鲜度和访问要求。他们从约100个安全信号出发,结合Well-Architected原则和反模式清单扩展到约400个信号,覆盖安全、流程自动化、定制、数据模型和Agentic readiness等领域。优先级排序结合请求量、应用CPU、数据库CPU和峰值时段等运行时上下文,并通过无头架构以JSON和MCP接口输出可交互的下一步行动,支持应用内或Slack等场景。文章还指出方案边界:它依赖Salesforce生态和已有元数据管道,其他平台需自行适配身份模型与访问控制,且初始重点是预防反模式。

推荐收录,因为它展示了真实的大规模健康监控与遥测集成案例,包含明确的架构取舍、信号标准化和优先级排序方法,而不是泛泛谈论监控价值。适合负责系统健康平台、可观测性数据管道或企业级监控系统的工程师借鉴,其“保留数据来源与决策状态、结合运行时上下文排序”的思路可迁移到其他复杂系统。

技术文章Kubernetes Blog

Kubernetes v1.37: Advancing Workload-Aware Scheduling

文章介绍 Kubernetes v1.37 在工作负载感知调度(Workload-Aware Scheduling, WAS)上的重要进展。核心内容是 Workload/PodGroup API 与 gang scheduling 从 alpha 升级为 Beta,并引入新的 CompositePodGroup API,以树形层次结构表达复杂分布式负载的层级调度需求。文章详述了多级 gang 调度、workload-aware preemption 对 PodGroup 与 CompositePodGroup 的支持,以及多级 topology-aware scheduling 的自顶向下约束解析机制。同时给出 controller integration APIs 和 workloadbuilder 库,帮助自定义控制器复用标准化的调度原语,并展示原生 Job 控制器新增 .spec.scheduling 字段的集成方式。DRA ResourceClaim 支持也随之进入 Beta,并修复了禁用特性时可能批量创建 ResourceClaim 的问题。所有 Beta/Alpha 特性仍需手动开启,作者还列出了通往 v1.38 的规划,包括 API GA 与 Kueue 对齐等。

文章是 Kubernetes 官方博客对 v1.37 调度新特性的完整技术说明,包含 API 字段示例、调度算法变化、feature gate 与迁移注意事项,是一份可长期查阅的工程参考。适合集群调度开发、平台工程、AI/ML 基础设施相关读者,尤其需要理解 gang scheduling 与层级拓扑约束的实现方式。它的可迁移价值在于提供了标准化的控制器集成构建块,但需注意多数特性仍为 Alpha/Beta 且默认关闭,实际采用前应验证版本兼容与稳定性。

工程实践ClickHouse Engineering

Build a real-time market data app with ClickHouse and Massive

文章以构建实时行情 tick 应用为主线,展示如何用 Massive(原 Polygon.io)WebSocket 订阅股票 trades 与 quotes,并用 ClickHouse 存储、Node.js/React 后端与可视化。作者给出 quotes/trades 表结构,以 sym 和一分钟时间桶设计 MergeTree 排序键,比较同步与异步插入后采用客户端批量同步写入。查询端用 argMax/argMin 结合时间戳与序列号生成实时行情表,并按两分钟窗口聚合 OHLCV;还演示 AggregatingMergeTree 物化视图预计算 1 分钟 OHLCV、摄入延迟监控与扩展建议。不足是示例缺少持久缓冲、重放、去重和鉴权,也不处理取消/更正或官方 OHLCV 重建,生产化需补齐可靠性设计。

推荐收录。文章提供了可运行的完整示例和关键设计细节:从 WebSocket 订阅、表结构与排序键、同步/异步插入取舍,到实时行情与 K 线查询、物化视图和延迟监控,均有代码与边界说明,适合构建实时分析、行情数据或 OLAP 摄取管道的工程师参考。其模式可迁移到其他高频事件流场景,但需注意示例本身不是生产级方案,缺少鉴权、持久缓冲和重放去重等能力。

技术文章知乎 - 腾讯技术工程

Agent 是怎样长出 Harness 的:从一次模型调用到完整运行时

文章以“Agent Harness”为主线,回顾了 Agent 从单次模型调用演化为类似小型操作系统的过程:先要拼接上下文支持多轮对话,再靠 ReAct 循环连接行动与观察,随后通过工具调用、长期记忆、权限沙箱、会话恢复和子 Agent 逐步补齐模型边界。作者提出 Agent 只负责决策,真正决定决策在何种上下文、权限与持久化规则下发生的是外层 Harness。为说明设计空间,文章对比了四个代表实现:Pi 通过最小上下文和四个核心工具压低 Harness 开销;OpenCode 依赖结构化 Part 事件和 SQLite 投影实现可恢复会话;Codex 围绕 Thread/Turn/Item 生命周期、审批与沙箱保障安全执行和任务谱系;Hermes 用持久化 Memory/Skills 和后台回顾支持跨会话经验复用。文章指出每种路线都是在成本、控制力、可恢复性和长期学习之间交换,模型变强不会消除 Harness,边界会继续演化。局限是例子基于特定框架版本和测评,横向结论随时间可能过时。

本文不是罗列 Agent 概念,而是从模型调用边界逐步推导出上下文、循环、工具、记忆、权限与会话等必要组件,并用 Pi、OpenCode、Codex、Hermes 四个真实系统的对比展示 Harness 的架构取舍,证据具体、边界清楚。适合要设计 Agent 应用或框架的工程师、研究者,可迁移价值在于“模型做决策、Harness 做约束”的分析视角,以及成本/控制/可恢复/学习的权衡清单;但框架细节更新很快,借鉴时应结合自身安全模型和成本约束重新验证。

工程实践知乎 - 孔某人

谈AI for math自动证明系统的设计(4)

本文是作者开发AI辅助数学自动证明系统的工程迭代记录。在Master-Worker架构中,Master因承担规划、校验和簿记而成为速度瓶颈,持续增长的Context超过800k后发生压缩,明显降低任务质量。作者于是拆分出Acceptor角色负责校验Worker结果并允许原地修补,又增加了独立顾问角色分管中长线规划,借此缓解Master压力。文中还对比了多个模型在数学任务上的表现与真实成本,发现Astra速度快、清理能力强但实际成本约为Sol的四倍,因此仅用于Master和困难问题,并自建ChatGPT订阅池以节省费用。最终测试问题“二维Jacobian猜想”跑了一个多月没有较大中间结果而暂停,系统产出被作者视为可开放的“垃圾堆”。该文是真实系统的负结果复盘,角色拆分和Context管理经验可迁移至多Agent任务编排,但成本与结论依赖特定模型和问题域。

推荐收录:文章给出了Master-Acceptor-Advisor三层Agent架构的具体拆分动机和实际效果,并对模型成本做了实测对比,是有取舍、有数据的工程量复盘,而非泛泛介绍。适合设计长任务多Agent系统、关注LLM成本或从事AI for math方向的工程师与研究者参考。由于结论来自单一问题域且部分经验依赖具体模型表现,借鉴时需结合自身场景验证。

技术文章TiDB 社区博客 - 技术解读

为什么 TiKV 要把事务数据拆成三个"抽屉"?

文章从 TiDB 培训中的 Column Family 概念困惑出发,梳理了 Column Family 在 Bigtable、HBase 和 TiKV/RocksDB 中的角色演变。作者指出 Bigtable 引入 CF 是为了逻辑分组、资源管理和数据局部性;HBase 将其作为用户可见的数据建模单元;而 TiKV 则借助 RocksDB 的 CF 机制承载 Percolator 事务模型中的 data、lock、write 三类逻辑数据。文章结合源码解释了一个 RocksDB CF 基本等同于一棵独立 LSM Tree,拥有自己的 MemTable、SST 和 Compaction 状态,因此 TiKV 拆三个 CF 是为了让生命周期和访问模式不同的数据互不干扰,降低写入放大、避免大 Value 挤占缓存。文章还澄清拆分发生在事务存储层而非用户表层,并说明隔离仅限于 LSM Tree 层,各 CF 仍共享 WAL 和线程池。整体属于对 TiKV 事务存储设计原理的深入解读,但主要基于公开论文、源码和个人理解,未涉及运行时实测对比。

推荐收录。文章不是产品介绍,而是从 Bigtable/Percolator 论文到 RocksDB 源码的完整技术考证,把 TiKV 三个 Column Family 的隔离动机解释得很清楚。适合数据库内核、分布式系统和存储引擎方向的工程师与研究者阅读,也可以作为理解 LSM Tree 与事务存储结合的参考材料。其可迁移价值在于展示了从逻辑数据分类到物理存储隔离的工程取舍思路,但结论来自代码阅读与公开资料,缺少实测数据,阅读时需注意这一点。

工程实践知乎 - 鹅厂架构师

比虚拟机快,比 Docker 安全:AI Agent 内核态沙箱设计全解

本文介绍了一种基于Linux内核态的新式沙箱方案,定位为在虚拟机和Docker之间取得性能与安全平衡。文中先给出沙箱如何借助cgroup、进程串接入口控制,形成“一个内核内部隔离、启动多个沙箱”的最终形态。随后围绕子领域展开设计:调度器采用代理线程与M:N模型来隔离和复用内核调度;内存通过独立页表和弹性分配实现沙箱与normal world隔离;IO和网络分别借助用户态fs/block和DPDK/XDP等限制在用户态。还阐述了硬件异常、timer、中断的接管方式,并讨论了多沙箱实例的全局变量与符号处理。文档以容器逃逸漏洞为例说明威胁模型,并对比gVisor、Kata等方案。目前仍是设计草案,有可演示demo,部分功能如独立内存分配器属中长期规划。

这篇文章详细展示了内核态沙箱的系统架构、调度隔离、内存隔离和IO/网络设计的整体思路,内容具体且属于实际系统设计而非泛泛科普,尤其对代理线程、前后台调度和威胁模型的思考具有参考价值。适合从事容器安全、操作系统内核以及高安全隔离环境研发的工程师阅读;其中可迁移的设计权衡和威胁模型分析能帮助团队在构建沙箱或安全容器时做更可靠的架构决策,但需注意方案尚处早期设计阶段,部分机制还未落地。

工程实践vLLM Blog

Serving LLMs on Tenstorrent Hardware: Inside the vLLM TT Plugin

该文介绍 vLLM TT Plugin,通过 vLLM 的树外平台插件机制将 Tenstorrent 加速器接入 LLM 推理服务,并保持 OpenAI 兼容 API 不变。文章重点分析 Tenstorrent mesh 架构与 GPU 栈的本质差异:跨芯片并行被编译进单个 traced program,因此没有 TP/PP rank,调度器须将每个步骤严格拆为 prefill-only 或 decode-only。为支持 Galaxy 上的单执行模型,作者采用单进程 lane 数据并行(TTLaneCoordinator 管理独立调度器与 KV cache),避免多进程 scatter/gather 开销;同时实现按批次回退的 on-device sampling 和基于异步 readback 的 decode overlap。文末列出当前限制,如暂不支持投机解码、LoRA、prompt logprobs 和多主机服务,这些多属运行时实现约束而非硬件极限。

推荐收录,因为它不是硬件发布稿,而是详细复盘了非 GPU 架构下 LLM 推理服务的设计取舍:插件边界、阶段化调度、单进程 lane DP、异步 readback 等均有明确动机、代价与验证。适合 LLM 推理基础设施、异构加速器和 vLLM 插件开发者阅读,其“将设备差异封装在插件内、不 fork 上游”的方法可直接迁移到其他新加速器适配场景。

个人心得Simon Willison

There's No Limit to How Bad Code Can Get

文章是作者Simon Willison对“代码能坏到什么程度”讨论的评论,聚焦于大型系统因技术债过深而从零重写为何常常失败。作者指出旧系统仍在支撑核心业务因而持续变动,开发者缺乏维护动力导致债更深;新团队虽速度快但难以完整理解被替代系统的全部行为和范围,最终新系统只能覆盖部分功能,不得已与旧系统并行上线,形成两套系统僵持的局面。作者引用Will Larson关于“迁移是唯一可扩展的技术债解法”的观点,提出应对重度技术债的更稳妥路径是在旧系统上补足自动化测试、做定向重构,而不是被绿地重写的诱惑带走。该文是一线工程经验判断,适合架构师或技术负责人在规划重大重构时参考。

推荐收录:文章没有停留在“重写难”的直觉,而是拆解了新系统推进中来自业务变动、团队激励、范围理解的多重阻力,并给出可执行的替代策略——用测试和定向重构加固现有系统。读者若在技术债清理或重构启动会议上做判断,可把文中风险清单和Will Larson的迁移框架当作决策依据。风险是内容篇幅短,缺少具体案例数据,但对长期参考仍具有很好的情境提醒价值。

工程实践Xe Iaso

It took a year to ship WebAssembly in Anubis

文章讲述作者花一年把 WebAssembly 工作量证明引入 Go 反爬服务 Anubis 的完整工程经过。原实现需在 JavaScript 与 Go 间维护两份代码,且难度按前导半字节计数、最坏情况加一级会放大千倍;新方案用 Rust no_std 生成 wasm32-unknown-unknown 二进制,由浏览器和服务器执行同一份产物,并使用 argon2id 内存硬算法改善手机端体验。文中详述了无法使用 WebAssembly Component Model 时如何手工设计三缓冲 ABI、为兼容 Chrome 75 做 SIMD 拆分与 wasm-opt 特性裁剪,以及如何用 wasm2js 兜底禁用 WebAssembly 的浏览器。工程陷阱包括首次遇到的 LLVM 编译器 bug、rust-std 预编译导致旧浏览器崩溃,作者用提交构建工具与 chromesweep 旧浏览器测试应对。功能计划在 v1.28.0 默认关闭,v1.29.0 根据反馈再决定是否打开,并保留了若干已知边界。

推荐收录。文章是真实项目的一手长程复盘,明确写出了共享二进制方案、手工 ABI 限制、旧浏览器兼容成本和编译器工具链意外,并保留已知问题而不是包装成完美故事。适合研究 WebAssembly 模块化、反爬 PoW 或 Go/Rust 混合构建的工程师,其可复现构建、特性裁剪和多版本浏览器测试思路可直接迁移到同类项目。

工程实践Fzakaria Blog

Any Nix package, live in your browser

文章介绍了一个名为 trynix 的浏览器内 Nix 包运行器,允许用户通过静态网页直接启动一个完整 Linux 虚拟机,并运行 nixpkgs 历史上任意版本的任意包。作者结合此前构建的 nixpkgs-multiverse、grail 和 omniflake 等工具,实现了“属性+版本号→store path”的映射;利用 cache.nixos.org 等公开缓存提供的 CORS 支持,使浏览器可以直接获取 NAR 包;再借助 QEMU 与 WebAssembly 在浏览器中启动真实的 x86_64 Linux 内核,并通过 9p 文件系统挂载内存中的 Nix store。文章还讨论了性能优化,如后台预取引擎和虚拟机快照恢复,使得首次启动约 4 秒、二次访问约 1.5 秒。作者分析了该方案的边界:二进制仍处于模拟执行、首次运行有翻译开销、闭包大小受制于标签页内存和 WebAssembly 的 32 位地址空间。最后作者展望了 PR 评测试用、Agent 产物共享、可复现 bug 报告、可运行文档和软件考古等应用场景。整体是一个完整的工程实践案例,展现了将多种既有技术组合成新系统的思路。

推荐收录。文章展现了真实工程系统的完整构建过程,从组件设计、缓存复用、性能优化到边界约束均有具体细节。对关注 Nix、WebAssembly、浏览器端执行或可复现构建的读者,文中的架构拆解和应用场景推演极具迁移价值,也有助于启发新的工具链设计。

技术文章知乎 - 腾讯技术工程

DeepSeek Harness背后的“心脏”:Cordis 到底是什么

本文以腾讯技术工程的角度系统介绍 Cordis 插件化应用框架,说明它如何成为 DeepSeek Harness 的运行时核心。文章首先梳理插件系统需要解决的安装、配置、卸载与协作四个问题,并引入作者 Shigma 及其 Koishi 技术栈。随后详细介绍 Cordis 的核心机制:插件、上下文、fiber、可逆副作用、响应式注入、事件与 Schema,并解释这些机制如何支撑“配置即程序”、热重载和依赖自动重连。文章还结合 DeepSeek Harness 实际源码,展示启动流程、工具流水线、自指设计等。后半部分重点解读配套论文《A Programming Paradigm for Spatiotemporal Composability》,说明其将 effect 与 coeffect 形式化,证明动态组合下的卸载恢复、依赖协调和配置收敛。文中也通过与传统 DI、React、OSGi、微服务等对比,指出 Cordis 的适用边界与对自进化 Agent 的潜在价值。全文技术密度高,兼顾理论与实践,但需注意示例与数据基于 DSH 0.1.0-rc.6 及 2026 年 8 月的生态快照,部分内容具有较强的时效性。

收录理由是文章不是浅层功能介绍,而是对 Cordis 框架的设计哲学、生命周期机制、依赖模型和形式化证明做了系统剖析,并紧密关联 DeepSeek Harness 的真实工程实践。适合对插件系统、Agent 运行时、依赖注入或框架设计感兴趣的工程师与研究者阅读。文中关于可逆副作用、响应式依赖和配置对账的论述具有跨场景迁移价值,理论对比也为评估同类框架提供了清晰坐标系。

工程实践美团技术团队

美团智播——数字人直播技术创新与实践

文章以美团智播数字人直播系统为例,系统梳理了本地生活场景下AI数字人直播从形象生成、动作驱动到规模化部署的完整技术路径。针对商家门槛高、时效严、同质化与成本大四大痛点,作者提炼出形象高保真、动作自然多样、语音手势语义协调、推理成本可控四项核心挑战,并介绍了结构解耦身份个性化、自奖励精准编辑、多级因果LLM动作生成MoTiGA、流式共语动作生成StreamingTalk及视觉Token压缩Glance2Gaze等方法,其中多篇已被CVPR、NeurIPS、ACM MM等会议收录。实验数据显示,MoTiGA在HumanML3D上FID降至0.041,Glance2Gaze实现75%的Token压缩和2.5倍推理加速。系统方面构建了实时交互与内容量产双引擎,配合“形象-动作-场景”解耦知识库实现多智能体协同生产。文章还给出了落地业务提升,但未披露万路并发的详细资源账单与失败边界,部分指标依赖论文自述仍需独立验证。

推荐收录。文章呈现了从业务约束、技术建模、论文实验到系统架构的完整工程演进,技术方案有明确量化改进和真实部署数据,适合数字人、多媒体内容生成及直播平台的工程师与研究者参考。其结构解耦、流式生成和Token压缩等思路可迁移到其他多模态生成与实时交互系统;但单方披露的指标和效率收益建议结合论文与独立复现结果再谨慎引用。

工程实践Salesforce Engineering

How Agentforce Achieves 100% Deterministic Rendering for AI Agent UX

文章介绍了 Salesforce Agentforce 团队如何解决 AI Agent UX 渲染中的随机性问题。核心矛盾是 LLM 的随机推理能力与关键表单、法规披露等必须 100% 确定性渲染之间的冲突。团队提出通过 Connections 层将概率性推理与确定性呈现分离,并引入 render: 指令,使动作触发的响应格式不再由 LLM 选择,而是由平台确保。工程难点在于多动作、长时运行和监督式交互中的输出识别与时机控制,以及跨 Salesforce 原生、第三方和 headless 场景的格式抽象。针对受监管客户,团队还提供了事件级日志审计,让客户能够证明特定披露内容在特定会话中确实呈现。文章也指出了该方案的边界:确定性只适用于被显式配置的动作,开放性对话仍保留 LLM 的灵活性。

推荐收录,因为它直面 LLM 产品化中一个真实的工程矛盾,给出了架构层面而非提示词层面的解决方案,即通过 render: 指令和响应格式抽象将渲染决策从概率系统剥离。对构建 AI Agent 生产级体验、处理合规场景或设计多端输出架构的读者,其中的确定性边界划定、事件审计和跨端抽象方法都有直接借鉴价值。

工程实践Meta Engineering

ZGateway: Learnings from Putting a Proxy in Front of ZippyDB

ZGateway 是 Meta 为 ZippyDB 键值存储新增的无状态代理层,目的是改变超百万客户端直接连数据库产生的稠密连接网格及其可靠性风险。它把客户端与后端收敛成两跳,使连接扇入扇出规模由代理层可控,并通过跨客户端批处理和合并降低 RPC 开销、缓解热键冲撞。代理层同时承载租户级准入控制、按 CPU 自适应的负载均衡、带实时失效的读缓存,以及可配置的跨区域容灾;迁移采用分服务、分前缀的百分比开关实现可逆灰度。文章给出的实测边界是:ZGateway 承载约 40% ZippyDB 流量、平均约 6% 计算开销,压测中丢弃只作用于少数噪声租户,其他租户成功率保持 99.9%。最后作者展望了多进程隔离、控制面外置与 AI 辅助调优等方向。

本文来自 Meta 生产环境的系统级工程复盘并包含明确数据和机制,不只是架构简介。它展示了一个代理层如何同时解决连接管理、高可用、租户隔离与流量治理,适合关注分布式系统、基础架构和可靠性设计的读者。文中的扇入扇出建模、灰度迁移和自适应负载均衡思路可以迁移到其他大规模代理或网关场景,但需注意 Meta 内部基础设施的耦合与规模化条件。

工程实践TiDB 社区博客 - 实践案例

从 MySQL 到 MongoDB 再到 TiDB:古珀医疗数据库演进与实践

本文基于古珀医疗在区域医疗健康平台建设中的实践,复盘其数据库架构从 MySQL 到 MongoDB、再到 TiDB 的演进历程。早期单体医院项目数据量小,MySQL 可支撑业务快速上线;当业务扩展到区域级和省级平台后,数据规模增长至数十TB,MySQL 在 DDL 变更、写入容量和运维成本上出现瓶颈。MongoDB 的文档模型提升了迭代灵活性,但复杂关联查询和空间成本限制了其适用性;Doris、ADB 等分析型数据库性能好,却因私有化部署和数据同步链路复杂而未采用。最终选 TiDB 主要看中其水平扩展、HTAP、MySQL 兼容和 TiCDC 实时同步能力,并在区域医疗健康大脑、智慧法医等四个核心场景规模落地,最大单集群 80TB。文章也说明没有绝对完美的数据库,需根据场景组合使用多种存储技术。

推荐收录,因为它呈现了真实业务约束下的数据库选型与切换过程,给出了从数百GB到80TB数据规模时的取舍依据和多个核心场景的落地形态。适合在医疗/政务等私有化部署环境下做数据架构选型、或评估分布式数据库替代 MySQL 的读者参考。文中对 HTAP、MySQL 兼容生态和同步链路需求的判断,可迁移到类似高可靠、强一致的数据平台建设中。

技术文章知乎 - 鹅厂架构师

三万字|让高中生也能读懂的三万字通俗版大语言模型实现原理(中下篇)

本文是腾讯架构师撰写的大语言模型实现原理通俗长文的中下篇,延续了让高中生读懂的目标。中篇从 Attention 出发,说明 Query/Key/Value 的角色、Multi-Head Self-Attention、Transformer 整体结构,以及 FFN 的作用;随后用传话游戏和蒙眼下山的类比,解释深层网络中的梯度消失/爆炸,并说明残差连接和 LayerNorm 如何稳定训练,并比较 Pre-LN 与 Post-LN。训练部分涵盖损失函数、反向传播、梯度下降、学习率调度与 AdamW 优化器。下篇介绍从预训练接龙模型到对齐的 SFT、RLHF、DPO,梳理贪婪解码、Temperature、Top-k/Top-p、Beam Search、KV Cache 等推理技术,再扩展到 MoE、GQA、滑动窗口、Mamba,以及量化、FlashAttention 等压缩加速手段。全文用大量生活化类比递减理解门槛,但技术脉络完整,适合初学者系统入门,不过部分类比与数据存在简化,深入实现仍需阅读原始论文。

文章用清晰多层类比系统拆解了 LLM 从注意力机制到训练、对齐、推理优化与模型压缩的完整链路,既有整体框架又有关键技术对比,适合初学者、工程师及希望速览 LLM 原理的读者作长期参考。其对概念间关系的梳理和类比设计可迁移到其他技术科普或教学场景,但部分数据和版本信息较新,阅读时需注意时效性。

工程实践Meta Engineering

An Organizational Second Brain: Building an AI That Learns From Experts

本文由 Meta 工程团队分享,介绍他们为组织级专家知识构建的一个 AI 代理系统,使其成为可长期积累的“组织第二大脑”。系统核心由两层组成:一是结构化的、可审计的知识架构,将专家知识预先蒸馏为带依赖图的文本文件(如立场文件、路由索引、网关门),并区分高密度、高频知识放于精编知识库,稀疏、低频知识通过 RAG 检索补充;二是可组合的“食谱”(recipes)程序化推理层,将分析流程拆解为多阶段步骤,实现“知道什么”与“如何推理”的分离。此外,系统还包含一个自我改进飞轮:专家反馈经历诊断、编译、验证、落地四阶段,自动生成最小化且经回归测试的文件编辑,无需重训模型。文中报告六周后专家评估输出几乎总是有用,单次评估时间从数天降至分钟,且零回归。该架构适用于合规、安全审查、金融风险等需要机构性专业知识的领域,但前提是具备可编辑的知识文件、程序化流程、自动化评测和人工监督。

推荐收录。文章给出了一个可落地的企业级 AI 代理设计范式,重点展示了知识架构与推理层分离、基于依赖图的文本知识库、以及专家反馈自动转化为经过验证的文件编辑等完整的工程循环。直接证据包括 Meta 实际部署后的量化结果(数天到分钟、零回归)和领域无关的适用条件。适合从事 LLM 应用、AI Agent、知识工程或企业级 AI 平台的工程师参考,其“以文本文件为持久化知识并用自动化编译维护”的思想具有很高可迁移价值,但需注意其依赖严格的人工审核与评估基础设施,复制成本不低。

技术文章知乎 - NGINX洪志道

一个应用服务器是怎么工作的

文章系统拆解应用服务器的工作原理,衔接外层 Web 服务器与语言运行时,分析其如何接收请求、管理进程并调用应用代码。作者将应用服务器分为两类:一类直接用应用语言实现 HTTP 服务并运行同生态代码,另一类用 C/C++/Rust 等系统语言实现服务器核心,通过语言适配器加载解释型语言引擎。文章以 PHP-FPM、Gunicorn、Uvicorn、NGINX Unit 等为例,解释 SAPI 与 Zend Engine、WSGI/ASGI 等接口差异,并阐述固定进程池、动态进程池和按需进程池的取舍。随后文章跟随一次请求从 accept 到语言运行时调用再到返回响应的完整链路,说明请求解析、应用选择、进程获取、适配器转换及错误分层。最后讨论应用服务器应负责多少功能的分层设计,强调统计应放在应用执行与响应返回的边界。文章基于通用部署模型,忽略具体协议细节,适合作为理解应用服务器基础架构的参照。

推荐收录。文章由 NGINX 背景作者写作,澄清了 Web 服务器、应用服务器、语言运行时时常被混淆的分层关系,并用一次请求的完整路径串联进程管理与语言适配等细节。适合初入后端的开发者建立系统认知,也适合需要设计或选择应用服务器形态的工程师作为思考框架;文中对多语言支持难点的分析具有普遍参考价值。

工程实践Cloudflare Blog

How we could save petabytes of cache storage with Zstandard and Pingora

本文介绍了Cloudflare在缓存系统中引入Cache Transcoding的原型实验,核心思路是在Pingora代理中,对符合条件的可压缩文本响应在写入磁盘前用Zstandard(zstd)进行压缩,在缓存期间和跨数据中心传输时保持压缩状态,仅在向客户端返回时解压。通过这一设计,用少量CPU开销换取PB级缓存容量和跨数据中心带宽的显著节省。作者详细说明了zstd算法的选型理由、压缩级别与阈值(zstd level 3、4 KiB以上)的设定依据,以及仅压缩未预压缩的文本类型(HTML、JSON、CSS、JS等)的判定条件。实验基于超过一百万请求的测试,验证了正确性和性能,测得符合条件的资产平均压缩至原来的约三分之一。文章同时指出了边界,例如测试语料压缩比不代表全量网络内容,需更广泛语料验证,以及未来可探索更高压缩级别和直接透传压缩对象等方向。

推荐收录。文章展示了真实CDN环境中,以CPU换存储和带宽的系统级权衡分析,包含清晰的架构设计、协议细节、测试方法和参数调优思路。对从事缓存系统、代理网关、存储优化的读者尤其有参考价值,其压缩对象筛选和收益-成本建模方法可迁移到其他大规模分布式系统。

工程实践Xe Iaso

Conflict resolution is “fun”

文章介绍了 Tigris 对象存储在跨区域复制中遇到的冲突解决难题及其工程实现。作者将其类比为 Git 合并冲突,但分布式系统规模下无法由人工仲裁,因此需要在业务逻辑中自动决定哪一侧获胜。文中基于 FoundationDB 的实践,区分了单区域、多区域与全局三种桶:单区域桶通过反向代理到所有权区域避免冲突,但带来更高延迟;全局桶允许各区域并发写入,依赖时间戳比较决定最新版本;多区域桶则由领导区域主动推送并叠加复制队列,兼顾延迟与全局收敛。作者重点剖析了时钟偏差如何导致“删除被复活”的竞态,并给出了拒绝处理非最新删除并重试的修复方案。最后讨论了复制队列延迟、未来通过分片 FoundationDB 来隔离租户,并指出系统整体依赖时钟同步,可能需引入原子钟级计时。

推荐收录。文章来自真实存储系统的工程实践,详细展示了跨区域冲突解决的完整决策链:从冲突模型、时间戳排序、时钟偏差竞态到具体修复与复制策略取舍,并配有可操作的比较逻辑和时序说明,而非泛泛架构讨论。适合分布式系统、存储或数据库方向的工程师阅读,文中的时间戳排序陷阱以及“失败但已生效”的复制语义可迁移到其他多写复制系统,具有长期参考价值。

工程实践PlanetScale Blog

What is a Neki router?

文章深入解析了 PlanetScale 的 Neki 路由器在分片 PostgreSQL 数据库中的核心作用与实现机制。它指出分片数据库的难点在于决定查询应路由到哪些分片,Neki 为此引入了双层计划:先由路由器基于数据拓扑生成 Neki 计划,再将改写后的 SQL 交给各分片上的 PostgreSQL 生成传统执行计划。文章通过单点路由和 scatter-gather 两个具体示例,展示了路由器如何识别分片键、绑定参数、推送 limit、汇总多分片结果,并利用侧车进程通过 gRPC 转发工作。同时说明了路由器无状态、可独立扩展的特点,以及与 PgBouncer 等连接池工具的差异。文章还点明了 Neki 的两个缩放维度:分片扩展数据和 PostgreSQL 引擎,路由集群扩展分布式查询处理与连接管理。整体对理解分布式数据库查询路由与分片架构具有很好的参考价值。

推荐收录。文章不是抽象的理论介绍,而是直接展示 Neki 路由器的双层计划、分片路由和 scatter-gather 的具体实现,包含 EXPLAIN 输出和架构组件说明,证据具体。适合数据库内核工程师、分片库用户及分布式系统架构师阅读;其中关于无状态路由器、连接处理与查询处理分离的设计思路,可迁移到其他分布式数据库或网关类系统。

工程实践ScyllaDB Engineering

A Self-Baked Async FFI Framework for Rust C# Interop

本文记录 ScyllaDB 驱动团队自研 Rust 与 C# 异步 FFI 框架的过程,目标是在 C# 驱动之上复用 Rust 驱动。作者认为现有 uniffi-rs、csbindgen 等绑定生成器缺少异步互操作支持,故选择基于 C ABI 手工实现。文章详述双向调用:C# 调用 Rust 用 P/Invoke,Rust 回调 C# 用 UnmanagedCallersOnly 和静态委托;异步场景通过 TaskCompletionSource 与 Task Control Block 桥接 tokio 和 .NET 运行时,并说明 RunContinuationsAsynchronously 对避免 tokio 线程饥饿的关键作用。数据传递使用 FFISlice、FFIString、FFIBool 等布局兼容类型,规避 bool 表示不一致问题;内存管理分别采用 SafeHandle、GCHandle 和栈固定。该方案针对特定驱动场景,性能评测另文发布,本文贡献主要在异步运行时桥接和跨语言内存安全的工程经验。

推荐收录,因为文章不是泛泛的互操作教程,而是真实项目中的设计取舍与踩坑记录,包含 P/Invoke、反向 P/Invoke、异步运行时桥接、跨语言内存管理的具体实现和边界。对需要做 Rust/C# 集成、语言绑定或异步运行时协作的工程师很有借鉴价值,其中的 GCHandle 用法、tokio 饥饿规避、栈固定等技巧可迁移到类似场景;但它是为数据库驱动定制的框架,不是通用库,读者需结合自身约束评估。

技术文章Kubernetes Blog

Kubernetes v1.37: Pod Certificates and Cluster Trust Bundles

本文介绍 Kubernetes v1.37 中正式 GA 的 Pod Certificates 与 Cluster Trust Bundles 机制,旨在为工作负载提供基于 X.509 证书的内置生产身份。文章先对比了服务账户 JWT 的优劣,指出 JWT 作为不记名令牌存在被持有即冒充的风险,而证书通过私钥持有证明(proof-of-possession)可提供更强身份保证。随后详细拆解了架构:应用在 Pod 中声明证书与信任束卷,Kubelet 负责生成私钥、创建 PodCertificateRequest 并由外部 signer controller 签发证书,同时将 ClusterTrustBundle 合并写入容器文件系统;证书自动轮换、支持单文件凭据捆绑以简化应用处理。文章还强调了安全边界,如节点限制准入插件保证节点隔离,并介绍了实验性示例 Tinycert 以及 SPIFFE 文件系统交付标准。文中明确指出核心 Kubernetes 尚未内置证书 signer,需要第三方实现,且证书有效期最长 91 天,应用必须处理自动轮换。

推荐收录。文章来自官方博客,准确说明了 Kubernetes 新增身份机制的动机、架构和关键约束,不是简单的发布通告,而是具备完整的技术细节和设计取舍。适合平台工程师、SRE 和安全方向读者理解云原生工作负载身份认证的演进,对设计基于证书的 mTLS 系统有直接参考价值,但需注意文中 signer 尚未内置,应用时需依赖第三方实现。

工程实践Salesforce Engineering

How AI-Powered Attacks Led Salesforce to Reinvent Hyperscale DDoS Defense

Salesforce 工程博客通过 Q&A 形式介绍了其自研的 DDoS 响应与缓解平台 DREAM。文章指出,随着 AI 生成的应用层攻击提速,人工防御已无法在秒级响应,而共享多租户架构又使单客户攻击可能影响整个云平台。DREAM 基于三个原则构建:抵御超大规模攻击、秒级响应、用 AI 推断识别演化中的攻击模式。团队在三个多月内重写约 10 万行遗留代码,采用 AI 辅助编程(90% 以上为 AI 辅助但有严格人工审核)和分布式编排器 Temporal,避免自建状态管理、重试等原语。文中还总结了两个生产教训:大体积遥测数据不应直接穿过编排层,而应外部存储并传引用;长时间运行的工作流事件历史会拖慢恢复,需周期性压缩状态边界。最终平台将首次缓解时间缩短至原有水平的五分之一。文章也点明了未来方向:AI 负责分析与推荐,人类对高影响决策负责,编排层可靠运行复杂工作流。

推荐收录,因为文章不是营销稿或浅层技术介绍,而是具体呈现了超大规模 DDoS 防御平台从架构选型到生产事故教训的完整工程脉络,包含真实约束(三个月迁移窗口)、明确取舍(选择 Temporal 而非自建原语)和可迁移原则(编排层不是数据存储)。适合负责安全基础设施、分布式系统或有高并发多租户平台经验的技术读者参考,其中的工作流数据边界、历史记录压缩与 AI 辅助重写方法具有直接借鉴价值。

工程实践Netflix TechBlog

MAPS: Netflix’s Multimodal Asset Personalization at Scale

这篇文章介绍了 Netflix 如何利用多模态嵌入(CLIP 与 MediaFM)解决艺术作品和视频预览的冷启动个性化问题。作者首先说明 ID 型模型在资产新上线时缺乏行为数据的痛点,然后提出将预训练 CLIP 图像嵌入拼接进资产表示,使模型能“看到”画面内容,并将五个按画布分别训练的模型合并为一个统一模型,通过基于长期奖励的样本加权来混合不同画布数据。离线评估采用基于探索流量的逆倾向得分(IPS),在线 A/B 与消融实验表明,只有图像嵌入与模型合并结合才能获得显著提升。视频预览方面引入多模态基础模型 MediaFM,融合视觉、音频和文本信号,超越纯视觉 SeqCLIP。此外,文章描述了一个线性探针代理任务来低成本筛选新嵌入,以及共享 Embedding Store 基础设施支撑快速部署。该方案对大规模内容推荐系统有参考价值,但其效果依赖于充足的预训练模型和成熟的 A/B 实验平台。

这篇文章提供了完整的生产级案例:从问题定义、方案设计、消融实验、离线评估到线上 A/B,证据充分。适合推荐系统、AI 工程化和媒体个性化领域的工程师与研究者。其可迁移价值在于冷启动处理、模型合并、IPS 离线评估和代理任务筛选嵌入的方法论;风险是这些实践需要相应的基础设施(如 Embedding Store)和实验体系支持。

工程实践Grab Tech

Data Mesh at Grab (Part III): Operationalizing data reliability with automated DPIs

文章介绍 Grab 如何通过自动化数据生产问题(DPI)把数据可靠性变成可运营的工作流。DPI 生命周期分为分诊、诊断、解决三阶段:分诊用 Kinabalu 评估契约测试、去重并聚合告警;诊断借 Data Health API 把失败归因为上游、平台、作业或数据错误并路由负责人;解决由 Hugo 自动重试等恢复常规故障,高风险才升级人工。文中给出生产数据:86.9% 的 DPI 自动解决,95% 以上自动创建,自动处理 MTTR 比人工快 6 倍。架构强调诊断与执行解耦,并展望了数据可靠性对 AI Agent 的价值。

本文来自 Grab 工程团队,展示了数据可靠性运营的完整闭环:从契约测试、告警分类、根因定性到自动修复,并附有 86.9% 自动解决率、MTTR 6 倍改善等生产数据,证据充分。适合数据平台工程师、SRE 和数据架构师参考,其通过稳定 API 屏蔽平台差异、诊断与执行解耦的架构思路可迁移到其他数据基础设施。

工程实践ClickHouse Engineering

So, is ClickHouse winning the observability wars?

本文是 ClickHouse 团队对 Mat Duggan、Charity Majors 提出的“ClickHouse 正在赢得可观测性战争”观点的回应与剖析,明确“胜利”仅限定在存储与查询层。文章解释列式架构为何契合可观测性数据:按列存储与排序键利于压缩编码,稀疏主索引与跳数索引减少 I/O,向量化执行、SIMD 与跨分片并行加速聚合,并缓解高基数问题。还讨论了全文检索倒排索引、单库承载日志/追踪/部分指标、SQL 表达力与 Apache 2.0 许可带来的采纳优势。作者也坦承边界:Prometheus 式指标的 PromQL 兼容仍是最大缺口,TimeSeries 引擎与 API 尚不稳定,数据库本身不等于好的可观测性产品,小团队或自建引擎的厂商未必适用,并指出 Agent 工作负载带来低延迟、高并发与全保真留存的新要求。

推荐收录。文章虽出自厂商博客,但系统梳理了列式存储契合可观测性数据的机制——压缩、索引裁剪、向量化、并行聚合与高基数处理,并较诚实地指出 PromQL 兼容、ordering key 与 schema 设计等边界,适合负责可观测性平台或日志/追踪存储选型的工程师参考。其架构权衡与“何时不适用”的判断有可迁移价值,但读者需注意其自证立场与客户证言带来的偏向。

工程实践知乎 - SmartCode 得物技术

企业级 MultiAgent 的记忆系统:短期上下文与四层记忆架构实现|得物技术

文章复盘企业级 MultiAgent 平台的记忆系统,解决短期上下文、跨会话复用和上下文关联三类问题。系统用四层记忆模型(Working/Session/User/Agent)区分生命周期,短期历史基于 MySQL+Redis,长期记忆经评测选型 MemOS,并提供 MySQL/Mem0 兼容路由。请求时并行加载会话和长期记忆,按 token 预算对 user_profile 与 agent_{agentId} 内容截断;会话结束后异步处理新增消息,经 LLM 判断抽取记忆、本地去重、冲突解决,以先写后删写入 MemOS。文中给出关键代码与参数,如 Redis 淘汰、token 分配、MMR 去重。同时指出外部服务故障缺乏补偿机制,可靠性属于尽力而为,仍需补充延迟/失败率观测。

此为真实企业级工程案例,涵盖完整记忆链路和丰富实现细节,包括并发加载、token 预算分配、异步筛选去重、冲突处理和先写后删策略,证据充分。适合构建 Agent 记忆、上下文管理或 MultiAgent 基础设施的工程师参考,多数设计可直接迁移,但要注意其与 MemOS 外部服务绑定较深,可靠性多为尽力而为,需结合自身可用性要求调整。

工程实践ClickHouse Engineering

Ensuring reliable OpenTelemetry ingestion at scale

ClickHouse 团队复盘内部可观测性平台 LogHouse 的 OpenTelemetry 摄取管道三次演进。第一版 agent+gateway 架构在 5000 万 events/s 规模下无法承受 ClickHouse 反压而频繁 OOM;第二版启用 collector 本地 WAL,需改造成 StatefulSet,1TiB 积压约需 4 小时排空,且 FIFO 顺序阻塞最新数据,只能截断 WAL 丢数据。团队放弃引入 Kafka,改用基于 S3 的优先级故障转移:仅在 ClickHouse 反压时由 failover connector 溢出到对象存储,再通过 SQS 事件通知由独立 catchup collector 回灌,规避常态 PUT 成本。文中给出完整 collector 配置与一小时停机 gameday 验证结果,也指出恢复期无法定位具体缺失数据、新区域需额外基础设施等局限。

推荐收录:文章完整呈现从默认两层采集架构到自研 S3 溢出方案的取舍链条,给出 5000 万 events/s、1TiB 积压需 4 小时排空、每年 10-50 万美元 PUT 成本等具体数字,并用一小时停机 gameday 验证无数据丢失。对负责可观测性采集、高吞吐数据管道或 ClickHouse/OTel 落地的工程师,其 failover connector 的队列开关顺序、优先级路由和 catchup 回灌设计可直接迁移。

工程实践知乎 - 鹅厂架构师

给反馈分类装上方向盘:从 Prompt 工程到 Harness 工程

本文以腾讯 AiSee 反馈分类平台为背景,讨论大模型分类系统的控制方式。作者指出,随着分类树、规则和例外增多,持续扩写 Prompt 和增加定制链路会使系统难以维护,模型也无法稳定执行复杂规则。为此提出 Harness 工程:业务定义分类树、归入/排除条件、关键词和优先规则,Harness 将业务定义组织成还原问题、执行规则、缩小范围、模型判断、复核记录的流程,模型只做语义理解。同时给出定向归类、范围限定、优先推荐、语义归类四种递进控制强度,并形成调整后先验证再发布的运营闭环。该方案适合业务方向明确的反馈分类场景,但文章以架构经验为主,缺少定量评测和普遍适用性验证。

推荐收录。文章以真实平台为案例,清楚展示了从 Prompt 工程到 Harness 工程的转变,既有问题诊断、职责划分、控制强度和验证闭环,也有可落地的设计选择。适合负责 LLM 分类、AI 应用链路或 Agent 控制框架的工程师阅读。其核心价值在于把业务规则从 Prompt 中抽离为可治理的配置流程,这种思路可以迁移到其他依赖模型判断且需要持续变化的业务场景;但需注意其结论缺少量化实验支撑。

工程实践知乎 - 孔某人

谈AI for math自动证明系统的设计(3)

文章是AI辅助数学自动证明系统设计的实践反思,作者放弃流水线式工作流,改为全能Worker与Master协作的Agent架构,每次任务追求实质性数学推进。文中指出流水线在长期多样化探索中的弊端,如职责细分导致Token浪费、非标准任务难以固化,而新方案效率约提升30倍,但Master成为瓶颈。基于一天运行观察,作者记录了Context膨胀、LLM自我改进受限、全局更新错误率上升等问题,认为复杂Context下的持续决策能力是长期系统最根本的卡点。属于前沿AI Agent系统设计的一手经验。

文章展示了真实长期运行Agent系统设计中的关键取舍,作者对Workflow与Agent优劣的剖析和Context爆炸的观察具体且可迁移,适合构建多智能体LLM系统或自动推理工具的工程师与研究者。其核心洞见——单一全能角色优于职责切分、长上下文是根本瓶颈——为同类系统提供直接参考;风险在于经验来自单一系统,未给出严格评估。

工程实践TiDB 社区博客 - 实践案例

宁波金唐 × 平凯数据库:医疗卫健全域场景落地实践

本文是宁波金唐与平凯数据库(TiDB企业版)在医疗行业落地实践的技术复盘。文章首先分析医疗国产化的特殊挑战,如系统数量多、新旧兼容、7×24小时高可用和海量数据混合负载,然后介绍宁波金唐的选型策略,强调分布式与集中式数据库需按业务规模取舍,并看重TiDB对中小型至大型机构的全场景覆盖、HTAP能力和MySQL生态。通过宁波市全民健康信息平台和海曙区一体化医疗云平台两个案例,作者给出具体性能数据,如诊断匹配查询从109秒降至0.281秒,年度收入报表从350秒降至6秒,并指出性能提升来自数据库能力、冷热分区和持续调优的共同作用。文章也提到迁移后仍需依赖厂商协同调整SQL和索引,并展望医疗AI对高质量数据底座的需求。总体以真实系统规模和多组对比数据为基础,但视角偏厂商合作方,可能弱化迁移中的风险和成本。

本文提供了一手医疗行业数据库国产化迁移的工程案例,包含选型判断、架构决策、真实系统规模和对比性能数据,对负责数据库选型、迁移或医疗信息系统的读者有直接参考价值。可迁移的不仅是具体优化技巧,更是从业务需求出发评估分布式vs集中式数据库、以及迁移后持续调优的思路。由于文章由TiDB社区发布,部分表述带产品宣传倾向,读者应关注其方法和数据,而非单纯的产品结论。

工程实践DuckDB Engineering Blog

How DuckDB Runs Recursive CTEs Faster

本文来自 DuckDB 工程博客,介绍了 v2.0 对递归 CTE 执行引擎的重构,目标是消除迭代间重复调度与重建状态的开销。核心方法是将物理算子树、预计算调度投影和可复用执行器池归查询计划所有,递归调用持有跨 epoch 的不变状态(如基于静态表构建的哈希表),每个 epoch 仅重置依赖前沿的状态,并通过精确的边界基数选择内联或并行调度。针对 USING KEY 递归,冻结键控状态以支持直接探测,内连接可用 RECURSIVE_KEY_JOIN 或部分键索引,并引入语义变化:UNION 仅转发最终发生变化的键,UNION ALL 仍转发全部候选。实验显示,在 100 万边可达性查询中延迟从 4.051 秒降至 0.095 秒,LDBC SF100 路径查询提速 6.55 倍且峰值内存下降,63 个递归基准几何均值改善 5.5%。适用边界包括:保留状态需可重复性证明,预聚合要求聚合状态可组合且无顺序依赖,宽唯一键更新场景有约 6% 的回归。

直接证据是作者为 DuckDB 核心开发者,提供了 PR 编号、EXPLAIN 分析与中位数基准对比,且讨论了语义变化与回归。适合数据库内核开发者、查询引擎研究者与对 SQL 递归性能优化感兴趣的读者。可迁移价值在于状态所有权划分、基于实测基数的自适应执行和变更键去重思想;风险是部分语义变更(UNION 改变行为)需使用者注意。

技术文章Fzakaria Blog

Actually Queryable Executables

本文介绍了一种名为 SELF 的可执行文件格式构想:将程序本身构建为一个 SQLite 数据库,利用 Linux 的 binfmt_misc 机制通过自定义解释器执行,使得可执行文件的内容、元数据乃至运行状态都可以用 SQL 查询和修改。作者给出了一个可运行的 proof-of-concept 服务器 self-httpd,该服务器的程序代码、网页内容、访问日志和业务数据全部存放在同一个 SQLite 文件中,运行时可对自身文件进行 ACID 事务写入,并支持在线更新页面、全文检索和跨版本迁移。文章对比了 redbean 的 ZIP 自解压方案,指出 SELF 借助 SQLite 将容器与查询能力合二为一。文中也说明了当前限制,例如 /proc/self/exe 不可用,以及原型仍较为粗糙。整体上展示了将可执行格式重新定义为数据库后,现有 SQL 工具链可以大幅简化二进制分发、部署和审计流程。

推荐收录。文章提出了一个真正可运行的原型,并用 self-httpd 演示了程序自身可查询、可事务更新、可全文检索等能力,不是空泛概念。它对研究可执行格式、系统软件架构和部署简化的读者有很强的启发价值,其将二进制内容映射为数据库行的方法可以直接迁移到其他工具链设计中。需要注意目前实现依赖 binfmt_misc 且尚不成熟,但作为长期参考和创意起点价值明显。

工程实践Salesforce Engineering

From Prediction to Action: How to Turn AI Outputs Into Decisions

文章复盘 Salesforce 在 2025 年初遇到的真实问题:约 12,000 个仪表盘和 20 多个应用持续产生 ML 预测、告警与评分,模型准确但用户仍不知道如何行动。作者提出“模型输出是信号而非答案”的核心观点,并构建 Next Best Action 层,将信号、业务逻辑和领域知识融合为可执行建议。文中结合 MCP 协议设计 agent 与推荐层之间的显式契约,讨论集中式与分散式架构的取舍,强调架构应从数据所有权出发。最终以 Slack 内按需问答的方式交付建议,避免新增独立入口。文章适用范围以销售场景为例,但分离评估与行动、识别知识瓶颈、追问用户是否被要求去另一个地方获取洞察等思路,可迁移到各类 AI 工程系统。

推荐收录。文章不是泛泛的 AI 概念,而是真实工程问题的完整复盘,提供了从信号到行动的分层设计模式、MCP 契约经验以及架构所有权判断准则。适合负责 AI 产品落地、智能助手或推荐系统的工程师与架构师阅读,可迁移价值在于提醒团队关注预测与决策之间的工程空缺,避免只优化模型而忽略用户行动路径。

工程实践Cloudflare Blog

The Cloudflare Blog – Brought to you by EmDash

文章详细记录了 Cloudflare 博客作为 Customer Zero 迁移到自研 CMS EmDash 的全过程。团队先用 k6 进行 Ramp、Breakpoint、Burst 三类性能测试,验证平台可用性与扩展性,最终确定在 Cloudflare Worker 上运行 EmDash,并采用 Workers Cache、基于 KV 的 EmDash object cache 以及 Hyperdrive 连接 PlanetScale 的分层缓存架构,静态文件缓存命中率达 99.5%,请求缓存命中率 70%。迁移后 p95 延迟显著下降且曲线平稳,可稳定承载 850 RPS,并成功抵御 28,000 RPS 的 DDoS 攻击。前端同步重构为 Kumo 设计系统,新增暗黑模式、改进订阅表单与导航。发布采用代理 Worker 配合版本 cookie 灰度,从 1% 逐步提升至 100% 流量,实现零宕机切换。文章还介绍了为博客新增 MCP 服务器供 Agent 使用,并指出编辑端仍存在少量体验问题。整个迁移依赖于 Cloudflare 生态,但性能验证、缓存分层和渐进式发布方法具有普遍参考价值。

推荐收录,因为这是一篇典型的工程迁移复盘,包含真实流量数据、性能测试场景、缓存架构设计和灰度发布策略,证据具体且可复用。适合负责内容平台、边缘计算架构或高流量网站迁移的工程师阅读;其分层缓存思路和低风险发布方法可迁移到同类系统。

工程实践Meta Engineering

MTIA 300: Meta’s First Training Chip with Built-in NICs and Communication-Offloading Engines

文章介绍 Meta 自研训练与推理加速器 MTIA 300,它针对推荐排序模型训练中的通信瓶颈,将网络接口直接集成进芯片封装,通过两个包含 6 个 800 Gbps RDMA NIC 的 chiplet 提供 1.2 TB/s 总带宽,避免 PCIe 和 CPU 中介开销。芯片加入 16 个独立消息引擎和近存计算单元,以超过 2.8 TB/s 归约吞吐实现线速 AllReduce/ReduceScatter,与计算网格隔离,并行运行 GEMM 时计算吞吐损失小于 0.5%。通信库 HCCL 与硬件协同设计,采用编译通信模型,将集合通信编译为依赖子图后由消息引擎自主执行,无需主机参与,并支持拓扑感知算法和 PyTorch 接口集成。在生产环境中,1500 亿参数推荐模型跨 40 个加速器训练时,通信时间比等效 GPU 集群快 3.9 倍。文章也讨论了架构对未来推理工作负载的适应性,并指出当前设计主要面向推荐模型。

本文是 Meta 工程团队对其训练芯片的深度技术解析,公开了芯片架构、NIC 集成、通信卸载引擎及 HCCL 编译模型的具体设计和性能数据,直接给出与 GPU 的量化对比(0.5% 干扰、3.9 倍加速)。适合 AI 基础设施、分布式训练、芯片设计与高性能网络方向的工程师和研究者阅读。其通信一体化和软硬件协同设计思路可迁移到其他 AI 加速系统,但性能数据来自厂商自测,需保持一定批判性。

工程实践知乎 - NGINX洪志道

聊聊 NGINX 作者 Igor Sysoev 的遗珠之作:Unit

文章是 Unit 核心维护者对 NGINX Unit 的一手回顾。它指出 Unit 的定位是在 NGINX 之后再向前一步,用统一基础设施直接加载并管理 PHP、Python、Go 等应用进程,把配置变成可通过 REST API 修改的运行时对象树。文章解析了 router 多线程事件循环、任务队列、基于 port 的进程间通信,以及应用进程自动扩缩中对 pending、空闲、就绪和崩溃的生命周期处理。作者结合与 Igor 共事的经历,强调架构控制复杂性的能力,并指出 Unit 因市场定位与生态未闭环而在 2025 年归档。

推荐收录。文章由 Unit 核心维护者撰写,包含真实系统设计细节和一手维护经验,对 router 并发模型、动态配置与进程生命周期有扎实剖析。适合 Web 基础设施、应用服务器和系统设计方向的工程师阅读,可迁移的是对复杂状态和并发边界的工程判断。需要注意项目已停止维护,读者应结合当前生态评估其模式适用性。

技术文章Elastic Security Labs

How a team of entity maintainers monitors, connects and scores entities in Elastic Security

文章由Elastic Security Labs发布,深入解析了Elastic Security中实体分析(Entity Analytics)的实现机制。其核心是Entity Store v2,一种基于ES|QL查询语言和后台维护者(maintainers)架构的实体存储引擎,区别于传统SIEM的平面快照式实体处理。文章详细说明了实体记录的构建流程:通过ES|QL管道将原始事件聚合为实体基记录,再经LOOKUP JOIN合并历史状态;利用确定性实体唯一ID(EUID)和命名空间策略区分身份来源,如身份提供者与本地主机。维护者定期运行,负责建立访问关系、自动/手动身份解析以及累计风险评分,并支持通过API或UI纠正解析错误。文章还提供了自定义数据源接入的ECS字段配置指南,并指出当前扩展方向包括非人类身份(NHI)和动态风险评分。

推荐收录。文章以真实产品为载体,详细拆解了实体解析系统的工程实现,包括ES|QL管道、确定性ID派生、命名空间消歧、维护者调度和可追溯风险评分,技术细节充足且可验证。适合SIEM/安全分析平台开发者、数据工程师和架构师参考;其中的身份解析、增量合并、可纠正状态设计等模式可迁移至通用实体管理场景。唯一需注意的是内容来自厂商官方,可能偏重自家产品特性,但本文的架构分析和数据接入指南仍具长期参考价值。

技术文章TiDB 社区博客 - 技术解读

深度解读TiDB 的 HTAP

本文深度解读 TiDB 的 HTAP 架构,指出其核心并非简单拼凑事务处理与分析,而是通过一套统一架构实现实时性与隔离性兼得。文章以智能工厂为比喻,说明 TiKV 行存储负责高并发 OLTP,TiFlash 列存储负责大规模 OLAP,TiDB Server 通过成本优化器自动选择或混合使用两种引擎。关键机制在于 TiFlash 通过 Raft Learner 协议异步实时复制 TiKV 数据变更,对写入无阻塞,且能提供秒级数据新鲜度和快照级别一致性。作者还介绍了该架构在简化数据链路、实时决策、降本增效方面的实战价值,并列举广发银行、华安基金等案例。文章最后指出 TiDB 的 HTAP 是在实时性、一致性、易用性和混合负载之间寻求平衡,而非单点性能极致。

推荐收录,因为文章系统阐释了 HTAP 的架构设计内核,包括存储引擎分工、Raft Learner 复制机制和一致性保障,技术细节明确且具有可迁移的架构参考价值。适合数据库工程师、架构师以及关注分布式系统设计的技术人员阅读,可帮助理解混合负载场景下的取舍与实现路径。

工程实践Netflix TechBlog

A Tale of Two Flink Autoscalers

文章以 Netflix 30,000 个 Flink 作业为背景,对比自研与 Apache Flink 社区版两套自动扩缩容方案。自研方案基于外部容器级指标,按整个 TaskManager 数量伸缩,适合简单管道,但无法处理多算子有状态 DAG,且指标盲区导致故障难发现。OSS 方案从作业内部估算每个算子的真实处理速率,逐顶点决策并行度,并支持按作业调参。Netflix 将其改造为独立服务,通过 Temporal 为每个作业运行工作流,并解决高并行度指标采集、forward 连接保序、sink 容量限制等问题,同时加入区域故障转移与磁盘容量安全检查。采用 OSS 后某团队年化 Flink 成本降低约 58%,节省约 110 万美元,但为避免抖动将目标利用率设为 0.45。文章还指出状态恢复是剩余主要瓶颈,并总结了指标选择、默认值配置、先采用再扩展等通用经验。

推荐收录,因为本文展示了从自研到开源采用的完整工程决策过程,包含真实数据、架构选型、性能局限和成本收益,而不仅是泛泛的经验总结。适合负责 Flink、流处理平台或自研基础设施的读者,其指标设计、安全检查和迁移策略可迁移到其他高并发有状态系统;风险在于部分改动基于 Netflix 自维护 Flink 分支,条件不同时需评估适用性。

工程实践知乎 - 腾讯技术工程

Token 降本 50%:Harness工作流的成本优化实践

本文是腾讯技术工程团队关于AI Agent工作流Token成本优化的实践复盘。团队使用一个TL加六个子Agent的Harness工作流驱动前后端开发,通过AgentLens量化六类Token消耗来源(系统提示词、工具返回、文件读取、长期记忆、历史消息、用户提示词),提出“只看到当前需要的上下文、减少无关上下文、减少重复上下文”三个原则,并落地渐进式披露、CLI替代MCP、MCP数据获取子Agent化、长期记忆按需索引、单Agent拆分为多Agent、Agent专属配置、代码图谱替代盲搜、稳定前缀设计、rtk压缩CLI输出、工具调用并行化等十项优化。实测主Agent端到端Token从708,783降至315,266(-55.5%),全流程预估降本50%~65%。文章还分享了rtk接入的字段名坑和评估方法论的陷阱,指出大模型执行路径的不确定性使得端到端A/B对比不可靠。该方法适用于以LLM为主的Multi-Agent工作流,但拆分Agent本身有固定开销,需先做规模预判。

推荐收录。文章基于真实业务场景,给出了从成本度量、根因拆解到十项优化方案的完整工程实践,并附有具体降幅数据(如主Agent token降55.5%)和踩坑记录(如rtk字段名不匹配)。适合正在构建Multi-Agent系统或关注LLM成本治理的工程师,其“三原则”和每项优化的适用边界可迁移到类似场景,但需注意Agent拆分和模型选型的局部性。

技术文章matklad

Rust Glancer

文章由rust-analyzer作者撰写,围绕低内存Rust LSP服务Rust Glancer展开,深入反思了rust-analyzer的架构设计。作者认为rowan语法树适合增量编辑,但大多数依赖包只需浅层分析,主张AST应基于数组存储,并对函数体分析采用惰性策略。文中对比IntelliJ的PSI多后端(语法树、stub树、class反编译)与rustc的.rmeta文件,提出类似的分层架构:用户编辑的文件用增量AST,依赖包用紧凑的元数据。还讨论了proc macro展开成本高,可借用Sorbet的shim思路规避,以及LSP数据同步的固有缺陷。最后点明rust-analyzer核心抽象API未完成的问题。这是对IDE工具链架构的深度思考。

推荐收录:作者是rust-analyzer核心开发者,文章直接给出IDE架构的关键权衡,如AST存储、惰性分析、依赖元数据复用,以及对IntelliJ/rustc机制的迁移分析。适合编译器/IDE开发者、编程语言工具链研究者阅读,其“分层源码表示”思路可迁移到其他语言工具。风险是部分观点属个人倾向,需结合工程验证。

工程实践SelectDB 技术分享

15 分钟搭建 PostgreSQL + Apache Iceberg + Apache Doris 的湖仓分析平台 搭建一条 CDC 实时数据同步链路,往往意味着要部署 Kafka、Debezium 等额外组件。有没...

文章以 PostgreSQL + Apache Iceberg + Apache Doris 为例,介绍如何用 OLake 快速搭建端到端的 CDC 湖仓分析链路。作者拆解了各组件角色:OLake 通过读取 PostgreSQL WAL 捕获变更并写入 Iceberg,Doris 作为查询引擎直接读取 Iceberg 表,并给出选择 Doris 的五个理由,包括全向量化执行、支持主流 Catalog、原生处理 Delete File、Time Travel 以及谓词下推和分区裁剪。随后提供完整部署命令和配置步骤,声称在一台小规格 Linux 实例上十几分钟即可跑通。文章还总结了生产环境关键注意事项,如控制文件大小、设计分区策略、定期执行 Snapshot 过期清理与 Compaction,以及按基础设施选择 Catalog。最后列举了业务实时看板、即席分析、SQL 分析平台和历史分析等应用场景。整体方案可快速复现,但 Demo 中使用本地 REST Catalog 属于简化做法,生产高可用与权限体系仍需另行设计。

这篇文章不是简单的产品介绍,而是给出了从组件选型、部署命令到生产调优的完整工程实践路径,其 OLake + Iceberg + Doris 的示例可直接用作实时湖仓链路的前期验证。适合正在评估 CDC 数据同步、开放湖仓架构或希望快速搭建可运行 Demo 的架构师和平台工程师。文章对文件大小、分区、表维护等注意事项的归纳可迁移到其他 Iceberg 湖仓场景,但需注意 OLake 仍属相对年轻的开源项目,并且部分性能结论来自官方或商业方的公开数据,迁移到大生产规模前应做独立验证。

工程实践美团技术团队

美团搜索3.0:LLM 语义表征在排序模型的探索与应用

文章复盘美团搜索3.0在服务零售排序中应用LLM语义表征的三期实践。一期通过特殊Token与注意力掩码生成Query和POI的64维向量,以余弦相似度分桶注入精排,验证可行并显著改善长尾体验。二期构建Query-POI-Deal五元组,结合LoRA微调、MRL-E降维及InfoNCE与Triplet联合对比损失,系统性提升表征质量。三期将表征迁移至下挂精排,解决覆盖率缺口后,用PEPNet门控注入并叠加全域交叉统计特征,进一步提升订单。作者沉淀了难负样本质量决定上限、Embedding Prompt宜精简、迁移需先验证覆盖率等经验,并指出负例质量提升与Semantic ID量化等后续方向。作者也说明结论源于美团特定场景,普适性有待验证。

本文是真实业务三期迭代的完整复盘,包含问题定义、多方案对比、离线在线指标和工程细节(如覆盖率修复、存储优化),对搜索排序、LLM表征应用和推荐系统工程师有直接参考价值。可迁移经验包括难负样本构造、MRL-E多尺度降维、PEPNet门控注入等,同时也指出了阶段局限性。适合作为长期技术参考。

技术文章知乎 - Clouder

Agent World:Agent 不该永远住在 Harness 里

本文围绕 Agent 的自我进化与长期存在方式展开讨论,提出 Agent 不必永远住在同一个 Harness 里,而是可以启动继任者、转移未完成工作与外部关系后退出。作者从 DeepSeek Harness 的可替换 Loop 出发,对比原地热更新与代际更替两种路径,并引用 SICA、DGM、Genesis 等研究说明这种演化方式的可行性。文章进一步论证,当 Agent 可被替换时,连续性必须存在于外部世界:消息、仓库、权限、计算资源等应成为独立基础设施,而非 Agent 的附属工具。作者由此提出由多个局部主权 Domain 构成的 Agent 生态,反对中心化统一平台,强调边界、身份、间歇性唤醒、注意力治理和可观测性等关键问题。全文属于前瞻性系统设计思考,结合现有研究与实践零件,但尚未形成完整实现。

推荐收录。文章不是浅层产品讨论,而是对 Agent 生命周期、身份连续性、基础设施边界和分布式社会形态的系统性思考,提供了从编程到生态的完整推理链。适合从事 Agent 框架、AI 基础设施和分布式系统设计的读者,其中关于继任者模式、Domain 主权和注意力治理的观点具有长期参考价值,可迁移到未来 Agent 平台与协作协议的设计中。

工程实践知乎 - 孔某人

谈AI for math自动证明系统的设计(2)

本文是作者关于AI for math自动证明系统设计的系列第二篇,聚焦于长时间、大规模探索场景下的系统架构与迭代经验。作者指出,在周级至月级探索目标下,通用Agent框架难以满足需求,需要面对B级token成本优化、高并发流水线设计、持续系统迭代等现实约束。文章提出需要权限更大的SystemUpdater角色来替代人工干预,并对比了模型选择,认为GPT系模型适合数学推理任务,而SystemUpdater可选用长上下文模型。作者特别强调,这类单一目标推进系统与有限流程业务不同,卡点和设计问题难以发现,显式的全局任务流转大盘至关重要。全文是个人实践过程中的经验总结,尚未给出完整方案,但提供了可操作的架构思路和迭代方向。

本文针对AI for math自动证明这类前沿探索场景,提出了系统设计中稀缺的真实约束:token成本、并发度、自主迭代与全局可观测性,并非泛泛而谈。适合关注AI工程化、多智能体系统设计或科研自动化探索的读者,其SystemUpdater设计和显式任务大盘思路可直接迁移到其他大规模自主探索系统中,但需注意文章为系列片段,缺乏完整验证结论。

工程实践TiDB 社区博客 - 实践案例

干货分享|杭州银行平凯数据库(TiDB 企业版)核心实践:从架构落地到开发治理的关键经验

文章以杭州银行新一代核心系统采用平凯数据库(TiDB 企业版)替换传统集中式数据库的实践为主线,总结了从架构落地到开发治理的完整经验。作者提出按业务等级差异化设计部署架构:普通系统采用单集群多副本,重要系统采用“3+1 副本”与自动同步复制,核心系统则按“5+1 副本”建设“两地三中心”容灾体系,实现 RPO=0、RTO 不超过 30 秒。在开发治理方面,文章重点说明了数据库对象命名、数据类型映射(如 Oracle 的 Number 与 ZHS16GBK 向 Decimal 与 UTF8MB4 的转换)、索引数量控制、联表数量和事务拆分等规范,并通过自研 DAP 平台将规范嵌入开发测试发布流程,以强控和提醒规则保证执行。文章还提到连接池生命周期配置、慢 SQL 日志关联和常态化巡检等运维治理手段。整体上这是一次金融级分布式数据库国产化的系统实践,但对于小型系统或非金融场景,部分设计可能偏重,需要结合实际业务等级裁剪。

推荐收录,因为文章基于真实金融核心系统上线案例,提供了从部署架构、容灾设计、SQL 规范到平台管控的完整闭环,具有明确的约束条件和取舍逻辑,不是泛泛的产品宣传。适合正在从事分布式数据库选型、迁移或国产化改造的架构师、DBA 和开发管理者参考,其中的分级部署思路、开发规范落地方法和连接池配置策略可迁移到其他数据库工程实践。

工程实践知乎 - SmartCode 得物技术

EP-Harness:从个人 AI Coding 到团队级 Agent 工作流|得物技术

EP-Harness是得物基于开源项目Multica二次开发的团队级Agent工作系统。文章首先指出本地AI Coding在团队化后面临Prompt无审查、经验难沉淀、过程不透明和研发链路未闭环等缺口,进而提出把Agent当作协作成员进行管理的平台化思路。架构上由server、daemon和本地AI编程CLI协作,任务进入Issue体系,并通过Backend.Execute统一各种Agent Runtime的执行契约。文章还归纳了AI Coding从工具使用走向工程系统的四层变化,提出Context Engineering和Loop Engineering作为关键设计理念。落地效果包括多Agent协作闭环、决策追溯,以及自动化修复100+异常日志、治理后日志量降为个位数的实践成果。

推荐收录。本文通过得物实际落地案例,具体展示了从个人AI工具演进到团队级Agent平台的问题定义、架构分层和闭环设计,是稀缺的AI Coding工程化一手实践。对正在构建团队级Agent系统或规划AI研发流程的读者,文中关于任务可追踪、规则可审查、经验可复用的设计思路与量化治理效果,都有直接迁移价值。但文章偏平台概念和结果概述,缺少内部实现细节,读者应结合具体场景验证。

工程实践QuestDB Engineering

Read QWP: QuestDB's own binary wire protocol for ingestion and queries

QuestDB 10.0引入新的二进制列式线协议QWP,用于替代ILP(文本摄取)和PGWire(行式查询)的组合。文章介绍了QWP的设计动机:性能差距(QWP摄取19M行/秒,ILP仅5.3M;查询结果回传220M行/秒)以及单一客户端同时支持读写、DataFrame和Arrow双向传输、内置故障转移的需求。QWP在线上传输类型化列而非行,SYMBOL列字典编码,客户端将批量数据零拷贝映射到Arrow缓冲,但可空列、位压缩时间戳和zstd压缩仍需额外处理。文章还详细说明了多主机故障转移机制(服务器通告角色和区域,客户端路由至主或副本)、存储转发队列(支持磁盘持久化和重放)以及至少一次语义,建议在表上声明DEDUP UPSERT KEYS。作者对比了ILP/PGWire/REST的使用场景,并指出QWP适合新项目和自己编写的客户端,第三方工具仍应使用既有兼容协议。

这是一篇来自QuestDB官方工程博客的技术文章,提供了QWP协议的完整设计细节和基准数据,包括性能对比、柱式格式、Arrow集成、故障转移和存储转发机制,内容有实质深度而非单纯宣传。适合数据库内核开发者、时序数据库用户以及需要设计高性能数据摄入/查询协议的系统工程师阅读。文章中的协议取舍、迁移路径和客户端行为规范具有可迁移价值,但需注意官方立场可能对性能数字偏乐观,读者应结合自身场景验证。

技术文章DuckDB Engineering Blog

A Preview of DuckDB v2.0

DuckDB v2.0预览文章由核心开发者撰写,概述了即将发布的重大版本的主要特性。文章首先介绍了DuckDB作为服务器的新模式,通过Quack协议和CONNECT语句实现客户端/服务器架构,支持远程查询生产数据库。随后重点讲解了VARIANT类型的深化应用,使其能高效处理半结构化数据,并配合一系列variant_*函数。文章还介绍了触发器、丰富SQL方言(如NEAREST连接、CTE内DML、嵌套schema等)、全引擎异步I/O、大量查询性能优化(如重写递归CTE、聚合下推、分区感知规划)、新存储格式、全新PEG解析器,以及用自研实现替代ICU库带来的体积和性能优势。最后强调了稳定C API和自定义扩展仓库,使扩展编写和分发更加便捷。文章以预览形式呈现,强调细节可能在正式发布前调整,并提到部分破坏性变更。

本文是DuckDB官方工程博客的权威技术预览,内容详实,包含具体代码示例、性能基准和设计动机,展示了嵌入式数据库向客户端/服务器模式演进的关键架构决策。适合数据库内核工程师、数据分析平台开发者和对查询引擎优化感兴趣的读者。文中关于异步I/O、存储格式演进和扩展稳定ABI的设计思想具有可迁移性,但需注意各功能为预览状态,正式发布可能调整。

技术文章PlanetScale Blog

What is a data topology?

本文介绍 PlanetScale 分布式数据库 Neki 中的数据拓扑概念。数据拓扑是一个 JSON 配置,将 PostgreSQL 逻辑表映射到物理分片,并为路由器提供查询路由所需信息。文章详细解析其三个构建块:分片索引(支持 hash、modulo、range 三种策略)、分片组(物理分片集合与路由键范围)和数据库绑定(遵循 PostgreSQL 的 database/schema/table 层级)。通过一个按 customer_id 对 customers 表分片的示例,展示了路由键如何计算并落到对应分片。文章还指出数据拓扑不管理物理分片,并在 resharding、表迁移等过程中动态更新。该文是 Neki 内部架构的说明,适用于理解分布式数据库的分片与路由设计。

推荐收录,因为文章以清晰的结构解析了数据拓扑这一分布式数据库关键机制,且来自有大规模运维经验的实际团队,配置抽象与路由策略可迁移到其他分片系统。适合数据库架构师、分布式系统开发者和对 Vitess/PostgreSQL 分片感兴趣的读者。主要风险是内容偏向 Neki 特有实现,但核心概念与分类仍有长期参考价值。

技术文章知乎 - 孔某人

DeepSeek Harness是服务于Agent自主优化Harness的,不是To C/Dev的

DeepSeek Harness 发布后,其基于 Cordis 的动态插件装卸设计引发大量开发者质疑。作者从历史与目标两个角度为该设计辩护:历史路径依赖方面,内核起源于聊天机器人框架 Koishi,且团队负责人崔添翼在量化交易领域见过类似设计;目标方面,作者认为该设计并非面向 C 端或开发者,而是服务于 Agent 自主迭代 Harness 的需求,即让 LLM 在训练或执行中自己动态装卸模块。作者通过与 Claude Code 等应用层框架对比,指出过度抽象对应用层有害,但动态卸载功能恰恰是模型自修改能力的需要,且该功能被标记为 deliberate opt-in。文章由此得出结论:DeepSeek Harness 实际是围绕 DeepSeek 自用研究场景设计的,公开更像是附带行为,营销不佳也符合这一逻辑。全文为推测性分析,缺少内部证据,但为理解该框架的设计动机提供了独特视角。

推荐收录,因为文章提出了一种反直觉但自洽的解读:DeepSeek Harness 的动态插件系统可能是为 Agent 自我优化而生,而非面向开发者。作者从团队历史、量化交易类比和逆向 RL 需求三条线索展开论证,对理解 Agent 框架设计的新方向有独特参考价值。适合对 LLM Agent、自主优化和框架设计取舍感兴趣的读者,其分析思路也可迁移到其他项目设计动机的研判中,但需注意其推测性质。

技术文章Phil Eaton - databases

Let's build a distributed Postgres proof of concept

本文通过约600行Go代码构建了一个分布式Postgres概念验证,解释了CockroachDB背后的核心组件:Postgres线协议、SQL解析、Raft共识和存储层。作者使用pgproto3、pg_query_go、Hashicorp Raft和bbolt,实现了CREATE TABLE、INSERT通过Raft复制到各节点,SELECT在任意节点本地执行。文章演示了多节点启动、通过HTTP手动加入集群、故障切换和重启后数据一致性。同时指出方案仅支持少量SQL、快照被禁用、日志重放效率低、JSON存储不高效,并且只实现了复制而非分片或跨分片事务。这个教程展示了如何将成熟库组合成可运行的分布式系统骨架,适合理解分布式数据库基础结构。

推荐收录,因为文章以可运行代码完整演示了分布式Postgres的核心机制:用Raft复制写操作、本地执行读操作,并明确说明了简化与局限。适合想理解CockroachDB等NewSQL系统底层组成或动手实现分布式数据库原型的读者。其将成熟库组合为可扩展骨架的思路、无快照设计取舍和故障切换验证过程具有可迁移价值,但需注意SQL支持和性能远非生产级。

技术文章Phil Eaton - databases

How do databases execute expressions?

文章调查了 Cockroach、ClickHouse、DuckDB、PostgreSQL、SQLite、MySQL/MariaDB、MongoDB、TiDB 等系统如何执行查询表达式。作者通过阅读核心源码并以控制流函数为判断依据,区分了树遍历解释器、栈/寄存器虚拟机和 JIT 编译三类实现。结论显示多数数据库仍采用树遍历解释器,PostgreSQL 与 SQLite 使用虚拟机,MongoDB SBE 为栈式虚拟机,部分系统支持 JIT;ClickHouse、DuckDB、TiDB、Cockroach 还采用向量化执行。文章认为向量化和 JIT 更契合列存分析负载,事务系统迁移到编译器架构的收益未必显著;局限是结论来自源码阅读,可能存在误判且缺少性能基准。

本文通过大量数据库源码调查,给出了表达式执行模型的一手判断,具有长期技术索引价值。适合数据库内核开发者、查询引擎研究者以及想理解解释器与虚拟机差异的读者。其源码判断方法可直接迁移到其他系统,但需注意结论为静态阅读而非基准验证。

工程实践LinkedIn Engineering - Architecture

Rebuilding messaging: How we designed our new system

文章复盘LinkedIn消息系统从邮件式单体架构到全新架构的设计阶段。旧系统最初使用单一Oracle数据库和分片复制,消息量五年增长四倍后,产品向聊天体验演进但代码复杂度剧增,导致开发效率下降。作者提出产品与工程需求,特别强调迁移自定义业务逻辑需要近60个转换器,并决定将数据持久化拆分到多个服务以独立扩展,同时接受分布式事务代价。团队通过高层架构文档、设定设计原则和赋权技术负责人并行推进,制定正确性优先、构建正确、再求快等原则。文章还总结了迁移策略、异步处理、团队结构和项目组织方面的经验教训,但未深入具体实现细节。

推荐收录:这是LinkedIn真实消息系统重构的工程案例,包含从单体到分片再到新架构的演进、明确需求和设计原则,以及迁移与团队组织的教训。适合架构师、后端工程师和技术负责人参考大型系统重新设计、跨团队协作和数据迁移的可迁移方法。

工程实践LinkedIn Engineering - Architecture

Rebuilding messaging: How we bootstrapped our platform

文章复盘 LinkedIn 重建消息平台时的存量数据迁移过程。旧系统单体且数据非规范化,共享内容与个人元数据冗余存储;新系统改为规范化微服务,将共享消息与个人元数据分离。迁移采用三阶段方案:先双写实时复制新写入,再通过确定性 UUID v5 生成新旧 ID 映射,最后对 17 年快照做 Hadoop ETL、变换和批量上传。文章重点介绍了阴影验证机制、基于 If-Unmodified-Since 避免覆盖在线更新,以及表索引数量影响上传吞吐等经验。整体展示了大规模在线数据迁移中可迁移的架构权衡与实施细节。

推荐收录:文章提供了 LinkedIn 超大规模消息系统数据迁移的完整工程案例,包含三阶段方案、双写一致性、离线变换与阴影验证等具体实践。对负责数据库迁移、分布式一致性和后端架构的读者具有直接参考价值,尤其展示了复杂在线系统零停机迁移的可操作方法。

工程实践LinkedIn Engineering - Architecture

How LinkedIn Is Using Embeddings to Up Its Match Game for Job ...

文章来自 LinkedIn Engineering,系统介绍了利用嵌入检索(EBR)技术提升求职匹配的工程实践。作者首先解释了嵌入和 EBR 的基本概念,及其在搜索和推荐系统中的早期检索阶段作用。随后详细描述了 LinkedIn 为此构建的基础设施组件:支持复合多任务学习的模型训练框架、名为 Feature Cloud 的离线和流式嵌入生成平台、增强的托管搜索系统(包含自动嵌入版本管理和 IVFPQ 等近似最近邻算法),以及基于 Ray Serve 的 Model Cloud 推理图编排。在 Job Search 应用中,团队采用两塔模型和 softmax 损失训练请求与职位嵌入,并通过 Zelda 框架进行 IVFPQ 索引和在线近似搜索。上线后观测到申请数、点击率和成功会话等参与度指标显著提升,同时简化了原有文本检索并降低了 p95 延迟。文章重点在工程架构和实际落地经验,边界是未深入模型理论细节,更多展示系统设计和版本管理方案。

推荐收录,因为这是一篇来自一线大厂的完整工程案例,详细展示了在规模化搜索场景中引入 EBR 的架构设计、模型训练、版本管理和在线服务方案,并给出了明确的业务收益。对搜索引擎、推荐系统、机器学习平台和基础设施团队具有直接参考价值,尤其是嵌入版本一致性管理、流式嵌入生成和复合模型推理编排等实践可以迁移到类似系统中。

工程实践LinkedIn Engineering - Architecture

From Lambda to Lambda-less: Lessons learned

文章记录了 LinkedIn 的 “谁看过你的个人资料” 功能从 Lambda 架构迁移到 Lambda-less 架构的工程实践。原架构以近线 Kafka 处理为速度层、Hadoop MapReduce 为批处理层、Pinot 为服务层,但双管道导致业务逻辑重复、维护成本高和 bug 风险增加。迁移后,团队采用 Samza 作业统一处理 ProfileViewEvent 和 NavigationEvent,移除与流处理重叠的离线逻辑,仅保留一个离线作业将实时数据复制到离线表以优化查询性能和数据保留。文章重点讨论了流式处理中的消息可重处理性与去重策略,包括分场景修复错误、Kafka offset 回退,以及在服务层和通知层去重。最终,该迁移使开发速度翻倍、维护开销减半,并改善了用户体验,为面临类似架构冗余的团队提供了可参考的经验。

推荐收录,因为这是一篇真实的架构演进案例,详细展示了 Lambda 架构的实际痛点、简化决策过程以及流式处理中非幂等问题的应对方法。文中对 Samza、Pinot 的选型理由和去重策略有具体描述,对从事数据管道设计、流/批处理和分布式系统演进的后端工程师极具参考价值。需要注意的是,方案的选择与业务实时性要求紧密相关,直接照搬需评估自身场景。

工程实践LinkedIn Engineering - Architecture

How we reduced latency and cost-to-serve by merging two systems

本文介绍 LinkedIn 将身份服务中的 midtier 和 data service 两层合并为一个服务的实践。原架构中 data service 仅提供数据验证和 Espresso 存储访问,业务逻辑薄弱但维护成本高,且增加网络跳数。团队在保持对外 API 不变的前提下,先将 data service 的 REST API 作为本地库嵌入 midtier,随后通过 T-REX 框架逐步灰度、下线旧服务并清理技术债。性能测试使用 Dark Canary 复制生产流量对比,结果显示 p50、p90、p99 延迟分别降低 14%、6.9%、9.6%,内存分配率下降 28.6%。最终下线整个 data service 集群,节省超过 12000 核和 13000GB 内存。文章强调这是针对特定场景的权衡,并非所有微服务都应合并。

推荐收录,因为文章提供了完整的工程案例:从问题动机、架构决策、灰度实施到性能验证,数据详实。直接证据包括 p50/p90/p99 延迟改善、内存分配下降和资源节省。适合关注微服务粒度、性能优化和成本控制的架构师与后端工程师。可迁移价值在于展示了当数据服务逻辑薄弱时合并服务的考量方法,以及利用灰度发布和流量镜像降低高风险变更的实践。

工程实践LinkedIn Engineering - Architecture

Costwiz: Saving cost for LinkedIn enterprise on Azure

LinkedIn 工程团队开发 Costwiz 以控制 Azure 云成本。系统摄取 Azure Advisor 的优化建议,通过状态机管理工单生命周期,并利用可插拔框架和工作流实现自动化。数据平台基于 ETL 架构,采用 Azure Data Factory、Databricks 和多种存储,支持资源所有权识别与清理沙箱资源。关键设计包括逐级升级机制、所有权识别模块和基于 TTL 的沙箱清理。实践表明,约 36% 的建议资源被回收,沙箱订阅成本占比从 45% 降至 5%。文章还指出,真正的挑战在于推动工程师采取行动而非仅生成建议,并总结了权限识别和数据水印等方案取舍。

推荐收录。文章详细还原了 LinkedIn 在 Azure 上构建 Costwiz 的全过程,包括工作流状态机、可插拔框架、数据平台、资源所有权识别和升级机制,并给出了成本节省的具体数据(沙箱成本从 45% 降至 5%)。其适用于云基础设施团队、SRE 和成本管理人员,其中关于责任落实、自动化清理和渐进式升级的设计具有跨云平台的可迁移价值。

工程实践LinkedIn Engineering - Architecture

Rebuilding messaging: How we built for extensibility

文章是 LinkedIn 工程师对重建消息平台时如何设计可扩展性的复盘。作者首先明确了要解决的问题:保护收件箱质量、成员隐私以及将业务逻辑从平台剥离。文章核心方法是引入插件框架,在消息和会话的生命周期中定义 pre/post 回调(如 conversationPreCreate、messagePreCreate),插件通过注册这些回调并附加自身元数据来实现定制逻辑,平台只负责存储和投递,不解析插件元数据。文中还介绍了插件失败隔离、延迟要求、安全审查和分阶段发布等稳定性措施。作者通过一个邀请功能的例子展示了插件如何快速迭代,并分享了元数据契约设计的一次教训:从允许删除改为只允许增改,以简化插件开发并降低平台风险。文章结论强调可扩展性设计需要前期分析用例、明确原则,并建议用简单和复杂两个试点来验证系统。

推荐收录,因为文章提供了一套可复用的平台扩展性设计方法:插件框架、生命周期回调、元数据隔离和失败隔离,并包含真实的契约设计教训。适合从事平台工程、消息系统或微服务架构设计的工程师参考,文中的原则和权衡可直接迁移到类似需要第三方扩展的系统设计中。

工程实践LinkedIn Engineering - Architecture

Unifying Messaging Experiences across LinkedIn

本文介绍LinkedIn如何通过内部Messenger SDK统一旗舰、Recruiter、Sales Navigator等多个应用的消息体验。文章回顾了后端消息平台的建立,指出前端开发因缺少共享UI和数据层而困难。作者详细说明了SDK架构:API库(messenger-api)提供GraphQL抽象、错误检查和回调接口定制;客户端库(messenger-data)采用事件驱动数据层,包含Store、Mailbox API、Reactive Adapter、Realtime Manager和API连接层,实现本地数据同步和响应式更新。文中以InCareers为例,展示SDK节省40+开发周、代码量降至1/8的收益。最后总结迁移成果并规划可复用UI组件。文章主要呈现LinkedIn内部平台化实践,未深入底层实现或失败教训,但提供了可借鉴的架构思路。

推荐收录,因为文章不是泛泛介绍,而是给出了完整的SDK架构设计、数据同步机制、回调扩展点以及真实项目收益数据。适合架构师、跨平台开发者和平台工程团队参考,其‘薄层应用+平台库’的模式可迁移到多应用共享核心能力的场景,对大型组织统一前端能力和提升开发效率有长期借鉴价值。

工程实践LinkedIn Engineering - Architecture

Navigating the transition: adopting Azure Linux as LinkedIn’s ...

本文复盘了 LinkedIn 将服务器、虚拟机和容器从 CentOS 7 迁移到 Azure Linux 的完整历程,包括动机、规划、实施、挑战和效果。迁移核心动因是 CentOS 7 生命周期结束和业务对现代安全、性能及 AI 功能的需求,同时考虑了成本、合规和供应商支持。实施过程涵盖基础设施准备、容器镜像构建、开发者 VM 改造、配置管理适配和自动化迁移,重点解决了 XFS 文件系统调优、硬件驱动签名和开发者远程环境等难题。迁移后引导时间从1小时缩短至10-30分钟,安全性、部署速度和系统可靠性显著提升,文章还讨论了监控体系升级和反馈闭环。该案例适用于大型企业基础设施现代化场景,文中经验和方法具有可迁移性。

本文提供了大型互联网公司操作系统迁移的第一手工程实践,详细描述了从需求评估、试点到全量迁移的完整路径,包含具体技术挑战和解决方案(如容器镜像兼容、驱动签名、开发者环境),对于负责基础设施升级、云计算平台迁移或 DevOps 实践的工程师极具参考价值。适合企业架构师、SRE、系统管理员和云平台团队借鉴其迁移策略和自动化方法。

工程实践LinkedIn Engineering - Architecture

Journey of next generation control plane for data systems

文章介绍LinkedIn数据基础设施控制平面Nuage的演进,从1.0单体自服务、2.0去中心化SDK到3.0以Nuage Resource Manager为中心的架构。3.0将横向控制平面能力与资源提供方业务逻辑解耦,通过API与数据模型契约、RBAC、搜索缓存、审计、异步工作流等实现统一治理。文中详述客户端交互、请求路由、数据治理与MCE联动、监控告警以及横向服务。并给出性能提升(如Espresso读P90从10秒降至3秒以下)、安全改善和MySQL接入成本降低70%等量化结果。适用边界是LinkedIn内部多平台环境,偏重架构与运营模式,未涉及具体代码实现。

推荐收录,因为文章不是概念介绍,而是完整呈现从单体到去中心化再到集中式资源管理器的工程演进,包含明确的架构约束、安全与性能权衡,以及70%接入成本降低、P90延迟改善等可验证数据。适合平台工程、数据基础设施和SRE团队参考,其资源提供者契约、RBAC、审计与异步工作流设计可迁移到类似控制平面系统,主要风险是LinkedIn内部细节较多,需结合自身规模判断。

工程实践LinkedIn Engineering - Scalability

How LIquid Connects Everything So Our Members Can Do Anything

本文介绍 LinkedIn 自研图数据库 LIquid 如何支撑其经济图谱(2700 亿条边、200 万 QPS)的实时访问。文章以 People You May Know 功能为例,说明从遗留系统 GAIA 迁移到 LIquid 的架构:用声明式 Datalog 查询做图遍历,再由 Venice 和 Pinot 提供特征与排序。迁移后 QPS 从 120 提升到 18000,延迟降到平均 50ms 以下,CPU 降低 3 倍以上,并支持更细粒度、可解释的推荐和快速 A/B 实验。作者也指出当前同质化架构在数据规模扩大时的低效问题,以及未来分层存储与工作负载优化的方向。

文章以真实生产系统为例,提供了从离线批量到实时图查询的完整迁移路径和可量化性能结果,证据具体、架构清晰。适合关注大规模图数据库、实时推荐或高并发基础设施的工程师借鉴,其关于声明式查询、索引优化和成本控制的方法具有跨团队可迁移价值。

工程实践LinkedIn Engineering - Scalability

Introducing Northguard and Xinfra: scalable log storage at Lin...

文章介绍 LinkedIn 为替代 Kafka 而自研的可扩展日志存储系统 Northguard,以及其上的虚拟化发布订阅层 Xinfra。Northguard 通过分段、范围、主题的数据模型,基于 Raft 的动态分片元数据状态机(DS-RSM)和 SWIM 去中心化成员协议实现高可扩展性与可运维性。核心设计是以段为复制单元的日志条带化,自然均衡负载、避免资源倾斜,并论证范围模型相比固定分区能减少流处理中的 shuffle。评测对比显示 Northguard 在元数据可扩展性、集群数量、负载均衡、自愈、一致性和持久性上均优于 Kafka,且通过 Xinfra 虚拟化和双写实现了透明迁移。文章主要面向大规模日志存储和分布式系统工程,技术细节以高层设计为主,缺少底层实现参数和故障恢复的深入展开。

本文来自 LinkedIn 真实生产环境,规模达 32T 记录/天、17PB/天,详细展示了从 Kafka 迁移到自研系统的完整工程决策与权衡,包括数据模型、复制单元选择、元数据分片和虚拟化迁移。适合分布式存储、基础设施和架构师参考,尤其关注日志存储、自动负载均衡和大规模系统演进。其可迁移价值在于以细粒度分段替代整日志复制来改善可运维性和可用性的思路,但读者需注意文章未公开具体实现代码和完整故障处理细节。

工程实践LinkedIn Engineering - Architecture

Open Sourcing iris-message-processor

文章介绍了 LinkedIn 开源的新组件 iris-message-processor,用于替换原有 Iris 事件管理系统中单 leader 的 Python 子进程 iris-sender。旧架构串行处理消息、依赖 Galera 强一致数据库作为消息队列,在高负载下出现延迟激增和复制死锁。新服务用 Go 编写,采用分布式 bucket 动态分配,节点可水平扩展,数据库不再充当队列。压测显示高负载下性能提升约 86 倍,6000 条突发消息处理时间从近 30 分钟降至 10 秒内,节点失效后 30 秒内自动重平衡。该组件已生产运行一年无中断,并与现有 Iris-api 保持兼容,支持渐进式切换。

推荐收录,因为文章提供了从单点瓶颈到分布式架构的完整演进案例,包含明确的问题定位、设计取舍、压测数据和生产验证。对负责高吞吐消息处理、事件驱动系统或 on-call 基础设施的工程师有直接参考价值,特别是水平扩展、去数据库队列和渐进式上线策略可迁移到类似场景。

工程实践LinkedIn Engineering - Scalability

Accelerating LinkedIn’s My Network tab by reducing latency and...

文章复盘了LinkedIn My Network页面加载缓慢和内容跳动的问题,旧架构中移动端与Web端并行请求多个API,独立渲染不同推荐区块,导致首屏等待近两秒并出现UI闪烁。作者团队将多端点统一为单一API并引入分页,把无限滚动的PYMK拆成多个小cohort,预构建后放入缓存,后续按页获取;同时采用渲染模型,由API定义通用banner和内容容器,减少客户端业务逻辑。优化后P90延迟下降43%,成本节省七位数,Web端LCP和FID显著改善,会员参与度提升。文章未深入讨论缓存一致性、失败处理和更复杂个性化场景,但提供了可工程迁移的架构权衡。

推荐收录,因为文章给出了完整的性能优化工程案例:从多端点并行到统一API、分页和预构建缓存,再通过渲染模型简化客户端,并用量化指标验证收益。适合后端、前端及系统设计工程师参考,其中缓存设计、API收敛和渲染模型解耦的思路可直接迁移到类似推荐流或内容聚合页面的优化中。

工程实践LinkedIn Engineering - Scalability

FishDB: a generic retrieval engine for scaling LinkedIn’s feed

文章介绍了 LinkedIn 用 Rust 构建的通用检索引擎 FishDB,替换了运行近十年的 Java 系统 FollowFeed。文章首先分析了旧系统的局限:Java 对象内存开销大、GC 导致高尾延迟、数据模型僵化且业务逻辑耦合,限制了推荐系统的扩展和迭代。随后解释了选择 Rust 的原因,并通过对比实验展示 Rust 在内存效率上的显著优势。FishDB 采用 scatter-gather 架构和 lambda 架构,提供了灵活的命令式查询语言和多种索引结构,包括倒排索引、前向索引、引用索引和基于 RocksDB 的属性存储,以支持图状数据模型和高效过滤排序。迁移采用分层渐进方式,通过 JNI 桥接保持 API 不变,实现了零中断切换,最终取得 2 倍效率、减少 50% 硬件、p99 延迟 40ms 的成果,并将实验周期从数周缩短到数天。文章也指出当前查询语言仍为命令式,未来计划引入声明式语言和向量搜索。

本文是一份高度完整的工程案例,从问题诊断、技术选型、系统架构、索引设计到灰度迁移提供了详实细节和量化结果,展示了如何用内存安全的高性能语言重构大规模检索基础设施。适合负责推荐系统、搜索引擎、分布式存储或性能优化的工程师阅读,可迁移的经验包括内存数据结构设计、Rust 在服务端的应用模式、分层迁移策略以及如何平衡灵活性与性能。

工程实践LinkedIn Engineering - Scalability

Engineering LinkedIn's job ingestion system at scale

本文复盘了LinkedIn职位摄取系统的设计,该系统每日处理数百万职位、超20TB原始数据。文章先梳理异构源、传输协议、安全、数据新鲜度等挑战,再介绍模块化事件驱动流水线和Job Intake、Job Processing Pipeline两大阶段。重点阐述Job Pull的orchestrator与专用Mining Node分离、抽取逻辑配置化、AI辅助Sitemap创建,以及基于START/JOB/END状态机的Mining Task和优先级队列。处理层通过静态/动态Job Field Processor和pre/mid/post三层实现清洗、增强与校验,并通过multiplexing生成衍生职位。文章以配置驱动扩展、上游背压和让用户掌控平台为关键经验,但偏高层架构,未深入具体实现与性能数据。

收录的直接证据在于文章展示了从异构数据摄取到标准化处理再到发布的全链路架构,包括orchestrator/worker分离、配置驱动抽取、优先级队列和动态处理器等可迁移设计。适合分布式系统、数据平台或集成工程师借鉴,尤其对需要快速接入多源数据、控制上游负载和将定制能力下放给非工程团队的系统有启发。风险是偏高层描述,缺少细粒度实现和量化验证,但整体技术深度满足长期参考要求。

工程实践LinkedIn Engineering - Scalability

Modernizing the LDAP and Kerberos infrastructure that secures ...

文章详细介绍了LinkedIn为保障Hadoop集群安全而对其LDAP/Kerberos基础设施进行的现代化改造。旧架构存在单点故障、手工运维繁琐、缺乏测试环境等问题,团队构建了全新的多主复制集群,通过四主节点星型复制、三hub冗余、HAProxy负载均衡和自动故障转移消除了单点故障,并将部署、证书刷新等操作集成到标准部署栈中实现自动化。迁移过程采用先读后写、跨集群复制同步、延迟监控和1分钟TTL的DNS切换,实现了零事故切换和可回滚。文章还说明了GSS-API与负载均衡结合的DNS约束,以及避免双写的一致性考量,适用于大规模分布式系统认证基础设施的演进参考。

推荐收录,因为文章提供了完整的大规模LDAP/Kerberos基础设施迁移案例,包含真实的单点故障痛点、多主复制架构设计、自动化运维改造和零停机迁移方法,证据具体且可迁移。适合负责安全认证、分布式系统高可用或基础设施现代化的工程师参考,特别是面对类似目录服务、Kerberos或负载均衡部署的团队。

工程实践SelectDB 技术分享

秒级弹性、最高降本 70%:SelectDB Serverless 如何重塑云数仓资源效率 阿里云 SelectDB Serverless 可实现资源按需供给与按使用量计费,在负载高峰时补齐资源,...

文章讨论云数仓资源管理中长期存在的矛盾:业务负载波动大,固定规格资源常按峰值锁定,导致平均利用率低;传统存算分离架构弹性慢,扩容伴随缓存预热和数据重分布,容易引发查询延迟抖动。作者提出 SelectDB Serverless 的解决方案,通过计算、缓存、存储三层独立解耦,支持秒级原地纵向伸缩,单集群最高16倍弹性区间,并采用“扩快缩慢”策略——CPU 5秒均值或内存瞬时利用率超过60%触发扩容,CPU与内存同时低于30%且持续1分钟才渐进缩容,同时引入AI辅助决策。文章还给出选型参考:峰谷特征明显、可释放计算资源超过28%时Serverless才具成本优势;纵向弹性有16倍边界,极端场景需横向伸缩约3分钟。内容主要基于产品设计与机制说明,缺少独立用户验证数据。

推荐收录,因为它不只是产品宣传,而是提供了具体的弹性架构设计:三层资源解耦、扩缩容触发阈值、原地纵向伸缩机制和选型成本阈值,对云数仓、Serverless 或弹性架构设计的读者有直接参考价值。可迁移的是“扩快缩慢”的弹性策略和计算/缓存/存储解耦思路;需注意其厂商视角,部分性能数据未经独立验证。

技术文章SelectDB 技术分享

Apache Doris 4.1 Spill to Disk:避免运行内存密集型查询发生 OOM Apache Doris 4.1 的 Spill to Disk 是一套深度融合了内存预留、智能调度、压力感知的现代化...

文章系统解析了 Apache Doris 4.1 的 Spill to Disk 机制,用于避免哈希关联、聚合、排序等内存密集型查询触发 OOM。核心增强包括核心算子全覆盖、递归重分区应对数据倾斜,以及基于内存压力感知的主动落盘触发。文章详细说明了由控制层、算子层、基础设施层和内存管理层组成的统一架构,以及预留、暂停、落盘、恢复四阶段流程。针对 Hash Join、Aggregation、Sort 分别给出了化整为零、临时状态落盘和外部归并排序的具体实现策略。基准测试显示,在单 BE 16GB 内存下运行 TPC-DS 10TB 查询,复杂查询全部完成且内存被控制在 8GB 以内,部分场景落盘数据量超过 1000GB,验证了以磁盘 I/O 换取内存空间的可行性。当前 Intersect/Except 算子暂不支持直接 Spill,需要通过等价 Join 改写。

推荐收录,因为文章不仅介绍功能,还深入解释了内存压力感知、算子级落盘策略和统一架构设计,并给出了可验证的基准测试数据。对从事数据库内核开发、性能调优或超大规模分析查询的读者具有直接参考价值,其“预留-暂停-落盘-恢复”的资源控制方法和外部归并排序等思路也可迁移到其他内存受限的查询引擎中。

工程实践TiDB 社区博客 - 实践案例

稳住大考阅卷高并发!学科网数据库架构的平滑演进与实践

文章复盘学科网阅卷系统从 MySQL 迁移到 TiDB 的实践,背景是业务具有峰谷特征、单机 MySQL 主备集群出现容量与性能瓶颈,同时研发资源有限无法改造代码。作者详细说明选型 TiDB 的关键理由:高度兼容 MySQL 实现零代码迁移、在线 DDL 不阻塞业务、弹性扩缩容适配流量波动、Raft 多副本保证数据强一致。迁移采用分批策略,优先将大表和主从延迟严重的表迁入,收益包括缓解并发压力、消除切换数据不一致风险、节省磁盘空间并避免分库分表改造。文中还总结了扩容规划、小表热点处理、低峰版本升级和索引优化等运维经验。该方案尤其适合教育行业等需要兼容 MySQL 且短时高并发的场景,但需注意跨 AZ 缩容的数据分布和热点小表的处理。

推荐收录,因为文章提供了真实业务约束下的数据库选型、迁移和运维全过程,包含零代码改造、在线 DDL、强一致、扩容规划、小表热点等具体细节,不是泛泛的技术宣传。适合数据库架构师、SRE 以及教育行业技术负责人参考,其“先兼容迁移、争取时间”的平滑演进思路可迁移到其他受限于 MySQL 单机瓶颈且短期无法大改代码的团队。

工程实践JuiceFS 工程技术

GPFS vs. Alluxio vs. JuiceFS: Architecture and Use Cases Compared

本文系统比较了GPFS、Alluxio和JuiceFS三种存储系统在AI工作负载下的架构与适用场景。作者首先梳理了自动驾驶、LLM训练、多模态、计算平台、量化金融和AI代理等场景的I/O特征与存储挑战。随后深入分析GPFS的元节点和分布式令牌锁机制,说明其强一致性与高性能依赖稳定网络和硬件,运维复杂;JuiceFS采用元数据与数据分离架构,结合对象存储实现弹性和成本优势。性能测试显示GPFS在高并发随机读写和顺序写方面领先,JuiceFS在低深度随机读和写回缓存下有竞争力。对Alluxio与JuiceFS的比较则突出透明缓存层与完整文件系统的定位差异。文章来自JuiceFS官方,存在厂商视角,但提供了具体测试数据和架构权衡,适合存储选型参考。

推荐收录,因为文章详细对比三种主流AI存储系统,包含具体性能测试数据和架构机制解析,而非单纯产品宣传。适合从事AI基础设施、存储选型、分布式系统设计的工程师和架构师参考。可迁移价值在于提供了评估存储系统的维度:I/O模式、一致性、缓存策略、成本与运维;主要风险是厂商立场可能对自家产品有所偏重,阅读时需结合独立评估。

工程实践知乎 - SmartCode 得物技术

得物知识问答:复合检索 Agent 的系统设计实践

文章系统介绍得物知识问答产品的复合检索 Agent 设计实践。作者基于 AgentScope 2.0 HarnessAgent,利用 ReAct 循环、Middleware 和并行工具调用,构建多源并行检索流程,融合企业知识库与个人飞书文档、消息、妙记数据,并通过权限注入实现数据隔离。检索质量上,采用查询扩展生成自然语言变体,并设计 FastPass、Reranker、LLM Grading 三阶段过滤 Pipeline,解决向量相似不等于语义相关的问题。系统还支持图片多模态输入、自动模型切换,以及多实例 SSE 断点续传和模型容灾,提升生产可靠性。文章最后总结六个创新点,并展望精细化检索策略和个人知识助手方向;当前方案依赖企业内部知识管理平台和飞书生态,长期记忆能力尚未启用。

推荐收录,因为文章并非泛泛介绍 RAG 套壳,而是给出了基于 AgentScope 的自主决策检索系统完整工程方案,包含多源并行检索、三阶段质量过滤、多模态输入和生产级 SSE 断点续传等关键设计,并附有代码片段和评测结果。对正在构建企业知识问答、Agent 检索或 RAG 工程化系统的读者,文中关于关注点分离、权限隔离和断点续传架构取舍的做法可迁移,但需注意其对 AgentScope 和飞书生态的依赖。

技术文章TiDB 社区博客 - 技术解读

AI Agent 的"大脑记忆":为什么向量+关系+全文检索必须一体化

文章系统讨论 AI Agent 的记忆体系,借鉴认知科学将记忆分为短期、语义和情景三层,并补充全文检索记忆需求。作者批评用 Redis、MySQL、向量库和 Elasticsearch 拼接的方案存在数据一致性、混合查询困难和运维复杂等痛点,提出应在同一数据库内核中原生融合关系、向量和全文检索能力。文章以 TiDB 8.5 为例,展示通过 VECTOR 列、向量索引和全文索引在单条 SQL 中组合结构化过滤、语义检索和关键词匹配的实现方式,并说明平凯云服务的 Serverless 弹性、HTAP 能力和全球部署优势。文章适合关注 Agent 记忆系统、RAG 或数据库选型的开发者,但需注意其官方博客的产品宣传色彩和方案边界。

推荐收录。文章不仅解释了 Agent 记忆的分类和需求,还具体分析了多系统拼接架构的工程痛点,并给出使用 TiDB 原生融合关系、向量和全文检索的 SQL 示例,证据具体、有可操作价值。适合构建有状态 AI Agent、RAG 应用或需要混合检索能力的开发者参考,可迁移架构思路,但需注意其中隐含的厂商推广和 TiDB 特定实现约束。

技术文章LWN.net

[$] KVM planes head for takeoff

本文介绍了KVM社区正在开发的KVM planes功能,旨在为Linux虚拟化系统提供统一的安全域隔离抽象层。随着CPU厂商推出AMD SEV、Intel TDX等多种硬件安全方案,应用开发者面临碎片化困境,KVM planes尝试将虚拟机资源(如CPU、内存)划分为不同planes,利用底层硬件特性但向用户态暴露一致接口。文章讨论了设计目标、关键机制(如嵌套虚拟化支持)以及当前开发进展,指出项目处于早期阶段,需处理多架构兼容与性能权衡,对上游集成尚有大量工作。

该文章深入解析了KVM planes的设计动机与技术要点,来自权威Linux内核技术新闻源LWN,具有长期参考价值。适合关注虚拟化安全、内核抽象层开发的工程师和研究者,其中对异构硬件安全方案统一接口的探索思路可迁移至其他同类系统设计。

工程实践知乎 - 携程技术

Demo 跑通了,上线就翻车?Java Agent 生产的那些坑,我们帮你填了

文章针对Java生态中Agent开发从Demo到生产的断层问题,提出了Spring-Ai-Trip中间层作为Harness,叠加在Spring AI之上,提供渐进式短期记忆压缩、大结果Spill溢出保护、认知层可观测性、工具动态热插拔、并行工具调用等运行时能力。设计遵循叠加而非替代、读写分离、信息渐进降级、默认安全等原则,并通过端到端支付排障案例串联各机制。文中对比了Spring AI、Spring AI Alibaba、AgentScope Java等方案的取舍,给出适用于分布式服务端的记忆管理与运维方案,适合已有Java后端基础设施、需要将Agent稳定落地的团队参考。边界在于强依赖携程内部组件(如QConfig)的适配,但核心架构思路可迁移。

推荐收录。文章不是简单的技巧罗列,而是从Java团队实际生产痛点出发,提出系统化的Agent运行时解决方案,包含可落地的渐进压缩、溢出保护、可观测性等机制,并给出了具体的架构权衡与验证案例。适合从事Agent工程化、后端架构以及将大模型融入现有系统的开发者阅读,其中的设计哲学(如信息不丢弃只降级、读写分离)具有跨框架的参考价值。

工程实践GitHub Engineering

Using the GitHub Copilot SDK for Java

本文介绍 GitHub Copilot SDK for Java,一个不绑定特定框架且支持自带密钥(BYOK)的 Java AI 客户端库。作者以 Jakarta EE 11 房地产线索管理 Agent 为例,详细展示注解式(@CopilotTool)与 Lambda 式工具定义、系统消息定制、Agent 循环(sendAndWait)及事件流处理。重点说明如何通过 Jakarta Concurrency 的 ManagedThreadFactory 创建虚拟线程执行器,确保工具回调携带容器上下文,从而无缝集成 CDI、JPA 和 WebSocket。文章还涵盖生产级关注点,如工具集访问控制与权限策略,但强调当前为预览版,注解 API 需实验性编译标志,且示例中简化了权限校验。整体为 Java 服务端 AI 工程化提供了可复用的集成模式与架构取舍。

推荐收录。本文不是浅层的产品介绍,而是深入展示了 GitHub Copilot SDK 在真实企业 Java 应用中的集成细节,包括工具定义、上下文传播、并发模型与实时事件推送,具有明确的工程参考价值。其模式与约束(如虚拟线程执行器、工具集控制)可直接迁移到其他 Java 服务端 AI 集成场景,尤其适合追求框架中立和供应商中立的开发者。

技术文章知乎 - 苏剑林

简单谈谈K3的MoE和Attention

文章由苏剑林撰写,深入解析了K3模型在MoE和Attention上的设计思路与取舍。在MoE部分,作者提出Stable LatentMoE,通过SiTU‑GLU激活和关键位置的RMS Norm解决LatentMoE的稳定性问题,并引入QB分位数平衡策略,以低通信的分bin方法实现大规模专家负载均衡。在Attention部分,作者论证了在训练成本、KV Cache大小和Decoding计算量的多约束下,MLA仍是对效果与效率平衡良好的选择,结合KDA后更是可以移除RoPE,形成NoPE方案。文章还对比了DSV4的Attention设计,指出其本质是对MLA思想的极致推广而非抛弃。全文以效果、效率与稳定性的协调为主线,提供了多项有实验支撑的架构决策参考。

本文为知名研究者苏剑林对K3模型架构的深度解读,详细阐释了MoE稳定化、负载均衡和Attention选型等关键设计,并给出了明确的动机、实验依据和边界分析。适合大模型架构师、研究人员以及对大规模训练优化感兴趣的工程师,其关于训练稳定性、计算‑存储权衡和混合架构设计的方法论具有很强的可迁移价值。

工程实践知乎 - 腾讯技术工程

10万+Skill 背后:腾讯SkillHub如何帮用户找到真正好用的那20%

文章深度复盘了腾讯SkillHub平台在治理10万+AI Skills时的实践,重点解决高质量Skill发现与分发难题。作者提出TRACE质量评测体系,从可信任度、可靠性、适用性、规范性和有效性五个维度进行静态分析,并构建了并行评测流水线、内存级加载和可追踪任务系统以支撑大规模评估。随后通过云端隔离运行环境验证Skill真实执行效果,并沉淀可展示的效果案例。在分发侧,平台结合评测分数与用户行为设计推荐、飙升、下载等多维榜单,建立受控分类标签体系以降低用户筛选成本。最后,文章展示了面向Agent的find skill策略,让AI能自动理解任务意图并匹配Skill,完成从人到机器的能力索引闭环。整套体系以“信任与分发基础设施”为核心,平衡消费者、创作者与平台利益,但仍在持续迭代,依赖特定Agent生态。

推荐收录,因为它不是泛泛介绍,而是完整复盘了从质量评测、运行验证到分发治理的真实工程链条,包含并行架构、隔离环境、榜单设计等可迁移方法。对从事AI平台、内容治理或Agent系统设计的读者来说,文中TRACE框架、运行环境构建和Agent可用的find skill策略可直接启发类似系统建设,但需注意其生态依赖性。

工程实践TiDB 社区博客 - 实践案例

15秒切换、零数据丢失!永康卫健委用平凯数据库(TiDB企业版)物理复制筑牢全民健康平台"生命线"

文章记录了永康市卫健委全民健康平台为解决业务高峰负载过高与容灾需求,采用平凯数据库物理复制能力进行架构改造的实践。改造将主集群专注核心事务,备集群承担报表查询等读操作和容灾角色,实现读写分离。上线后故障切换低于15秒且数据零丢失,系统负载下降,运维操作秒级完成。文章解释了物理复制基于日志实时同步所有数据库对象,支持最大保护、最大可用、最大性能三种模式,并与 TiCDC 逻辑复制对比,指出物理复制适合集群级容灾和读写分离,逻辑复制适合异构同步与数据管道。实际指标依赖网络拓扑和负载,且相关能力仍在演进。

推荐收录,因为文章提供了真实医疗场景下的数据库高可用与读写分离改造案例,包含明确的问题定义、技术选型依据、实施效果和方案对比。适合关注核心系统容灾、分布式数据库选型或架构优化的读者。可迁移价值在于展示了物理复制在强一致需求下的应用边界,但需注意厂商案例可能带有一定推广成分。

工程实践知乎 - 孔某人

中型探索任务的MultiAgent架构设计漫谈(1)

文章分享了作者在构建Multi-Agent系统进行中型数学探索任务时的架构设计经验,重点涵盖Token成本优化、可并发度瓶颈分析与Worker拆分、系统迭代的持续需求与独立升级Agent设计、详细的角色划分(Merger、TaskCreater、TaskWorker、TaskReviewer、SystemUpdater、UserInterface、Reporter、Critic)、高层视角隔离以及全局状态与消息通讯的工程实现。文中还讨论了基于GitHub Issue的方案受限于性能和非结构化问题,进而转向专用全局状态Server,并介绍了Controller模型内部Master-Worker架构以隔离上下文。作者指出整个方案仍较复杂,需较长时间试运行和打磨,但提供了丰富的工程决策依据和迁移价值。

推荐收录,因为文章从真实工程探索出发,系统性地分析了Multi-Agent系统设计中的成本控制、并发瓶颈、角色分工、系统迭代和全局状态管理等关键问题,给出了具体可迁移的架构思路和教训,适合对Agent系统设计、AI工程化及复杂系统迭代有深入需求的读者参考。

工程实践Netflix TechBlog

How and Why Netflix Built a Real-Time Distributed Graph: Part 3 — Querying the graph with gRPC…

本文详细介绍了Netflix实时分布式图(RDG)的查询服务层设计,阐述如何在高吞吐、低延迟要求下高效查询包含数十亿节点和边的图。文章首先分析了浅宽与深窄两类查询场景的挑战,随后说明广度优先遍历、异步优先架构、选择性缓存等关键设计决策及其取舍。接着以具体查询为例,逐步展示请求解析、存储读取、层次化遍历、并行执行、智能过滤和缓存等环节的实现与优化。最后给出系统性能指标(P50/P99延迟、缓存命中率)和经验总结,强调前沿思维、尽早过滤、有界并行和缓存策略等通用原则。其方法适用于高并发、IO密集型的分布式图查询系统,但一致性模型为最终一致,且依赖特定内部存储。

本文是Netflix技术博客的深度工程案例,展示了在真实约束下构建高性能图查询层的完整思考过程,包含具体的设计权衡、量化效果和可迁移原则。适合分布式系统工程师、架构师以及需要处理图数据查询的开发者参考。文中的广度优先遍历策略、异步执行模型和智能缓存方法可直接应用于类似的大规模在线服务场景,有效降低延迟和资源消耗。

工程实践知乎 - 携程技术

200G内存尖峰、数十万Pod迁移:携程Karmada规模化治理实录

文章系统回顾了携程从Kubefed到Karmada的多集群治理演进,重点围绕架构选择、生产落地和规模化优化展开。核心方法是在联邦层保留低频全局能力(资源分发、策略表达、跨集群迁移),将高频局部能力(实时扩缩容、流量切换)留在成员集群,并通过权重驱动的状态机实现数十万Pod的平滑跨集群迁移。文中详细分析了Karmada控制面在几十万级资源规模下遇到的高频状态同步、启动延迟和200G内存尖峰等问题,以及通过折叠Work、降低更新频率、分批对账、watch list等优化手段。适用边界是交易型业务的Kubernetes多集群场景,强调联邦控制面不应成为运行时强依赖。

本文是来自携程生产一线的深度工程案例,不仅解释了为什么从Kubefed切换到Karmada,更给出了清晰的架构原则、迁移机制和规模化治理细节。文中200G内存尖峰、每秒数百次Work更新导致409冲突等具体数据有很强说服力,优化思路可直接指导类似场景。适合云原生平台团队、SRE和架构师参考,可迁移的职责边界划分和控制面优化方法在多集群治理领域有长期参考价值。

工程实践Cloudflare Blog

Introducing Radar Researcher: An AI tool for exploring Internet data in plain language

本文介绍了 Cloudflare Radar 新推出的 AI 工具 Radar Researcher,它允许用户用自然语言查询全局互联网数据,自动生成交互式图表并给出解释。文章详细说明了构建动机(降低非技术用户门槛、加速记者和工程师的数据获取)、系统架构(基于 Cloudflare Workers 和 Durable Objects,使用 Workers AI 运行开源模型并实现多模型回退,通过 MCP 服务器和 Code Mode 让 Agent 动态发现并调用 Radar API),以及关键技术决策(用轻量图表规约替代让模型直接生成数字,保证数据精确性和可视化一致性)。此外,还介绍了 WebMCP 支持,使网站成为 Agent 友好型。该工具目前处于 Beta 阶段,适用于网络流量分析、中断调查等场景,但依赖 LLM 的推理准确性且仅限 Radar 数据集。

推荐收录。本文提供了将 LLM 与数据 API 集成的一种可参考架构:通过 MCP 动态发现接口、用规约化图表渲染避免模型篡改数据、以及多模型回退保障可用性。这些设计模式对构建 AI 辅助数据分析工具的工程师有直接迁移价值,也展示了如何为网站添加 Agent 兼容能力。

工程实践知乎 - 腾讯技术工程

从胡言乱语到精准改代码:我是如何让 AI 读懂老项目的

文章以一个小程序教育平台的重构实践为例,系统阐述了如何通过AI上下文工程将历史债务沉重的项目转变为AI可维护的项目。核心路径包括:从AGENTS.md构建静态上下文索引,移除不再运行的死代码做减法,简化过度设计的架构(如将OT协同降级为HTTP同步),制定页面布局、组件与交互规范约束边界,搭建单测、E2E及视觉回归自动化测试流水线并嵌入MR检查,最终将债务治理融入日常迭代。文章详细记录了每一步中AI角色的变化与引导方法,展示了从AI频繁误判到能主导方案落地的过程,并指出关键在于持续沉淀可复用的上下文知识而非一次性建设。

本文提供了将AI嵌入遗留系统重构的完整案例,覆盖上下文建设、架构简化、规范制定和自动化质量门禁等环节,实操性强。文中拆解的步骤与AI引导策略可直接迁移至其他需要历史债务治理的工程场景,适合希望提升团队工程效能与AI融合度的开发者及技术管理者参考。

技术文章知乎 - 鹅厂架构师

能 1 小时用 AI 做出产品了,能 1 小时让 500 人用上吗?

文章系统探讨了AI大幅降低产品开发门槛后,如何高效将产品分发给用户。作者回顾了App Store和抖音的历史,指出每次创作平权后稀缺性从“创造”转向“发现”,而AI时代的分发将不会是传统的应用商店。通过分析OpenAI两次失败的尝试和当前的技术探索,文章提出未来分发平台将形成“部署即服务”“任务即调用”“内容即发现”的三层结构,每一层都在收各自的“过路费”。文章还指出,监管正从管模型转向管分发,对平台加码,而分发本质是信任问题,最可能从已积累信任的内容社区演化出分发能力。结论为:下一个分发平台不会叫应用商店,但会收取以信任和治理为代价的过路费。

推荐收录,因为文章以历史规律和实际案例(OpenAI的失败)为基础,对AI分发这一新兴议题提供了结构化和有借鉴意义的分析。文中提出的三层结构和对信任机制的强调,能为从事AI产品开发、平台设计和投资决策的读者提供长期参考,其分析框架可迁移到类似技术变革期的分发策略思考。

工程实践Cloudflare Blog

Introducing Kitesurf: The agent-first browser that runs in V8 isolates on Cloudflare Workers

Cloudflare推出Kitesurf,专为AI代理设计的轻量浏览器,运行于Cloudflare Workers的V8隔离环境中。文章阐述了为何需要新浏览器:传统Chromium对代理而言资源开销大,而代理更关注令牌数、上下文窗口和成本。团队采用Rust编译为WebAssembly、借助Web Platform Tests驱动开发、强调组件隔离与无状态设计。整体架构分为Engine处理CDP/HTTP、PageScript利用动态Worker解析HTML/CSS/JS、PageRenderer光栅化生成截图。性能上比Chromium节省3-7倍内存和CPU,但渲染速度慢1.7倍。当前兼容性有限,不支持视频和WebGL,适合一次性截图、PDF生成等简单任务。项目仅12周,开源在即。

推荐收录,因为文章并非产品发布,而是深入的技术工程案例,详尽阐述了为AI代理构建轻量浏览器的设计决策、架构实现和性能权衡。适合从事浏览器、AI代理或边缘计算基础设施的工程师阅读,其中的隔离、无状态设计与WPT测试驱动开发方法可迁移到类似复杂系统的构建中。但需注意项目尚处早期,兼容性有限。

技术文章Cloudflare Blog

Building an open Agentic Internet: readable, discoverable, callable, and payable

文章提出“代理互联网”愿景,将AI代理视为网站的新型访问者,围绕可读、可发现、可调用、可支付四个特性构建开放基础设施。作者分析了传统网络对代理的不适应性,如重复抓取、广告模型失效,并阐述了Cloudflare提供的技术组件:Markdown for Agents和Kitesurf浏览器实现高效读取,AI搜索和AEO优化发现,WebMCP和Code Mode支持直接调用页面功能,x402协议和钱包机制处理支付。文章强调身份认证(Web Bot Auth、PACT)和开放标准的重要性,旨在让域名所有者自主选择对代理的接纳与付费规则,避免互联网封闭。内容偏重架构设计理念,未涉及具体实现细节,但为开发者和架构师理解代理时代的网络基础设施提供了方向性参考。

该文章勾勒了AI代理与互联网融合的底层架构蓝图,提出的“可读、可发现、可调用、可支付”框架切中当前代理生态的关键需求,对构建开放、互操作的Web服务具有长远参考意义。适合关注Web基础设施、AI工程化和分布式系统的开发者与架构师了解前沿趋势和设计模式,虽然缺乏代码级细节,但其概念模型可迁移至实际系统设计中。

工程实践知乎 - 千问云

AI Native 下的混沌工程:Agent 军团如何重新定义系统韧性验证

本文分享了在专有云IaaS场景下,将混沌工程从依赖专家的一次性专项演练升级为AI Native平台能力的完整实践。核心设计采用九种Agent分层的多智能体架构,通过共享黑板实现Agent间解耦,并由三道递进式安全闸门保障注入安全;同时引入经验反馈回路与AI飞轮回路,使用例知识和编排策略持续自进化。平台实现了全链路AI驱动的韧性验证:从注入、观测、诊断到报告和工单闭环,人仅需触发与确认。实战数据显示单次验证闭环从数天压缩至40余分钟,人力投入从专职SRE降至0.1人,并已发现多条产品稳定性缺陷。该方案适用于需要高频、自动化可靠性验证的复杂基础设施场景,但对组织协作和产品Agent接入有一定要求。

本文提供了端到端的AI驱动混沌工程平台建设案例,详细阐述了多Agent架构、安全控制、进化回路和标准接入机制,而非泛泛的概念介绍。其分层解耦、黑板通信、双进化回路等设计具有较高的可迁移价值,适合SRE、平台工程师和架构师参考,用于建设或改进系统韧性验证体系。

工程实践知乎 - SmartCode 得物技术

实战从零开始构建一个Coding Agent:Violin |得物技术

文章以从零构建Coding Agent 'Violin' 为主线,系统剖析了Agent的架构设计、核心循环、模型适配、工具系统、会话管理、上下文压缩、资源加载、事件通信和插件扩展等关键组件。作者借鉴Pi的三层分离思想,用Zig实现高性能引擎、Python搭建交互客户端,通过TCP+JSON Lines协议解耦前后端,并详细讨论了Agent Loop'问模型-执行工具'的底层原理及其在各种功能中的扩展方式。文章同时指出了该玩具项目当前的不足(如工具定义未序列化、插件无权限隔离),但强调其核心价值在于验证'理解一个coding agent就能理解所有agent'这一判断。整体展现了深度工程实现、语言选型权衡和可迁移的设计模式,为AI工程化实践提供了扎实的参考。

推荐收录,因为文章不是泛泛介绍AI agent概念,而是深入到代码级实现,包括Zig/Python语言分工、TCP通信协议设计、EventBus事件驱动和Lua插件系统等工程细节,完整呈现了从架构到落地的过程。对正在设计或实现自定义AI agent的工程师、以及对Agent内部机制有深度兴趣的读者来说,文中的分层解耦思想、循环控制模式和资源管理方法具有直接的可迁移价值。

工程实践Xe Iaso

SigV4 authentication is surprisingly complicated

文章以 Tigris 对象存储实现 AWS SigV4 鉴权协议的过程为线索,详细拆解了签名机制表面简单实则复杂的本质。核心方法包括请求规范化、基于 HMAC-SHA256 的四层密钥派生链,以及利用 X-Amz-Date 和时钟偏差窗口抵御重放攻击。重点介绍了 TAG 本地加速网关如何通过派生签名密钥的代理机制,在不持有完整客户秘钥的情况下完成鉴权,从而避免每次请求都回源云服务。文章还讨论了 SigV4a 不对称加密方案与时钟同步、TLS 依赖性等边界条件,揭示了协议设计中被忽视的中间值作用域和工程权衡。

本文不是简单的协议教程,而是基于真实工程案例的深度技术挖掘。它从规范文档到代码实现,再到生产级缓存网关的密钥代理设计,完整展示了面对对称密钥鉴权时的复杂性思考和折中方案。适合从事 API 设计、安全鉴权、云存储或本地加速网关开发的后端工程师与系统设计者,文中关于派生密钥作用域限制和协议弹性的设计思想可直接迁移到类似分布式鉴权场景。

工程实践Meta Engineering

From User Sequences to Scaling Laws: A Multi-Stage Architecture for Meta’s Ads Ranking

本文介绍了 Meta 广告排序系统在大规模序列学习上的两项架构创新:多阶段序列模型将计算密集的离线用户建模与对延迟敏感的在线排序解耦,通过异步处理长用户历史并缓存嵌入,在不线性增加服务资源的前提下提升模型容量;密集 tokenization 和目标感知多头注意力让模型直接从数据中学习稀疏特征与行为序列的交互,取代手动特征工程。该设计带来了可预测的 LLM 式扩展规律,即性能随计算量呈对数线性增长,并总结出模型形状平衡、多阶段可调性、序列组成多样性和语义特征表征四个扩展杠杆。文章给出了在 Instagram 和 Facebook 上的转化率与点击率提升数据,并指出该架构已作为 GEM 模型的核心组件,可泛化至各类广告排序任务。

推荐收录,因为文章不仅公开了关键技术细节(离线/在线解耦、密集 tokenization、目标感知注意力),还系统论证了在广告推荐领域建立起可预测扩展规律的方法与实验证据。对于推荐系统、广告架构及大规模模型服务的工程师和研究者,文中分离建模阶段以平衡复杂度与延迟的思路具有很强的可迁移性,而扩展规律的识别路径可为探索其他大规模机器学习系统提供参考。

工程实践Salesforce Engineering

How Salesforce Eliminated Single-Region Risk and Reduced Downtime Blast Radius at 4B Metrics/Min

Salesforce内部可观测平台Argus需处理每分钟40亿指标,原单区域架构导致全局可用性风险及高昂的数据传输成本。团队采用地理本地化策略,将指标就近处理和存储,避免全量复制,并通过联盟查询层与Elasticsearch元数据映射实现智能路由,仅查询数据所在区域,减少跨区域开销。同时引入HTTP 206部分响应和UI提示来处理部分地域不可用,保障用户体验。文章还介绍了通配符查询的元数据缓存优化,以及持续容量规划和架构审查来维持隔离边界。该方案已在五个生产区域中的四个上线,显著降低爆炸半径,但跨区域延迟和流量成本仍为后续关注点。

这篇工程案例详实记录了如何将单区域可观测平台迁移到多地理架构,解决全局不可用风险并控制成本,包含查询联邦、部分失败处理和元数据缓存等关键设计,为构建高可靠、大规模可观测系统的团队提供了可复用的架构思路和实践参考。

技术文章Cloudflare Blog

The Agent Access Model

本文提出一种面向AI Agent的访问控制模型AAM,旨在将BeyondCorp的零信任思想从人类用户扩展到软件代理。文章分析了Agent的四个特性(凭证与任务寿命不匹配、机器速度、提示不可靠、多跳组合权限)导致现有控制失效,并围绕“不信任任务运行,针对任务及其累积状态授权每个动作”这一核心规则,阐述了AAM的五个原则:短期绑定凭证、在工具层和网络层实施策略、例外的人工审批、基于证据的授权审查、单向收紧能力的信任棘轮。文章给出了包括身份代理、任务范围访问引擎、中介层、信任棘轮、授权审查循环和活动日志的参考架构,并通过数据防泄露示例展示其工作方式,最后讨论了多人访问控制的开放难题。模型强调执行约束而非模型自身,适用于有数据库、API等系统记录访问需求的Agent部署场景。

文章系统性提出了适用于AI Agent的访问控制模型,填补了现有零信任架构在软件代理场景的空白。其原理清晰、架构具体、边界明确,对安全架构师、平台工程和AI工程团队具有直接指导和可迁移价值。尤其适合正在部署Agent的企业参考,帮助设计最小权限、防泄露和可审计的控制面。

工程实践Cloudflare Blog

WriteGuard: fine-grained controls for MCP Servers

文章介绍了 Cloudflare 为应对 AI 智能体写操作失控风险而构建的 WriteGuard 系统。WriteGuard 作为 MCP 服务器与下游应用之间的共享策略、归因和审计层,通过工具配置将操作分为 READ_ONLY、CONTAINED_WRITE、CRITICAL 三个风险等级,支持按工具启用/禁用、注入智能体身份标签并生成异步审计事件,无需修改 MCP 服务器代码。结合 Cloudflare Access 的人类身份模型,WriteGuard 允许智能体沿用用户权限,同时为写操作添加可追溯的智能体上下文,实现集中化的控制与可视性。文章以 GitLab 工具为例说明了不同风险等级的处理流程,并指出该设计可跨多个 MCP 服务器统一复用。当前方案基于 Cloudflare 内部基础设施,并通过私有测试版向外部提供,其风险模型和归因格式仍有待不同组织验证。

推荐收录,因为文章详细介绍了在真实 AI 代理工程中解决写操作失控问题的架构方案,包括工具风险分级、归因注入和集中审计等可迁移实践。对于正在构建 Agent 系统或 MCP 服务的工程师和架构师,文中的设计权衡和分层控制思路可直接参考,帮助在扩展 Agent 写能力的同时保持可见性和安全性。

工程实践Cloudflare Blog

Cloudflare OS: an open platform for agents, apps, and work

Cloudflare 推出开源平台 Cloudflare OS,用于构建企业内部的智能代理、应用和工作流。平台核心由三部分构成:代理工作区、安全治理框架和个人可定制应用。代理工作区集成公司上下文与技能,在隔离运行时中编写并执行代码;安全框架通过 Gatekeepers 和资源观察日志实现细粒度的资源访问控制与机密数据防泄漏;应用以 Dynamic Worker 和 Durable Object Facet 运行,使用 Cap’n Web RPC 通信。文章分享了从内部版本获得的经验,包括协作场景下的授权挑战和架构重建,并说明了模型路由、成本控制以及与 MCP 服务器的集成方式。适用边界在于整个平台深度绑定 Cloudflare 基础设施,直接迁移到其他环境需要额外工程。

文章不是空洞的产品发布,而是详细阐述了面向代理的平台安全设计如何解决凭证扩散、跨资源信息泄露等真实工程问题。提出的 Gatekeeper 模式、观测日志与策略联动、基于能力的访问控制,对于构建企业级 AI 代理系统的架构师和安全工程师具有直接参考价值,其思想可迁移到其他云平台或自建系统。

工程实践Trail of Bits Blog

A few notes on AWS Nitro Enclaves: KMS integration

文章系统分析了AWS Nitro Enclaves与KMS集成时的安全威胁与防护策略。作者从被动攻击和主动攻击两个维度出发,详细梳理了数据交换攻击、CMK替换、重放攻击等具体场景,并给出了包含加密上下文、密钥承诺、CMK硬编码、TLS通道等在内的防护检查清单。此外,文章还讨论了KMS策略配置的常见错误、PCR绑定方法、端到端验证的挑战以及操作层面的风险(如密钥轮换、区域性故障、计费问题)。文末指出AWS官方SDK存在漏洞,并建议替代方案。整体内容根植于真实工程约束,但部分防护依赖于AWS内部实现细节,不完全适用于非AWS环境。

推荐收录,因为文章不是浅层介绍,而是对Nitro Enclaves与KMS结合时的攻击面进行了系统性威胁分类,并提供了可落地的安全检查清单。内容来自专业安全公司,具有较高的工程参考价值,适合从事云安全、机密计算或基础设施安全的工程师阅读。其威胁建模方法和防护清单设计思路可迁移到其他TEE或云服务安全评估中。

技术文章知乎 - 携程技术

AI专栏 | 上下文越多,Agent 越笨?开源框架 Flow2Spec 给出另一种答案

本文介绍开源框架 Flow2Spec,针对 AI Agent 在大型项目中上下文膨胀、遗忘规则的问题,提出将项目知识构建为可路由、可依赖、可验证的知识图谱。核心设计包括基于 manifest-routing.json 的路由协议、渐进式匹配-展开-验证-执行读取模型、主题间显式依赖声明、意图识别自动分流,以及与开发闭环深度集成的知识同步、补充和提交前检查机制。框架通过 f2s-kb-sync、f2s-kb-distill 等命令让知识在需求澄清、方案设计、代码实现、修复和提交过程中持续沉淀,并支持多 Agent 校验、变更追踪和路由升级。文章强调知识库不是一次性文档,而是随代码演进的生命体。适用场景为中大型长期项目,不适合极小型或一次性脚本。

推荐收录,因为文章不局限于工具说明,而是系统阐述了 AI Agent 上下文管理的工程化思路:从被动记忆转向主动路由与知识反哺。它提供了清晰的知识库接口协议、渐进式读取流程、依赖处理与验证闭环设计,对需要在大型项目中落地 Agent 工程的读者具有直接参考价值。适合关注 AI 编程工具、Agent 架构和开发者效率的工程师,其路由和反哺机制可迁移至类似上下文管理方案。

工程实践ClickHouse Engineering

Fixed cadence to seconds: making ClickHouse Cloud autoscaling more reactive

文章复盘 ClickHouse Cloud 如何把自动扩缩容推荐服务从固定定时轮询改造成秒级反应式架构。原实现按固定节奏扫描全部服务,导致周期之间发生 OOM 或负载突增时必须等到下一次 tick 才能扩容,问题本质是延迟而非推荐逻辑错误。作者复用 Kubernetes 生态的 controller-runtime 作为通用事件处理引擎,把周期性扫描与反应式快路径都抽象为 source,统一投递到带键去重、指数退避和并发上限的工作队列,由同一个幂等 reconcile 函数产出推荐,因此无需自研触发协调机制。反应式信号以事件行写入 ClickHouse 专用小表,由物化视图在写入时过滤越阈指标,source 每几秒执行一次五分钟窗口查询,使关键事件在数秒内触发扩容;周期性全量扫描仍保留作为安全网与缩容兜底。文章也明确边界:工作队列仅存在于单进程内存,无持久化与重放,它是电平触发的 reconcile 引擎而非流处理器,不支持事件时间窗口、join 或跨事件聚合,轮询间隔构成反应速度下限;若未来需要保证投递、严格顺序或状态化窗口关联,应迁移到流式平台。

推荐收录:文章给出完整的问题定义、架构改造路径和可复现的 Go 与 SQL 片段,把“用 controller-runtime 当通用事件引擎、用 ClickHouse 存反应式信号”这一非显然选择连同去重、退避、并发控制的收益讲清楚。对做自动扩缩容、Kubernetes 控制器或实时信号管道的工程师有直接迁移价值;同时明确标注内存队列无持久化、轮询间隔是延迟下限等约束,避免读者误用。

工程实践知乎 - 腾讯技术工程

腾讯Omega:下一代“AI BI”的答案?

文章深度复盘了腾讯 Omega AI BI 系统从理念到落地的完整过程。针对传统 BI 操作门槛高、ChatBI 仅能完成单次查询的局限,Omega 将 AI 重建为分析工作的协作体:由 LLM 规划指标、组织页面并生成 HTML,同时通过 QueryRegistry 数据契约和 DTBridge 运行时解耦数据查询与界面,实现页面与真实数据的持续联动。文章详细阐述了指标证据链构建、语义模型接入、筛选器依赖图、多层安全防护、运行时契约(有界、可取消、可观测、可自纠)等关键设计,并分享了模型幻觉、慢查询误杀、成本权衡等真实事故与应对。结论强调 AI 生成页面仅是第一层,系统化地保证页面第二天仍可用、分析可延续、Agent 出错可体面恢复才是产品化的核心,适用于拥有数据底座且具备一定治理水平的企业场景。

本文是一份高质量的工程复盘,不是泛泛的产品介绍,而是细致拆解了 AI BI 系统从原型到可生产产品的核心矛盾与解决方案。对负责 AI 产品化、数据工程、系统架构或安全设计的读者有极强的可迁移价值,尤其在如何用确定性系统约束 AI、如何保证数据查询与界面长期可靠联动方面提供了可复用的模式。

工程实践知乎 - 鹅厂架构师

从0到1搭建 AI Agent 可操作的团队知识管理体系

文章记录了腾讯云团队从0到1搭建AI Agent可操作的团队知识管理体系的完整工程实践。团队借鉴外部知识沉淀思路,结合自身小型团队和通用AI工具的特点,设计了一套四层知识库(L0团队约定、L1通用技术、L2业务专属、L3项目索引)、四种知识条目类型(guideline/pitfall/pattern/decision)和三级成熟度(draft/verified/proven)的体系,并通过Git仓库实现版本管理。实施过程覆盖了冷启动时的人工高质量提炼、AI Skill的渐进式开发(检索/沉淀/更新)、项目仓库的轻量注册以及Rule触发提醒。文章详细阐述了为何选择独立知识仓库、动态目录扫描、用户确认式沉淀等核心决策,并展示了任务执行中知识自动注入和事后沉淀的闭环效果。当前工作适用于小型团队和通用AI编码工具场景,大规模团队或自研编排引擎的场景有待验证,治理机制中的衰减、孤儿检测等尚在规划。

推荐收录,因为文章不是简单的工具介绍或理念宣传,而是从真实痛点出发,给出了可落地的知识管理体系设计,包含架构分层、成熟度模型、索引机制和具体的工程实现路径。文中对设计决策的取舍理由(如人工冷启动 vs 自动化管道、轻量Rule+Skill vs 重型状态机)的说明,为类似规模的工程团队提供了直接可迁移的经验。适合AI工程化、开发者体验和团队知识管理方向的读者参考,但需注意其适用边界在于小型团队和通用AI工具,治理机制部分仍有待完善。

工程实践知乎 - 千问云

理解归 AI,正确归引擎:从一句话到一条实时数据链路(0代码搭建实时任务)

本文以直播业务为背景,介绍了一套 AI 辅助、指标驱动的实时数据端到端开发系统。系统将业务需求抽象为“维度 + 指标”,通过依赖回溯自动构建 Flink SQL 任务拓扑,并支持增量 Hook 调整。文章详细展示了从自然语言需求到可发布任务的全流程,包括需求澄清、DSL 生成、SQL 生成、增量演进与任务发布。系统架构上,LLM 负责理解用户意图并生成结构化 DSL,确定性引擎保证 SQL 正确性,前端提供人工确认节点,三者通过 DSL 契约松耦合协同。文中还总结了指标驱动范式、理解与正确性分离、Hook 安全接入等可迁移方法论,以及实时资产沉淀路径。案例中开发周期从天级缩短至分钟级,但系统仍依赖人工校验,增量调整目前仅支持不改变拓扑的局部修改。

推荐收录,因为本文不是浅层工具介绍,而是围绕一个真实工程问题,系统化地展示了从架构设计、核心机制到方法论的完整实践。对从事实时数据开发、Flink 任务构建或探索 AI 辅助软件工程的读者来说,文中提出的指标驱动回溯、理解与正确性分离、Hook 协议等方案,可直接迁移到类似平台或工具的建设中,具有长期参考价值。

工程实践知乎 - 千问云

从 Prompt 到 Harness:企业级 Agent 工程的完整演进之路

本文系统复盘了企业级 AI Agent 平台从 Prompt 工程、Context 工程到 Harness 工程的完整技术演进路径。作者从大模型的上下文窗口稀缺、注意力稀释、数据搬运谬误和无状态缺陷四大先天约束出发,阐述了为何需要工程化基础设施。文章重点介绍了四层上下文防线(工具结果压缩、语义压缩、对话压缩、数据总线)与三层记忆(State、Working Memory、Transcript)的组合设计,以及基于 PERO 编排、断点续传、知识体系、自进化引擎和 Capability Runtime 的 Agent 运行时架构。最终提出五层 Agent OS 架构和双 Agent 平台方案,强调从防御到赋能的设计哲学转变。内容覆盖了真实工程约束、架构权衡与失败教训,适合关注大规模 Agent 系统工程化的团队参考,但对具体实现细节的验证边界和性能量化指标披露有限。

推荐收录,因为这篇长文提供了从第一性原理出发的工程演进实录,非单纯概念介绍。文中关于上下文管理分层防御、有状态执行引擎、跨 Agent 协调及知识体系的设计决策,直接源于生产环境踩坑,可迁移性强。适合后端架构师、AI 平台工程师及技术管理者系统理解 Agent 运行时治理方案,尤其对面临长链路推理质量退化和上下文膨胀的团队具有高参考价值。

工程实践Elastic Security Labs

Agents vs. agents: how we triage HackerOne reports for $2 each, 85% as well as a human

本文详细介绍了Elastic Security Labs如何构建一套AI驱动的漏洞报告分类系统,以应对因LLM生成报告激增而导致的Bug Bounty人力瓶颈。系统采用两阶段架构:分析阶段运行在临时VM上,通过八步流水线和对抗性审查对报告进行有效性、可利用性、CVSS评分等评估;复现阶段仅在必要时启动,在沙盒环境中自动化验证漏洞。系统基于3300+历史报告迭代校准,与人工分类一致率达85%,单次分类成本约2美元。文章还深入讨论了对抗性审查、针对Elastic产品的特定分类规则、完整的安全威胁模型与纵深防御设计,以及从工程实践中获得的经验教训,如报告框架偏见、数据校准关键性和复现的决策价值。

推荐收录,因为它提供了一个从问题定义、架构设计、校准迭代到生产部署的完整工程案例,包含详尽的技术细节、安全防御策略和可复现的实验数据。适合安全工程师、漏洞管理负责人和AI工程化团队参考,其多阶段分析流程、对抗性审查机制和沙盒复现的隔离架构可在其他自动化分类或安全评审场景中迁移复用。

技术文章知乎 - 孔某人

谈一个AgentOS早期征兆,谈Agentic Job Runtime

文章从Agent执行长程任务时状态管理困难的问题出发,提出了Agentic Job Runtime的概念。作者指出,当任务涉及大量共享资源、优先级调度和动态规划时,单一Agent通过文档更新状态容易丢失信息,因此需要引入队列、数据库表等传统数据结构,并采用多Agent主从架构(类似蜂群或主从式并发)来管理状态和流水线执行。该Runtime类似现代编程语言运行时,需支持状态持久化、恢复、回滚、不同LLM配置,以及可视化和权限控制。文章最后辨析了与Agent OS的区别,认为它不是对底层资源的封装管理,而是面向单个Job的执行环境,可能是Agent OS最早落地的方向。整体提供了一种务实的系统设计思路,适合大规模Agent工程场景。

文章不是空泛的概念讨论,而是给出了具体的技术方案和工程架构,对解决Agent复杂状态管理和任务协调有实际指导价值。适合AI工程师、Agent框架开发者和对多Agent系统感兴趣的研究者,其设计思想可迁移到需要长程、多任务并发的Agent系统中。

工程实践Netflix TechBlog

Modeling Device Capabilities for Analytics

Netflix 面临设备多样性带来的功能支持挑战,为此构建了设备能力数据模型。核心方法包括使用累计表高效存储每台设备的最新能力状态(如屏幕分辨率、视频编解码器支持等),以及构建直方图记录 28 天内活跃设备数并按能力维度分布,用于分析功能覆盖率(如仅 20% 设备支持 UHD)。基于这些数据集,团队开发了分析产品,为 4K、空间音频、云游戏等特性在特定设备上的启用提供数据驱动决策,以平衡性能与可靠性。该模型适用于大规模流媒体服务下的设备洞察,但未深入底层存储或查询优化细节。

本文展示了 Netflix 从设备数据建模到聚合分析的完整工程实践,提供了可复用的数据结构设计和分布分析方法,对需要处理异构设备、评估功能渗透或进行数据驱动决策的工程师有直接参考价值,适合数据分析、平台工程或流媒体团队迁移应用。

工程实践Cloudflare Blog

An API for MoQ: provision your own isolated relays

文章详细介绍了Cloudflare为MoQ(Media over QUIC)协议提供的全局中继供给API,该API允许开发者为应用创建隔离的中继范围并管理发布/订阅凭证。作者首先回顾了MoQ作为IETF草案协议的基本原理:一种基于QUIC的发布/订阅系统,中继无需解析媒体内容即可实现大规模低延迟分发。随后,文章重点说明了新API如何解决此前开放预览中缺乏认证和访问控制的难题,通过创建隔离的“中继”资源和限定操作(发布、订阅或两者)的“令牌”,实现细粒度权限管理。技术上,中继并非独立虚拟机或容器,而是现有全球Anycast网络上的隔离作用域,因此可实现秒级部署和弹性伸缩。此外,文章还介绍了对draft-16协议新增的PUBLISH和SUBSCRIBE_NAMESPACE特性的支持,以及推动跨CDN统一供给模型的开放标准化努力。该API目前处于免费Beta阶段,适用于需要低延迟、高隔离性的实时媒体应用。

文章深入阐述了在全球CDN网络上构建MoQ中继服务的工程实践,覆盖了架构取舍(如Anycast与隔离作用域)、访问控制模型(令牌粒度和生命周期管理)及协议演进。对需要设计或使用低延迟媒体分发、实时通信或CDN服务的工程师和架构师具有直接参考价值。文中关于如何以轻量配置替代独立服务器实现多租户隔离的思路,也可迁移到其他大规模基础设施服务的设计中。

工程实践Netflix TechBlog

GenRec: Towards LLM-Native Recommendation at Netflix

文章介绍了 Netflix 的 GenRec,一个基于内部基础 LLM 并经过后训练的推荐排序模型。它将用户历史、物品元数据和上下文通过“上下文工程”转化为自然语言提示,添加目录感知的评分头,并采用奖励加权的多目标损失(排序、语言建模、与长期满意度对齐)进行训练。在离线评估和大规模在线 A/B 测试中,GenRec 在仅使用少量 Phase-2 标注数据和输入信号的情况下,超越了成熟的生产级排序器,并在短期和长期指标上取得统计显著提升。该工作展示了从特征工程到上下文工程、从定制架构到共享基础骨架的范式转变,以及通过预填充推理和上下文压缩控制服务成本的方法。文章还讨论了数据与模型缩放规律、各训练阶段的贡献以及上下文长度优化,为大规模个性化推荐系统提供了可迁移的设计思路和工程权衡。

强烈推荐收录,因为本文提供了真实生产环境中将 LLM 应用于推荐排序的端到端工程案例,覆盖架构设计、训练策略、成本优化和实验验证,并揭示了从特征工程到上下文工程的范式转变。适合推荐系统工程师、ML 架构师和关注 LLM 工程化的读者,文中关于数据效率、缩放定律和上下文压缩的实践经验具有高迁移价值。

工程实践Blender Developers Blog

Geometry Nodes Physics

本文介绍了Blender 5.2 LTS中基于几何节点(Geometry Nodes)的新头发与布料动力学系统。核心实现采用声明式XPBD仿真框架,通过内置XPBD求解器节点处理多种约束类型,并提供Cloth Dynamics和Hair Dynamics两种易用资产。系统允许通过效应器(Effector)扩展行为,包括碰撞体、自定义力和自定义效应器,并支持标签过滤机制。文章还回顾了当前状态、实验性限制,并展望了未来支持刚体、软体和流体的多求解器统一框架,以及模态节点工具在交互式编辑中的应用。新系统目前仍为实验性,设计可能调整,且缺少现成的力场资产,需要用户自定义。

推荐收录,因为文章详细解析了Blender新一代基于节点的物理模拟架构,从整体框架到XPBD求解器、效应器扩展和求解器统一设计,展示了图形学工程实践中系统设计与可扩展性的权衡。对计算机图形学工程师、动画工具开发者及关注实时模拟的读者,本文提供了可迁移的架构思路和实现细节,尤其适合理解如何将物理仿真集成到节点式工作流中。

工程实践ClickHouse Engineering

Choosing Between ClickStack and Grafana for ClickHouse Observability

文章比较 ClickStack 与 Grafana ClickHouse 插件在 ClickHouse 可观测性中的定位。Grafana 是“大帐篷”式监控优先路线,强在跨数据源仪表盘、告警和 Prometheus 生态;ClickStack 则围绕 ClickHouse 单一引擎优化,提供搜索式排查、原生日志/指标/链路/会话关联,以及 MCP 和 AI notebooks 支持自建 SRE Agent。文章给出选择规则:ClickHouse 是主要遥测库且需要调查式体验时选 ClickStack;已有异构监控体系、依赖 Prometheus 告警或跨系统仪表盘时选 Grafana,也可二者并用。作者提醒 PromQL 支持仍属实验,二者各有生态边界,应随团队工作方式调整。

推荐收录。文章把工具选择拆成监控优先与调查优先、多引擎与单引擎、预定义仪表盘与搜索式排查三组取舍,并明确给出 ClickStack/Grafana/二者并用的决策规则和 PromQL 实验性等边界。适合正在以 ClickHouse 构建可观测性平台的架构师、SRE 和平台工程团队参考;主要风险是内容来自 ClickStack 厂商,读者应结合自身数据源生态与成本验证。

工程实践Cloudflare Blog

Dogfooding at scale: migrating cdnjs to Cloudflare’s Developer Platform

文章详细记录了 cdnjs 从旧架构(GCP Cloud Functions + GitHub 仓库 + Workers KV)迁移到 Cloudflare 全栈开发者平台(Workers、Workflows、R2、KV、Queues、Containers 等)的过程。旧架构痛点包括无共享追踪、双活存储、对象事件粘合流水线、26 个分片函数和臃肿的 GitHub 仓库;新架构以 R2 为文件单一真实源,KV 存元数据,Workers Cache 提供分层缓存,Workflows 编排流水线,并通过 Queues 和 Durable Object 实现异步阻塞。迁移中遇到字节级一致性和子请求限制等挑战,最终通过原样复制而非重新压缩解决了 SRI 哈希问题,并倒逼平台提升子请求上限至 1000 万、Workflow 步数上限至 10000 步。文章展示了该架构的弹性、可扩展性,并为未来支持 ES 模块等现代功能奠定基础,但 SRI 校验修复等遗留工作仍待完成。

这是一篇稀缺的大规模 CDN 服务迁移工程实录,直面真实约束与架构取舍,并记录了平台为适配需求而改进的共演过程。对基础设施工程师、平台架构师和 SRE 极具参考价值,可迁移经验包括可观测性设计、存储一致性保障、无服务器工作流编排及平台限制突破策略;文中的坦诚复盘(包括迁移失败回滚)使内容更可信。

工程实践Grab Tech

Crowdsourced taxonomy verification: A feedback-driven framework for refining knowledge graph relationships via online search interactions

文章提出了一种基于用户反馈的知识图谱关系验证框架,用于在快速变化的领域(如外卖菜单)中检测和消除自动化构建所产生的错误关系。核心方法是将图谱边分为已验证和候选两类,通过搜索界面以探索与利用策略注入候选边,并采集点击、购买等加权交互信号,计算置信度分数来自动推广或剪枝边。该闭环系统无需人工干预,利用众包隐式反馈大规模纠正AI幻觉,并在食品配送场景中验证了其有效性。适用边界包括依赖充足用户流量的动态目录搜索,且需要精细控制注入以避免影响体验。

收录理由:文章详细描述了一个将搜索界面作为验证环境的工程方案,包含假设生成、候选注入、信号聚合和图更新等完整模块设计,并通过加权交互信号和置信度阈值实现自动图结构演化。对负责搜索系统、知识图谱构建或数据工程团队具有直接参考价值,其探索-利用设计和无人工干预的规模化验证思路具备可迁移性。

技术文章Kubernetes Blog

How the controller-runtime Cache Actually Works, and Why Your Controller Does Not Crash the API Server

本文深入剖析了 controller-runtime 缓存的内部机制,解释了为何控制器不会压垮 API 服务器。核心原理是:r.Get 和 r.List 并非直接查询 API 服务器,而是读取由 Reflector 通过 list+watch 构建、存储于 Indexer 的本地内存副本;写操作则直接发往 API 服务器,并通过 watch 异步反馈到缓存。文章详细拆解了 DeltaFIFO 的有序分组与去重、workqueue 的 key 级合并、索引器如何提供类 SQL 的快速查询、选择性缓存及 Transform 等内存优化策略,并列举了读后写期待、共享对象突变、resync 误解等常见误区。全文基于 client-go 原语,提供了从启动阶段到生产调优的完整心智模型,适用于已经编写 Go 控制器但希望深入理解其行为以避免生产意外的工程师。

推荐收录。文章深入揭示了 controller-runtime 缓存的底层模型和常见误区,为 Kubernetes 控制器开发者提供了可迁移的内部视角和防错指南。内容覆盖了从原理、设计取舍到实战优化的完整链路,长期计算参考价值显著,尤其适合需要在高负载集群下保障控制器稳定性和性能的工程团队。

工程实践知乎 - SmartCode 得物技术

推荐系统体验的数字化突破:得物自动化评测平台的技术实践|AICon 文章整理

文章系统介绍了得物推荐评测平台的完整技术方案,针对推荐系统中新颖性、相关性等主观体验指标难以量化、反馈周期长和审计成本高等工程痛点,构建了基于大模型的全自动评测流水线。平台通过可视化提示词工程、多模型动态配置与人机协同校验机制实现评测标准一体化管理,保证评测一致性在 92% 以上;工程层面采用 CAS 无锁分布式调度、三阶段断点续传和动态并发控制,支撑单周百万级评测任务,并通过按需触发、模型分级和采样精控将成本降低 91%。文章还展望了向多维度体验评测和全天候 Agent 自动巡检的演进方向,提供了从业务问题到工程落地的完整实践参考。

作为工业级推荐评测平台的工程实录,文章将业务痛点、系统架构、工程技巧和成本优化有机串联,尤其在分布式调度、大模型评测流水线和人机协作校验方面给出了可复用的实现细节。适合推荐系统工程师、AI 基础设施团队和关注自动化评测的建设者,可迁移用于类似主观指标量化、高吞吐低成本的评测系统设计。

工程实践知乎 - 千问云

数据研发Multi-Agent架构的Harness工程实践

本文从数据研发场景出发,指出Agent从“能跑”到“可信”的工程差距,提出Harness工程理念——LLM负责理解和创意,Harness负责约束和验证。作者回顾了AI工程从Prompt Engineering到Context Engineering再到Harness Engineering的范式演进,并基于Orchestrator+Specialist的Multi-Agent架构,详细拆解出身份层、执行层、进化层三大分层及Identity、Orchestration、Context、Gate、Recovery、Evolution六大支柱。每个支柱均给出了具体落地方法,如三层约束金字塔、Spec文件驱动、四级修改流程、状态机故障分级恢复等。最后讨论Harness可能成为AI时代DevOps标准或过渡性概念,并强调当前工程积累的价值。文章未深入特定行业合规要求,侧重通用数据平台场景。

本文不是空谈Agent概念,而是基于一线工程实践提炼出可复用的Harness设计框架,覆盖身份定义、流程编排、上下文管理、质量门禁、状态恢复与经验演进,逻辑完整且落地性强。适合AI工程化、Agent开发及系统设计方向的技术人员,文中的多层约束体系、Spec驱动协作和故障分级恢复等模式可直接迁移到其他生产级Agent系统。

工程实践Salesforce Engineering

Building Reliable Production AI with Durable Workflows

文章以 Salesforce Agentforce Grid 为案例,深入剖析从 AI 原型转向生产系统时面临的分布式执行挑战。作者指出,生产 AI 的核心问题不是模型行为,而是如何让智能在长时运行、部分失败、部署重启、重试和输入变化中保持可靠。文章提出通过持久工作流将执行状态与工作线程生命周期解耦,并围绕可恢复的工作单元划分、执行状态持久化、重试边界对齐恢复边界、分层进度可见性等设计决策展开讨论。内部测试显示,迁移到 Temporal 后,高负载下失败率从约 90% 降至 0%,P95 完成时间缩短约 60%,验证了该架构的有效性。文章适用于涉及大规模批量推理、多步 Agent 或工具调用的 AI 工程场景,但数据来自内部环境,外部应用需独立验证。

推荐收录,因为文章基于真实生产系统,完整呈现了从问题识别到架构演进的工程决策过程,提供了可迁移的工作单元划分、状态持久化与重试设计原则。适合从事 AI 工程化、大规模分布式推理和可靠工作流编排的工程师与架构师阅读,能直接帮助读者在类似系统中避免“重跑全部任务”的陷阱,提升整体可靠性。

工程实践Elastic Security Labs

Inside Elastic InfoSec's agentic SOC: When to inline your agent's skills for a 5× cost reduction

文章对比了安全运营中心(SOC)中两种智能体架构:专业化多智能体工作流与单智能体配合按需加载技能。基于Elastic自身生产环境36822次真实对话,实测Windows终端告警调查成本,专业工作流约0.69美元,单智能体约3.42美元,差距达5倍以上。通过匹配实验揭示,内联方法论的专业智能体仅需4次LLM调用,而技能委托智能体需12次,其中57-60%为无产出的推理调用,导致累计成本飙升。文章进一步提供决策框架:批量自动化调查应选择专业工作流以控制成本并保证可重复性,分析师主导的交互式调查则适合单智能体方案,并强调使用消费API测量自身环境后再做决策。结论适用于使用Elastic平台,但测量方法和架构权衡具有普遍参考价值。

本文基于Elastic生产环境的大量实证数据,提供了明确、可复现的架构对比分析,直接指导安全运营团队如何构建经济高效的智能体工作流。适用于正在或计划采用AI Agent进行安全自动化的工程团队,其测量方法和架构取舍原则对非Elastic平台同样有借鉴价值。

技术文章PlanetScale Blog

Postgres backups under the hood

文章深入解析 PostgreSQL 的三种备份方式:逻辑备份(pg_dump)、文件系统备份和连续归档。首先介绍 pg_dump 如何利用 MVCC 获取一致性快照,并指出其在特大库上可能因长期持有快照导致事务回卷而触发只读模式的风险。接着说明文件系统备份虽然速度快,但需要停机或原子快照支持,且无法实现时间点恢复。重点阐述了连续归档的原理:通过持续归档 WAL,结合 full_page_writes 在线备份文件系统后,利用 WAL 中的完整页镜像修复备份过程中可能出现的“涂抹”数据,从而得到一致且可恢复的备份。文章还解释了基于此机制的时间点恢复过程,以及 PlanetScale 如何通过每 12 小时自动备份与控制 WAL 重放窗口来保持恢复速度。最后简要提及大规模备份的挑战,为介绍分布式 PostgreSQL 与分片备份埋下伏笔。

本文不只是罗列备份命令,而是清晰解释了 pg_dump 的事务回卷风险、WAL 与 full_page_writes 如何解决在线备份的一致性难题,以及时间点恢复的内部逻辑。这些内容对数据库管理员、后端工程师和运维人员有直接参考价值,能帮助理解备份策略的真实约束和取舍,迁移至其他数据库系统时也有启发。

工程实践Salesforce Engineering

How AI Rebuilt Salesforce’s Decades-Old Localization Pipeline

本文是Salesforce工程团队关于用LLM重建本地化管道的实践总结。面对产品量激增35%而预算与发布时间窗口固定的矛盾,团队从尝试单一LLM提示翻译失败中认识到,企业本地化不仅要翻译文本,还需处理客户自定义对象、多产品术语和34种语言的语法与品牌规则。最终的方案是构建一个AI编排管道,将提示工程与上下文工程结合,为每个翻译任务注入产品、品牌、语法等结构化上下文,并通过多阶段AI编辑与验证(最多85个专门提示阶段)来保证质量。该管道将本地化成本降低50-90%,大幅加速交付,同时建立了可持续的工程基础。文章还讨论了未来面对的模型演化与发布工程挑战。

文章完整展示了一个将AI深度集成到遗留企业系统的工程案例,从问题分析、架构设计、验证策略到反馈循环,提供了可迁移的上下文工程与多阶段验证模式。对于负责国际化、AI工程化或大型系统现代化的工程师和架构师,其思路与权衡具有直接参考价值。需要注意的是,方案高度依赖高质量的结构化上下文资产,且需应对基础模型持续演进带来的维护挑战。

技术文章LWN.net

[$] An operations structure for swap devices

文章介绍了在2026年LSFMM+BPF峰会上提出的为Linux内核交换子系统创建操作结构的构想。交换子系统在演进过程中缺乏统一的抽象层来接口底层存储,导致接口复杂且难以维护。作者分析了当前交换设备接口的实现方式和局限性,讨论了创建一个专门的操作结构(ops structure)以简化设计和完善抽象的可能性,并指出最终实现途径可能与最初设想有所不同。文章展示了内核社区在成熟子系统中引入现代化架构重构的思考过程和设计权衡,对理解内核演进和软件设计具有长期参考价值,但未涉及具体实现细节和最终补丁。

本文深入剖析了Linux内核交换层接口的架构缺陷和重构动机,提供了从历史演进中识别设计债务并规划重构的典型案例。适合内核开发者、系统软件工程师和软件架构师学习如何在成熟系统中引入抽象层,具有可迁移的软件设计价值,技术内容具体、边界清晰,符合长期精选库的收录标准。

工程实践Blender Developers Blog

Remote Asset Libraries

文章详细介绍了 Blender 5.2 LTS 引入的远程资产库系统,它允许 Blender 从远程服务器发现并下载资产,同时保持完整的离线使用能力。系统采用静态 HTTP 服务器和 JSON 列表文件的设计,无需动态后端,降低了部署和维护成本;资产必须自包含在单个 .blend 文件中,且不支持外部依赖。作者还讨论了版本兼容性处理、未来对多文件资产与授权钩子的改进方向,以及该方案适用于小团队和个体的边界。全文展示了从需求到架构取舍、实现细节和局限性的完整工程思路。

该文来自 Blender 官方开发者博客,系统阐述了远程资产库的架构设计、限制与未来规划,不是简单的功能介绍。其“离线优先、无动态服务器”的设计哲学对开源图形工具的资源管理有很高参考价值,适合 Blender 用户、工具开发者以及关注资产管线工程化的读者,可以迁移到类似的静态资源分发场景中。

工程实践ClickHouse Engineering

PostgresBench: Measuring the impact of High Availability on Managed Postgres performance

文章介绍 ClickHouse 团队开源的 PostgresBench 在加入高可用(HA)配置后的第二轮结果,对比 ClickHouse Managed Postgres、Crunchy Bridge、AWS RDS、Aurora 与 Neon 在匹配主库算力、相近持久化级别下的表现。作者把托管 Postgres 的 HA 实现分为共享无(本地存储 + PostgreSQL 流复制 + 热备节点)与共享存储(计算存储分离、提交路径写多份 WAL)两类,并以“主库故障后 2 分钟内恢复且零数据丢失”作为 HA 定义。在 16 vCPU/64 GB、500 GB 数据集、10 分钟压测下,同步复制代价明显:ClickHouse 双同步备库 TPS 降至单机 79%、p99 升至 254%,RDS Multi-AZ 集群 p99 升至 627%。结论是匹配持久化级别时 ClickHouse Managed Postgres 吞吐与延迟优于其他托管服务;但数据为厂商自测、存储后端冗余配置未公开,对 Neon 的评价带明显倾向,需谨慎解读。

推荐收录:文章给出可复现的开源基准、明确的 HA 定义(2 分钟 RTO + 零丢失)、各厂商实例配置,并用数据量化同步复制对 p99 尾延迟的放大(最高 6 倍以上),对做数据库选型与 HA 架构权衡的工程师有直接参考价值。风险在于这是厂商自测且对比自家产品的稿件,Aurora/Neon 存储冗余未公开、对 Neon 评价带倾向,建议以方法学与相对趋势为主,而非绝对排名。

工程实践Dropbox Tech

How our universal content processing platform Riviera evolved for AI and beyond

文章回顾了 Dropbox 内部内容处理平台 Riviera 近十年的演进历程。平台最初为解决多文件格式预览需求而设计,关键思路是将每项任务拆解为可复用的转换片段(如 PowerPoint→PDF→图像),从而避免为每个产品单独构建管道。架构上采用中心调度器与插件化后端 worker 分离的模式,中心负责请求验证、缓存与编排,worker 按转换类型独立扩展,现已支持 300+ 文件格式与 100 多种转换能力,每秒处理数十万请求。随着产品线扩展,Riviera 被搜索、视频审阅、电子签名及 AI 产品 Dash 等团队复用,为 AI 模型统一提供文档提取与格式转换。文章最后说明了平台向外部开发者开放 API 和 MCP 工具的策略,体现了“一次构建、多方受益”的平台工程价值。文章侧重于架构决策与规模效益,未深入具体实现细节或失败案例。

推荐收录。文章提供了真实的大型内容处理平台从单点服务到多产品基座的演进案例,清晰展示了复用、分离关注点和插件化架构如何支撑规模增长与业务扩展。适合平台工程、基础设施设计以及需为 AI 准备非结构化数据的工程师参考,其架构思维和平台化策略具有直接迁移价值。不足之处在于缺少性能瓶颈、失败处理或维护成本的讨论,但整体工程经验仍具有长期参考意义。

技术文章ACM Queue Articles

Beyond Zero: Enterprise Security for the AI Era

文章提出了面向AI时代的“Beyond Zero”安全范式,以应对自主AI代理兴起和数据访问加速对应用为中心零信任模型的冲击。其架构将信任边界从应用级缩小至每个操作,在机器速度下对人和代理进行每资源访问决策,并将静态授权保证与动态AI推理相结合,构建每秒调解数千决策的自防御企业。文章还概述了谷歌对该访问模型的愿景,并呼吁行业协作与标准制定。该范式目前仍处于架构构想阶段,缺乏大规模落地的实证细节,且依赖跨厂商共识,实际推广尚有不确定性。

推荐收录,因为文章出自ACM Queue,针对零信任在AI代理与数据访问高速化下的局限性,提出了逻辑清晰的Beyond Zero架构,将静态授权与动态AI推理结合,具有长期参考价值。适合安全架构师、AI工程化团队和前沿安全研究者阅读,其中的安全边界收缩和实时决策理念可迁移至其他高自动化系统的安全设计。

工程实践知乎 - 腾讯技术工程

AI代码生成率94%:我们用一个 Skill 跑通需求开发全流程

文章系统介绍了企业微信团队如何通过构建一个名为Skill的AI工作流,在移动端需求开发中实现94%的代码生成率。核心方法是将需求开发拆解为设计稿筛选、需求拆解、代码定位、实现、编译验证、模拟器验证、沉淀和提交八个严格顺序的语义化阶段,并围绕四条公理设计:以五步定位法缩小搜索范围、把数据采集和精确操作交给脚本而LLM只负责判断、通过可机器校验的红线机制前置拦截风险、利用TECH_SPEC.md和知识库实现跨会话知识传承。关键技术包括构建三级金字塔代码知识库、需求语义翻译的规则化、编译与模拟器自动验证等。文章强调工程化规范对AI提效的决定性作用,沉淀的产物不仅对AI有用,也便于人类开发者接力。适用边界在于需要团队先期投入构建知识库和规范,且实例基于iOS移动端,但方法论可迁移至其他工程领域。

本文提供了将AI辅助开发从零散问答升级为工程化主导的完整实践,详细阐述了流水线设计、代码知识库构建、需求翻译、自动验证等关键环节的具体实现和取舍,而非空泛理念。适合关注AI工程化、开发者工具效能提升的团队和技术管理者参考,其将开发流程显式建模、用脚本与红线约束AI行为、通过知识库实现人机协作的方法具有很强的可迁移价值,但需评估自身项目上下文和投入成本。

工程实践知乎 - 鹅厂架构师

AI Native Is All You Need

文章通过美团小团、Figma Config 2026 和米哈游 LPM 三个案例,重新审视 AI Native 的产品形态。作者指出,小团以 LUI 接管传统 GUI 交互链路的效率提升并非绝对,某些浏览和比较过程本身就是产品价值;Figma 则保留 Canvas 并借助 AI 将代码、动画和生成能力引入同一创作空间,说明 AI 不应简单取代原有界面;LPM 从实时反应而非视频生成出发,重新定义虚拟角色的互动方式,让 AI 成为游戏世界运行的基础。文章最终提出 AI Native 的核心不在于加入 AI 功能,而在于追问过去基于旧技术限制的产品结构是否仍然必要,以及 AI 带来了哪些新可能。分析主要从产品设计角度展开,较少涉及具体技术实现,适合思考产品架构和交互范式的读者。

文章以清晰的案例分析展示了 AI Native 的多种产品设计路径,从 LUI 接管交互到保留 Canvas 再到从 AI 能力反向定义产品,为从事 AI 相关产品、架构或人机交互设计的读者提供了可迁移的思考框架。虽然缺乏技术实现细节,但它对产品结构、用户需求和历史妥协的反思具有长期参考价值,可帮助避免盲目跟风“AI 化”。

工程实践Marc Brooker

Aurora DSQL: Scalable, Multi-Region OLTP

Marc Brooker在这篇博客中介绍了Aurora DSQL论文,重点阐述了系统的整体目标:构建一个简化应用构建与运维、无需关心规模与可靠性的关系型数据库。文中强调了架构解耦的设计思想,将查询处理、事务、复制和控制面拆分为独立服务,并总结了来自Aurora与DynamoDB等系统的运营教训,如避免大缓存、提供强一致可扩展读、将昂贵操作下推到存储层。作者还讨论了乐观并发控制(OCC)在避免客户端阻塞和减少尾延迟方面的优势,以及多区域场景下的快速读写能力。博客最后指出,硬件与数据中心设计的进步使得强一致性成为更优选择,并提供了论文链接供进一步阅读。

作为Aurora DSQL系统的核心设计者之一,作者以第一视角提炼了论文的关键设计决策与运营经验,浓缩了现代分布式OLTP数据库的核心理念。文章对解耦架构、一致性选择、多区域扩展等问题的论述既权威又简明,适合分布式系统工程师、架构师及关注数据库技术演进的研究者快速获取全局认知,其总结的教训可迁移至其他大规模系统设计。

工程实践知乎 - NGINX洪志道

10 | 好的软件设计,是 AI 编程的天花板

作者基于NGINX嵌入Lua开发了一个Web Runtime(nginx-lua-web),并借助AI辅助完成完整实现、自动化测试和性能对比。文章核心论点是:软件原有设计的质量决定了AI编程所能达到的天花板。项目难点在于端到端异步流式处理,涉及读、写、超时、背压等交织的复杂性,NGINX清晰的事件驱动架构、内存池、cleanup机制和模块边界为AI提供了可推理的上下文,使AI能够有效生成符合规范的C代码,并维持约7/10的代码质量和连贯设计。性能测试表明,增加Lua层后未付出失控代价。作者总结,AI加速了理解系统的过程,但理解本身才是对抗复杂性的基本能力,好的设计是AI放大的基础。文章以单个C扩展项目为案例,结论可能受限于特定技术栈,但提供了关于AI与系统设计关系的可迁移洞见。

推荐收录,因为文章结合真实工程案例和AI辅助开发经验,具体展示了软件设计如何制约AI生成代码的质量与系统复杂度管理。适合关注AI工程化、系统架构和扩展设计的读者,其分析方法、性能验证手段和设计原则可迁移至其他类似异步高并发系统的开发中。

工程实践知乎 - SmartCode 得物技术

从"机械应答"到"服务伙伴":得物高可控智能客服的 Agent 工程实践|AICon 演讲整理

文章分享得物智能客服从传统流水线向高可控 Agent 架构的演进实践。针对意图理解差、多轮协商弱和人工成本高等痛点,团队依次尝试了 Single‑Agent、基于 AutoGen 的 Multi‑Agent(总控/出话/评估/润色)以及跨场景 Harness 架构,实现动态调度和跨会话记忆。为降低长尾 case 的 Prompt 优化成本,构建了 PE 自动化流水线与 DPO 数据飞轮;并引入 GRPO 强化学习训练,让 Agent 学会在工具调用与自推理间正确决策。此外,通过模型蒸馏对齐优秀客服话术、表情和情感温度,并设计半双工消息流控制以匹配客服场景的特殊性。该实践覆盖架构设计、数据工程、模型训练和系统控制,适合真实客服系统的工程化落地参考。

文章系统梳理了从单 Agent 到 Harness 架构的完整演进路径,给出了 PE 自动化、RL 决策训练和情感对齐等具体工程方案,数据翔实、方法可迁移,对智能客服、对话式 AI 及 AI 工程化团队具有直接参考价值。

工程实践Meta Engineering

Exploring Hierarchical Interest Representation For Meta Ads Deep Funnel Optimization

本文介绍了 Meta 广告漏斗深度优化中的层级兴趣表征系统,旨在通过统一嵌入连接用户、广告主与产品。系统基于大规模异构交互图,融合多模态世界知识(由 LLM 处理)以缓解稀疏信号问题,并采用 Transformer 架构实施层级编码:引入图结构偏差的注意力机制(使用 FlexAttention 实现内存高效计算)、自监督跨视图蒸馏(结合 Sinkhorn-Knopp 均衡)与交互预测联合训练。最终输出通用嵌入和“意义包”离散令牌,可服务于检索、排序等下游任务。文章详细阐述了图构建、在线基础设施、因果性保证与规模化训练流水线,提供了工业级推荐系统在复杂图学习上的工程实践,但方法高度依赖 Meta 内部平台与数据规模,迁移时需考虑领域适配。

推荐收录。本文来自 Meta 工程博客,系统披露了用于大规模广告推荐的上游层级兴趣表征系统,完整覆盖从图构建、多模态知识融合、Transformer 层级编码到在线推理的工程细节,并公开了 FlexAttention、跨视图蒸馏等具体设计决策与缩放经验。适合推荐系统、图学习及大规模 ML 基础设施方向的研究者和工程师参考,可迁移至处理稀疏信号、层级表征与工业级图应用的场景。需注意部分架构深度绑定 Meta 生态,但核心思想与权衡思路具备通用价值。

工程实践知乎 - 千问云

给野马套上缰绳:Agent Harness 工程实践 ——从范式理论到钉钉AI招聘的真实落地

本文系统阐述Agent Harness Engineering理念,从Mitchell Hashimoto的定义出发,结合LangChain、Anthropic等团队实践,提出上下文越少越好、专才优于通才、状态落盘、约束可执行四条反直觉铁律,并总结双阶段架构、工具签名即文档、Sub-Agent隔离等六大工程模式。作者通过钉钉悟空AI招聘Agent的真实案例,详细展示从全能Agent失败到2 Agent+N Skill架构的改造过程,包括分拆职责、Workspace状态管理、Linter硬护栏等,给出显著的效果提升和血泪经验。文章强调Harness是AI时代软件工程的重新发明,对从事Agent系统设计的开发者有直接参考价值,但部分数据仅限内部场景,需结合具体业务验证。

本文从理论到实践均十分深入,既有LangChain、Anthropic等行业标杆的Harness选择分析,又有钉钉AI招聘Agent从失败到成功的完整复盘,展示了真实工程约束下的架构取舍和可执行护栏设计。适合正在构建或优化Agent系统的工程师、架构师及AI工程团队阅读。文中提炼的铁律和模式,如专才Agent拆分、Workspace状态管理、硬护栏落实,具有很强的可迁移性,能直接指导生产实践,因此推荐收录。

技术文章PlanetScale Blog

Making 768 servers look like 1

文章从数据库扩展瓶颈出发,解释了单节点和只读副本在写入吞吐、数据容量和备份速度上的局限,进而说明为何分片是超越数TB数据的必需方案。以存储1PB数据、跨越256个分片共768台服务器的场景为例,文章重点阐述代理层如何通过查询解析、路由规划和连接池,将众多分片对外表现为单一数据库。文中介绍了基于哈希的分片策略、JSON拓扑配置,并给出从应用经网络负载均衡到代理再到分片的完整数据流。文章主要提供架构层面的概览与工具选择(Neki for Postgres、Vitess for MySQL),而非深入实现细节,适合正在规划数据库扩展的工程师建立整体认知。

该文以清晰的架构图和具体规模为例,系统梳理了数据库分片的核心挑战与代理层设计,对理解分片系统的整体运作有实际参考价值。适合需要应对数据量增长的研发、DBA和基础设施工程师,可迁移的分层架构与路由思想能直接指导技术选型和方案设计。

工程实践Instacart Tech Blog

Blueberry: Force Multiplier For The On-Call Engineer

本文深入介绍了Instacart开发的Blueberry系统,一个面向值班工程师的Slack原生推理框架。核心目标是缩短从告警触发到获得首条可执行洞察(TTFI)以及验证推断(TTTT)的时间。系统架构以持久化作业队列实现诊断过程可靠性,通过三层模型上下文协议(MCP)表面组合共享与团队专属工具,并支持并行子代理进行证据采集。在实际运行中,Blueberry在2026年4月处理超2.5万次诊断,TTFI和TTTT中位数约3分钟,成功率达99.9%。文章通过多个案例展示了系统如何快速定位根因、通过多轮对话排除不相关变更、利用历史模式识别外部中断,以及并行处理大规模告警风暴。其关键贡献在于将隐性运维知识外化为可复用基础设施,提升团队协作和排障效率,同时指出安全行动闭环仍在测试中。

本文是一个高质量工程案例,完整记录了生产级AI运维系统的设计决策、架构权衡和量化成效,尤其适合从事SRE、DevOps或AI工程化的团队参考。文中展示的持久化推理、分层工具集成和证据驱动排障模式具有明确的可迁移价值,对希望构建类似协作式值班助手的组织有直接启发,但需注意其强依赖Slack生态和内部工具链。

工程实践Slack Engineering

Shipyard: How We Built Slack’s Next-Generation EC2 Platform

本文介绍了Slack构建下一代EC2平台Shipyard的工程实践。面对传统Chef管理长期运行实例导致的配置漂移和部署风险,团队转向以不可变性为核心的设计,通过分层黄金镜像slack-zero、服务特定AMI、烘焙与配置分离、基于指标的渐进式部署和自动化安全控制,将基础设施视为可部署制品。平台支持多架构和多操作系统,提供快速实例供应、实时库存系统Peekaboo和Reaper生命周期管理,确保集群始终运行在新鲜状态。文章还讨论了测试框架Ship Quick、紧急修复路径、秘密管理的半不可变妥协以及未来对长生命周期实例的支持计划,为大规模云基础设施现代化提供了可迁移的架构模式和运维经验。

推荐收录。本文详细记录了Slack从可变基础设施向不可变EC2平台演进的完整工程过程,包含分层镜像设计、自动化部署体系、生命周期治理和测试方法等具体实现细节与权衡,为云平台团队提供了高价值的参考案例。适合基础设施工程师、SRE及平台开发者了解如何在高负载生产环境中安全地推动现代化改造,其中的分层构建、渐进式部署和强制刷新等模式可直接迁移至类似系统。

工程实践Netflix TechBlog

Building Service Topology at Scale: Architecture, Challenges, and Lessons Learned

本文详细介绍了Netflix构建实时服务拓扑系统的完整工程历程,涵盖架构设计、生产环境挑战与持续优化。系统采用流式优先的三阶段分布式聚合流水线,结合反向压力、动态一致性哈希和时间窗口聚合器,实现了对网络流日志、IPC指标的高吞吐处理与历史拓扑查询。文章重点分析了Kafka消费滞后、热点节点、内存与GC压力、响应式流复杂性等关键问题,并通过重分布、使用可变数据结构替代不可变对象、更换通信协议等务实手段解决。作者强调,在超大规模下测量驱动迭代优化比遵循教条更重要,同时也指出了响应式流心智模型的高成本。该案例为构建大规模分布式数据流水线提供了可迁移的架构模式与性能调优经验,但部分技术选型需结合自身场景评估。

本文收录理由在于它提供了从0到1构建大规模服务拓扑系统的完整工程案例,而非浅层介绍。作者坦诚分享了架构权衡、失败教训和优化方法论,对分布式系统、流处理和可观测性领域的工程师有直接参考价值。可迁移的核心经验包括多阶段重分布解决数据倾斜、背压实现优雅降级以及性能优化时的务实取舍,但采用时需结合自身规模与技术栈做适配。

工程实践美团技术团队

正式开源!美团 LongCat-2.0 同步开放国产卡推理代码

本文介绍美团万亿参数大模型 LongCat-2.0 在国产算力集群上的推理优化与开源实践。面对国产芯片显存、带宽和互联受限的挑战,团队从模型架构(LongCat 稀疏注意力、ScMoE 核心级并行、N-gram Embedding)、芯片适配(Super Kernel、Weight Prefetch、KV-cache 传输)和部署策略(PD 分离、EP 负载均衡、多推理特性适配)三个层面进行深度协同优化,实现了百万级上下文的高效推理。此外,模型通过多教师在线蒸馏和 MOPD 架构融合了 Agent、推理与交互能力。文章指出,该方案已在真实 Agentic Coding 任务中稳定运行,验证了国产芯片承载复杂大模型的可行性,并通过开源提供可复现的技术路径。

推荐收录,因为本文详细展示了在显存与带宽受限的国产硬件上部署万亿参数大模型的完整工程方案,包括模型、芯片适配和部署多个层面的协同优化,有明确的技术细节、架构取舍和验证结果。对于从事大模型推理优化、国产算力适配或大规模分布式服务的工程师,文中的稀疏注意力、ScMoE 算子融合、PD 分离部署和 EP 负载均衡等实践具有直接的迁移价值,也体现了在约束条件下进行系统设计的工程思维。

工程实践知乎 - 鹅厂架构师

从智能体开发到日常构建:Harness Engineering思维的跨界思考

文章系统阐述了Harness Engineering(驭缰工程)这一AI时代工程范式,提出“智能体=模型+驭缰系统”核心公式,并拆解了执行运行时、上下文管理、能力层、治理层、可观测性五层生产级架构。作者深入解读了六条源自实战的方法论,包括先磨设计规格文档、优先补齐关键规则、将高频动作下沉为Skill、按认知负载拆分多Agent等,强调了渐进式复杂度管理和约束先行的构建哲学。结合OpenAI、Stripe等案例验证了约束系统对AI应用成功的关键作用,并将该方法论跨界迁移至个人小程序、团队网页协作、Demo原型等日常开发场景,展示了其作为通用构建哲学的潜力。文章以方法论和思维启发为主,对工程实践中的边界设计与增长节奏给出了可操作建议,但缺少底层技术实现细节,更适合中高级开发者或技术管理者作为架构决策参考。

本文不是浮于表面的AI工具介绍,而是从Harness Engineering这一前沿概念出发,提炼出可跨领域迁移的构建哲学。它既有Mitchell Hashimoto等人的原始洞见作为依据,又通过OpenAI、Stripe等业界案例提供了实证支撑,更难得的是将抽象方法论落地到小程序、网页等日常开发中,展示了清晰的迁移路径。适合正在构建复杂系统或希望提升工程思维的技术负责人和开发者阅读,文中‘约束即赋能’、‘按认知负载拆分’等思想能有效指导实际项目中的架构边界与增长节奏控制。

工程实践Cloudflare Blog

Improving Smart Tiered Cache for Public Cloud Regions

文章详细说明了 Cloudflare Smart Tiered Cache 在公共云 anycast 源站上遇到的挑战:anycast IP 导致延迟探测无法锁定唯一最优上层数据中心,可能产生跨洲回源和缓存效率下降。解决方案是引入云区域提示,用户指定源站所在云区域后,系统利用各云厂商的 IP 范围文件和持续延迟探测为每个区域赋予主上层和备用上层,并在探测数据不足时回退到地理近似。文章介绍了 anycast 检测原理、区域到上层映射的投票机制,以及通过控制台、API 和 Terraform 进行配置的方式。该功能目前支持 AWS、GCP、Azure 和 Oracle Cloud,旨在提升缓存命中率、降低延迟,但需手动提供提示且仅适用于已支持的云提供商,边界清晰。

推荐收录,因为文章不是简单的功能通告,而是深入剖析了 Smart Tiered Cache 在 anycast 公共云环境中的局限、解决方案的技术细节和配置方法。适合负责 CDN、边缘网络、缓存策略或基础设施性能优化的工程师参考,其中的问题分析框架和自动化映射思路可迁移到类似分布式系统的网络拓扑优化场景。

工程实践知乎 - 鹅厂架构师

OpenClaw:把权限交给概率推理引擎,安全边界该如何重构?

本文由腾讯工程师撰写,深入分析开源自主AI代理框架OpenClaw的安全风险与防御策略。文章从OpenClaw的系统架构(网关、智能体循环、Lane Queue、内存管理)出发,揭示其将系统权限交给概率推理引擎所带来的新型安全边界挑战,随后详细剖析了提示注入、身份劫持、供应链攻击(ClawHub)等真实威胁的成因与攻击手法,并结合ClawJacked等具体漏洞案例说明。在此基础上,提出了一套涵盖基础设施隔离(云主机/VM/Docker强化)、访问控制(令牌认证、网络绑定)、行为治理(命令白名单、文件访问限制)、供应链审计及主动监控的纵深防御体系。结论强调,AI代理将传统确定性代码安全转变为概率性意图安全,防御重心需从防止非法访问扩展到治理合法行为,并建议采用最小特权与物理隔离原则。分析聚焦于OpenClaw生态,但安全原则可迁移至其他自主代理系统。

推荐收录,因为文章不是浅层介绍,而是从架构原理出发,结合具体漏洞案例(如ClawJacked、供应链投毒)进行系统性安全剖析,并给出了可落地、分层的防御方案。对从事AI工程化、安全架构和自主代理开发的读者具有直接参考价值,其提出的‘意图安全’理念和纵深防御策略可移植到类似系统的安全设计中。

工程实践知乎 - SmartCode 得物技术

得物 OceanBase 落地实践

文章详细记录了得物将 OceanBase 作为多模数据库引入的完整工程实践。面对 MySQL 在 TP/AP 混合负载下性能瓶颈、存储成本高和运维复杂等问题,DBA 团队从选型对比、性能压测、复杂 SQL 优化到业务迁移全流程展开验证。通过计划缓存、分区裁剪、列存索引、并行执行和 Hint 干预等五步优化,将两类聚合查询的执行时间分别从 1.3s 和 3.9s 降至 0.01s 和 0.02s,并获得与 DuckDB、StarRocks 对比的详细性能数据。在真实业务迁移中,SQL 平均耗时下降 88.3%,存储压缩率超过 80%,总体降本 43%,并消除了异构数据同步和手动分流风险。文章同时总结了迁移中遇到的实时物化视图与 DDL 冲突、SQL 语法兼容等具体问题及应对方案,并规划了运维体系转型和团队能力建设路径。该实践适用于有 TP/AP 混合负载、追求成本与可用性平衡的场景,但需注意新功能边界和版本限制。

推荐收录。文章不是泛泛的产品介绍,而是提供了从选型对比、性能压测到生产迁移的完整技术链条,包含具体的 SQL 优化思路、量化收益(近 200 倍提升、43% 降本)和踩坑记录,对考虑 OceanBase 落地或从 MySQL 迁移到分布式数据库的架构师、DBA 有直接可复用的参考价值。文中的五步优化法、物化视图使用约束和运维体系转型经验均具备可迁移性,风险提示也较为坦诚。

工程实践Salesforce Engineering

Building Enterprise AI Agents That Are Both Autonomous and Reliable

文章围绕 Salesforce 在 Agentforce 中构建企业 AI Agent 的实践,提出“guided determinism”作为核心架构:用确定性的编排层约束 LLM 的概率性输出,让代理在身份验证、退款授权、升级路由等高风险流程中保持可审计、可恢复和可验证。作者用退款代理误把“very valid and very verified email”当作证据的例子说明,单靠 prompt engineering 无法提供企业所需的规则保证,因此需要把工作流建模为 Agent Graph,由节点、边、硬校验门和运行时状态共同控制执行路径。文中进一步说明用专门子代理拆分路由、验证、冲突消解和事务处理,并在路由环节采用 8B 到 32B 的小型微调模型以降低延迟和成本。最后,文章强调通过合成测试、LLM 评审、深度 trace 和行为指标持续验证运行时可靠性。其边界在于这套方法主要适用于有明确流程与高可靠要求的企业任务,对开放式创意对话并不追求完全确定性。

文中给出了从提示词到运行时编排的完整架构迁移证据,包括 Agent Graph、子代理拆分、小模型路由和可观测性体系,属于可复用的企业 AI 工程经验。适合做 AI 平台、工作流自动化和高风险交易代理设计的参考,但需注意其结论带有明显产品实现视角。

工程实践Cloudflare Blog

Your Worker can now have its own cache in front of it

这篇文章介绍了 Cloudflare Workers Cache:一种位于 Worker 前面的分层缓存,开启后可直接命中缓存而不执行 Worker,从而减少延迟并避免 CPU 计费。作者说明它完全由 HTTP 语义驱动,主要通过 Cache-Control、stale-while-revalidate、Vary、Cache-Tag 和程序化 purge 来控制缓存行为,而不是依赖 zone 级规则。文章进一步强调这是“Worker 自己的缓存”而非站点缓存,缓存会跟随 Worker、preview、workers.dev 和多租户场景,并支持按 ctx.props 构造多租户安全的 cache key。对于复杂应用,它还能插在多个 entrypoint 之间,让认证、归一化、重度计算和数据层分别决定是否缓存,组合出“近用户 + 近数据”的执行路径。文末也指出一些边界:认证请求需避免自动 bypass、需要控制 Vary 维度膨胀,且部分与 Smart Placement 的协同和响应体大小限制仍在演进中。

收录理由很明确:文章给出了可直接落地的缓存架构、HTTP 控制面设计、按入口点组合缓存的方式,以及多租户安全与失效策略的具体实现。适合做边缘计算、SSR 性能优化、平台架构和缓存设计的长期参考,尤其对使用 Workers、服务绑定或多入口应用的工程师有迁移价值。

工程实践Grab Tech

Migrating Counter Service storage: Design choices and learnings

文章复盘了 Grab 将 Counter Service 从宽表数据库迁移到 Aerospike 的全过程,核心不是简单换存储,而是先重构读写分层,再按访问模式重新设计数据模型。读路径上,作者把存储访问从业务逻辑中抽出,采用带枚举分发的 facade,并通过 shadow read、split traffic 和配置切换实现无停机、可回滚迁移。写路径上,团队尝试了按桶存行、Secondary Index 和 BatchGet,最终选择“单 counter 单记录 + 有序 map”的结构,用原子 MapIncrement 和显式清理旧桶来降低索引和磁盘占用。文中还记录了 Rust 客户端不成熟、DNS 解析和 NVMe 索引实验带来的问题与回退原因。最终系统在读延迟、成本和存储 footprint 上都有明显收益,但这些收益主要来自 schema 与架构重构,而非数据库替换本身。

推荐收录,因为文章给出了迁移前后的存储分层、影子流量、逐步切流、数据建模和回退验证等完整证据,而不是泛泛谈“换数据库”。适合做存储迁移、在线系统无停机改造和性能/成本权衡的参考,尤其对需要处理高 QPS 计数服务的工程师有直接迁移价值。

工程实践Elastic Security Labs

Inside Elastic InfoSec's agentic SOC: cutting alert triage from 30 minutes to under 3

这篇文章复盘了 Elastic 内部 InfoSec 团队如何把告警分流做成“agentic SOC”流水线:先用确定性的 ES|QL 查询处理可直接判定的误报,再由窄职责的初筛 Agent 处理其余告警,最后交给按域划分的专项 Agent 和 Final Review Agent 汇总结论。文章给出了完整的编排思路:检测规则触发 Workflow,按告警类型做富集,复用同一份上下文写入 Kibana Case,避免多个 Agent 重复查询同一数据。作者强调在自动化场景下,确定性查询比 LLM 更快、更便宜、可审计,而专用提示词和小工具集比通用大 Agent 更稳定。文中还说明了模型推理的数据保留要求、零信任/高敏环境可自建模型,以及该方案主要适用于 Elastic 原生栈和高告警量 SOC。它的价值在于把“哪些检查该写成查询、哪些判断交给 Agent、如何把证据链写回案例”讲得很具体,但可迁移性会受平台能力和数据接入范围限制。

收录依据很明确:文章不仅描述了 30 分钟人工分流降到 3 分钟以内的结果,还给出了 ES|QL 先行、专项 Agent 分工、Final Review 统一裁决的完整实现路径。适合做 SOC 自动化、AI 编排和安全运营设计参考,但迁移时需注意它强依赖 Elastic 原生组件与特定数据源。

工程实践知乎 - NGINX洪志道

06|从哪个功能开始:最小、核心的流式处理

文章围绕一个 NGINX Lua Web runtime 的开发顺序选择展开,核心结论是应先实现 Stream,而不是先做 Headers、Request 或 Response。作者认为 body 才是请求、响应与 fetch 的共同底座,只有先把流式数据模型立住,后续 API 才不会停留在表层封装。文章进一步分析了流式处理的复杂性:它同时涉及客户端、上游和 Lua 自身创建的流,还要处理生产端、消费端、异步等待、状态保存以及 NGINX 事件与 Lua coroutine 的协同。作者指出,Headers 虽然更容易实现、也更适合快速出成果,但对系统最核心的异步与数据流问题牵引不足。本文的价值在于用最小可验证功能暴露架构关键点,帮助读者理解如何用功能排序来对抗复杂性。

推荐收录,因为文章明确给出了“先做 Stream、后做 Headers”的工程证据,并解释了 body 作为 runtime 底座为何决定整体架构形态。适合做 Web runtime、异步 I/O 和系统设计的项目规划参考,但它更偏方法论与阶段选择,尚未给出完整实现细节。

工具笔记知乎 - 鹅厂架构师

Loop Engineering 实践指南:在 CodeBuddy 中构建自主循环系统

文章提出 Loop Engineering 这一面向 AI 编程的“外层循环”设计:不再让人类在每一步介入,而是把目标、验证标准、状态管理和恢复机制外置,由 AI 在受控规则下持续推进任务。作者将 ReAct 视为单任务内的 inner loop,而 Loop Engineering 负责跨任务编排,强调 Discover-Plan-Execute-Verify-Iterate 闭环、对抗验证、断点续跑和多 Agent 并行。全文结合 CodeBuddy 的 /goal、/loop、Automations、Team、Skills、MCP、Rules、Memory 等机制,说明如何把抽象范式落到实际工具链。文中给出迁移、CI 监控、评审协作、知识固化和状态持久化等案例,并提示目标必须可度量、评估器要独立、循环要设置上限。其边界在于高度依赖工具支持,且不能替代人工审查,适合 AI 编程平台设计与智能体工作流实践参考。

收录的直接证据是文章不仅解释了 Loop Engineering 与 ReAct 的层次差异,还给出 /goal、/loop、Team、Skills、MCP、Memory 的具体落地方式和条件写法。适合 AI 编程工具、agent 编排和开发效率优化读者参考;但内容带明显 CodeBuddy 产品色彩,迁移时需注意工具绑定。

工程实践知乎 - SmartCode 得物技术

从狂野代码到按目标生产:得物推荐 AI Harness 的工程化实践|AICon 演讲整理

文章梳理得物推荐团队自研 AI Harness 的工程化实践,核心目标不是让 AI 只会写代码,而是把需求、开发、评测和复盘纳入 PDCA 闭环,让 AI 在复杂推荐系统中按目标生产。作者将流程拆成 Plan/Do/Check/Act 的七阶段护栏:用结构化 Contract 约束需求,用零等待环境支撑执行,用 AI 评测平台做 7x24 体验检查,并把 Bad Case 回流为可复用经验。文中还提出 L1/L2/L3 知识治理与 Highway+ATV 混合 Agent 架构,用确定性代码覆盖高频路径、用受控探索处理长尾问题。文章给出了补充注释后准确率提升、token 消耗下降等结果,但整体更偏体系框架与方法论,具体实现细节仍留待后续篇章展开。

文章直接展示了将 LLM/Agent 纳入推荐系统生产链路的完整工程框架,并给出 Contract、7x24 评测和混合 Agent 的落地证据。适合做 AI 工程化、推荐系统和研发流程治理的参考,尤其对想把生成式 AI 变成稳定生产能力的团队有迁移价值。

工程实践知乎 - 千问云

如何搭建一个端到端业务需求专家 Agent

文章提出一种面向业务需求交付的端到端 Agent 方案,核心观点是代码生成已不是瓶颈,真正昂贵的是需求澄清、方案确认、实现协同、验收取证和结项沉淀之间的串联成本。作者将系统拆成上下文输入、业务专家编排、工具执行和反馈学习四层,并用需求进入、澄清、方案、TDD 实现、CR 协同、独立环境验收、发布观察、结项蒸馏串成闭环。文中强调把 requirements、plan、progress、评论、日志等过程材料留在项目记忆中,再在结项时筛出稳定知识回流长期 wiki,避免噪声污染。实现上依赖 CLI、沙箱、CR 评论、git hook 等工程化硬门禁,而不是单靠 prompt 约束。文章也明确了边界:首次接入成本、度量体系不足,以及未来从单 Agent 走向多 Agent 协作仍待验证。

推荐收录,因为文章给出了可落地的端到端 Agent 研发闭环,而不是停留在单次写代码演示:上下文管理、质量门禁、评论留痕和结项蒸馏都有具体工程设计。适合做 AI 工程化、研发提效和 Agent 工作流设计的参考,但读者也需注意其依赖较强的平台集成与组织流程前提。

工程实践Salesforce Engineering

Inside Unified Planner: The AI Brain Behind Agentforce

文章介绍 Salesforce 为 Agentforce 构建的 Unified Planner:一个统一的 AI 执行与推理运行时,用来同时支撑语音、文本、聊天以及 MuleSoft 等场景。作者解释了旧体系中 Agent Graph 与 Voice Planner 各自演进导致的能力割裂、重复实现和运维不一致,并通过将平台级职责与客户业务流程解耦来完成统一。性能上,团队把原先串行的提示注入检测、检索、校验、上下文收集等步骤改为可并行执行,并允许多工具调用并发,从而把部分响应延迟从约 20 秒降到 2.3 秒。文章还讨论了模型选择、迁移生产代理的安全验证、特性分阶段放量,以及面向视频等未来多模态交互时在表示、推理和扩展性上的新挑战。整体更偏真实平台重构与 AI 运行时设计经验,适合关注低延迟 AI 系统、统一架构和生产迁移的读者。

收录理由明确:文中给出了统一运行时、并行化执行和生产迁移验证的具体做法,并量化说明了延迟从 20 秒降到 2.3 秒。适合做 AI 平台、Agent 运行时和多模态系统设计的参考,尤其对需要在低延迟、可扩展与一致性之间做取舍的工程团队有直接迁移价值。

工程实践Netflix TechBlog

GenPage: Towards End-to-End Generative Homepage Construction at Netflix

文章介绍 Netflix 将首页推荐重构为端到端生成式系统 GenPage:把用户历史、画像和请求上下文序列化为提示词,再由单个 decoder-only Transformer 自回归生成整页首页,包括行、实体和布局。训练上沿用 LLM 方案,先做 next-token 预训练学习“首页语言”,再用加权二分类或强化学习做后训练,以对齐用户满意度和页面级奖励。工程上作者重点解决了实时延迟、冷启动、目录更新、业务规则约束和增量训练等问题,采用领域定制分词、语义 embedding 融合、fallback token、约束解码与混合行解码来兼顾可控性与效率。离线实验显示,丰富上下文往往比单纯扩大模型更有效,RL 还能提升页面多样性;在线 A/B 中,GenPage 在核心参与度指标上显著优于成熟多阶段基线,同时将端到端延迟降低约 20%。文章也指出当前仍依赖部分手工摘要,长上下文与更通用的语言/多模态能力仍是后续方向。

推荐收录,因为它给出了把推荐系统改造成生成式 Transformer 的完整工程链路:数据表示、训练范式、RL 对齐、业务规则约束与线上验证都有直接证据。适合做个性化推荐、AI 工程化和大模型落地的读者参考,尤其可迁移的是“先丰富上下文再扩模型”“用约束解码保业务规则”“用混合解码降延迟”的方法。

工程实践知乎 - 腾讯技术工程

开启Harness Engineering探索之旅:从AI 写得快到干得稳

文章围绕“Harness Engineering”展开,指出 AI Coding 的瓶颈已从提示词和上下文转向模型外部的运行框架:如何让 Agent 稳定工作、可验证、可回溯。作者结合腾讯团队实践,提出 Agent = Model + Harness,并把研发链路拆成 P1 需求、P2 设计、P3 实现、P4 测试、P5 部署、P6 归档六个阶段,配合协议层、纪律层和可监测性机制,强制产出结构化文档、评估分数、日志与知识沉淀。文中还描述了线上运营轨道、长期知识库、失败自愈、日志检索和成本度量等配套设计,强调“确定性过程脚本化、不确定性过程门禁化”。作者同时坦承该体系仍有局限:老项目初始化成本高、下游反馈未完全打通、知识库治理与测试可信度仍在演进中。整体适合参考其工程方法,而非直接照搬其内部协议与工具栈。

推荐收录,因为文章给出了可落地的 AI 工程化框架、P1-P6 研发管线门禁、监测与自愈闭环等直接证据,不是泛泛而谈。适合做 Agent 工作流、研发提效和可靠性设计参考,但其细节强依赖内部工具与流程,迁移时需重建契约和观测体系。

技术文章Ken Shirriff

Examining circuit boards from the Space Shuttle's I/O Processor

这篇文章以作者实物拆解的两块 Space Shuttle I/O Processor 电路页为线索,系统梳理了航天飞机计算机的 I/O 架构。作者先说明 IOP 并非普通外设,而是连接 CPU 与 24 条数据总线的独立可编程处理器,采用 25 个虚拟处理器的 barrel processor 设计,由 BCE 和 MSC 两套完全不同的指令集分工完成网络搬运与调度。随后文章重点分析了 MIA 网络接口页的模拟前端、变压器隔离、Manchester 编码/解码、串并转换与校验逻辑,以及 PROM 页如何用熔丝 ROM 存放 72 位微指令并驱动物理处理器。文中还比较了 IBM 4 Pi 标准页与 IOP 专用页的尺寸、连接器、散热和封装密度差异,解释了为何航天级板卡会大量使用 hybrid module、flat-pack 与高可靠器件。文章结论指出,后来 AP-101S 将 CPU 与 IOP 合并以提升性能并减重,但原始 IOP 的架构与物理实现仍是理解早期航天计算机的重要样本;部分芯片编号和某些旁证板卡归属仍带有推断成分。

收录依据很明确:文章基于实物电路板、部件编号和官方文档,完整解释了航天飞机 IOP 的架构、总线协议、微码与板级实现,不是泛泛的历史回顾。适合做硬件逆向、古典计算机体系结构和高可靠系统设计的参考,尤其能迁移到“从板级结构反推系统工作方式”的分析方法。

技术文章知乎 - 孔某人

Agent应用层的自动自我改进 是一种海市蜃楼

文章讨论的是 Agent 应用层而非模型层的“自动自我改进”,作者认为它更像一种理想口号,而不是已经成熟的技术方案。文中把可自优化的部分拆成 Memory、SOP/workflow 和 Harness,并指出它们都受总上下文长度、模型难以抽取可泛化规则等约束。随着运行案例增多,这些记忆和流程会越写越厚,却未必更高效,反而可能迅速消耗上下文预算。作者认为在固定场景、充足历史数据和专家持续评估下,确实能做出人机混合的增益,但很难低成本泛化为全自动方案。文章还提醒,当前围绕 Long-Horizon、Harness、Loop Engineering 等概念的传播,容易把有限能力包装成“万灵药”。

收录,因为文章直接指出了应用层自我改进的关键边界:上下文容量、泛化抽象能力和持续评估成本,都是 Memory/SOP/Harness 难以自动增长的硬约束。适合做 Agent 产品和 AI 工程的预期管理,但它主要是经验性判断,缺少量化实验支撑。

工程实践Meta Engineering

Privacy-Aware Infrastructure in the AI-Native Era: An Asset Classification Case Study

文章以 Meta 的隐私感知基础设施为案例,讨论在 AI 原生产品中如何做资产分类,核心目标是先准确识别数据“是什么”,再谈保留、访问、共享和匿名化等控制。作者指出仅靠字段名会产生误判,因此系统先汇聚代码解析、血缘、归属、语义注释和使用模式,形成 evidence brief,再让模型处理歧义与冷启动。生产路径采用“确定性规则优先、LLM 兜底”的两段式架构:大部分请求由版本化规则在毫秒级完成,少量新颖或模糊资产才进入模型推理。文章强调评估必须与优化解耦,参考标签不能由模型自举生成,并通过校准、kappa、宏 F1、对抗遮蔽和独立人工复核来防止自我验证。最后,系统把稳定模式蒸馏成可审计、可回放的确定性规则,并用灰度、黑名单和内容寻址发布保证规则升级不会悄然降低保护强度;其边界是依赖高质量上下文、明确政策口径和持续人工治理。

收录理由直接且充分:文章给出了隐私资产分类的完整工程链路,包括上下文聚合、LLM 兜底、规则蒸馏、独立评估与可回放发布,而不是泛泛谈 AI+隐私。适合做隐私治理、AI 基础设施和高风险分类系统的设计参考,但前提是有清晰 taxonomy、人工标注和严格的版本控制。

工程实践知乎 - SmartCode 得物技术

从表单到 Agent:得物社区活动搭建的 AI 实践之路

文章复盘了得物社区活动搭建从“AI 帮填表单”演进到“两阶段 Agent + 聚合工作台”的完整过程。第一版只做字段预填,虽然缩短操作时间,但仍需运营在多个系统间手工校验,且存在黑盒等待、不可逆、无持久化等问题。第二版改为以 LangGraph 编排的 Workflow 为主,通过 interrupt/resume、能力注册表和组件模块协议,把运营角色从流程执行者变成流程监督者。第三版进一步把“从想法到策划文档”前移为只读 Skill,把写操作、构建和审核留给受控流程,并用最小权限、渐进式披露和草稿同步降低风险。文章的边界也很清楚:它偏架构与取舍总结,很多细节是面向特定业务场景的工程妥协。

文章给出了从表单辅助到流程驱动 Agent 的真实演进链路,直接包含 LangGraph、interrupt/resume、模块协议和最小权限等可复用设计。适合做企业级 AI 工作流、运营工具和人机协作架构的参考,但需注意其结论强依赖高正确率、强约束业务场景。

工程实践Kubernetes Blog

Spotlight on WG Device Management

这篇文章聚焦 Kubernetes Device Management Working Group 的成立背景、职责边界和当前重点,核心是在 AI、边缘计算、通信等硬件密集型场景下,如何让 Kubernetes 更好地管理 GPU、TPU、NIC 等专用设备。文章系统解释了 Dynamic Resource Allocation(DRA)的四阶段模型——资源建模、资源请求、调度与执行,并说明 DRA 相比传统 Device Plugin API 的关键改进:从“只能申请几个设备”升级为可表达设备类型、容量、拓扑、共享和切分等更细粒度约束。文章还讨论了跨 SIG 协作、共享/可消耗容量、拓扑感知、多节点调度以及 NP-hard 的优化难题,并给出了 DRA 未来在健康监控、可观测性和更复杂硬件建模上的演进方向。

推荐收录,因为它不是单纯的产品动态,而是把 Kubernetes 在硬件管理上的核心抽象、演进路径和设计权衡讲得很清楚,适合作为理解云原生调度与设备编排的长期参考。对于做平台工程、调度系统、AI 基础设施或 Kubernetes 扩展开发的读者,这篇文章能直接提供可迁移的 API 设计和跨团队协作方法。

科研议题美团技术团队

美团发布原生多模态 LongCat-Next:当视觉和语音成为AI的母语

文章介绍了美团开源的原生多模态模型 LongCat-Next,核心思路是把图像、语音和文本统一离散化为同源 Token,并用单一自回归框架进行下一 Token 预测,从而同时覆盖理解与生成。文中重点拆解了 DiNA 原生离散自回归架构、dNaViT 视觉分词器以及面向语义完备表示的编码策略,并用多项基准结果说明这种统一范式在 OCR、图像理解/生成、音频交互、工具调用和代码任务上具有竞争力,但整体结论仍依赖其训练设定与 benchmark 比较方式。

推荐收录,因为它不是简单的产品发布,而是完整讨论了原生多模态离散建模的架构选择、表示学习思路和实验结果,对理解多模态大模型的统一化路线有长期参考价值。对于关注多模态、离散表示和 LLM 架构演进的读者,这篇文章能提供可迁移的设计视角,但其中的性能结论仍应结合复现与数据集细节审慎解读。

工程实践美团技术团队

用Agent评测思路管理AI Coding —— 31万行代码AI重构的实践

本文复盘了一个在大规模 AI Coding 场景下,对 31 万行复杂业务系统进行渐进式重构的工程实践。作者提出用“Agent 评测”的思路管理 AI 编码:先通过团队共识完成“人人对齐”,再把规范固化为 AI Rule、Skill、Pre-PR 和多层审查机制,实现“人机对齐”,并在不停止业务交付的前提下,逐步消化技术债、重建分层架构和业务模型。文章还讨论了 AI 如何改变经验的价值边界,以及如何用 AI 辅助测试、Code Review 和跨模型互审来缓解 AI 提效后带来的下游瓶颈;其适用前提是团队已具备明确的工程治理意识和一致的架构标准。

推荐收录,因为这不是泛泛而谈的 AI 编程感想,而是把 AI Coding 纳入工程治理体系的一套可复用方法论,包含规范、评审、测试和重构的闭环设计。对正在经历 AI 产能上升、代码规模膨胀和技术债加速累积的团队尤其有参考价值。

工程实践知乎 - 阿里巴巴大淘宝技术

【干货长文】RAG 全链路技术详解

这篇文章系统梳理了 RAG 在 Agent 场景中的全链路工程实践,覆盖文档加载、智能切分、向量索引、检索优化、生成调优、Graph RAG 和自动化评测等关键环节。文章不仅解释了各环节的核心原理,还结合 Query 改写、HyDE、Doc2Query、重排序、Ragas 指标与测试集生成等方法,强调通过“可测、可调、可信赖”的闭环提升 RAG 的业务确定性与降低幻觉。适用边界也较清晰:它更偏向工程落地与系统方法论,而非单点算法创新。

推荐收录,因为它不是泛泛介绍 RAG 概念,而是把知识库构建、召回、生成和评测串成了完整的方法链,具有很强的工程参考价值。对于正在做 Agent、企业知识问答或检索增强系统的团队,这篇文章能直接迁移到方案设计、问题定位和效果评估中。

工程实践知乎 - 千问云

知识库分层编排:从 RAG 到 Agent-native Knowledge Context Layer

文章围绕工程知识库在检索、组织和同步上的结构性瓶颈展开,系统比较了 Naive RAG、LLM Wiki、Graphify 和 GraphRAG 四种范式,并指出单纯向量检索容易出现“每次从零推导”“无法连点成线”“粒度混乱”等问题。作者进一步提出“金字塔”式知识库方案:按原则、架构、规范、实现、经验五层组织知识,用图谱关系和角色感知路由来提升上下文选择质量,并给出增量同步、审计机制和一组小规模评测结果。

推荐收录,因为这篇文章不是泛泛谈 RAG,而是围绕工程知识库的结构化组织、检索路由、同步更新和评测方法给出了一套可落地的设计框架。它对正在构建 AI 知识库、内部文档问答或 Agent-native context layer 的读者具有较强的迁移价值。

工程实践Xe Iaso

I taught a bucket to speak git

这篇文章讲的是作者如何把一个对象存储 bucket 改造成能直接承载 Git 仓库的后端,并基于 go-git 与 billy 这些抽象实现了一个纯 Go 的 git server。正文不只是展示“能跑”,还系统复盘了 rename 原语、packfile 写入与读取、stat/list 级联、clone 过程中的随机读放大,以及用本地缓存缓解对象存储高延迟等关键问题,并明确指出哪些地方只是实验性权衡、并不适合直接用于生产。

推荐收录,因为它把“把 Git 放到对象存储上”这个看似奇技淫巧的问题,拆解成了可验证的系统设计与性能问题,具有很强的迁移价值。读者可以从中学习如何用抽象层适配存储语义、如何识别网络存储与本地文件系统的性能鸿沟,以及如何用指标驱动优化。

工程实践Netflix TechBlog

How Netflix Simplified Batch Compute with Kueue

这篇文章介绍了 Netflix 如何把自研的批处理计算系统 CMB 迁移到 Kubernetes 生态中的 Kueue,以替换原有的排队、调度和容量管理逻辑。作者不仅解释了迁移动机,还详细说明了租户层级、保留容量与共享容量的语义、Cohort/ClusterQueue/LocalQueue 的映射关系,以及如何在不改变用户 API 的前提下完成透明迁移。文章最后总结了高 QPS 配置、先迁最复杂客户、以及引入公平共享和抢占机制等经验,并说明这些改造已在生产中支撑数百万批任务运行。

推荐收录,因为它展示的是一次真实的大规模批处理平台重构,而不是单纯介绍一个开源工具。文章对多租户容量管理、调度语义迁移、灰度与回滚、以及生产吞吐保障都有具体做法,具备很强的可迁移参考价值。

工程实践Meta Engineering

Adopting AV1 for Real-Time Communication (RTC) at Scale

这篇文章系统复盘了 Meta 在实时通信场景大规模引入 AV1 的全过程,覆盖编码器/解码器选择、移动端功耗与内存约束、二进制体积控制、Android 设备准入、以及基于编码/解码延迟的动态码率与码流切换策略。作者进一步讲解了面向 RTC 的关键质量优化,包括更精确的 CBR rate control、VBV delay 评估、Temporal Layer、自适应 FEC 和 Long-Term Reference 等抗丢包机制,并说明这些设计如何在低带宽、弱网络和低端设备上兼顾清晰度、时延与稳定性。文章最后给出当前覆盖进展与后续扩展到群聊、硬件 AV1 的边界和方向。

推荐收录,因为它不是泛泛介绍 AV1 优势,而是完整呈现了一个大规模 RTC 系统从选型、落地到持续优化的工程路径,尤其适合关注端侧性能、网络适应和多约束权衡的读者。文章对 device eligibility、rate control、error resilience 的处理方式具有较强迁移价值,能为音视频、移动端和实时通信系统提供可复用的方法论。

技术文章知乎 - 王云鹤

再谈Harness:模型不归一,谁定义模型?

文章围绕“Harness”在 Agent 系统中的位置展开,强调它不是面向用户体验的应用层,而是负责模型路由、工具调用、上下文压缩和失败恢复的控制层。作者进一步提出“模型不归一”是结构性现实,因此 Harness 需要像操作系统一样适配不同模型的能力、成本和时延差异,并通过运行轨迹积累数据,反过来催生更适合 Harness 场景的专用模型。文章的核心结论是:Harness 与模型不是替代关系,而是共生演化关系,且 Harness 本身可能成为 Agent 时代的重要竞争壁垒。

推荐收录,因为它抓住了 Agent 工程里一个很有长期价值的抽象:控制层 Harness 与基座模型的分工、耦合和共演化关系。文章虽然是观点型表达,但提出了可迁移的系统设计判断,适合关注 Agent 架构、模型路由和多模型编排的读者参考。

工程实践Netflix TechBlog

The Data Canary: How Netflix Validates Catalog Metadata

文章介绍了 Netflix 为高频更新的 catalog metadata 构建“data canary”系统的工程实践,用真实生产流量验证数据变换后的最终输出是否会引入损坏。作者详细说明了为什么传统代码 canary 和影子流量不够用,以及如何通过独立 orchestrator、baseline/canary 双集群、混沌实验平台扩展、sticky canary 和实时中止机制,在 10 分钟内完成检测并阻断坏数据发布。文章还给出了主动注入故障的验证结果,说明该方案能在 2.5–4 分钟内识别回归,并把数据错误从“影响播放的事故”前移为“发布前拦截”。

推荐收录,因为它不是泛泛讲“数据质量重要”,而是给出了高频数据管道如何借助生产流量、行为指标和自动化闸门实现快速验证的完整方案。对于做数据平台、实时链路、SRE 或可靠性工程的读者,这篇文章在检测指标选择、实验窗口缩短、误伤控制和系统扩展性方面都有很强的迁移价值。

工程实践Netflix TechBlog

Data Projects: Managing Data Assets at Netflix Scale

这篇文章介绍了 Netflix 如何在超大规模数据平台中用“Data Projects”重构数据资产管理:把表、工作流、密钥等相关资产聚合到项目这一更高层级,并用项目级的合成、可持续身份替代绑定个人的权限与执行身份。文章重点解释了它如何缓解组织调整导致的权限维护灾难、如何避免工作流因人员流动而失效,以及“gravity”机制如何让新资产自动归属到项目中,从而降低后续治理成本。结论是,在拥有海量表和成千上万批处理任务的环境里,管理单元必须从“单个资产/单个人”上移到“项目”,并可进一步扩展到成本、健康度和审计等平台能力。

推荐收录,因为它不是单纯的产品介绍,而是基于 Netflix 真实规模约束提出的数据平台治理架构:权限、身份、工作流和资产归属如何统一建模,思路具有很强的迁移价值。对做数据平台、权限系统、工作流编排或企业内部平台建设的读者而言,这篇文章能直接启发“管理边界应该放在哪一层”的设计判断。

工程实践Netflix TechBlog

The Evolution of Cassandra Data Movement at Netflix

这篇文章复盘了 Netflix 将 Cassandra 数据搬迁从旧的 Casspactor 架构演进到新的分层数据移动引擎的过程,核心目标是提升可靠性、可扩展性和成本效率。文章重点解释了新方案如何直接从 S3 中的备份元数据读取单一事实来源、在 Spark DataFrame 层处理数据、通过 Connector Factory 支持多种数据抽象,以及如何解决大分区、元数据脆弱、间接表膨胀和时间回溯等问题。文中还系统总结了迁移方法论:通过 shadow 验证、可观测性建设和 Decider pattern 实现对线上用户零影响切换,适合作为大型数据平台重构与平滑迁移的参考案例。

推荐收录,因为它不是简单的系统替换公告,而是完整展示了一个高风险数据平台迁移如何从架构、验证、观测和回滚机制四个层面设计。对做数据基础设施、平台工程和大规模迁移的读者来说,文中的分层架构、单一事实来源、shadow 对比和安全切换方法都具有很强的可迁移价值。

工程实践Netflix TechBlog

Thinking Fast & Slow for a Personalized Notification System

这篇文章介绍了 Netflix 在个性化通知系统上的一次架构重构:将原本耦合的单一发送决策拆分为“慢策略”和“快策略”两层。慢层负责按周尺度为用户制定消息频率和渠道节奏等长期计划,快层负责在实时机会到来时选择具体发送内容,从而同时兼顾短期点击与长期疲劳、退订风险。文章还解释了效用函数如何把正向参与信号、负反馈信号和统一消息成本结合起来,以及如何通过 feature store 在两层之间异步传递策略状态。

推荐收录,因为它不仅讲“怎么建模”,更讲清了推荐/通知系统中长期目标与短期决策冲突的工程化解法,具有很强的可迁移性。对于做推荐系统、消息触达、AI 产品决策或策略分层架构的读者,这篇文章能直接提供可复用的设计思路和权衡框架。

工程实践Netflix TechBlog

From Silos to Service Topology: Why Netflix Built a Real-Time Service Map

文章介绍了 Netflix 为什么要构建一个实时 Service Topology,并说明它如何解决分布式系统中“依赖关系不清、影响范围难估、故障来源难定位”的问题。作者将网络流量、应用层 IPC 指标和分布式 tracing 三种来源分别建成独立拓扑,再通过统一查询和富上下文展示为工程师提供可实时更新的服务依赖地图。文中还概述了从 Kafka 多区域接入、分布式聚合、eBPF 流量解析,到图存储和 gRPC API 的整体架构,以及它在故障排查、变更评估、blast radius 计算和历史回溯中的用途与边界。

推荐收录,因为它不是单纯介绍一个可视化工具,而是系统性展示了在超大规模微服务环境下如何把多种观测信号组织成可操作的依赖拓扑。对做分布式系统、可观测性平台、SRE 或基础设施的读者来说,这篇文章能直接迁移到依赖建模、故障定位和变更风险评估等场景。

工程实践Cloudflare Blog

Build your own vulnerability harness

这篇文章系统讲解了 Cloudflare 如何把“单次的安全审计技能”演化成面向整个代码仓库群的漏洞发现与验证流水线,核心思想是把模型当作可替换部件,而把持久化状态、调度、去重、交叉验证和人工复核做成稳定的基础设施。文章详细拆解了 Recon、Hunt、Validate、Dedup、Trace、Judgment、Fixing 等阶段,强调通过数据库持久化、独立验证模型、跨仓库依赖追踪、PoC 强约束和人类签核来压低误报并提升可扩展性,同时明确指出这种体系更适合大规模、长期运行的安全研究场景,而不是依赖单个提示词或单个模型会话。

推荐收录,因为它不是泛泛谈“用 AI 找漏洞”,而是给出了一套可以迁移的工程架构:如何把不稳定的模型能力包进可恢复、可去重、可验证、可审计的流水线中。对做安全自动化、LLM 编排、复杂任务代理系统和大规模人工复核流程的读者,都有很强的参考价值。

技术文章知乎 - 孔某人

主流Agent Harness实现对比——SubAgent与MultiAgent

这篇文章系统对比了主流 Agent Harness 中 SubAgent、Agent as Tool 与 Multi-Agent 的实现差异,重点分析了 Claude Code、Codex、OpenAI Agents SDK 和 OpenCode 在上下文继承、Fork、Coordinator、Teammate/Swarm、Handoff 等机制上的设计取舍。作者结合逆向分析、版本差异和实际使用体验,指出当前主流实现更偏向 SubAgent/Agent-as-Tool,而不是传统对等 Multi-Agent;其核心价值在于既能解决长上下文任务,又能引入旁观者视角与并行子任务能力,但相关结论受版本与灰度状态影响,边界条件需要注意。

推荐收录,因为它不是泛泛而谈“多智能体很强”,而是把不同产品的 Agent 编排机制拆开比较,能帮助读者理解 Agent Harness 的真实工程权衡。对做 AI 工程、开发 CLI/IDE 代理、或设计多阶段任务编排系统的人,都有较强的迁移价值。

工程实践Cloudflare Blog

Defend against frontier cyber models: Cloudflare's architecture as customer zero

这篇文章讨论了面对“前沿网络攻击模型”时,安全重点不应只放在补丁速度上,而要转向漏洞周边的架构设计与爆炸半径控制。作者以 Cloudflare 自身作为 customer zero,给出了一套分层防御方案:用基于机器学习的 WAF 攻击评分、正向安全模型的 API Shield、Bot Management、Zero Trust Network Access、IdP Federation、MCP Server Portal 和 AI Gateway 把验证、身份、访问、代理与审计前置到应用之前。文章还强调通过边界与内网红队持续验证这些层是否真的能限制攻击者可见范围、可达路径和可修改面,而不是依赖单点检测或单次修复。

推荐收录,因为它不是单纯介绍产品,而是把新型 AI 攻击能力、检测机制和防御架构放在同一套威胁模型里讨论,给出了可迁移的安全设计原则。即使读者不使用 Cloudflare 产品,也能直接借鉴其中的分层防御、正向安全模型、身份前置和持续验证思路。

技术文章知乎 - 鹅厂架构师

Kubernetes(k8s)快速入门(中篇)

这篇文章以一个微服务 Demo 为主线,系统讲解了 Kubernetes 的一组核心入门实践:使用 Minikube 搭建本地集群、用 Namespace 隔离环境、用 Kustomize 管理多环境配置、通过 Sidecar 与 initContainer 同步配置、设置 requests/limits、配置 Startup/Readiness/Liveness Probe,以及通过 Service 暴露集群内外访问。文章的重点不在抽象理论,而在一套可跟做的部署流程和 YAML 组织方式,适合用来建立对 K8s 基本对象与常见运维模式的整体认知。其适用边界也比较明确:这是偏入门和示范性质的实操教程,适合作为上手参考,但不是生产级最佳实践的完整指南。

推荐收录,因为它把 Kubernetes 的多个核心概念放进了同一个可运行 Demo 中,能帮助读者把 Namespace、Kustomize、探针、资源限制和 Service 这些碎片知识串成完整链路。对刚接触容器编排、想理解“如何把应用真正部署到 K8s 上”的读者尤其有参考价值。

工程实践知乎 - 腾讯技术工程

横向拆解Claude Code、Codex等六大Agent上下文压缩策略后,我们做了第 7 个

文章横向拆解了 Claude Code、Codex CLI、OpenCode、Cline、Cursor、Amp、MemGPT/Letta 等多种 Agent 上下文压缩方案,归纳出分层渐进、真实 token 计量、保护近端信息、增量摘要和稳定缓存前缀等共识。随后作者结合 MUR AI 这一云端多用户 Agent 的实际约束,落地了四级水位线(Snip/Prune/Summarize)方案,并补充了日志落盘、工具差异化、跨轮 ReplacementCache 和多租户隔离等工程设计。文章的核心结论是:上下文压缩不是一次性清理,而是持续维护模型注意力与缓存稳定性的系统能力,且在云端场景需要额外处理审计、重启一致性与权限边界。

推荐收录,因为它不是单纯介绍某个产品功能,而是把主流 Agent 压缩策略、失败模式和工程落地方案放在同一框架下比较,适合长期参考。尤其对做云端 Agent、长上下文管理、缓存优化和多租户系统的团队,这篇文章提供了可直接迁移的设计原则与踩坑经验。

工程实践知乎 - 孔某人

主流Agent Harness实现对比——Memory篇

这篇文章系统对比了主流 Agent Harness 的 Memory 实现,重点分析 Claude Code、Codex/OpenAI Agents SDK、OpenClaw 等方案在记忆写入、召回、整合与淘汰上的设计差异。作者不仅贴出并解读关键 prompt 和实现细节,还讨论了文本记忆与向量 RAG 的取舍、同步写入与离线整合的延迟成本,以及“记什么、不记什么”的质量边界。文章结论偏向 Claude Code 的方案更均衡、Codex 更像事后挖掘式记忆、OpenClaw 的实现相对华而不实,但整体仍提供了可迁移的 Agent 记忆架构分析框架。

推荐收录,因为它不是泛泛介绍“Agent 有记忆”这一概念,而是深入比较了多个真实产品的记忆系统如何落地、如何权衡延迟与质量、以及为什么当前主流方案普遍避开传统 RAG。对于做 Agent、LLM 工具链或 AI 编程助手的人,这些分析具有很强的可迁移价值。

工程实践知乎 - 千问云

首个 Java Harness Framework 来了|AgentScope 把 OpenClaw 带到企业分布式场景

文章围绕 AgentScope Java 1.1.0 的 Harness Framework 发布,系统说明了如何把 OpenClaw/Hermes 这类“工作区驱动、带记忆、可执行工具”的 Agent 理念,推进到企业级分布式场景。核心内容集中在 Workspace 作为唯一事实来源、AbstractFilesystem 作为可插拔存储/执行抽象、内置上下文压缩与分层记忆、以及子 Agent 编排和沙箱隔离等工程能力,并分别讨论了个人助手、数据型 Agent 和在线业务 Agent 的适用形态与边界。

推荐收录,因为它不只是产品发布,而是较完整地总结了 Agent 工程化从本地个人助手走向企业分布式服务时必须面对的状态管理、隔离、安全和编排问题。对正在设计 Agent 框架、评估工作区/文件系统抽象、或思考多租户与沙箱执行的读者,有直接的可迁移参考价值。

工程实践知乎 - 腾讯技术工程

OpenClaw 与 Hermes:源码里的 AI Agent 架构课(一)

这篇文章基于 OpenClaw 与 Hermes 的源码,系统拆解了 AI Agent 平台在 Gateway 微内核、Channel 契约、Session 路由、Auth Profile、Compaction、Subagent、Sandbox 和记忆系统上的核心设计。作者不是停留在功能介绍,而是把“为什么这样设计”讲清楚:例如多协议接入如何做成插件契约、上下文与凭据如何分级降级、以及如何在单体与多 Agent、CLI/ACP/MCP/HTTP 多种暴露面之间做双向互联。全文还用实际插件开发经历串联源码细节,明确指出这些不完美背后的工程取舍与适用边界。

推荐收录,因为它提供的是一套可迁移的 Agent 系统架构分析,而不是单纯的产品演示或经验碎片。文中对协议分层、路由隔离、容错降级、安全审批和记忆管理的拆解,能够直接帮助读者理解和复用生产级 AI Agent 的设计方法。

工程实践Amazon Science

How flat is replacing fat in AWS data center networks

文章介绍了 AWS 在数据中心网络中用“准随机”平面网络替代传统 fat-tree 的方案,核心包括拓扑设计 RNG、路由算法 Spraypoint,以及用于落地布线的被动光学组件 ShuffleBox。作者不仅解释了为什么随机平面拓扑在理论上更优,还给出了可计算的性能模型、530 个 CPU 年规模的仿真实证,以及在真实生产环境中的部署结果。文章最后总结了该方案在路由器数量、吞吐量和能耗上的收益,同时说明其适用前提是需要配合专门的物理布线与路由机制。

推荐收录,因为它把网络拓扑理论、路由算法设计、物理布线约束和生产验证完整串联起来,属于典型的高质量工程研究案例。对做数据中心网络、系统架构和高性能基础设施的读者来说,这篇文章提供了可迁移的设计思路:如何把“理论最优”转化为“可部署、可验证、可规模化”的方案。

技术文章知乎 - 鹅厂架构师

AI软件工程范式革命的思考

这篇文章试图从工程史与控制论角度重新定义“AI软件工程”:作者认为过去五十年的软件工程主要是在管理人的不确定性,并未真正实现工程化;大模型首次让“能源换高阶认知”成为可能,因此软件开发有机会从“人为中心 + AI 辅助”转向“AI 为中心 + 人工辅助”。文章进一步提出,真正可靠的 AI 软件产线必须依赖确定性裁判(如编译、测试、监控、契约验证)形成闭环,并通过分治结构、分工协调总线、场景驱动的隐性知识蒸馏来让 AI 从局部写代码工具升级为可被组织化运营的认知产线。适用边界上,文章更多是范式推演和组织设计蓝图,强于方向判断与框架抽象,弱于实证数据与可验证案例。

推荐收录,因为它不是单纯的工具使用经验,而是从工程机制、验证闭环和组织形态三个层面讨论 AI 如何重构软件生产,具有较强的迁移价值。虽然部分论断偏宏观和前瞻,但对关注 AI 代码生成、工程自动化和研发组织变革的读者,能提供一套可继续讨论和拆解的框架。

工程实践知乎 - SmartCode 得物技术

HorizonVault 技术深潜:如何在 HDD 上做出 100GB/s+ 级大吞吐分布式存储|得物技术

文章深度解析了得物自研分布式存储引擎 HorizonVault 的设计,目标是在通用 HDD 上支撑 Kafka 远程存储、冷热数据下沉等场景,并实现 100GB/s+ 级别的集群吞吐。作者围绕 Broker、Meta、Store、Network、HA 等模块,说明了如何通过顺序追加、小索引定位、磁盘状态治理、线程隔离、网络背压和 follower 主动追赶,把 HDD 的随机 I/O 短板限制在系统可控范围内。文章的核心结论是:高吞吐并不只靠单盘性能,而是依赖资源调度、路由打散和副本同步等机制的组合;但这种方案主要适用于大对象、顺序写占主导的远端存储场景。

推荐收录,因为它不是泛泛介绍“做了一个存储系统”,而是完整讲清了面向 HDD 的高吞吐分布式存储如何在架构、路由、索引、复制和背压上协同工作。对做存储、Kafka Tiered Storage、分布式系统和性能治理的读者来说,这篇文章提供了可直接迁移的设计思路和边界判断。

工程实践知乎 - 哔哩哔哩技术

我们如何用 A2UI + Vue,让大模型长出“可交互界面”

文章分享了哔哩哔哩商业广告业务中,将大模型从“输出文本”升级为“生成可交互界面”的完整工程实践。作者基于 Google A2UI 协议,自研了 Vue 渲染器与 Agent 工具链,并重点说明了 Runtime Schema 动态装配、双重校验、SSE 双通道输出、消息幂等处理、DataModel 绑定和 Wrapper 组件体系等关键设计。 文章不仅讲清了为何模板填充式方案不够用,也交代了在多业务场景下如何通过协议标准化、白名单控制和状态机约束来提升生成式 UI 的安全性与可维护性。结论上,它适合已经在做 AI 应用落地、前后端协同和组件化渲染的团队参考,但作者也明确说明当前方案仍属于混合模式,复杂组件尚不能完全交给模型自主生成。

推荐收录,因为它不是泛泛介绍“AI 生成界面”的概念,而是给出了从协议选型、后端校验到前端渲染的完整落地链路,具有很强的工程参考价值。对于正在建设 AI 助手、低代码交互或生成式 UI 平台的团队,这篇文章的协议约束、状态管理和容错设计都可直接迁移。

工程实践知乎 - 鹅厂架构师

QQ音乐Harness Engineering实践

文章系统介绍了腾讯音乐在大仓多服务场景中落地 Harness Engineering 的实践,核心目标是把 AI 编程从“对话式生成”升级为“可控、可审计、可复用”的工程流程。作者提出用上下文工程、流程门禁、服务矩阵、三层知识体系、Skill/Agent/Command 三件套和 Self-Refinement 机制,把需求、设计、开发、验证和经验沉淀串成一条可追溯的链路,从而降低 AI 生成代码在生产环境中的漂移和返工。文章也明确给出适用边界:它不是替代 IDE 或通用 AI 编程工具,而是位于执行层之上的治理层,尤其适合跨服务、跨仓库、强契约约束的企业研发场景。

推荐收录,因为它不是泛泛谈“AI 提效”,而是把 AI 协作中的真实工程矛盾拆成了可落地的治理方案,包含流程、知识、契约和审计等多个层面。对正在探索 AI 编程工程化、Monorepo 微服务协作和团队级 AI 治理的读者,这篇文章有很强的迁移价值。

工程实践知乎 - TencentDB腾讯云数据库

腾讯云Agent Memory节省61% Token提升52%成功率的诀窍:Mermaid无限画布×上下文卸载

文章围绕 Agent 长任务中的短期记忆压缩问题,提出“上下文卸载 + Mermaid 无限画布”的组合方案:将完整工具结果、网页正文和日志等原始信息卸载到外部文件系统,同时用 Mermaid Flowchart 维护任务结构、状态与索引,使上下文只保留高密度摘要和可恢复入口。作者还系统比较了 Flowchart 与 StateDiagram、上下文卸载与画布的分工边界,以及从 raw 原文到 JSONL、MMD、metadata 的分层折叠/恢复路径。文章给出多组长 Session 实验结果,在 SWEbench、Toolathlon、WideSearch、AA-LCR 等场景中实现了最高 61.38% 的 Token 节省,并在部分任务上提升通过率/准确率,说明该方案更适合长任务、多工具调用和反复迭代的 Agent 场景,但对摘要质量与外部索引设计仍有依赖。

推荐收录,因为它不是泛泛介绍“省 Token”的产品稿,而是把 Agent 记忆管理拆成了可复用的工程机制:信息卸载、结构化画布、分层恢复与实验验证。对于做 LLM Agent、工具链、长上下文管理或记忆系统设计的读者,这篇文章能直接迁移其分层存储和任务状态外化思路。

工程实践知乎 - 孔某人

面向天级任务的通用场景Agent框架 Deputy(已开源)

本文介绍了一个面向1小时到2天级无人值守长任务的通用 Agent 框架 Deputy,重点服务非 Coding 白领办公场景,而不是专门优化编程任务。作者围绕“按需生成 harness”“Master-Worker + Reviewer/Watcher 审计”“基于文件系统的任务级 Memory”“允许 Worker 使用更便宜模型”等设计给出一整套架构取舍,并解释了为何不采用单 Agent、对等 Multi-Agent 或完全依赖现成 Agent 内核的方案。文章同时明确指出当前 0.1.0 版本仍需要打磨,且开源代码只是高层 spec 的编译结果,适合作为长任务 Agent 架构的参考实现而非直接生产落地模板。

推荐收录,因为它不是泛泛介绍“Agent 很强”的产品稿,而是围绕长任务执行、审计纠偏、记忆机制和 harness 生成给出了可复用的架构判断。对关注 LLM 工程化、任务编排和长时 автономous delivery 的读者来说,文章能提供较强的迁移价值与设计边界感。

技术文章知乎 - 腾讯技术工程

AI Infra源码入门:大模型是如何高效推理的

这篇文章以 vLLM 源码阅读为主线,系统拆解了大模型推理的完整数据流:从 tokenization、embedding、Transformer block、Attention、FFN 到 LM head 和 sampling,并用 Llama 3 的张量维度变化把“模型怎么算”和“代码怎么跑”对应起来。文章重点解释了 continuous batching、PagedAttention、FlashAttention、KV Cache 组织、prefill/decode 差异、抢占与调度策略等 AI Infra 核心机制,同时穿插了算力密度、访存带宽、kernel fusion、在线 softmax 等工程取舍与性能边界。整体上它不是泛泛讲 Transformer,而是从源码和运行时视角揭示大模型高效推理的关键实现路径,适合作为 AI 推理系统入门与复盘参考。

推荐收录,因为文章把大模型推理的核心机制、张量形状和工程优化串成了一条完整链路,既能帮助读者理解原理,也能帮助读者读懂 vLLM 这类推理系统的实现。它对做 AI Infra、GPU 推理优化、模型服务和系统架构的人都有较强迁移价值。

工程实践知乎 - SmartCode 得物技术

Claude Code Harness 工程:数仓侧落地方案|得物技术

文章围绕得物在离线数仓场景下落地 Claude Code Harness 的工程实践展开,系统分析了 AI Coding 在长上下文、规范执行和复杂需求开发中的三类痛点:上下文压缩导致“失忆”、规范依赖记忆而不稳定、以及大规模血缘/自测数据撑爆 context。作者提出用 CLAUDE.md 做持久化上下文、用 hooks 做确定性规范拦截、用 subagent 做高 token 操作隔离,并进一步给出适配数仓研发 8 个步骤的工作流和配置样例,形成一套可执行的 Harness 架构。文章的结论是:把语义理解留给 LLM,把规范检查、危险操作拦截和上下文隔离交给宿主框架,才能显著提升数仓 AI 开发的可靠性和一致性。

推荐收录,因为它不是停留在“AI 提效”的口号层面,而是把 Claude Code 的宿主框架、hooks、subagent 和持久化文件组合成了可落地的工程方案。对使用 agentic coding 工具、需要处理复杂上下文和强规范流程的团队,这篇文章有很强的可迁移参考价值。

技术文章知乎 - 腾讯技术工程

从0开发大模型的17种Agent架构演进详细拆解

这篇文章围绕“17种 Agent 架构演进”展开,不是简单罗列概念,而是用统一的分析框架拆解每一代架构新增了什么状态、路由逻辑和验证机制,以及它为何能比上一代解决更多问题。作者结合 agno 的 Workflow、Router、Loop、Parallel、Team 等抽象,将 Reflection、Tool Use、ReAct、Planning、PEV、多 Agent、Blackboard、Ensemble、Memory、Graph Memory、Tree-of-Thoughts、Mental Loop、Dry-Run、Metacognitive、Self-Improvement、Cellular Automata 等模式逐一落成代码,并系统说明了各自的失败模式与升级边界。文章的核心结论是:Agent 架构的本质不是 prompt 技巧,而是控制流设计;可靠系统必须显式建模状态、路由、终止条件和评估器。

推荐收录,因为它把 Agent 架构从“概念清单”提升到了“控制流与状态机”的层面,能直接指导真实系统的设计与排错。文章不仅有方法论总结,还给出可迁移的分层判断标准,适合做 Agent 工程入门到进阶的长期参考。

工程实践知乎 - 鹅厂架构师

Elasticsearch 实战 | 客户的 ES 2.4 集群跑了 10 年没动,这次我们把它搬上腾讯云了

这篇文章复盘了一个真实的 Elasticsearch 迁移项目:将客户长期运行的 ES 2.4、Solr 5.3.1 以及相关业务索引,迁移到腾讯云 ES 7.14.2,并覆盖了全量/增量同步、灰度切流和回滚双写等完整链路。作者重点讲解了跨 5 个大版本迁移中遇到的关键问题与处理方式,包括多 type 合并到单 type、字段类型一旦落地不可修改、_id 元数据与 source 字段冲突、ngram 分词导致索引膨胀、默认模板影响全文检索,以及按月拆索引配合 index sorting 提升范围查询性能等。

推荐收录,因为它不是泛泛而谈的迁移宣讲,而是把真实生产环境里最容易踩坑的 ES 迁移、建模和性能优化问题逐一拆开,给出了可复用的定位思路和配置方案。对做搜索系统迁移、索引设计、同步链路和线上切流的工程师来说,这篇文章具有很强的迁移价值和实战参考意义。

工程实践知乎 - 鹅厂架构师

给 AI Agent 装上长期记忆:MemOS 本地部署

这篇文章围绕 MemOS 的本地部署与接入实践,系统讲解了如何给 AI Agent 增加长期记忆能力,并把它放到 Harness Engineering 的六层框架中理解。作者不仅说明了记忆与检索的区别、MemOS 的 Memory Cube、图+向量混合存储、MemReader 抽取、反馈修正等核心机制,还给出 Windows 本地环境下的 Ollama、Neo4j、Qdrant、环境变量配置、启动脚本和 MCP 接入方案。文章的结论是:对于需要跨会话记忆、团队共享经验、长期运行与可治理记忆的 Agent 场景,MemOS 比普通 RAG 更接近“记忆系统”而不是“知识检索”。

推荐收录,因为它不是简单的工具安装记录,而是把 AI 记忆系统放进 Agent 架构与长期上下文治理框架中,提供了可复用的工程思路。对正在做本地 Agent、团队知识沉淀或上下文管理的读者,这篇文章既有落地配置,也有关于记忆治理、过滤、权限隔离和工作流约束的实战经验。

工程实践Microsoft Research Blog

mimalloc: A new, high-performance, scalable memory allocator for the modern era

这篇文章系统介绍了 mimalloc 现代内存分配器的设计目标与实现取舍,包括线程本地 heap、按页组织的固定大小块、三层 free list、跨线程释放的原子 CAS 路径,以及通过 page stealing 在可扩展性和内存共享之间取得平衡。作者还给出了小对象分配/释放的快路径、跨线程同步开销为何可控,以及在大规模并发服务和超大内存工作负载中的基准表现,说明它既能支撑高吞吐也能保持较低碎片与可接受的提交内存比例。

推荐收录,因为它不是泛泛介绍 malloc,而是把并发分配器的关键设计点、数据结构、快慢路径和性能边界讲得很清楚,适合长期作为系统性能与内存管理参考。文章对“低争用、高局部性、可迁移到真实服务”的工程取舍有很强的迁移价值,尤其适合做系统编程、运行时和基础设施方向的读者学习。

工程实践知乎 - 千问云

从玩具到生产力:用真实项目讲透 AI Agent 的 Harness Engineering

文章围绕 AI Agent 在企业工程环境中的落地,提出“Harness Engineering”这一控制面概念,核心是用外部状态、能力边界、沙盒验证、checkpoint 和回写机制,把大模型这种非确定性引擎纳入可交付的工程体系。作者结合 Aegis 内部项目的真实推进过程,详细说明了从目标收敛、Spec/Handoff 持久化、Capability 路由,到测试前置、日志反咬、审批门禁等一整套落地方法。文章的结论是:模型能力本身已足够参与交付,但只有先建立 Harness,Agent 才能从“高级玩具”变成可持续协作的研发协作者,同时工程师的角色也会从亲手写代码转向目标定义、节奏控制和结果验收。

推荐收录,因为文章不是泛泛谈 Prompt,而是从真实项目出发,系统拆解了 AI Agent 进入生产环境时必须面对的状态管理、执行边界、验证闭环和故障恢复问题。它对想把大模型真正接入研发流程、并思考人机分工变化的工程师具有很强的可迁移价值。

工程实践知乎 - 携程技术

9亿数据归因分析跑进15秒:携程智能归因系统如何用 Ray+DuckDB 破解算力危机?

这篇文章复盘了携程智能归因系统在9亿+数据规模下的性能重构:原先依赖 ClickHouse 的集中式重计算导致查询超过40秒并影响集群稳定性,随后通过将数据提前导出为 Parquet、放到 S3/Ceph 中,并用 Ray 负责任务调度、DuckDB 负责单节点高性能执行,把归因分析压到15秒以内。文章不仅解释了 Ray + DuckDB 的分工、任务拆分、分区剪枝、Actor 共享本地磁盘等实现细节,还展示了在 K8s/KubeRay 上的弹性伸缩、可观测性和 CI/CD 集成方式,适合大规模分析计算与资源隔离场景参考。

推荐收录,因为它不是单纯的技术宣传,而是一个有明确前后对比、瓶颈定位和架构取舍的真实工程案例。对于做大规模分析、工作负载隔离、分布式任务拆分和嵌入式分析引擎选型的团队,这篇文章具有较强的可迁移参考价值。

工程实践知乎 - 千问云

深入源码:Hermes Agent 如何实现 "Self-Improving"

这篇文章通过源码拆解 Hermes Agent 的“Self-Improving”机制,重点分析了 Memory、Skill、Nudge Engine 三个子系统如何协同形成“记忆—沉淀—触发复盘”的闭环。文章不仅解释了字符上限、冻结快照、后台审查、skill patch 与安全扫描等实现细节,还讨论了这些设计背后的缓存、成本、安全与可维护性权衡,以及开源版与团队版产品化形态的差异。整体上,它不是泛泛介绍 AI Agent 概念,而是围绕真实代码与运行路径总结可迁移的工程设计经验。

推荐收录,因为文章把“Agent 如何从一次次任务中持续变强”拆成了可验证的工程机制,并用源码细节说明了每个设计决策的代价与收益。对于关注 AI Agent 架构、可持续记忆、技能沉淀和安全边界的读者,这篇文章具有较强的可迁移参考价值。

工程实践知乎 - 孔某人

Multi Agent终于不是噱头了么,展望下一代Agent架构设计(2)

这篇文章延续上一部分,讨论下一代 Agent 架构为什么不能只依赖单一 harness 自动生成,而需要引入更复杂的“智能 harness”或多角色协作设计。作者从长任务场景出发,系统列出当前 LLM/Agent 的一组关键问题,包括上下文窗口不足、任务中后期懒惰、奖励目标偏移、单上下文复盘失效、元认知不足以及长期任务能力薄弱,并进一步指出这些问题在 multi-agent 场景里还会叠加协作可靠性和协作规划问题。

推荐收录,因为文章不是泛泛谈“多智能体更强”,而是基于作者的原型实践,明确拆解了当前 Agent 系统的失效模式和需要补强的架构环节。对做 AI 工程、Agent 框架或长任务自动化产品的人来说,文中的问题清单、角色分工思路和边界判断都有较强迁移价值。

工程实践知乎 - 千问云

Claude Code 源码拆解:从启动到多 Agent 扩展层

这篇文章以 Claude Code 源码为依据,系统拆解了一个成熟 Agent 产品从启动、REPL 控制面、Query Loop、Tool Runtime、权限系统、Task/多 Agent 到 MCP/Skills/Plugins 扩展层的完整运行链路。作者的核心论点是:Agent 系统真正的复杂度不在模型本身,而在于把边界、连续运行、行动协议、风险控制、并发执行和平台扩展分别放到合适的 runtime 层中,从而避免主循环被各种特判拖垮。文章最后总结出一套可迁移的方法论:先定执行边界,再把上下文治理、工具副作用、权限与任务生命周期制度化,适合做 AI Agent、研发工具链和平台架构设计的人参考。

推荐收录,因为它不是泛泛而谈 Claude Code 功能,而是从源码和系统视角提炼出可复用的 Agent 架构方法,特别适合做 AI 工程、开发者工具和平台化产品的读者。文章对启动链路、控制面、工具协议、权限和多 Agent 生命周期的拆解很具体,能直接迁移到类似系统的设计与复盘中。

工具笔记知乎 - 鹅厂架构师

AI 能记住全世界,凭什么不能记住你自己?| AI 时代如何搭建「个人知识库」

文章讨论 AI 时代个人知识管理的变化,核心观点是:知识不再主要靠手工整理,而是在与 AI 的高质量对话、项目协作和动手实践中自然产生,因此需要一层属于个人的“编译层”来统一沉淀、关联和检索。作者详细介绍了自己搭建的 KnowledgeVault 方案,包括 raw/compiled/explored 三层目录、Compile/Explore/Lint/Export 四种使用模式,以及“只记录不判断”“Profile 只传 context 不传 constraint”“防止 LLM 把多源信息编顺”等关键设计取舍。文章最终强调,这套方法不依赖 Claude 生态本身,适用于任何能够持续沉淀结构化产出、并支持跨文件/跨项目操作的 AI 工作流。

推荐收录,因为它不是泛泛谈“如何做笔记”,而是给出了一个可落地的个人 AI 知识系统架构,并明确解释了分层、编译、校验和检索之间的边界。对于深度使用 AI 的开发者、架构师和知识工作者,这篇文章提供了可迁移的工作流设计思路,以及防止知识漂移和叙事锁定的具体方法。

工程实践知乎 - 携程技术

告别“黑盒评审”:我们让LLM为数据仓库模型打了分,效率提升70%+

文章围绕数据仓库模型评审效率低、标准难统一的问题,提出用LLM结合元数据、血缘、需求文档和DQC信息构建可量化的模型评价体系。作者把评审拆成合理度、规范度、重复度、准确度四个维度,并通过MCP+Cursor+内部知识库的工作流实现人机协同评审,据称将新建表评审效率提升了70%+。文章的核心价值在于把“黑盒式人工评审”转化为可复用的规则框架和工具链,适合数据平台、数仓治理和AI工程化场景参考。

推荐收录,因为它不是单纯宣传LLM,而是把数仓评审拆解为可执行的特征提取、规则定义和人机协同流程,具有明确的工程方法论价值。对于数据平台、数仓治理和内部开发效率优化,这套“知识库 + 规则引擎 + LLM”的思路可迁移性很强。

技术文章知乎 - 歪门正道

一图速览DeepSeek V4 Attention结构

这篇文章用结构图梳理了 DeepSeek V4 的注意力机制,重点拆解了 Heavily Compressed Attention(HCA)和 Compressed Sparse Attention(CSA)两种形态。作者说明了压缩 KV 的生成方式、APE 在压缩块内的作用、压缩后再施加位置编码的原因,以及 window KV 与 compress KV、indexer 与 sparse attn 之间的关系,还指出了共享 KV MQA 与 MLA 在计算路径上的区别。文章最后补充了实现来源主要参考 HuggingFace 版本,并提醒开源推理框架可能做了额外优化,适合在理解模型结构时把握“论文/实现/推理框架”之间的边界。

推荐收录,因为它不是泛泛介绍注意力概念,而是把 DeepSeek V4 的具体结构拆成可读的计算流程,帮助读者建立对压缩注意力、稀疏注意力和位置编码配合方式的直观理解。对于研究模型架构、阅读开源实现或分析推理优化的人,这类“结构图 + 细节解释 + 边界说明”的内容具有较强的迁移价值。

工程实践Yelp Engineering

How Yelp Keeps Server-Driven UI Consistent Across Four Platforms

文章接着前文介绍 Yelp 的 server-driven UI 框架 CHAOS,重点讲它如何与跨平台设计系统 Cookbook 以及自动生成的桥接库 Konbini 协同工作。作者先说明 Yelp 与 Yelp for Business 在 Web、iOS、Android 上存在多套界面变体,导致视觉与交互一致性难以维护。随后描述如何把设计系统组件抽象成可复用的 SDUI 组件,并通过桥接层把同一套定义映射到不同平台渲染实现。文章也讨论了自动生成桥接代码在减少重复劳动、降低差异漂移方面的作用。它更适合已有多端应用和设计系统的团队参考,但前提是组件边界清晰、平台能力差异可被抽象,否则一致性和灵活性仍会冲突。

推荐收录,因为正文直接围绕 CHAOS、Cookbook 和 Konbini 的集成展开,讨论了如何在 Web、iOS、Android 多端保持界面一致,并用自动生成桥接层降低实现分叉。适合做多端产品、设计系统或 SDUI 落地的团队参考;可迁移价值在于组件抽象、跨平台映射和减少重复代码,但也依赖平台差异可被稳定封装。

工程实践Anthropic Engineering

Scaling Managed Agents: Decoupling the brain from the hands

本文介绍 Anthropic 为 Managed Agents 设计的“元 harness”架构,核心是把 Claude 的“脑”(模型与调度逻辑)、“手”(沙箱和工具)以及“会话”(持久事件日志)解耦。作者先回顾了早期把所有组件放进单容器的方案,说明这种耦合会把容器变成难以替换的“宠物”,带来故障难排查、用户数据与调试冲突、以及 VPC/外部系统接入困难等问题。随后文章给出新的接口设计:harness 通过 execute/provision/wake/getSession/emitEvent 等稳定边界与沙箱和会话交互,使容器、harness、会话都能独立失败、重启或替换。安全上,凭据被移出沙箱,Git 与 MCP/OAuth 通过受控初始化或代理访问,避免提示注入直接接触 token。作者还指出这种解耦显著降低了 TTFT,p50 约下降 60%,p95 超过 90%,但前提是系统愿意承担更复杂的编排与多环境 reasoning 负担。

推荐收录,因为文章给出了面向长时运行 agent 的完整接口分层、故障隔离和凭据边界设计,并用 TTFT 数据验证了架构收益。适合做 AI 平台、Agent 基础设施和安全设计的参考,尤其能迁移到需要多沙箱、多工具、可恢复会话的工程场景。

工程实践Lyft Engineering

Predicting Rider Conversion in Sparse Data Environments with Bayesian Trees

这篇文章介绍 Lyft 用于预测乘客下单转化率的一种 Bayesian Trees 建模框架,目标是在高基数、极度稀疏的上下文中仍能做出稳定预测。作者先指出常规 GBDT 在细粒度分桶后会因样本过少而过拟合,而深度模型虽可能缓解稀疏性,却不适合需要实时响应的线上场景。其核心做法是把会话按地域、时间、供需等层级拆成树状节点,每个子节点复用与父节点相同的参数化模型,并通过以父节点参数为中心的 L2 正则实现 Gaussian prior 形式的 Bayesian smoothing。这样,叶子节点样本很少时会更多依赖上层先验,样本积累后再逐步向局部数据靠拢。文章还强调用简单模型并施加单调约束来保证“历史转化率越高、当前预测越高”等业务一致性。该方案的边界在于依赖合理的层级划分与正则强度设定,且更适合可解释、低延迟、强稀疏分布的线上预测任务。

文章给出了从稀疏数据过拟合、实时推断约束到 Bayesian smoothing 训练方式的完整工程解法,直接说明了为何要用层级先验和单调约束。适合做推荐/转化率预测、广告或 marketplace 线上建模的读者参考,尤其适用于高基数特征和低延迟服务场景。

科研议题Amazon Science

How agentic AI helps heal the systems we can&#8217;t replace

本文讨论一种面向遗留系统的 agentic AI 思路:不去重建银行、航司、政府审批等难以停机的旧系统,而是让智能体在高保真模拟环境中学习这些系统真实的延迟、错误状态、强顺序约束和隐藏依赖。Amazon AGI Lab 将这类环境做成 RL gym 和 synthetic web environment,让 agent 不只学会“成功流程”,还要学会在失败、回退、重试和部分提交等场景中恢复操作。文章提出,足够成熟的 agent 可以把不稳定的 UI 语义抽象成稳定的“合成 API”,充当跨系统的接口层,逐步吸收现代化迁移期的脆弱性。它强调这不是简单的流程自动化,而是为无法替换的关键基础设施提供一种渐进式升级路径。文章的边界在于主要是理念与研究方向阐述,缺少公开实验指标和可复现细节,但对理解 agent、RL 训练环境与企业遗留系统改造的结合很有参考价值。

推荐收录,因为文章明确给出了 Amazon AGI Lab 在遗留系统模拟环境中训练 agent 的方法,并提出“agent 作为通用接口层”的架构判断。适合关注 agent、企业自动化和系统现代化的读者;可迁移价值在于如何用高保真仿真覆盖失败模式与历史包袱,但它更偏概念阐述,缺少公开基准与实验细节。

工程实践Instacart Tech Blog

Migrating to Jetpack Compose

文章复盘了 Instacart Caper 智能购物车 Android 应用从 Fragments/XML 迁移到 Jetpack Compose 的全过程。作者将迁移拆成四阶段:先用隐式 Fragment host 承接 Compose 页面,再把导航图迁到 Kotlin DSL 与类型安全路由,随后把存量 Fragment 逐步改造成纯 Compose,最后切换到 Compose Navigation。文中最有价值的部分是 AI 辅助重构方法:通过 Git 历史提供上下文、实时纠错、持续更新迁移指南,并把 17 步流程固化为 AI skill。作者给出了 5–7 倍提速、节省约 300–350 工时的结果,但也强调在高风险硬件场景中必须保留截图对比、测试和人工验证。整体结论是:AI 适合重复性强、边界清晰的大规模现代化改造,但前提是先定义好架构目标、约定和检查点。

收录价值明确:文章不仅描述了 Compose 迁移路径,还给出可复用的 AI 辅助重构工作流、检查点和度量结果,属于可迁移的工程经验。适合做 Android 现代化、存量代码重构和 AI 提效实践的参考,但读者需要注意其前提是明确的迁移规范与严格的人为验证。

工程实践Dropbox Tech

Engineering VP Josh Clemm on how we use knowledge graphs, MCP, and DSPy in Dash

这篇文章是 Dropbox Dash 工程副总裁对其检索与智能问答架构的一次系统性拆解,重点讲了如何把多源工作内容接入“context engine”。作者先说明连接器、内容标准化、OCR/多模态理解、嵌入与知识关系建模,再进入 BM25 词法索引与向量库的混合检索,并通过多轮排序实现个性化和权限控制。文章还比较了 federated retrieval 与 index-based retrieval 的取舍,解释了为什么在 Dropbox 规模下更偏向预索引、离线富化和跨应用知识图谱,而不是纯实时拉取。随后作者讨论了 MCP 在上下文窗口、工具定义和延迟上的问题,以及通过“super tool”、子代理和本地存储工具结果来控成本。最后用 LLM as a judge、RAG as a judge 和 DSPy 展示了如何通过评测和提示优化持续提升检索相关性,但也明确指出这些方案高度依赖工程投入、数据新鲜度治理和复杂的离线/在线评估体系。

推荐收录,因为文中给出了 Dropbox Dash 的真实架构取舍:索引式检索、知识图谱 bundle、MCP 工具收敛、LLM 评测和 DSPy 优化都不是概念性描述,而是带有明确约束与结论的工程实践。适合正在做 RAG、企业搜索或 agent 平台的读者参考,但需要注意其方案建立在大规模数据接入和长期基础设施投入之上,不能直接照搬。

工程实践Lyft Engineering

LyftLearn Evolution: Rethinking ML Platform Architecture

文章复盘了 LyftLearn 机器学习平台从全量 Kubernetes 离线架构,演进为“离线用 SageMaker、在线继续用 Kubernetes”的混合平台过程。作者先说明原架构虽然在统一基础设施、启动速度和资源定制上表现良好,但随着千级模型和日均数千任务增长,K8s 编排、状态一致性、集群容量管理和故障排查带来了明显的特征税。迁移的核心原则是替换执行引擎而不改用户 ML 代码,因此团队构建了兼容层,补齐凭证注入、环境变量、指标、超参数、镜像和 Spark 网络等差异。文中还介绍了用 EventBridge/SQS 取代后台 watcher、用 SOCI 和 warm pool 缩短冷启动、以及在 SageMaker Studio 与 EKS 间打通 Spark 双向通信的具体做法。最终结论是:对离线计算,托管服务能显著降低运维复杂度和总拥有成本;对在线服务,已有 K8s 方案在延迟和控制力上仍更合适,平台演进应按工作负载分别选择方案。

推荐收录,因为文章给出了从 K8s 迁移到 SageMaker 的完整工程证据:原始复杂度、兼容层设计、冷热启动优化、网络打通和分阶段迁移策略都写得很具体。适合做 ML 平台、基础设施和架构权衡的参考,尤其对需要在“自建 vs 托管”之间做决策的团队有直接迁移价值。

工程实践Stanford Hazy Research

HipKittens: Fast and Furious AMD Kernels

文章围绕 AMD GPU 上的高性能 AI kernel 设计,介绍了 HipKittens 这一套面向 HIP 的 C++ 嵌入式原语。作者先分析现有 AMD 软件栈的问题:AITER、PyTorch、Triton、TileLang 和 CK 在若干 attention/GEMM 场景下难以稳定逼近峰值,部分还受限于寄存器分配、bank conflict、chiplet swizzle 等硬件细节。随后提出核心判断:tile 抽象可以跨架构复用,但真正决定性能的内存访问、调度和后端实现必须按 AMD/ NVIDIA 分开定制。基于这一思路,HipKittens 用约 500 行代码实现 attention 前向、不到 100 行热循环实现 GEMM,并在多项基准上超过现有基线。文章同时指出 wave specialization 在 CDNA3/4 上并不总有效,说明可移植的高层接口并不等于可移植的底层优化。

文中直接给出可验证的性能结果:HipKittens 的 attention 和 GEMM kernel 在 AMD MI355X 上超过多种基线,且代码规模很小,说明其方法不只是概念展示。适合做 GPU kernel、AI 编译器和多硬件适配的参考,尤其能帮助读者理解“统一接口、分离后端实现”的可迁移设计。

工程实践Anthropic Engineering

Code execution with MCP: Building more efficient agents

文章讨论如何用代码执行环境来更高效地连接 MCP 服务器,核心动机是解决大规模工具接入后的上下文膨胀与中间结果反复进模型的问题。作者指出,直接把所有工具定义和返回值都放进上下文,会在连接上千工具时显著增加 token、延迟和出错率;改为让模型写代码操作 MCP,则可按需读取工具定义,并在执行环境中先过滤、聚合和转换数据。文中进一步给出文件系统式工具发现、search_tools、循环与条件控制、结果脱敏、状态持久化和技能复用等做法,说明这种模式能把很多原本依赖模型逐步编排的逻辑交给程序处理。文章也明确提醒,代码执行并非零成本,需要安全沙箱、资源限制和监控,否则会引入新的运维与安全复杂度。整体结论是:在工具很多、数据很大或任务流程复杂时,code execution 能显著降低上下文成本并提升代理可组合性,但只适合具备较强执行隔离能力的系统。

文章直接给出了从“工具调用”转向“代码执行”的可操作方案,并用 token 成本、延迟和隐私脱敏等具体例子说明收益与边界,适合做 Agent/MCP 系统设计参考。对做 AI 工程、平台能力或工具编排的读者尤其有价值,但落地前必须评估沙箱、监控和安全治理成本。

工程实践Blender Developers Blog

Geometry Nodes Workshop: September 2025

这篇 Blender 开发者博客总结了 2025 年 9 月 Geometry Nodes 工作坊的设计讨论,重点回顾了 Blender 5.0 前后的节点系统演进。文章覆盖了 closures、bundles、列表、体积网格、UV Tangent 等已落地或实验中的能力,并说明了哪些改进已进入主线、哪些仍在设计中。核心议题集中在几类长期架构问题:如何用 bundle 表达物理世界并驱动求解器、如何把复杂结果从几何修改器输出到其他对象、以及如何改进节点编辑器在缩放和默认输入下的可读性与可组合性。文中还讨论了 XPBD 毛发/物理解算、BVH 与 SDF 碰撞取舍、默认输入可复用方案、以及面向多对象和模态节点工具的执行模型。整体上它更像一次开放式工程设计复盘,信息密度高,但不少方案仍处于原型或未定稿阶段,适合关注 Blender 节点架构与图形工具链演进的读者参考。

收录依据明确:文章直接给出 Geometry Nodes 的设计取舍、实现路径和 5.0 版本进展,而不是功能宣传。适合图形工具、DCC 插件和节点式系统设计读者,尤其可借鉴 bundle、求解器接口和节点编辑器交互的架构思路。

工程实践Blender Developers Blog

Volume Grids in Geometry Nodes

这篇文章介绍了 Blender 5.0 在 Geometry Nodes 中引入 volume grids 的设计与实现,使体数据不再只是与几何体互转的中间格式,而可以被直接编辑、采样和组合。作者解释了 grid 作为带数据类型的体素容器如何依托 OpenVDB 存储,并通过变换、背景值、active 状态和 tile 分层来兼顾稀疏性与性能。文中还说明了 fields 与 grids 的边界:field 是可在任意位置求值的函数,grid 是离散数据容器,二者通过 Field to Grid、Sample Grid 等节点互相转换。基于这一机制,Blender 5.0 可以支持 SDF 建模、布尔运算、平滑、advect、curl/gradient 等体积操作。文章也坦承这一设计经历了多年迭代,早期按命名属性访问 grid 的方案因复杂而被放弃,最终改为 grid socket,以换取更清晰的模型和更好的可扩展性。

收录价值明确:文章直接给出了体积网格的数据结构、字段求值边界、OpenVDB 稀疏存储和节点设计的具体证据,而不是只做功能宣传。适合图形学、DCC 工具和体积建模读者参考,其关于接口重设计与长期迭代取舍的经验也有较强可迁移性。

工程实践Stanford Hazy Research

One Kernel for All Your GPUs

这篇文章系统讲解了如何在 NVIDIA 多 GPU 平台上手写高性能通信核,重点面向 NVLink/NVSwitch 互联的单机多卡场景。作者先解释了跨进程共享 GPU 内存的三种路径:UVA、CUDA IPC 和手动 VMM,并说明为何生产环境更需要后两者以及它们的初始化开销与边界。随后文章分析了 NVSwitch 的广播/归约加速机制,以及 copy engine、TMA 和寄存器指令三种通信方式在带宽、并发和可融合性上的差异,给出在 B200 上的实测利用率。最后,作者把这些机制封装进 ThunderKittens 的 PGL 和 TKParallelTensor,展示了不到 100 行代码实现 all-reduce、all-gather、reduce-scatter 和 all-to-all,并在 8 卡 B200 上相对 NCCL 取得最高 2.6x 提升。文章的适用边界也很明确:它主要针对单机 NVLink/NVSwitch 域内的细粒度通信优化,且依赖 VMM、固定粒度显存和较强的 CUDA/编程模型理解,不直接覆盖跨节点通信。

收录价值很高,因为文章不仅给出性能结果,还把多 GPU 通信从内存映射、NVSwitch 机制到 kernel 设计完整串起来,直接提供了可复用的实现路径。适合做分布式训练、MoE、序列并行和自定义 collective 的工程参考;但读者需要接受其局限于单机 NVLink/NVSwitch 域,且实现门槛较高。

工程实践Datadog Engineering

Scaling down to speed up: How we improved efficiency of live process metrics by 100x

文章复盘 Datadog 为 Processes 和 Containers 视图重构实时数据管线的过程,目标是在保留在线进程指标可用性的同时显著降低采集与传输成本。作者先说明原方案在流量规模、处理链路和基础设施占用上的瓶颈,再介绍新的架构拆分与数据处理方式,最终把流量压缩 100 倍、基础设施消耗降低 98%。文中强调的不是单点优化,而是围绕实时性、可见性和成本之间的取舍重新设计系统边界。它对可观测性平台、高基数指标处理和流式管线重构都有迁移价值。需要注意的是,方案效果依赖 Datadog 的数据形态与产品场景,未必可直接照搬。

推荐收录,因为正文直接给出了“流量减少 100x、基础设施减少 98%”的量化结果,并明确讨论了实时指标管线的架构重构与系统取舍。适合做可观测性平台、流式处理和高基数指标设计的工程参考,尤其适合需要在实时性与成本之间权衡的团队。

技术文章Blender Developers Blog

Bundles and Closures

这篇文章介绍了 Blender 5.0 为 Geometry Nodes 引入的两类新 socket:Bundles 和 Closures。Bundles 用于把多个值、几何体、字段、对象等打包成一个连接,作用类似程序里的结构体,便于把复杂状态作为整体在节点组中传递。Closures 则允许把一段可注入的自定义逻辑作为参数传入节点组,例如把树木散布策略外置为可替换的分布函数,从而让高层节点工具获得更强的可组合性与声明式表达能力。文章同时说明了 pass-through、值捕获、名称同步、socket inspection 等机制,以及当前调试和多处求值带来的局限。最后还展望了这些能力向输入组件、物理模拟、着色器和合成器扩展的可能性,但也强调部分功能仍在实验中,且 inline 方案存在迭代次数等约束。

推荐收录,因为文章明确讲清了 Bundles/Closures 的设计动机、工作机制和已知限制,并给出了可扩展到物理、着色和合成器的路线。适合关注图形系统、节点式编程和声明式工具设计的读者参考,其价值在于抽象出可迁移的接口组合与可定制计算模型。

工程实践Blender Developers Blog

Geometry Nodes Workshop: July 2025

这篇文章是 Blender 在 2025 年 7 月 Geometry Nodes Workshop 的设计纪要,概述了近 8 个月来的进展与后续路线。重点包括:Hair Dynamics 采用“先做出垂直切片、再补齐工作流”的阶段性目标;Lists 以最小实验特性落地;Closures 让 color ramp 和 curve mapping 以“函数”形式进入节点组;以及节点组界面布局、菜单路径、骨骼信息节点等配套能力。文章还讨论了通用 Viewer、Custom Viewer 与 Debug View 的统一思路,以及让更高级的节点特性在 shading/compositing 中复用的可能方案。整体内容偏设计取舍而非成品功能说明,很多部分仍在 PR 或实验阶段,适合关注 Blender 节点系统演进、可视化编程 UI 和图形工具架构的人参考。

收录理由很明确:文章来自 Blender 官方开发博客,直接呈现了 Geometry Nodes 的真实设计讨论、阶段性里程碑和未决架构取舍,而不是功能宣传。它适合图形工具、节点系统和开源工程读者参考,尤其能借鉴“先验证垂直切片”“用 closure 抽象 UI 组件”“统一 viewer 与 debug 视图”等可迁移方法。

工具笔记Anthropic Engineering

Desktop Extensions: One-click MCP server installation for Claude Desktop

文章介绍 Claude Desktop Extensions(MCPB)这一新的本地 MCP 服务器打包与安装格式,核心目标是把原先依赖 Node/Python、手动改配置和处理依赖冲突的安装流程,简化为下载 .mcpb 后在 Claude Desktop 中一键安装。作者说明了 MCPB 以 zip 形式封装 server、manifest、依赖和图标,manifest 负责描述元数据、运行时、工具/提示词、平台差异和用户配置,并支持模板变量与敏感信息存入系统密钥链。文章还给出 mcpb init/pack 的实践路径,以及跨平台、自动更新、目录浏览、企业预装/黑名单/MDM 等能力。它的价值在于为本地 AI 工具分发提供了可复用的规范,但当前版本仍是 0.1,具体字段和 Claude Desktop 实现预计会继续演进。

建议收录:正文明确给出了 .mcpb 打包格式、manifest 结构、模板变量、用户配置和企业管控等关键机制,不只是产品发布。适合做 MCP 服务器开发、桌面 AI 工具分发和安全安装设计的参考,但需注意规范仍处于 0.1 版本,后续可能演进。

工程实践Datadog Engineering

Breaking up a monolith: How we’re unwinding a shared database at scale

这篇文章讲 Datadog 如何在大规模生产环境中拆解一个共享数据库,核心目标是把原本耦合的业务边界重新切开,同时尽量不影响线上稳定性。作者强调先定义清晰的所有权边界,再通过分阶段迁移、风险隔离和回滚预案降低改造成本,而不是一次性“硬拆”。文中还介绍了用于自动化迁移、校验一致性和减少人工操作的配套工具,以保证解耦过程可重复、可持续。它的重点不在数据库原理本身,而在多团队共用核心存储时如何平衡组织边界、迁移风险和工程效率。其适用前提是已有足够的监控、测试和发布控制能力,若系统变更链路薄弱,收益会被迁移复杂度抵消。

文章直接围绕“shared database at scale”的拆分实践展开,给出了边界划分、风险控制和自动化工具这三类可迁移做法,明显属于可长期参考的工程案例。适合正在做服务解耦、数据库分片/迁移或多团队协作治理的读者,但需要注意其前提是具备较成熟的发布与验证体系。

工程实践Anthropic Engineering

How we built our multi-agent research system

文章复盘 Anthropic 将 Claude Research 从原型做成可上线的多智能体研究系统。系统采用 lead agent + 多个 subagent 的 orchestrator-worker 架构:主代理先规划研究路径,再并行派发子代理做广搜,最后由 CitationAgent 回收证据并生成带引用的答案。作者总结了多智能体提示词的关键原则,包括先广后窄、按任务复杂度分配代理数量和工具调用、明确分工边界、选择合适工具,并让模型自我修复提示词和工具描述。评估上,他们用小样本快速迭代、LLM-as-judge 和人工测试结合,关注事实准确性、引用准确性、覆盖度和工具效率。工程上则强调长链路状态持久化、错误恢复、全链路 tracing、渐进式部署和异步并行的权衡;但此架构代价高,尤其适合高价值、强并行的研究任务,不太适合上下文强耦合的编码场景。

收录价值高,因为文章把多智能体系统从架构、提示词、评估到线上可靠性完整串联,并明确给出失败模式、分工原则和部署策略等直接证据。适合做 AI 工程、Agent 系统和生产化研究助手的参考,但需注意 token 成本高、并非所有任务都适用。

工程实践PlanetScale Blog

Increase IOPS and throughput with sharding

文章围绕数据库在云上扩容时最容易被忽视的 IOPS 和吞吐量成本展开,先解释 AWS EBS 中 IOPS 的计量方式、顺序/随机读写对有效带宽的影响,以及 gp3、io1、io2 的配额与价格差异。随后作者用 RDS、Aurora 和 PlanetScale 的月费对比,说明当单体数据库从中等规模增长到 8 倍需求时,单机方案往往要付出显著更高的 I/O Premium。文章的核心观点是:对 I/O 密集型数据库,分片可以把计算、存储和 I/O 压力拆散到多个 primary 上,从而继续使用更便宜的存储层。文中还指出分片带来的额外收益包括故障隔离、备份更快和长期线性扩展,但没有给出实际压测结果,因此结论更偏成本与架构层面的比较,而非纯性能评测。

文中直接用 EBS 的 IOPS/吞吐限制和三种数据库方案的月费对比,证明了单体扩容会迅速推高 I/O 成本,而分片能把需求摊平到多个 shard 上。适合做数据库容量规划、云成本评估和分片选型的读者;但价格结论依赖区域、流量形态和分片键设计,落地时需要按自身 workload 复算。

技术文章PlanetScale Blog

Sharding strategies: directory-based, range-based, and hash-based

这篇文章系统介绍了数据库分片的三种常见策略:directory/lookup-based、range-based 和 hash-based,并用示例说明它们如何根据 shard key 将数据分散到不同分片。作者分别分析了每种方法的优缺点:目录式分片便于按业务规则精确路由,但依赖额外的查表步骤,且容易因数据倾斜或热点访问造成单分片压力;范围分片实现直观,但如果范围划分不合理,很容易出现分布不均,需要通过 reshard 调整;哈希分片通常能获得更均匀的数据分布,代价是要做哈希计算,并且仍需谨慎选择高基数且符合访问模式的 shard key。文章还强调,分片方案不是点击按钮即可完成,真正落地时要结合数据分布、访问模式和后续扩容计划一起考虑。PlanetScale 的倾向是把 hash-based 作为默认选择,因为它通常最均衡、复杂度也更低,但这并不意味着它适合所有场景。

文章直接给出了三类分片策略的机制、优缺点和适用边界,属于数据库扩展的基础参考,而不是单纯的产品介绍。适合正在设计 MySQL/分库分表方案、评估 shard key 或做容量规划的读者阅读。

工程实践PlanetScale Blog

Introducing global replica credentials

文章介绍了 PlanetScale 新增的 global replica credentials:用户只需一套复制库密码,即可在全球范围内自动路由到最近的只读副本,并在同一区域内对多个 replica 做负载均衡。作者说明了其默认拓扑是一个 primary 加多个跨可用区 replica,而新凭据可以在新增或删除只读区域时自动更新路由,无需修改应用代码或重新连接。文中进一步拆解了 PlanetScale Global Network 的工作方式:在边缘层终止 MySQL 与 TLS、进行连接池化,并通过低延迟 DNS 选择就近入口。实现上把 Credential、Route 和 Endpoint 分离,Route 由 etcd 监听并按实时延迟排序,从而把下一跳决策稳定地落到最优副本。该方案的价值主要体现在跨地域读扩展和连接管理简化上,但也明显依赖 PlanetScale 自身的全局网络与内部路由体系,通用性受平台约束。

文中给出了凭据、路由、端点三层拆分,以及边缘终止 MySQL/TLS、按延迟排序副本的具体实现证据,不是简单的产品宣传。适合做数据库代理、跨地域读扩展和连接层设计的参考,但迁移时要注意它强依赖 PlanetScale 的全局网络基础设施。

科研议题Stanford Hazy Research

Learning from DNA: a grand challenge in biology

文章介绍 Stanford Hazy、Arc 与 Together AI 联合训练的 Evo:一个 7B 参数、基于 StripedHyena 的长上下文生物基础模型,使用 2.7M 个细菌和噬菌体基因组、300B token 的 OpenGenome 语料,以单核苷酸 byte-level 方式做 next-token 预测。作者把 DNA 视为同时承载 DNA、RNA、蛋白三种“语言”的统一建模问题,展示了跨中心法则的零样本泛化,包括蛋白功能预测、基因必需性判断,以及无监督生成新的 CRISPR 系统。文章重点分析 DNA 建模的难点:超长上下文、单碱基分辨率和噪声序列,并通过 300 个模型的 scaling laws 发现 Transformer++ 在 byte-level 上明显落后,Hyena/StripedHyena 更具计算效率。作者还提出 Mechanistic Architecture Design,用合成任务解释压缩、聚合和过滤能力,并据此改进架构;但当前证据主要来自原核和噬菌体数据,向真核与真实应用迁移仍有限。

推荐收录,因为它给出了生物序列基础模型的完整研究链条:数据集、架构、缩放律、机制分析和零样本验证都写得很清楚。适合关注长上下文、字节级建模、跨模态 foundation model 与生物计算交叉的读者,但要注意其结论目前主要建立在原核/噬菌体数据上。

工程实践PlanetScale Blog

PlanetScale branching vs. Amazon Aurora blue/green deployments

文章以 Amazon Aurora 的 blue/green deployment 与 PlanetScale 的 branching 为主线,对比两种“复制环境后再切换”的数据库变更方式。它先解释 Aurora 如何通过克隆集群、binlog 同步和 switchover 完成维护,再说明 PlanetScale 基于 Vitess 的分支本质是独立集群,借助 deploy request、ghost table 和滚动升级来实施 schema 变更与版本升级。文中进一步比较了成本、回滚、数据一致性和停机时间:Aurora 切换会断连且无法直接 fail back,双环境并行成本较高;PlanetScale 则强调在线迁移、Schema revert 和更强的隔离性,但依赖 safe migrations 与 Vitess 能力。整体结论是,两者虽然表面相似,但目标不同,Aurora 更偏维护窗口控制,PlanetScale 更偏持续在线变更。需要注意的是,这是一篇厂商视角的对比文,缺少独立 benchmark 和第三方验证。

文中直接给出 binlog replication、ghost table、rolling upgrades、Schema revert 等机制差异,信息足以支撑数据库变更方案选型。适合做平台工程、数据库运维和迁移设计的参考,但需意识到它带有明显厂商立场,结论应结合独立验证。

科研议题Stanford Hazy Research

Zoology (Blogpost 0): Overview

文章概述了 Stanford Hazy Research 对高效大模型架构的系列工作:先比较 Transformer 优化路线与一批子二次方替代架构(如 Hyena、H3、RWKV、Mamba 等),再分析这些模型在总体困惑度接近的同时,为何在关联回忆(AR)任务上明显落后。作者指出,AR 解释了大部分困惑度差距,而且它与 in-context learning 等能力相关,因此只看 next-token perplexity 会低估架构差异。进一步实验表明,门控卷积类模型完成 AR 往往需要更多维度,暴露出表达效率问题。基于这些观察,作者提出新的 Based 架构,目标是在保持子二次方复杂度的同时弥补 AR 缺口。该文更像系列总览与问题框架,具体实现和完整实验需结合后续两篇及报告阅读。

收录依据很明确:文章基于一组基准实验比较多类高效 LLM 架构,并给出“关联回忆”这一关键差异来源及其与能力迁移的联系。适合研究者、做模型选型的工程师以及关注长序列/高吞吐推理的读者,用来理解为何不能只看困惑度,以及子二次方架构的主要风险在哪里。

科研议题Stanford Hazy Research

Monarch Mixer: Revisiting BERT, Without Attention or MLPs

这篇文章介绍了 Monarch Mixer(M2-BERT)这一新架构,目标是在不使用标准 Transformer 注意力和全连接 MLP 的情况下,仍保持 BERT 级别的效果。作者用 Monarch 矩阵统一替代序列混合与维度混合:前者借鉴 H3/Hyena 的卷积式长程建模,后者用块对角结构替换 MLP,从而把序列长度和模型宽度两侧都做到次二次复杂度。实验部分在 C4 上以 128 长度预训练,80M 与 110M 两个版本在 GLUE 上分别达到 79.9 和 80.9,接近或超过标准 BERT-base,同时在 A100 上长序列吞吐也明显优于 HuggingFace BERT 和 FlashAttention 版本。但文章也明确指出,这仍是早期结果,训练配方、门控设计和长序列能力都还有较大探索空间,结论更适合作为架构方向与初步证据,而非最终定论。

文中不仅提出了用 Monarch 矩阵替代注意力和 MLP 的具体机制,还给出了 GLUE 指标、参数量和吞吐量的对比证据,属于可长期参考的架构研究材料。适合关注高效模型、长序列建模和 Transformer 替代方案的研究者与工程师,但需注意它仍处早期,长序列与训练配方尚未完全验证。

科研议题Stanford Hazy Research

The Safari of Deep Signal Processing: Hyena and Beyond

这篇文章系统梳理了面向超长序列的模型设计思路,以 Hyena 为核心,说明如何用可学习的非线性序列处理器替代 Transformer 的二次复杂度注意力。作者先回顾 dense attention、linear attention、AFT 和 RWKV,指出这些方法分别在全局记忆、精度或参数化上存在局限。随后给出 Hyena 的分解:用短卷积提取局部变化,用长卷积或状态空间式归纳实现长程记忆,再通过门控完成信息混合,并强调这些模块可由快速线性算子实现近线性复杂度。文章还讨论了训练与推理效率、FFT 在现代硬件上的瓶颈、Monarch 矩阵等结构化替代方案,以及在关联检索和 100 万长度 DNA 预训练中的初步结果。整体结论是:Hyena 及其“safari”家族在超长上下文上有潜力,但性能、硬件映射和投影压缩仍存在明显权衡,属于仍在快速演化的研究方向。

推荐收录,因为文章不仅介绍了 Hyena,还把长序列建模拆解为投影、归约、归一化和门控四个可复用部件,并给出与 Attention、RWKV、S4 等方法的明确对比。适合研究长上下文、序列建模和高效推理的读者参考,但需注意它仍是研究博客,部分结论和实现取舍属于探索阶段。

技术文章Andy Pavlo Database Blog

The Part of PostgreSQL We Hate the Most

文章由 Andy Pavlo 与 Bohan Zhang 合作,系统批评 PostgreSQL 的 MVCC 实现。核心指出 PostgreSQL 采用 append-only 版本存储、O2N 版本链和每版本索引项,导致版本复制、表膨胀、二级索引写放大和 autovacuum 管理困难四大问题。作者对比 MySQL、Oracle 使用 delta 存储与逻辑指针的做法,说明 PostgreSQL 设计是 1980 年代遗留方案,不推荐新 DBMS 效仿。文中引用 CMU 研究与 OtterTune 客户监控数据,包括 Uber 从 Postgres 迁移 MySQL 的案例,但结论更偏向写密集负载,并非完整中立的 benchmark。

推荐收录:文章以存储布局、版本链、索引维护和 autovacuum 行为等具体机制,直接说明 PostgreSQL append-only MVCC 的性能代价,并给出与 MySQL/Oracle 的对照证据。适合数据库内核、DBA、后端架构师和云数据库选型者阅读,可迁移到 MVCC 设计、写放大评估、索引优化和 vacuum 调优场景;需注意其结论偏向写密集工作负载。

科研议题Stanford Hazy Research

From Deep to Long Learning?

这篇博客系统梳理了“把序列建得更长”这一研究方向,核心论点是:Transformer 的注意力在长度上是二次复杂度,若要支持长上下文、多模态和长代码等场景,就需要近线性时间的序列模型。文章按时间线回顾了 Long Range Arena、S4、H3 到 Hyena 的演进:S4 通过结构化状态空间模型把长程依赖建模成本降到 O(N log N);H3 通过门控与少量注意力层补齐语言建模性能;Hyena 进一步用隐式参数化卷积和更多门控替代最后的注意力层,尝试实现全程近线性扩展。作者还讨论了 FFT 在现代硬件上的效率瓶颈,以及将其改写为矩阵乘法、甚至学习变换矩阵的思路,以更贴合 GPU 计算单元。文中给出若干小型与中型实验,显示 Hyena 在 Pile 子集上的困惑度可接近或达到 Transformer 基线,但整体结论仍主要建立在初步实验与特定任务上,是否能稳定迁移到更大规模语言模型仍需后续验证。

收录理由很直接:文章明确给出了从 Transformer 到 SSM、H3、Hyena 的技术演进、复杂度分析和实验结果,不是泛泛而谈长上下文愿景。适合做长序列建模、模型结构替代和计算效率权衡的长期参考,但读者也应注意它是研究博客,结论主要来自初步实验而非完整论文定论。

科研思考Stanford Hazy Research

Is AI Rare or Everywhere?

文章围绕“AI 是稀缺还是无处不在”展开,讨论 foundation models 是否真的依赖一套极其脆弱的配方。作者认为当前模型的可复现性比预想更强:不同团队在足够时间尺度上性能差距会收敛,开源实现也能迅速复制并改进,这让“复制危机”并不明显。接着文章追问 transformer 是否真是唯一关键路径,并以 Hyena 这类无注意力架构为例,说明语言建模可能存在多条可行路线,而且还能借助信号处理等既有理论。作者进一步推演了这种判断对新架构设计、样本效率、测试时计算、模型安全与开放生态的影响。整体是面向研究方向的反思性随笔,强调问题值得深入,但不少结论仍是启发式判断而非严格实验结论。

文章直接讨论 foundation models 的可复现性、transformer 是否必要,以及 Hyena 这类替代架构的意义,属于明确的研究反思而非泛泛评论。适合做研究选题启发、架构比较和生态判断,但其中不少推断仍偏设想,读者应把它当作问题框架而非定论。

技术文章Andy Pavlo Database Blog

Databases in 2022: A Year in Review

本文是 Andy Pavlo 对 2022 年数据库领域的年度回顾,按融资、区块链数据库、新系统、人物纪念等主题梳理行业动态。作者指出数据库创业融资在下半年明显转冷,并以架构分析讨论 Google AlloyDB、Snowflake Unistore、MySQL Heatwave、Meta Velox、InfluxDB IOx 等新系统;他认为 Velox、DataFusion 等可扩展执行引擎会推动 OLAP 查询执行组件商品化,未来差异化将转向 UI/UX 与查询优化。文章还强烈批评区块链数据库在加密货币之外缺乏实际用例,并纪念 Martin Kersten 对 MonetDB、列存与向量化执行的贡献。内容带主观立场和大量个人评论,不是严格技术论文或实验报告,但可作为观察 2022 年数据库生态的参考。

推荐收录,因为文章由数据库领域知名研究者撰写,直接记录了 2022 年数据库融资、产品发布与系统架构变化,并对 AlloyDB、Velox 等给出可讨论的架构判断。适合数据库研究者、系统架构师和基础设施从业者了解行业趋势与技术脉络。需注意其观点主观、夹杂段子和政治玩笑,且缺少实验数据,不能替代深度技术论文。

工程实践Josh W Comeau

How I Built My Blog

这篇文章系统拆解了作者个人博客的技术实现,重点不是展示页面效果,而是解释背后的前端架构与内容组织方式。文章提到他用 Next.js 的 API routes 实现访问量和点赞计数,用 MDX 在文章中嵌入交互与定制化能力,并进一步说明了代码库的组织方式与维护思路。整体上,它把一个内容型网站如何兼顾静态发布、局部交互和开发体验讲得较完整,适合做个人站点或内容产品的实现参考。它的边界也很清楚:主要针对博客这类中小型 Web 项目,方法高度依赖 Next.js/MDX 生态,未必适用于复杂后端系统。

文章给出了可验证的实现细节:Next.js API routes、MDX 互动内容和代码库组织,而不是泛泛讲博客理念,具备直接参考价值。适合前端工程师、个人站点作者或内容型产品开发者阅读;可迁移的价值在于内容站如何在静态性、交互性和维护成本之间做取舍,但技术栈较框架化。