工程实践 LinkedIn Engineering - Architecture
文章介绍LinkedIn数据基础设施控制平面Nuage的演进,从1.0单体自服务、2.0去中心化SDK到3.0以Nuage Resource Manager为中心的架构。3.0将横向控制平面能力与资源提供方业务逻辑解耦,通过API与数据模型契约、RBAC、搜索缓存、审计、异步工作流等实现统一治理。文中详述客户端交互、请求路由、数据治理与MCE联动、监控告警以及横向服务。并给出性能提升(如Espresso读P90从10秒降至3秒以下)、安全改善和MySQL接入成本降低70%等量化结果。适用边界是LinkedIn内部多平台环境,偏重架构与运营模式,未涉及具体代码实现。
推荐收录,因为文章不是概念介绍,而是完整呈现从单体到去中心化再到集中式资源管理器的工程演进,包含明确的架构约束、安全与性能权衡,以及70%接入成本降低、P90延迟改善等可验证数据。适合平台工程、数据基础设施和SRE团队参考,其资源提供者契约、RBAC、审计与异步工作流设计可迁移到类似控制平面系统,主要风险是LinkedIn内部细节较多,需结合自身规模判断。
工程实践 LinkedIn Engineering - Scalability
本文介绍 LinkedIn 基于 cert-manager 构建的 Kubernetes 工作负载身份安全框架。系统通过 CSI 驱动将证书以只读卷挂载到容器,私钥仅存内存,并利用 Identity Registry 进行身份证明和签发,防止身份冒用。针对多集群和 25 万 Pod 规模,团队发现开源 approver-policy 无法满足 5 万并发 CertificateRequest 的 SLO(P95 60 秒),遂自研 lipki-controller 作为审批和签发器,并通过 API QPS/并发调优、分区 sharding 实现水平扩展。文章还介绍了 Kyverno 策略限制签发源、渐进式迁移和 Java/Go/Rust 认证库集成。测试显示 54K 请求审批与签发 P90 为 19.3 秒,但水平扩展目前仅用于容灾,尚未实现动态扩缩。
推荐收录。文章不是简单的工具介绍,而是完整展示了 LinkedIn 在超大规模 Kubernetes 集群中落地 cert-manager 的真实工程路径:从身份注册、CSI 挂载、Kyverno 策略到自研 lipki-controller,并给出 54K CertificateRequest 下 P90 19.3 秒的实测数据。适合负责容器平台安全、PKI/证书生命周期、服务网格 mTLS 或大规模 Kubernetes 运维的工程师借鉴,其控制器调优、分区 sharding 和渐进式迁移策略具有可迁移价值;主要边界是 LinkedIn 内部系统和规模假设,且水平扩展暂仅用于容灾。
工程实践 Salesforce Engineering 2026/08/11
文章介绍了Salesforce如何通过构建标准化的产品遥测平台(PDP)解决各产品团队各自定制遥测导致的数据孤岛、重复劳动和无法规模化的问题。PDP采用统一的遥测架构和自动化指标生成管道,要求团队遵循标准化的埋点规范,从而自动产出可信的产品采纳指标。技术上,它基于监控云基础设施构建了自定义模式,并处理每天450亿行事件数据,覆盖19000个事件和2000多个产品特性。实施后,洞察获取时间从约1个月缩短至每日刷新(降低97%),开发者埋点工作从数周减少到数小时,CSAT达9/10。标准化的数据基础也为AI分析工具和MCP集成提供了可信支撑。该工程案例适用于大规模多产品环境下集中式数据平台的建设与推广,但需注意组织推动和标准治理的复杂度。
本文是典型的工程实践复盘,提供了从问题识别、架构设计到规模化推广和量化的完整过程,尤其在统一数据标准、提升数据质量和自动化的权衡方面具有可迁移价值。适合负责数据平台、指标体系建设或开发者效率的工程师参考。量化结果(97%时间缩减)和推动团队采用的方法论具有说服力,有助于读者借鉴其建设可信数据基础、赋能AI工具的思路。
工程实践 知乎 - 腾讯技术工程 2026/08/10
文章深度复盘了腾讯SkillHub平台在治理10万+AI Skills时的实践,重点解决高质量Skill发现与分发难题。作者提出TRACE质量评测体系,从可信任度、可靠性、适用性、规范性和有效性五个维度进行静态分析,并构建了并行评测流水线、内存级加载和可追踪任务系统以支撑大规模评估。随后通过云端隔离运行环境验证Skill真实执行效果,并沉淀可展示的效果案例。在分发侧,平台结合评测分数与用户行为设计推荐、飙升、下载等多维榜单,建立受控分类标签体系以降低用户筛选成本。最后,文章展示了面向Agent的find skill策略,让AI能自动理解任务意图并匹配Skill,完成从人到机器的能力索引闭环。整套体系以“信任与分发基础设施”为核心,平衡消费者、创作者与平台利益,但仍在持续迭代,依赖特定Agent生态。
推荐收录,因为它不是泛泛介绍,而是完整复盘了从质量评测、运行验证到分发治理的真实工程链条,包含并行架构、隔离环境、榜单设计等可迁移方法。对从事AI平台、内容治理或Agent系统设计的读者来说,文中TRACE框架、运行环境构建和Agent可用的find skill策略可直接启发类似系统建设,但需注意其生态依赖性。
技术文章 知乎 - 鹅厂架构师 2026/08/07
文章系统探讨了AI大幅降低产品开发门槛后,如何高效将产品分发给用户。作者回顾了App Store和抖音的历史,指出每次创作平权后稀缺性从“创造”转向“发现”,而AI时代的分发将不会是传统的应用商店。通过分析OpenAI两次失败的尝试和当前的技术探索,文章提出未来分发平台将形成“部署即服务”“任务即调用”“内容即发现”的三层结构,每一层都在收各自的“过路费”。文章还指出,监管正从管模型转向管分发,对平台加码,而分发本质是信任问题,最可能从已积累信任的内容社区演化出分发能力。结论为:下一个分发平台不会叫应用商店,但会收取以信任和治理为代价的过路费。
推荐收录,因为文章以历史规律和实际案例(OpenAI的失败)为基础,对AI分发这一新兴议题提供了结构化和有借鉴意义的分析。文中提出的三层结构和对信任机制的强调,能为从事AI产品开发、平台设计和投资决策的读者提供长期参考,其分析框架可迁移到类似技术变革期的分发策略思考。
工程实践 Cloudflare Blog 2026/08/05
本文详述了 Cloudflare 内部从谨慎试点到大规模推行 AI 工具的旅程,重点介绍其自研平台 Cloudflare OS 的设计理念与实现。团队先制定了人机权责、上下文层、权限最小化等原则,然后分别面向工程师和非工程师群体开展试点:工程师获得“工程法典”和自动化代码审查、设计评审、事故复盘,非工程师则通过“魔法邮件别名”识别可自动化的工作。平台基于 Workers、MCP Portal、AI Gateway 等组件构建,提供浏览器内安全运行环境,并通过技能文件和确定性代理降低 token 消耗。截至发布,平台每周活跃数千名员工,月均节省超过 10,000 小时,文中还分享了利用冠军用户和实习生推动变革的组织方法。
这是一篇高价值的工程案例,展示了如何将 AI 安全、可控地融入企业日常工作流。文章不仅给出了可落地的架构设计(如自定义 MCP 服务器、权限门禁、AI Gateway 策略),还提供了组织变革的实战经验。适合技术领导者、平台工程师和 AI 转型推动者参考,其原则与模式可迁移到类似的内部工具平台建设中。
工程实践 Cloudflare Blog 2026/08/05
Cloudflare 推出开源平台 Cloudflare OS,用于构建企业内部的智能代理、应用和工作流。平台核心由三部分构成:代理工作区、安全治理框架和个人可定制应用。代理工作区集成公司上下文与技能,在隔离运行时中编写并执行代码;安全框架通过 Gatekeepers 和资源观察日志实现细粒度的资源访问控制与机密数据防泄漏;应用以 Dynamic Worker 和 Durable Object Facet 运行,使用 Cap’n Web RPC 通信。文章分享了从内部版本获得的经验,包括协作场景下的授权挑战和架构重建,并说明了模型路由、成本控制以及与 MCP 服务器的集成方式。适用边界在于整个平台深度绑定 Cloudflare 基础设施,直接迁移到其他环境需要额外工程。
文章不是空洞的产品发布,而是详细阐述了面向代理的平台安全设计如何解决凭证扩散、跨资源信息泄露等真实工程问题。提出的 Gatekeeper 模式、观测日志与策略联动、基于能力的访问控制,对于构建企业级 AI 代理系统的架构师和安全工程师具有直接参考价值,其思想可迁移到其他云平台或自建系统。
技术文章 Cloudflare Blog 2026/08/03
文章介绍了 Cloudflare 推出的 @cloudflare/computer 早期预览版,这是一个面向 AI 代理的运行时库,其核心是基于 SQLite 的持久化共享文件系统,并支持在 isolate 和容器等多种执行后端之间按需切换。作者阐述了传统容器化在代理规模化时面临的扩展性瓶颈,并对比了 isolate 在启动速度、水平扩展和成本上的优势,提出了以 isolate 为主、容器仅用于必要任务的混合架构。文中给出了从 npm 安装到配置 workspace、绑定工具集和集成 agent 循环的代码示例,并解释了 FUSE 挂载、动态 worker 命令转译等实现机制。其目标是让代理 90% 以上的工作负载在 isolate 中完成,从而大幅降低对容器平台的需求,但目前仍处于实验阶段。
推荐收录,因为文章不仅停留在产品发布,而是深入讨论了 isolate 与容器作为代理计算基元的架构取舍,并给出了可落地的设计思路和代码示例。对正在构建大规模代理系统、关注基础设施效率和成本控制的后端工程师或平台工程师而言,文中关于水平扩展、文件系统抽象和执行后端分离的经验可迁移至类似场景。
技术文章 Cloudflare Blog 2026/08/03
本文宣布 Cloudflare Workers 和 Containers 新增对入站 TCP 连接和 gRPC 的支持。核心特性包括:新的 connect(socket) 处理器让 Worker 能直接接受来自 Spectrum 代理的 TCP 套接字,并可将套接字路由到其他 Worker、Durable Objects 或容器;在 Cloudflare 容器中运行双向流式 gRPC 服务器,实现全双工通信;以及通过内置的 gRPC-web 与 gRPC 互转,使 Worker 既能作为 gRPC 服务端提供 unary 和 server-streaming API,也能作为客户端调用外部 gRPC 服务。文章通过代码示例展示了从 Worker 接受套接字并转发到容器,以及使用 @connectrpc/connect 库编写 gRPC 服务的方法。这使得开发者能够在 Cloudflare 全球网络上部署任意语言的现有 gRPC 应用,特别适合低延迟语音 AI 等场景。但功能目前处于私有测试阶段,协议转换可能引入额外开销,且仅支持 TCP 协议,尚未涉及 UDP。
推荐收录,因为文章详细阐述了 Cloudflare 将 TCP 入站和 gRPC 引入无服务器平台的技术方案,包括 Socket 路由、容器集成和协议转换等关键设计,并提供了可运行的代码示例。对于从事云原生开发、平台工程或需要构建低延迟实时服务的工程师而言,这些机制有助于理解如何将现有 TCP/gRPC 应用迁移到边缘计算环境,具有可迁移的架构参考价值。注意功能仍处 beta 阶段,部分细节可能变化。
工程实践 Grab Tech 2026/07/24
本文是 Grab 工程团队分享的 AI 代理平台化实践系列第一部分。文章从内部技术基础设施支持机器人出发,详细复盘了从单体代理到框架 LLM-Kit 的演化过程。作者指出了早期代理在规模化时的典型痛点:缺乏可评估性、模型/供应商切换困难、可观测性不足、以及非核心的工程脚手架大量重复。为此,团队从机器人中提取出共享能力,构建了统一的应用模板,预置了认证、密钥、配置、gRPC通信、快速API、OpenTelemetry全链路追踪、评估端点等生产就绪部件,并通过统一的模型网关和远程MCP框架解耦工具与代理。文章强调框架而非平台的策略选择,允许团队在标准化的基础上自由迭代。当前方案已支撑500+代理、50+MCP服务器,每月处理数十亿token。内容适合负责AI代理基础设施、平台工程或需要将LLM原型落地生产的工程师研读,其问题驱动、层层抽象的思路对类似工作有直接迁移价值。
本文为真实的工程平台化案例,详细展示了从单点代理到可复用框架的演进逻辑、具体架构设计及生产落地要点,如统一模型网关、内建评估、全链路追踪和工具协议化。适合期望将AI代理从Demo推向企业级服务的工程团队借鉴,文中的问题分解、基础设施抽象和框架定位具有高可迁移性,能帮助读者减少从0到1的试错成本。
工程实践 Dropbox Tech 2026/07/20
文章回顾了 Dropbox 内部内容处理平台 Riviera 近十年的演进历程。平台最初为解决多文件格式预览需求而设计,关键思路是将每项任务拆解为可复用的转换片段(如 PowerPoint→PDF→图像),从而避免为每个产品单独构建管道。架构上采用中心调度器与插件化后端 worker 分离的模式,中心负责请求验证、缓存与编排,worker 按转换类型独立扩展,现已支持 300+ 文件格式与 100 多种转换能力,每秒处理数十万请求。随着产品线扩展,Riviera 被搜索、视频审阅、电子签名及 AI 产品 Dash 等团队复用,为 AI 模型统一提供文档提取与格式转换。文章最后说明了平台向外部开发者开放 API 和 MCP 工具的策略,体现了“一次构建、多方受益”的平台工程价值。文章侧重于架构决策与规模效益,未深入具体实现细节或失败案例。
推荐收录。文章提供了真实的大型内容处理平台从单点服务到多产品基座的演进案例,清晰展示了复用、分离关注点和插件化架构如何支撑规模增长与业务扩展。适合平台工程、基础设施设计以及需为 AI 准备非结构化数据的工程师参考,其架构思维和平台化策略具有直接迁移价值。不足之处在于缺少性能瓶颈、失败处理或维护成本的讨论,但整体工程经验仍具有长期参考意义。
工程实践 Netflix TechBlog 2026/07/17
本文详述了 Netflix 内部 LLM 服务平台的工程实践,涵盖引擎选择、模型打包、API 设计与部署策略的权衡。平台基于 vLLM 和 Triton 构建,通过 OpenAI 兼容 API 与 gRPC 统一前端,并提供了 Red-Black 与 Versioned 两种发布策略以应对接口变更。文章重点揭示了生产环境中的意外问题,如 vLLM 与 Triton 版本不匹配、冷启动延迟、指标碎片化,并深入分析了约束解码从 vLLM V0 到 V1 的性能演进与状态管理难题。这些经验对构建大规模 LLM 推理基础设施具有直接参考意义,尤其展示了从实验到生产的平滑过渡如何通过工程细节落地。
推荐收录,因为文章不是浅层的工具介绍,而是基于 Netflix 真实生产环境给出了系统性的设计取舍和踩坑记录。约束解码的缩放瓶颈、指标融合、版本协调等细节可直接帮助平台工程师避坑,适合负责 LLM 基础设施、模型部署或高性能推理系统的读者借鉴。
工程实践 Slack Engineering 2026/07/14
本文介绍了Slack构建下一代EC2平台Shipyard的工程实践。面对传统Chef管理长期运行实例导致的配置漂移和部署风险,团队转向以不可变性为核心的设计,通过分层黄金镜像slack-zero、服务特定AMI、烘焙与配置分离、基于指标的渐进式部署和自动化安全控制,将基础设施视为可部署制品。平台支持多架构和多操作系统,提供快速实例供应、实时库存系统Peekaboo和Reaper生命周期管理,确保集群始终运行在新鲜状态。文章还讨论了测试框架Ship Quick、紧急修复路径、秘密管理的半不可变妥协以及未来对长生命周期实例的支持计划,为大规模云基础设施现代化提供了可迁移的架构模式和运维经验。
推荐收录。本文详细记录了Slack从可变基础设施向不可变EC2平台演进的完整工程过程,包含分层镜像设计、自动化部署体系、生命周期治理和测试方法等具体实现细节与权衡,为云平台团队提供了高价值的参考案例。适合基础设施工程师、SRE及平台开发者了解如何在高负载生产环境中安全地推动现代化改造,其中的分层构建、渐进式部署和强制刷新等模式可直接迁移至类似系统。
工程实践 Yelp Engineering 2026/07/14
本文介绍了Yelp为统一机器学习模型训练而构建的Training Orchestrator系统。面对多团队使用各自Spark训练脚本、配置分散、代码重复和维护成本高的问题,Yelp核心ML团队在已有特征存储、统一训练库、MLflow等工具的基础上,设计了一套标准化的训练编排层。该平台提供了统一的作业调度、工作流执行和监控机制,将模型训练任务抽象为可复现的流水线,并与Spark和MLflow无缝集成。文章还讨论了系统架构的权衡、对团队效率的提升以及适用范围(主要服务于基于Spark的训练场景)。
推荐收录,因为该文不是泛泛的MLOps概念介绍,而是基于Yelp真实工程需求,详细展示了从分散脚本到统一训练平台的架构演进。文中对训练编排、与现有ML基础设施集成的设计权衡,以及规模化运营的考量,对正在构建或优化内部ML平台的数据与工程团队具有直接参考价值。其可迁移经验包括如何通过平台化手段降低维护成本、提升模型训练的一致性,但需注意其方案强绑定Spark生态。
工程实践 Netflix TechBlog 2026/06/22
这篇文章介绍了 Netflix 如何把自研的批处理计算系统 CMB 迁移到 Kubernetes 生态中的 Kueue,以替换原有的排队、调度和容量管理逻辑。作者不仅解释了迁移动机,还详细说明了租户层级、保留容量与共享容量的语义、Cohort/ClusterQueue/LocalQueue 的映射关系,以及如何在不改变用户 API 的前提下完成透明迁移。文章最后总结了高 QPS 配置、先迁最复杂客户、以及引入公平共享和抢占机制等经验,并说明这些改造已在生产中支撑数百万批任务运行。
推荐收录,因为它展示的是一次真实的大规模批处理平台重构,而不是单纯介绍一个开源工具。文章对多租户容量管理、调度语义迁移、灰度与回滚、以及生产吞吐保障都有具体做法,具备很强的可迁移参考价值。
工程实践 Netflix TechBlog 2026/06/19
这篇文章介绍了 Netflix 如何在超大规模数据平台中用“Data Projects”重构数据资产管理:把表、工作流、密钥等相关资产聚合到项目这一更高层级,并用项目级的合成、可持续身份替代绑定个人的权限与执行身份。文章重点解释了它如何缓解组织调整导致的权限维护灾难、如何避免工作流因人员流动而失效,以及“gravity”机制如何让新资产自动归属到项目中,从而降低后续治理成本。结论是,在拥有海量表和成千上万批处理任务的环境里,管理单元必须从“单个资产/单个人”上移到“项目”,并可进一步扩展到成本、健康度和审计等平台能力。
推荐收录,因为它不是单纯的产品介绍,而是基于 Netflix 真实规模约束提出的数据平台治理架构:权限、身份、工作流和资产归属如何统一建模,思路具有很强的迁移价值。对做数据平台、权限系统、工作流编排或企业内部平台建设的读者而言,这篇文章能直接启发“管理边界应该放在哪一层”的设计判断。
工程实践 Netflix TechBlog 2026/06/19
这篇文章复盘了 Netflix 将 Cassandra 数据搬迁从旧的 Casspactor 架构演进到新的分层数据移动引擎的过程,核心目标是提升可靠性、可扩展性和成本效率。文章重点解释了新方案如何直接从 S3 中的备份元数据读取单一事实来源、在 Spark DataFrame 层处理数据、通过 Connector Factory 支持多种数据抽象,以及如何解决大分区、元数据脆弱、间接表膨胀和时间回溯等问题。文中还系统总结了迁移方法论:通过 shadow 验证、可观测性建设和 Decider pattern 实现对线上用户零影响切换,适合作为大型数据平台重构与平滑迁移的参考案例。
推荐收录,因为它不是简单的系统替换公告,而是完整展示了一个高风险数据平台迁移如何从架构、验证、观测和回滚机制四个层面设计。对做数据基础设施、平台工程和大规模迁移的读者来说,文中的分层架构、单一事实来源、shadow 对比和安全切换方法都具有很强的可迁移价值。
工程实践 OpenTelemetry Blog 2026/04/21
文章介绍 Skyscanner 在 24 个生产 Kubernetes 集群中规模化管理 OpenTelemetry collectors 的实践。作者以平台工程团队视角切入,说明由 6 名工程师组成的 Hubble 团队如何承担 collector 的主要运维责任,并服务于公司以 Java 为主、超过 1000 个微服务的计算平台。内容的重点不是 OpenTelemetry 基础概念,而是多集群环境下 collector 的部署、管理与组织分工问题。它反映出观测栈在大规模微服务组织中会逐渐平台化,需兼顾统一治理、团队协作与运维可持续性。适用边界也较明确:更适合已经有 Kubernetes 和 observability 基础、正在做平台化整合的团队参考。
推荐收录,因为标题和导语直接给出了真实规模与场景:24 个生产集群、1000+ 微服务、平台团队统一管理 collectors。对做可观测性平台、Kubernetes 运维或 OpenTelemetry 落地的读者,这类跨集群治理与组织分工经验具有较强迁移价值。