Performance

258 篇内容

技术文章Phil Eaton - databases

Writing a SQL database from scratch in Go: 3. indexes

文章在 gosql 项目中扩展索引支持,涵盖 PRIMARY KEY 词法解析、红黑树索引创建、插入时索引维护和 SELECT 查询优化。作者使用 GoLLRB 红黑树存储索引项,通过识别 WHERE 条件中可应用索引的模式,先用索引预筛选行再执行过滤。文章分析当前查询计划仅支持 AND 连接和列与字面量比较,不能合并范围条件,且索引并非总是优于线性扫描。基准测试显示 100 万行插入时带索引内存和耗时增加,但等值查询从秒级降至微秒级,体现空间换时间的权衡。

推荐收录,因为文章通过写一个 Go 语言 SQL 数据库的索引模块,完整展示主键约束解析、红黑树索引构建、插入维护和查询预筛选的端到端实现,并给出有/无索引的实测性能对比。适合想理解数据库索引原理、查询规划和存储引擎实现的读者;其简化取舍与限制分析也可作为进一步阅读真实数据库文档与源码的入门桥梁。

技术文章Phil Eaton - databases

How do databases execute expressions?

文章调查了 Cockroach、ClickHouse、DuckDB、PostgreSQL、SQLite、MySQL/MariaDB、MongoDB、TiDB 等系统如何执行查询表达式。作者通过阅读核心源码并以控制流函数为判断依据,区分了树遍历解释器、栈/寄存器虚拟机和 JIT 编译三类实现。结论显示多数数据库仍采用树遍历解释器,PostgreSQL 与 SQLite 使用虚拟机,MongoDB SBE 为栈式虚拟机,部分系统支持 JIT;ClickHouse、DuckDB、TiDB、Cockroach 还采用向量化执行。文章认为向量化和 JIT 更契合列存分析负载,事务系统迁移到编译器架构的收益未必显著;局限是结论来自源码阅读,可能存在误判且缺少性能基准。

本文通过大量数据库源码调查,给出了表达式执行模型的一手判断,具有长期技术索引价值。适合数据库内核开发者、查询引擎研究者以及想理解解释器与虚拟机差异的读者。其源码判断方法可直接迁移到其他系统,但需注意结论为静态阅读而非基准验证。

工程实践Phil Eaton - databases

Go database driver overhead on insert-heavy workloads

文章针对 Go 语言中插入密集型数据库工作负载,对比 SQLite 和 PostgreSQL 的流行驱动与替代驱动的性能。作者使用统一基准:1000 万行、两种列数和数据大小,每个测试运行 10 次,记录中位数、标准差、最小/最大和吞吐量。结果表明,最流行的 SQLite 驱动 mattn/go-sqlite3 比作者维护的 gosqlite 慢约 20-40%;PostgreSQL 的 lib/pq 比 pgx(绕过 database/sql)慢约 44-76%,且 lib/pq 已停止开发。作者推测 database/sql 接口可能是开销来源之一,但未完全证明。对于小结果集查询,驱动间差异不大。结论是建议 Go 开发者在插入密集型场景中自行基准测试驱动,并优先考虑 pgx。

推荐收录,因为文章提供了可复现的、具体数据支撑的驱动性能对比,直接指导 Go 开发者在批量插入场景下的技术选型。文章不仅给出结论,还公开了基准测试方法和代码仓库,便于读者验证和扩展。适合后端工程师、数据库应用开发者参考,可迁移价值在于提醒性能敏感场景避免盲从默认驱动,且需关注 database/sql 接口的潜在开销。

技术文章Phil Eaton - databases

An intuition for distributed consensus in OLTP systems

文章旨在建立对OLTP系统中分布式共识(尤其是Raft算法)的直觉。作者先解释Raft的基本机制:领导者选举、日志复制、提交和跟随者追赶,然后阐明分布式共识通过副本提供高可用和线性一致性,同时强调其本身并不提供水平扩展,水平扩展需通过分片实现。文章讨论了添加节点对延迟和可用性的权衡,并列举了实际优化技术,包括快照、批处理、磁盘/网络优化和灵活法定人数。此外还涉及安全与测试方法,如Jepsen、确定性测试和TLA+规格验证。最后指出共识开销大,应根据一致性需求选择合适方案。文章主要适用于OLTP系统,未深入非OLTP共识算法或具体实现细节。

推荐收录,因为文章用简洁直观的方式梳理了Raft在OLTP系统中的运作机制,并纠正了分布式共识常被误解为水平扩展的问题。作者从线性一致性、可用性、节点扩展、优化和测试等多个角度展开,既有理论直觉也有工程实践视角,适合分布式系统初学者和数据库工程师建立基础框架,同时为进阶读者提供了丰富的进一步阅读线索。

工程实践LinkedIn Engineering - Architecture

How we reduced latency and cost-to-serve by merging two systems

本文介绍 LinkedIn 将身份服务中的 midtier 和 data service 两层合并为一个服务的实践。原架构中 data service 仅提供数据验证和 Espresso 存储访问,业务逻辑薄弱但维护成本高,且增加网络跳数。团队在保持对外 API 不变的前提下,先将 data service 的 REST API 作为本地库嵌入 midtier,随后通过 T-REX 框架逐步灰度、下线旧服务并清理技术债。性能测试使用 Dark Canary 复制生产流量对比,结果显示 p50、p90、p99 延迟分别降低 14%、6.9%、9.6%,内存分配率下降 28.6%。最终下线整个 data service 集群,节省超过 12000 核和 13000GB 内存。文章强调这是针对特定场景的权衡,并非所有微服务都应合并。

推荐收录,因为文章提供了完整的工程案例:从问题动机、架构决策、灰度实施到性能验证,数据详实。直接证据包括 p50/p90/p99 延迟改善、内存分配下降和资源节省。适合关注微服务粒度、性能优化和成本控制的架构师与后端工程师。可迁移价值在于展示了当数据服务逻辑薄弱时合并服务的考量方法,以及利用灰度发布和流量镜像降低高风险变更的实践。

工程实践LinkedIn Engineering - Scalability

How LIquid Connects Everything So Our Members Can Do Anything

本文介绍 LinkedIn 自研图数据库 LIquid 如何支撑其经济图谱(2700 亿条边、200 万 QPS)的实时访问。文章以 People You May Know 功能为例,说明从遗留系统 GAIA 迁移到 LIquid 的架构:用声明式 Datalog 查询做图遍历,再由 Venice 和 Pinot 提供特征与排序。迁移后 QPS 从 120 提升到 18000,延迟降到平均 50ms 以下,CPU 降低 3 倍以上,并支持更细粒度、可解释的推荐和快速 A/B 实验。作者也指出当前同质化架构在数据规模扩大时的低效问题,以及未来分层存储与工作负载优化的方向。

文章以真实生产系统为例,提供了从离线批量到实时图查询的完整迁移路径和可量化性能结果,证据具体、架构清晰。适合关注大规模图数据库、实时推荐或高并发基础设施的工程师借鉴,其关于声明式查询、索引优化和成本控制的方法具有跨团队可迁移价值。

工程实践LinkedIn Engineering - Scalability

Revenue Attribution Report: how we used homomorphic encryption...

本文介绍 LinkedIn 收入归因报告系统如何用加法对称同态加密(ASHE)替代逐行 AES 解密。原系统每次查询都从 Pinot 拉取全部相关记录、解密敏感列后在明文上聚合,导致网络和 CPU 开销大且暴露明文。新方案把 ASHE 加密列和标识符一起存入 Pinot,将聚合下推到存储层,利用 Pinot 内建聚合与 ArrayAgg 拼接标识符,API 服务器仅对每列聚合结果做一次解密。对于按敏感状态分组的查询,还结合确定性加密防止频率攻击。实际效果显示网络响应从 2MB 降至约 5KB(降幅 99%),CPU 尖峰缓解,端到端时延基本持平。方案适用于数据所有者与查询方为同一实体的场景,依赖支持聚合下推的 OLAP 存储。

推荐收录。文章提供了真实系统中同态加密落地的完整工程案例,包含原方案瓶颈、ASHE 原理、Pinot 集成细节、扩展方案和量化性能对比,证据充分。对需要隐私保护分析、加密数据聚合或优化 OLAP 查询的工程师有直接迁移价值,尤其展示了如何将密码学原语与存储层能力结合。

工程实践LinkedIn Engineering - Architecture

Open Sourcing iris-message-processor

文章介绍了 LinkedIn 开源的新组件 iris-message-processor,用于替换原有 Iris 事件管理系统中单 leader 的 Python 子进程 iris-sender。旧架构串行处理消息、依赖 Galera 强一致数据库作为消息队列,在高负载下出现延迟激增和复制死锁。新服务用 Go 编写,采用分布式 bucket 动态分配,节点可水平扩展,数据库不再充当队列。压测显示高负载下性能提升约 86 倍,6000 条突发消息处理时间从近 30 分钟降至 10 秒内,节点失效后 30 秒内自动重平衡。该组件已生产运行一年无中断,并与现有 Iris-api 保持兼容,支持渐进式切换。

推荐收录,因为文章提供了从单点瓶颈到分布式架构的完整演进案例,包含明确的问题定位、设计取舍、压测数据和生产验证。对负责高吞吐消息处理、事件驱动系统或 on-call 基础设施的工程师有直接参考价值,特别是水平扩展、去数据库队列和渐进式上线策略可迁移到类似场景。

工程实践LinkedIn Engineering - Scalability

Accelerating LinkedIn’s My Network tab by reducing latency and...

文章复盘了LinkedIn My Network页面加载缓慢和内容跳动的问题,旧架构中移动端与Web端并行请求多个API,独立渲染不同推荐区块,导致首屏等待近两秒并出现UI闪烁。作者团队将多端点统一为单一API并引入分页,把无限滚动的PYMK拆成多个小cohort,预构建后放入缓存,后续按页获取;同时采用渲染模型,由API定义通用banner和内容容器,减少客户端业务逻辑。优化后P90延迟下降43%,成本节省七位数,Web端LCP和FID显著改善,会员参与度提升。文章未深入讨论缓存一致性、失败处理和更复杂个性化场景,但提供了可工程迁移的架构权衡。

推荐收录,因为文章给出了完整的性能优化工程案例:从多端点并行到统一API、分页和预构建缓存,再通过渲染模型简化客户端,并用量化指标验证收益。适合后端、前端及系统设计工程师参考,其中缓存设计、API收敛和渲染模型解耦的思路可直接迁移到类似推荐流或内容聚合页面的优化中。

工程实践LinkedIn Engineering - Scalability

FishDB: a generic retrieval engine for scaling LinkedIn’s feed

文章介绍了 LinkedIn 用 Rust 构建的通用检索引擎 FishDB,替换了运行近十年的 Java 系统 FollowFeed。文章首先分析了旧系统的局限:Java 对象内存开销大、GC 导致高尾延迟、数据模型僵化且业务逻辑耦合,限制了推荐系统的扩展和迭代。随后解释了选择 Rust 的原因,并通过对比实验展示 Rust 在内存效率上的显著优势。FishDB 采用 scatter-gather 架构和 lambda 架构,提供了灵活的命令式查询语言和多种索引结构,包括倒排索引、前向索引、引用索引和基于 RocksDB 的属性存储,以支持图状数据模型和高效过滤排序。迁移采用分层渐进方式,通过 JNI 桥接保持 API 不变,实现了零中断切换,最终取得 2 倍效率、减少 50% 硬件、p99 延迟 40ms 的成果,并将实验周期从数周缩短到数天。文章也指出当前查询语言仍为命令式,未来计划引入声明式语言和向量搜索。

本文是一份高度完整的工程案例,从问题诊断、技术选型、系统架构、索引设计到灰度迁移提供了详实细节和量化结果,展示了如何用内存安全的高性能语言重构大规模检索基础设施。适合负责推荐系统、搜索引擎、分布式存储或性能优化的工程师阅读,可迁移的经验包括内存数据结构设计、Rust 在服务端的应用模式、分层迁移策略以及如何平衡灵活性与性能。

工程实践LinkedIn Engineering - Scalability

Turbocharging LinkedIn’s Recommendation Systems with SGLang

文章详细介绍了 LinkedIn 如何集成 SGLang 来优化其基于 LLM 的推荐系统,重点解决长输入短输出场景下的推理延迟问题。作者提出了多项目评分(MIS)方法,通过自定义注意力掩码复用成员前缀,将单个请求的延迟降低 69%,并进一步通过 FA3 内核和逐 token FP8 量化获得额外加速。此外,文章还介绍了 Knock-Knock 技术,利用预取成员上下文 KV 缓存并与项目检索并行,将整体延迟从 520ms 降低到 200ms。文中包含具体性能数据和开源贡献,展示了从内核到系统层面的优化路径。

文章展示了 LinkedIn 在真实生产环境中优化推荐系统推理的完整工程案例,提供了多项目评分、FP8 精细量化、延迟隐藏等可复用的技术方案和量化指标。适合从事推荐系统、LLM 推理优化和基础设施建设的工程师参考,其从内核到系统的优化顺序和取舍思路可迁移至类似长上下文低延迟场景。

工程实践LinkedIn Engineering - Scalability

Scaling maintenance: Rethinking HDFS block placement for exaby...

文章介绍了LinkedIn在管理约5EB数据和100亿对象的HDFS集群时,如何通过重新设计块放置策略来加速维护操作。默认BPP在维护时会导致大量数据复制和网络拥塞,而采用升级域BPP并定义20个升级域,将同一机架节点归入同一升级域,可以消除维护时的数据复制需求。文章详细描述了对3+EB存量数据进行分批再分布的过程,以及发现开源升级域BPP的写性能问题并开发新BPP排除已选升级域节点的改进。最终实现了每天升级约4.5%节点,显著提升了可靠性和安全性。

推荐收录,因为文章提供了真实超大规模HDFS集群维护中的完整工程案例,包含问题定义、架构取舍、数据迁移方案和性能优化细节,证据充分。适合负责分布式存储、大规模基础设施或HDFS运维的读者参考,其中升级域划分、利用维护模式减少复制和分批迁移的策略可直接迁移到类似系统。

工程实践SelectDB 技术分享

97% 召回率、900 QPS:Apache Doris 4.1 生产级向量检索的工程实践 针对大模型应用中专用向量库成本高、混合查询难的痛点,本文深入拆解 Apache Doris 4.1 原生...

文章针对大模型应用中专用向量库成本高、混合查询难的问题,深入剖析 Apache Doris 4.1 原生向量检索的工程设计。作者先比较专用向量数据库、关系型数据库扩展和分析型数据库原生支持三条路径,论证原生集成路线的优势。随后详细阐述 IVF 索引降低内存、IVF_ON_DISK 冷热分层、SQ/PQ 量化压缩以及 ANN Index Only Scan 优化查询性能的具体实现和 DDL 示例。文章还演示了结构化过滤联合查询与基于 RRF 的多路召回融合在 SQL 中的落地方式,并给出 VectorDBBench 基准数据。测试表明该方案在 100 万 768 维向量上取得 900 QPS、97% 召回率,构建速度最快,形成成本与性能的均衡。不过文中基准硬件规格不一,实际部署需根据工作负载进行验证。

推荐收录,因为文章不是简单的功能罗列,而是系统拆解了 Doris 4.1 向量检索的工程实现,包括 IVF 降本、磁盘索引、量化压缩、Index Only Scan 等关键设计,并提供了混合检索的 SQL 实现和基准数据。适合数据库内核、AI 基础设施和 RAG 系统开发者参考,其存储分层、覆盖索引和融合排序思路可迁移到其他 OLAP 或向量检索场景。需注意部分内容来自厂商,基准配置存在差异,应结合自身负载验证。

工程实践SelectDB 技术分享

时间序列近邻关联性能实测:Doris ASOF JOIN 领先 ClickHouse、DuckDB Doris 在 4.0.5 和 4.1.0 版本引入的 ASOF JOIN,把时间序列近邻关联做成一个能在大规模、...

文章对 Apache Doris 4.0.5/4.1.0 引入的 ASOF JOIN 进行系统性能实测,该功能面向时间序列近邻关联,可在按业务键分组后找到不晚于左侧记录的最近右侧记录,适用于交易行情补全、事件归因等场景。测试设计覆盖大小表组合、1 亿行对 1 亿行、不同 NDV、长序列、短序列、乱序存储和过滤条件等六大类典型场景,并与 ClickHouse、DuckDB 在相同硬件和并发参数下对比。结果显示 Doris 在绝大多数用例中显著领先,例如大小表 JOIN 低至 0.15-0.38 秒,1 亿对 1 亿约 0.97-1.13 秒,短序列和乱序场景优势更明显。文章强调该实现具有低延迟和高稳定性,适合大规模、复杂分布的真实业务。需注意内容来自 SelectDB 官方技术团队,测试带有厂商视角,但其测试设计和场景覆盖可作为数据库选型与性能评估参考。

推荐收录,因为文章提供了 ASOF JOIN 系统化的性能基准测试,从测试设计、环境配置到多维度场景结果均有详细说明,对需要处理时间序列近邻关联的数据库工程师和架构师有直接参考价值。其可迁移价值在于展示了如何设计覆盖真实业务复杂度的数据库功能基准测试,但需注意来源为厂商官方,数据结论应结合独立验证或实际业务场景再判断。

工程实践SelectDB 技术分享

秒级弹性、最高降本 70%:SelectDB Serverless 如何重塑云数仓资源效率 阿里云 SelectDB Serverless 可实现资源按需供给与按使用量计费,在负载高峰时补齐资源,...

文章讨论云数仓资源管理中长期存在的矛盾:业务负载波动大,固定规格资源常按峰值锁定,导致平均利用率低;传统存算分离架构弹性慢,扩容伴随缓存预热和数据重分布,容易引发查询延迟抖动。作者提出 SelectDB Serverless 的解决方案,通过计算、缓存、存储三层独立解耦,支持秒级原地纵向伸缩,单集群最高16倍弹性区间,并采用“扩快缩慢”策略——CPU 5秒均值或内存瞬时利用率超过60%触发扩容,CPU与内存同时低于30%且持续1分钟才渐进缩容,同时引入AI辅助决策。文章还给出选型参考:峰谷特征明显、可释放计算资源超过28%时Serverless才具成本优势;纵向弹性有16倍边界,极端场景需横向伸缩约3分钟。内容主要基于产品设计与机制说明,缺少独立用户验证数据。

推荐收录,因为它不只是产品宣传,而是提供了具体的弹性架构设计:三层资源解耦、扩缩容触发阈值、原地纵向伸缩机制和选型成本阈值,对云数仓、Serverless 或弹性架构设计的读者有直接参考价值。可迁移的是“扩快缩慢”的弹性策略和计算/缓存/存储解耦思路;需注意其厂商视角,部分性能数据未经独立验证。

技术文章SelectDB 技术分享

Apache Doris 在 AgentLogsBench 中领先,支撑 Agent 可观测性生产负载 Agent 可观测性需要一种能够统一承载多种访问模式的新型系统能力 Apache Doris可观测性与...

文章分析了 AI Agent 生产环境中可观测性负载的新特点:文本主体大且无结构、关键字段高度动态、trace 有序嵌套、看板需与持续写入并存。作者指出传统搜索、OLAP、文档库难以单独胜任,需要统一混合负载数据系统。AgentLogsBench 用单表 1 亿行 observation 数据评测六种引擎,覆盖 trace 回放、短语搜索、动态 JSON 过滤和实时聚合。结果显示 Apache Doris 综合 slowdown 1.28 领先,hot/cold 均第一,但在长文本 cold phrase search 上仍落后 Elasticsearch。文章解释了 Doris 领先原因包括倒排索引、VARIANT 子列、按 trace_id 分布与排序键、分区裁剪和缓存机制。该文可作为选型或理解混合负载数据系统的参考,但数据来自合成 benchmark,结果需结合实际验证。

推荐收录,因为文章不是空泛宣传,而是给出了 Agent 可观测性基准的具体设计、完整查询负载和跨系统实测数据,并逐项解释 Doris 架构优化如何影响性能。适合从事可观测性、OLAP 或 AI 平台基础设施的读者,用于理解混合负载系统选型与优化。可迁移价值在于把文本搜索、动态 JSON、trace 回放和实时聚合放在同一存储上权衡;主要风险是来自 SelectDB 官方且数据为合成,需结合其他评测交叉验证。

工程实践SelectDB 技术分享

Apache Doris 倒排索引工作原理:全文检索提速 59 倍,点查提速 14 倍 我们基于开源分析型数据库 Apache Doris,针对包含 1.35 亿条数据的亚马逊评论数据集进行...

文章介绍 Apache Doris 内置倒排索引解决 OLAP 稀疏扫描问题的技术机制与实测效果。针对传统 OLAP 依赖列存、排序和 Zone Maps 在稀疏查询下全表扫描的局限,文章详细解析了三种索引结构:字符串精确匹配用 Posting List,数值范围过滤用 BKD 树,非结构化文本检索用分词器结合倒排列表。在 1.35 亿条亚马逊评论数据集上,50 并发测试显示全文检索提速 59 倍,按 ID 点查提速 156 倍,多维组合查询提速 10 倍。同时评估了资源开销:新增 7 个索引后存储从 26GB 增至 47GB,写入耗时增加约 6%,主要来自大文本列。结论认为 OLAP 内置倒排索引可简化 Elasticsearch+OLAP 双引擎架构,但应根据查询特征选择性建索引以控制成本。

推荐收录,因为文章基于 1.35 亿条真实数据给出可复现的建表、索引和查询测试,定量对比了性能提升与存储/写入开销。适合数据库内核开发者、 OLAP 架构师和数据平台团队参考,其倒排索引设计思路可迁移到类似分析型系统或评估 Elasticsearch 替代方案。需要注意的是测试仅基于单节点和特定数据集,索引列选择需按业务权衡。

技术文章SelectDB 技术分享

宽表元数据膨胀怎么解?Doris Segment V3 对比 Parquet、Lance 要让查询真正只为目标列付出元数据成本,思路无非有三种:让 Footer 更容易定位,把重型列元数据...

文章围绕宽表场景下 Footer 元数据膨胀问题展开,对比 Parquet、Lance 与 Doris Segment V3 的解决思路。作者首先指出列式存储中 Footer 会随列数和 Row Group 增长,在数千列、复杂 JSON/Variant 子列时可达数 MB 甚至数十 MB,拖慢查询启动与元数据解析。随后分析三种格式的约束:Parquet 受生态兼容限制,通过 FlatBuffer 随机访问、裁剪冗余和兼容扩展降低开销;Lance 从文件结构重设计,将列元数据独立存储并放弃传统 Row Group;Doris 则在保留 OLAP 能力前提下,将每列 ColumnMetaPB 外置到独立 Column Meta Region(CMR),并在 Footer 中仅保留轻量目录,同时为 Variant 增加路径索引。性能测试显示极端宽表下 Segment 打开时间从 65 秒降至 4 秒,内存从 60 GB 降至不足 1 GB。适用边界是数千列宽表、复杂 Variant 和大量 Segment 场景,窄表收益有限。

推荐收录,因为文章对列式存储元数据膨胀问题提供了清晰的问题拆解和三种主流格式的取舍对比,并详细说明了 Doris Segment V3 的 CMR 外置、Variant 路径索引以及性能验证数据。适合数据库内核、存储引擎、数据仓库以及对宽表/半结构化数据查询优化感兴趣的工程师阅读。可迁移价值在于理解文件格式设计中的兼容性、功能完整性与查询性能之间的权衡;主要风险是内容带有 Apache Doris 厂商视角,但对 Parquet 和 Lance 的分析仍较客观。

技术文章SelectDB 技术分享

Agent 场景动态 JSON 性能拆解:Apache Doris 比 ClickHouse 快 7 倍、比 Elasticsearch 快 2 倍 为什么同样都支持 JSON,不同数据库在 Agent 日志场景下的性能...

文章围绕 Agent 日志中动态 JSON payload 的性能挑战展开,基于 AgentLogsBench 基准测试对比了 Apache Doris、ClickHouse、Elasticsearch/OpenSearch 和 DuckDB/Parquet Variant。作者剖析了 Doris VARIANT 将常用 JSON Path 转化为列式 subcolumns 的机制,并通过高频路径列式化、低频路径 sparse columns 和 Storage Format V3 来优化宽 JSON 查询。测试显示 Doris 在动态字段聚合、rollup 和低基数过滤上延迟优势明显,平均比 ClickHouse 快 7.4 倍,比 Elasticsearch 快 2.4 倍,存储占用接近 ClickHouse 且远低于 Elasticsearch。文章还分析了其他系统的取舍,如 Elasticsearch 搜索强但动态聚合成本高、ClickHouse 压缩好但长尾路径查询慢、DuckDB/Parquet Variant 开放格式强但在线分析不足。结论指出,将动态 JSON 纳入列式存储、索引和向量化执行链路是决定搜索后分析体验的关键。边界在于结果来自厂商基准,可能带有一定倾向性,但技术原理和权衡分析具有参考价值。

推荐收录。文章不仅给出了性能对比数据,还深入解释了 Doris VARIANT 的 subcolumnization、Storage Format V3 机制,并对比了 ClickHouse、Elasticsearch、DuckDB/Parquet Variant 的架构取舍,技术细节和可迁移性强。适合数据库内核、OLAP、可观测性和大数据工程师理解动态 JSON 在不同系统中的处理方式,为 Agent 日志分析、技术选型和优化提供依据。尽管来自商业公司,但内容以基准和原理为主,推广成分较低,长期参考价值较高。

技术文章SelectDB 技术分享

Apache Doris Python UDF:让 SQL 直接调用 Python 生态,支撑 Agent 时代复杂业务逻辑 Doris Python UDF 提供的不只是一个函数扩展机制,而是一条连接 Doris 高...

文章系统介绍 Apache Doris 的 Python UDF 功能,旨在让 SQL 直接调用 Python 生态以应对 AI 和实时分析中日益复杂的业务逻辑。核心方法是通过 Arrow RecordBatch 批量传输数据到独立 Python Server 执行,并支持 Pandas Series 向量化计算,减少跨语言和跨进程开销。Doris Python UDF 完整支持标量 UDF、UDAF 和 UDTF,提供内联与 ZIP 模块化加载方式,并内置进程隔离、复用和自愈机制以保证生产环境稳定性。文中给出支付风险分级和金额分桶等示例,展示在数据不离开分析链路的情况下完成规则判断、特征加工和模型打分。该能力已在 SelectDB 商业化产品中提供,适合需要将 Python 逻辑嵌入实时分析查询的场景,但部署前需在所有 BE 节点配置 Python 环境并安装 pandas/pyarrow。

本文对 Doris Python UDF 的设计机制、使用方式和生产化保障做了完整阐述,包含 Arrow 批量执行、向量化优化和故障恢复等关键细节,而非泛泛介绍。适合数据库内核开发者、数据工程师和需要在 SQL 引擎中集成 Python 生态的读者,可迁移到其他分析型数据库的扩展机制设计,帮助理解如何平衡灵活性、性能与可运维性。

技术文章SelectDB 技术分享

Apache Doris 4.1 Spill to Disk:避免运行内存密集型查询发生 OOM Apache Doris 4.1 的 Spill to Disk 是一套深度融合了内存预留、智能调度、压力感知的现代化...

文章系统解析了 Apache Doris 4.1 的 Spill to Disk 机制,用于避免哈希关联、聚合、排序等内存密集型查询触发 OOM。核心增强包括核心算子全覆盖、递归重分区应对数据倾斜,以及基于内存压力感知的主动落盘触发。文章详细说明了由控制层、算子层、基础设施层和内存管理层组成的统一架构,以及预留、暂停、落盘、恢复四阶段流程。针对 Hash Join、Aggregation、Sort 分别给出了化整为零、临时状态落盘和外部归并排序的具体实现策略。基准测试显示,在单 BE 16GB 内存下运行 TPC-DS 10TB 查询,复杂查询全部完成且内存被控制在 8GB 以内,部分场景落盘数据量超过 1000GB,验证了以磁盘 I/O 换取内存空间的可行性。当前 Intersect/Except 算子暂不支持直接 Spill,需要通过等价 Join 改写。

推荐收录,因为文章不仅介绍功能,还深入解释了内存压力感知、算子级落盘策略和统一架构设计,并给出了可验证的基准测试数据。对从事数据库内核开发、性能调优或超大规模分析查询的读者具有直接参考价值,其“预留-暂停-落盘-恢复”的资源控制方法和外部归并排序等思路也可迁移到其他内存受限的查询引擎中。

工程实践JuiceFS 工程技术

GPFS vs. Alluxio vs. JuiceFS: Architecture and Use Cases Compared

本文系统比较了GPFS、Alluxio和JuiceFS三种存储系统在AI工作负载下的架构与适用场景。作者首先梳理了自动驾驶、LLM训练、多模态、计算平台、量化金融和AI代理等场景的I/O特征与存储挑战。随后深入分析GPFS的元节点和分布式令牌锁机制,说明其强一致性与高性能依赖稳定网络和硬件,运维复杂;JuiceFS采用元数据与数据分离架构,结合对象存储实现弹性和成本优势。性能测试显示GPFS在高并发随机读写和顺序写方面领先,JuiceFS在低深度随机读和写回缓存下有竞争力。对Alluxio与JuiceFS的比较则突出透明缓存层与完整文件系统的定位差异。文章来自JuiceFS官方,存在厂商视角,但提供了具体测试数据和架构权衡,适合存储选型参考。

推荐收录,因为文章详细对比三种主流AI存储系统,包含具体性能测试数据和架构机制解析,而非单纯产品宣传。适合从事AI基础设施、存储选型、分布式系统设计的工程师和架构师参考。可迁移价值在于提供了评估存储系统的维度:I/O模式、一致性、缓存策略、成本与运维;主要风险是厂商立场可能对自家产品有所偏重,阅读时需结合独立评估。

技术文章知乎 - 严格鸽

C++的一个并不零成本抽象的例子

文章通过C++代码示例展示抽象并非零成本:直接使用 std::vector<int>& 参数时,由于LLVM IR带有nonnull、readonly、dereferenceable等属性,编译器能提取data指针并生成SIMD向量化代码;但将其封装为View类后,这些属性丢失,且&&短路求值使编译器不敢提前解引用,导致无法优化。作者通过调整&&顺序或显式添加size陷阱检查恢复了优化,说明问题在于抽象包装丢失编译期信息。文章还提到Rust存在类似现象,并已提交LLVM issue。结论指出编译器优化有边界,但通常仍优于手动优化,适用于关注性能与编译器的C++开发者。

推荐收录,因为它以具体代码和Godbolt汇编对比揭示了C++抽象导致的编译期信息丢失和向量化失败,并给出了可复现的解决方案。适合关注性能优化、编译器行为或C++抽象设计的读者,可迁移价值在于理解编译器元数据如何影响优化,以及如何通过调整代码顺序或添加断言恢复优化。

工程实践Max Bernstein

Another partial SSI trick with canonicalize

本文介绍了一种在编译器中间表示(IR)中实现 canonicalize 传递的方法,用于通过类型保护重写合并冗余的 GuardType 指令。作者首先描述了一个块局部的版本,该版本在每个基本块内重映射操作数,使后续的常量折叠能消除多余的检查。随后,作者基于支配树实现了全局版本,通过在支配树中沿支配者向下级联重写来扩大优化范围,并讨论了慢速但易于验证的实现策略。文章进一步扩展该传递,当块是条件分支的目标时,在 rewrite_map 中预先填入条件变量的真假常量,使分支体得以了解其条件值,从而简化 30k_ifelse 等基准中的分支链。作者还提到该传递可能需要常量驻留来保证幂等性,并说明了其依赖 SSA 最小化传递的效果。文章以具体代码和 PR 为证据,展示了编译器优化开发中的工程取舍与实证验证。

推荐收录,因为文章详细记录了一个现实编译器中的优化实现过程,既有算法伪代码,又有对支配树、SSA 形式、常量驻留等底层概念的透彻解释。编译器开发者或编程语言研究者可以从中学习如何设计传递以利用支配关系传播类型信息,以及如何在正确性和性能之间做工程取舍。文中所探讨的块局部与全局重写级联技术,以及条件分支信息播种方法,均具有较强的可迁移性。

技术文章NVIDIA Technical Blog

NVIDIA Nemotron 3.5 Lightning Delivers Fast, Accurate Specialized Task Execution for Long-Running Agents

NVIDIA 发布 Nemotron 3.5 Lightning,一个 30B 参数的 Mixture-of-Experts 模型,仅激活 3B 参数,专为长期运行 AI 代理的高频执行层设计。文章阐述了为何代理架构中需要专用执行模型以替代昂贵的前沿推理模型,并详细介绍了模型架构、基于 Llama-Nemotron-Nano-8B-v1 的微调方法、高级知识蒸馏技术、学习率调度等训练细节。在 BFCL v3、Berkeley Function Calling Leaderboard 等基准上的评估显示,该模型在工具调用、指令遵循等任务上达到高精度且保持低延迟。文章还指出了模型的开源策略、适用场景(如工具调用、结果验证、子代理委派)以及与其他模型的性能对比。不足之处在于未深入探讨长上下文推理或复杂思维链场景的局限性。

推荐收录,因为文章不是单纯的产品公告,而是提供了明确的模型设计动机、架构选择、训练策略和可复现的基准评估,对 AI 代理工程化实践具有直接参考价值。适合关注 LLM 推理优化、代理架构设计或函数调用性能的开发者,其中的蒸馏思路和评估基准选择可迁移到类似系统设计中。

工程实践PlanetScale Blog

The dangers of Postgres subtransactions

文章深入分析PostgreSQL子事务缓存溢出机制及其双重危害:当单个事务累积超过PGPROC_MAX_CACHED_SUBXIDS(默认64)个子事务时,快照标记溢出,迫使所有查询走pg_subtrans SLRU查找,导致集群吞吐量骤降;同时在构建新只读副本时,溢出的RUNNING_XACTS记录使副本无法获取完整活动事务快照,长期无法启用热备模式。作者通过WAL解码、基准测试和火焰图验证了性能退化路径,并给出事务超时监控、pg_stat_slru跟踪等检测与缓解方法。指出重建PostgreSQL或等待CSN快照补丁合并是根本性方向,但当前需依赖运维手段降低风险。

推荐收录,因为文章不仅解释了子事务缓存溢出的原理,还提供了可复现的基准测试和火焰图分析,并展示了从现象到机制、从监控到缓解的完整工程路径。对于PostgreSQL数据库管理员、后端开发者及高可用架构师,本文能够帮助他们识别和规避这类集群级性能悬崖,其故障排查思路和监控设计也可以迁移到其他数据库系统的类似内部机制问题中。

技术文章NVIDIA Technical Blog

Run Local Agentic AI Workflows with Meta’s Muse Glimmer on NVIDIA

文章介绍了Meta开源的Muse Glimmer模型,这是一个30B参数的密集模型,拥有120K+上下文窗口,专为本地AI代理工作流设计。通过NVIDIA的优化,该模型可在边缘、桌面和工作站等GPU平台上高效运行,单GPU推理速度可达20K tokens/sec。文章详细说明了模型在本地运行时的优势,包括数据隐私保护、低延迟以及始终在线的能力,并展示了其在复杂代理任务中的表现。内容侧重于技术部署和性能基准,为开发者在本地构建和运行代理AI提供了实践指导。适用边界主要在于依赖NVIDIA GPU生态,且模型尺寸对硬件资源有较高要求。

推荐收录,因为文章不仅提供新模型的关键技术特性,还给出了在NVIDIA平台上的具体性能数据和部署方法,为需要本地运行大模型代理的工程师提供了可参考的优化路径。适合关注隐私、低延迟和边缘AI的开发者和研究者,其性能基准和硬件适配经验对类似场景具有直接迁移价值。

技术文章Thomas Schatzl

JDK 27 G1/Parallel/Serial GC changes

本文由 HotSpot GC 开发者撰写,综述了 JDK 27 中停止-世界(STW)收集器(G1、Parallel、Serial)的变更。最重要的变化是 JEP 523 使 G1 在所有环境中都成为默认垃圾收集器,彻底取代了 Serial GC 在某些场景下的默认地位。文中详解了 G1 的堆大小调整逻辑修正(不再受 Min/MaxHeapFreeRatio 影响)、自适应并发标记改进、大对象回收与弱引用交互的 bug 修复。Parallel GC 获得了自适应年龄阈值双向调整和堆扩容修复。还提及了 TLAB 大小优化和字符串去重增强。文章内容聚焦于特定 JDK 版本,不涉及 ZGC 等并发收集器,但提供了来自核心实现者的直接解读。

推荐收录,因为文章来自 OpenJDK 长期 GC 贡献者的一手总结,系统梳理了 JDK 27 中 G1 和 Parallel GC 的关键行为变更、现有缺陷修正及设计动机,引用特定 bug ID 并提供背景解释。对于需要升级 JDK、调试 GC 问题或调优 JVM 的性能工程师和后端开发者,这些细节可直接指导实践,避免性能回退,并理解默认开关背后的工程考量。

工程实践Andy Atkinson

Adding and Removing Big Indexes in PostgreSQL

文章介绍了在 PostgreSQL 大型表上安全添加和删除大索引的完整操作方案。针对创建索引可能持续数小时且需与线上查询并发执行的场景,作者详细说明了使用 CONCURRENTLY 选项避免写操作阻塞、设置 lock_timeout 和 statement_timeout 保护、在 screen/tmux 后台运行、通过特殊查询监控多阶段进度(扫描堆、排序元组、加载元组等)以及调整 maintenance_work_mem 和 max_parallel_maintenance_workers 优化资源的具体方法;同时提供了失败后清理 invalid 索引和处理唯一性限制的注意事项,并给出了最终可直接执行的命令模板。文中基于真实操作给出了各阶段耗时(总计约 6 小时)和性能特征,但方案仅适用于非分区表,且要求手动监控和串行执行并发构建。

推荐收录,因为它不是简单的语法介绍,而是生产环境中管理大表索引的实战手册,包含锁定超时、语句超时、并行度设置、进度监控查询等可复用的工程实践。适合数据库管理员、PostgreSQL 运维人员和后端工程师参考,文中的参数调整思路和阶段监控方法可直接迁移到其他长时 DDL 操作的安全执行中。

技术文章Daniel Lemire

Profile-guided optimization in Go

文章介绍了 Go 语言的 Profile-guided optimization (PGO) 原理与使用方法。作者解释了编译器在缺乏运行时信息时依赖启发式做优化决策,而 PGO 通过收集 CPU profile 让编译器了解热路径,从而更激进地内联热函数和去虚拟化接口调用。文中通过三个 JSON 文档的解析基准测试,展示了 PGO 可带来 2–4% 的吞吐量提升,但效果因训练数据与工作负载匹配程度而异,甚至可能出现略微性能回退。作者指出 Go 的 PGO 优化幅度有限但成本近乎为零,适合在发行版构建中默认启用。整体内容提供了可操作的实践指南和定量参考,但仅覆盖单个简单解析场景,未涉及更复杂的工作负载或 profile 采样策略。

本文以清晰的步骤和实际数据展示了 Go PGO 的用法与效果,避免了纯理论描述,为需要优化 Go 程序性能的开发者提供了可直接尝试的方法和预期参考。实验规模虽小,但结论谨慎,强调了 workload 匹配的重要性,可迁移到其他 Go 项目的构建流水线中。适合关注编译器优化、性能工程和 Go 工具链的读者。

工程实践Fzakaria Blog

nixpkgs-multiverse: every version that ever existed

文章介绍 nixpkgs-multiverse 项目,通过一个 flake 输入提供 Nixpkgs 所有历史版本的惰性访问,解决多版本依赖时需固定多个 flake 输入的性能和易用性问题。核心方法是用 revisions.json 与 versions.json 索引包版本到修订的映射,并利用 builtins.fetchTree 按需获取;数据编码仅保留每个版本的最新出现修订,将索引大小控制在 5 MB 左右。性能实验表明,相比急切获取多个 flake 输入,该方案解析开销极低且遵循按修订计费原则。项目不构建或镜像任何内容,仅是对已有 Hydra 缓存的映射层,适合需要在 Nix 生态中灵活组合不同版本包的开发或构建环境。

推荐收录,因为它展示了一个真实的工程问题(Nix flake 多版本输入的性能与可用性冲突),并给出了完整的设计方案、数据优化与性能对比,具备可迁移的工程判断和工具设计思路。对使用 Nix、关注包管理与依赖分析的读者有直接参考价值,其惰性索引与按修订计费的设计也可启发其他需要高效版本查询的系统。

技术文章Simon Willison

SQLite compressed text-history prototypes

文章探索在 SQLite 关系数据库中高效存储文本修订历史的方案。作者提出将文档的每个历史版本完整放入 JSON 字符串数组,再整体用 zlib 或 Zstandard 压缩,以 BLOB 形式存储;另用整数数组列保存时间戳,避免压缩。通过 GPT 辅助生成 Python 原型并模拟 1000 次修订,实验显示 20.4MB 原始修订文本压缩后仅 80.3KB,验证了冗余重复带来的高压缩比。为规避每次编辑全量解压重压缩的开销,进一步提出将历史拆分为多行,每行最多保留 128 个修订或 3MB 未压缩 JSON。该方案实现简单,适用于编辑频繁且文本重复度高的历史记录场景,但尚未评估高频写入、版本检索和并发冲突等生产级问题。

推荐收录,因为文章给出了一个可复现的原型验证:1000 次修订从 20.4MB 压缩至 80.3KB,并明确了拆行存储的工程折衷。这种利用全文冗余进行压缩的简单方案对处理版本历史、审计日志或文档快照的工程师有直接参考价值,可迁移到其他需要高效存储多版本文本的场景。主要风险是未与增量存储或事件溯源等常见方案做对比,也未覆盖高并发写入和随机版本读取的约束。

技术文章MaskRay

Estimating branch probabilities

文章深入解析LLVM分支概率信息(BranchProbabilityInfo)在没有PGO(Profile-Guided Optimization)资料时的静态估计机制。作者首先梳理了LLVM估算分支概率的多级回退流程,重点剖析了calcEstimatedHeuristics算法,该算法利用不可达、noreturn、cold等区块的种子权重,通过支配树和后支配树反向传播,并结合循环结构对出口边进行缩放,从而为多后继终结指令分配概率。文中给出了独立的C++实现,并详细讨论了权重标度、边分类、循环嵌套森林的作用,以及不可归约循环对概率计算的影响。此外,还指出了与LLVM源码bit-per-bit匹配所需注意的实现细节,如种子顺序和工作列表顺序。该方法展示了静态分析中如何仅凭控制流图和循环结构生成合理分支猜测,对理解编译器优化有重要参考价值。

本文为编译器开发者、程序分析研究人员或对底层代码优化感兴趣的人员提供了LLVM分支概率静态估计的深入技术剖析,不仅解释了算法原理、设计取舍和工程考量,还附带可复现代码和对比案例。其详细程度足以帮助读者迁移到其他编译系统或静态分析工具的开发中,适合作为长期技术参考资料收录。

工程实践Netflix TechBlog

How and Why Netflix Built a Real-Time Distributed Graph: Part 3 — Querying the graph with gRPC…

本文详细介绍了Netflix实时分布式图(RDG)的查询服务层设计,阐述如何在高吞吐、低延迟要求下高效查询包含数十亿节点和边的图。文章首先分析了浅宽与深窄两类查询场景的挑战,随后说明广度优先遍历、异步优先架构、选择性缓存等关键设计决策及其取舍。接着以具体查询为例,逐步展示请求解析、存储读取、层次化遍历、并行执行、智能过滤和缓存等环节的实现与优化。最后给出系统性能指标(P50/P99延迟、缓存命中率)和经验总结,强调前沿思维、尽早过滤、有界并行和缓存策略等通用原则。其方法适用于高并发、IO密集型的分布式图查询系统,但一致性模型为最终一致,且依赖特定内部存储。

本文是Netflix技术博客的深度工程案例,展示了在真实约束下构建高性能图查询层的完整思考过程,包含具体的设计权衡、量化效果和可迁移原则。适合分布式系统工程师、架构师以及需要处理图数据查询的开发者参考。文中的广度优先遍历策略、异步执行模型和智能缓存方法可直接应用于类似的大规模在线服务场景,有效降低延迟和资源消耗。

工程实践知乎 - 携程技术

200G内存尖峰、数十万Pod迁移:携程Karmada规模化治理实录

文章系统回顾了携程从Kubefed到Karmada的多集群治理演进,重点围绕架构选择、生产落地和规模化优化展开。核心方法是在联邦层保留低频全局能力(资源分发、策略表达、跨集群迁移),将高频局部能力(实时扩缩容、流量切换)留在成员集群,并通过权重驱动的状态机实现数十万Pod的平滑跨集群迁移。文中详细分析了Karmada控制面在几十万级资源规模下遇到的高频状态同步、启动延迟和200G内存尖峰等问题,以及通过折叠Work、降低更新频率、分批对账、watch list等优化手段。适用边界是交易型业务的Kubernetes多集群场景,强调联邦控制面不应成为运行时强依赖。

本文是来自携程生产一线的深度工程案例,不仅解释了为什么从Kubefed切换到Karmada,更给出了清晰的架构原则、迁移机制和规模化治理细节。文中200G内存尖峰、每秒数百次Work更新导致409冲突等具体数据有很强说服力,优化思路可直接指导类似场景。适合云原生平台团队、SRE和架构师参考,可迁移的职责边界划分和控制面优化方法在多集群治理领域有长期参考价值。

工程实践知乎 - 严格鸽

LeetGPU Hard 题目笔记(4)Sliding Window Self-Attention(暂时第一)

本文记录了一道 LeetGPU Hard 题目——FP32 滑动窗口自注意力在 T4 GPU 上的优化过程,目标是将 5000×64、window_size=16 的推理加速到极致。作者从 256 线程、每 warp 处理一个 Query 的基线出发,通过 shared memory bank conflict 消除、K/V 共享 tile、交错 query 提升 ILP、手写 PTX 倒数近似加牛顿迭代、去掉 Q 的 shared memory 缓存以提升 occupancy 等手段,将时间从约 0.28 ms 优化到 0.177 ms。文中逐一展示了各版本的关键改动和性能收益,最终方案减少了一次 shared memory staging,并通过 #pragma unroll 16 平衡了控制开销与寄存器压力,在单 T4 上取得目前第一名成绩。整体适用于固定窗口尺寸的批量自注意力加速场景,但优化策略(如 occupancy 调优、PTX 指令替换)可迁移至其他类似 GPU 内核开发中。

推荐收录,因为它不是简单的竞赛题解,而是一个完整的 GPU 内核优化案例,清晰展示了从并行设计到微架构调优的迭代过程。文中对 bank conflict 处理、warp shuffle reduction、PTX 指令精度与速度平衡、shared memory 容量与 occupancy 权衡等都有具体讨论,对学习 CUDA 优化或处理类似 reduction+attention 模式的高性能计算开发者具有直接的参考和可迁移价值。

工程实践TiDB 社区博客 - 实践案例

openEuler 部署 TiDB:锁索引故障 + Sysbench 实战

文章记录了在 openEuler 22.03 SP4 国产化操作系统上部署 TiDB v8.5 的完整实践过程,包括 TiUP Playground 快速测试和 TiUP Cluster 单机模拟生产两种方案。作者详细列出了与官方 CentOS/RHEL 文档差异导致的典型问题,如 bash_profile 环境变量不生效、Playground 监听 127.0.0.1、openEuler 默认 MaxSessions=10 导致 SSH 并发连接失败、禁止 root 运行 TiDB 进程、防火墙端口放行、随机密码保存等,并给出对应解决命令。随后使用 Sysbench 进行只读和读写混合压测,复现了读写混合场景下的锁等待超时故障,分析了热点索引页、乐观事务冲突等成因,并通过调整隔离级别、增加 TiKV scheduler-concurrency、使用 --skip-trx 等方法缓解。文章适用于国产化环境部署 TiDB 和初步进行基准测试与故障排查的读者,但部分建议需根据实际业务场景谨慎采用。

推荐收录,因为它是真实环境下的部署与压测案例,覆盖了国产操作系统与分布式数据库兼容性问题、SSH 并发限制、权限管理等工程约束,以及基于 Sysbench 的锁等待故障分析。适合需要在 openEuler 等信创系统上部署 TiDB 或学习分布式数据库基准测试和初步排障的工程师,文中命令和排查路径可直接迁移到类似环境。主要风险是部分优化建议如降低隔离级别需结合业务正确性验证,不宜直接照搬生产环境。

工程实践QuestDB Engineering

Read Streaming 500 million rows into Apache Arrow in 2.3 seconds

文章测试 QuestDB 新 QWP 协议将查询结果流式传输到 Apache Arrow 的性能,并与 ClickHouse、TimescaleDB 对比。作者用简单查询和并行读取器基准,测量 500M 行数据的导出速度。最初几轮结果受磁盘 I/O、Python GIL 等因素影响,修正后 QuestDB 达到 220M 行/秒,首批数据仅 32ms,比 ClickHouse 最快流式路径快 2.35 倍。文章还分析了每行字节数、存储占用、扩展性和协调成本,并指出测试的局限(单一 schema、低基数字符串等)。该文提供了可复现的测试方法和详实的过程反思。

推荐收录,因为它不是简单的产品宣传,而是深入的工程基准测试,展示了如何识别并消除磁盘、GIL、协调成本等测试伪影,并提供了可复现的仓库和明确的局限声明。适合数据库选型、性能评估或数据管道设计的读者,可迁移价值在于严谨的流式数据导出基准测试方法和工程分析框架。

工程实践PlanetScale Blog

Concurrency vs. Throughput: why more parallelism can make databases slower

文章复盘了一次 MySQL 生产事故:一个长事务导致 InnoDB 版本历史膨胀,使读查询成本随并发量平方级增长,最终拖垮数据库。作者运用 Gunther 通用可伸缩性定律解析了争用系数 α 与一致性开销系数 β,阐明为何超过临界并发数后吞吐量反而下降。解决方案是将 Vitess 事务池从一万降低到约一千并引入排队,模拟原有线程池的反压行为,从而避免大量并发请求涌入存储引擎。配置变更后,系统在类似流量尖峰下吞吐稳定、无报错,MySQL 内部并发数控制在两百以内。文章强调此策略适用于悲观锁、热点行等高争用场景,且思路可迁移至 Postgres 等系统。

推荐收录,因为文章通过真实事故展示了并发与吞吐的逆向关系,并用通用可伸缩性定律提供量化分析。对负责高并发数据库、稳定性工程及反压机制设计的读者具有直接参考价值,可迁移到类似数据库和分布式系统中。文中提供的实验数据和配置对比使其结论可信,且明确给出了适用边界。

工程实践Cloudflare Blog

Introducing Kitesurf: The agent-first browser that runs in V8 isolates on Cloudflare Workers

Cloudflare推出Kitesurf,专为AI代理设计的轻量浏览器,运行于Cloudflare Workers的V8隔离环境中。文章阐述了为何需要新浏览器:传统Chromium对代理而言资源开销大,而代理更关注令牌数、上下文窗口和成本。团队采用Rust编译为WebAssembly、借助Web Platform Tests驱动开发、强调组件隔离与无状态设计。整体架构分为Engine处理CDP/HTTP、PageScript利用动态Worker解析HTML/CSS/JS、PageRenderer光栅化生成截图。性能上比Chromium节省3-7倍内存和CPU,但渲染速度慢1.7倍。当前兼容性有限,不支持视频和WebGL,适合一次性截图、PDF生成等简单任务。项目仅12周,开源在即。

推荐收录,因为文章并非产品发布,而是深入的技术工程案例,详尽阐述了为AI代理构建轻量浏览器的设计决策、架构实现和性能权衡。适合从事浏览器、AI代理或边缘计算基础设施的工程师阅读,其中的隔离、无状态设计与WPT测试驱动开发方法可迁移到类似复杂系统的构建中。但需注意项目尚处早期,兼容性有限。

工程实践Stanford Hazy Research

Retire the Abstractions

本文以编写 CUDA megakernel 的经验为起点,提出 AI 编程智能体正在取代传统软件抽象层的认知卸载功能。作者回顾了去年依靠 C++ 抽象管理复杂性的痛苦,以及今年借助 agent 直接将不完整的提示转为优化代码的实践,由此预言 CUDA DSL 等抽象层即将退役。文章进一步讨论代码库角色的迁移:精确的代码库变得脆弱,而模糊但可传递的意图提示更适应智能执行器;信任将更多放在规约、测试和不变量等 oracle 上,而非实现细节。同时,作者也指出抽象层作为共享验证面、知识传递手段仍具价值,且专家经验在此转型中不可或缺。全文核心观点是抽象会退役,但领域知识永存。

推荐收录,因为本文不是泛泛而谈的未来预测,而是基于真实 megakernel 工程演进提出的具体论证,提供了从认知外包到代码生命周期重估的完整视角。适合关注 AI 辅助系统编程、DSL 设计与软件工程演化的研究者与工程师,可迁移的思考在于如何重新权衡代码、测试与意图描述在智能工具介入后的角色。

工程实践Meta Engineering

GEM Training: How Meta Doubled the Efficiency of Its LLM-Scale Ads Foundation Model

本文介绍了Meta如何将广告推荐基础模型GEM的训练规模提升至LLM级别,并在12个月内将端到端训练效率提升一倍至20-25%模型算力利用率(MFU),同时训练算力规模扩大4倍。文章从计算效率和扩展效率两个维度分别展开:计算效率通过定制化推荐内核库(Jagged Flash Attention、Generalized Dot-Product Attention、BlockAttention)和混合超低精度训练(MXFP8注意力与MLP)实现;扩展效率则依靠拓扑感知的5D并行策略(2D FSDP加专家并行处理稠密参数,全分片2D模型并行处理稀疏参数)配合SM-free通信、自动激活检查点及序列长度感知负载均衡。所提方案针对推荐系统特有的变长序列、非对称交互和数值敏感性等挑战进行了专门设计,其方法论和具体技术对大规模推荐模型训练具有参考价值,但部分优化(如内核定制)与特定GPU架构强相关,迁移时需适配自身硬件和数据特性。

本文是真实的工业级工程案例,完整展示了在数千GPU上训练万亿参数推荐模型的全栈优化过程,涵盖内核、精度、并行、网络和内存的协同设计,而非孤立技巧罗列。适合负责大规模深度学习训练、推荐系统基础设施或GPU性能优化的工程师,可迁移价值在于其将MFU分解为计算效率和扩展效率的分析框架,以及针对混合架构和变长数据的特定解决方案,对类似规模系统的构建与调优具有直接借鉴意义。

工程实践NVIDIA Technical Blog

NVIDIA Vera Storage Benchmarks: Faster Encryption, Compression, Integrity Checking, and Recovery for AI-Native Storage

文章探讨了NVIDIA Vera处理器在AI原生存储中的加速能力,通过基准测试对比了加密、压缩、数据完整性校验等关键存储操作在Vera与AMD EPYC、Intel Xeon平台上的性能。作者指出,在代理式AI工作流中,存储需要频繁进行检索、持久化内存和KV缓存等操作,传统CPU在加密和压缩计算上成为瓶颈。Vera集成的数据流加速器能高效卸载这些任务,在加密吞吐量和压缩延迟/吞吐方面均取得显著提升。文章以VAST Data的Cosmos平台为例,展示了Vera如何实现端到端数据完整性、快速恢复和数据缩减,从而减轻CPU压力并提升整体系统效率。结论认为Vera可作为AI存储基础设施的核心加速部件,适用对性能和安全性有苛刻要求的环境,但其结果基于特定硬件和软件组合,未涵盖所有部署场景。

推荐收录,因为文章提供了具体的硬件加速基准测试数据,直观展示了NVIDIA Vera在加密和压缩等任务上相比传统x86服务器的性能优势。对于从事AI基础设施、存储系统设计或性能优化的工程师,这些数据可用于评估硬件加速方案的收益,了解如何将专用加速器集成到AI存储栈中以降低成本并提升吞吐。尽管局限于特定厂商产品,其评估思路和卸载设计可作为类似系统设计的参考。

工程实践Cloudflare Blog

Smaller, faster, safer: running Kimi and GLM at scale

文章介绍了在 Cloudflare Workers AI 上运行大型长上下文 MoE 模型 Kimi 和 GLM 时,为应对内存限制而采用的三项优化技术:将 KV 缓存从 BF16 量化为 FP8,使上下文容量翻倍,峰值吞吐提升 41%;将模型权重从 FP8 压缩为 INT4,显存占用降低 40%,解码加速明显;以及构建 KV 缓存完整性检查机制,防止多请求共享时发生数据错乱,且开销低于 1%。所有优化均通过分离 prefill 和 decode 阶段,在各自优势场景下使用不同精度,从而在保持模型准确度不变的前提下,显著提高并发并降低单位 token 成本。这些实践基于 SGLang 框架和 H200 GPU,验证了工程方案的有效性和边界。

推荐收录,因为文章不仅是孤立的性能技巧,而是展示了从内存瓶颈分析、多策略选择(量化、压缩)、安全防护到阶段分离的完整工程决策过程。文中提供了大量对比测试数据、精度验证和架构取舍说明,对负责大模型推理部署、AI 基础设施优化的工程师具有直接的可迁移价值,其中的阶段性精度切换和多请求缓存保护思路尤其值得借鉴。

技术文章Daniel Lemire

How fast is C++26’s std::hive?

文章对 C++26 标准库新增容器 std::hive 进行了性能基准测试,并与 std::vector 和 std::list 在插入、遍历、删除和内存占用等方面进行对比。实验使用特定编译器、硬件和测试数据,测量了纳秒/元素、指令数和周期数。结果显示 hive 的插入成本约为 vector 的两倍,遍历速度与链表相当且远慢于 vector,主要因跳过字段和缺乏自动向量化;但在元素删除和内存占用上优于 list。作者指出 hive 不是更快的 vector,而是提供了稳定引用和常数时间删除的更好 list。该基准测试为 C++ 开发者在选择容器时提供了具体的性能参考,但结论受限于合成负载和单一硬件平台。

推荐收录,因为文章提供了针对 std::hive 的详细基准测试,用数据揭示了其与 vector 和 list 的性能差距和原因(如指令开销、缓存局部性、自动向量化影响),并给出了实际使用建议。适合 C++ 系统编程和性能优化场景的读者,可帮助他们在需要稳定引用与快速删除时做出容器选择,且评测方法论可迁移至其他数据结构的性能对比。

工程实践GitHub Engineering

Don’t stop early: Case-folding source code at memory speed

文章介绍了 GitHub 代码搜索引擎中实现高速 Unicode 大小写折叠(case‑folding)的技术方案。核心优化是在 ASCII 路径中去除提前退出分支,采用无分支循环配合自动向量化,使纯 ASCII 折叠速度超过 45 GiB/s。对于 Unicode,设计了一种仅 1776 字节的紧凑查找表,结合页位图、区间编码与字节级差值运算,避免码点解码而直接在字节空间完成折叠,将非 ASCII 路径开销降到最低。该方案在常见输入上显著超越其他实现,且已开源为 Rust crate casefold。文章还详细讨论了分支消除、向量化、内存带宽等权衡,以及该方法依赖小端字节序和合法 UTF‑8 的边界条件。

推荐收录,因为文章深入剖析了大规模文本处理中的极致性能优化方法,从分支消除、向量化到创新的字节空间 Unicode 折叠,展示了完整的工程决策过程和量化对比。对于从事搜索、编译、系统编程或性能优化的读者,文中的无分支循环设计、紧凑查找表结构和“一次扫描检测+转换”等技巧具有直接的可迁移价值,是真实的工程案例而非泛泛调参记录。

工程实践Crunchy Data Blog

Hybrid Search Patterns with Postgres and pgvector

文章系统探讨了在PostgreSQL和pgvector中实现混合搜索(向量相似度加标量过滤)的工程模式。首先阐述了pgvector迭代索引扫描如何平衡召回与性能,然后分析了向量优先和标量优先两条路径各自的适用场景与局限。作者进一步提供了三种实用工作区:为低基数过滤构建部分HNSW索引;通过过采样再过滤应对高基数或临时过滤器;以及利用缓存加速重复查询。文中给出了过采样的估算公式、查询计划诊断方法以及各方案的决策指南,并强调了每种模式在召回率、性能和维护成本之间的权衡。

推荐收录,因为本文是针对Postgres+pgvector混合搜索问题的实战指南,从问题根源到四种解决方案给出了完整的权衡分析、代码示例和调优公式,远超简单教程。适合正在构建带标量过滤的向量搜索系统的工程师,文中部分索引、过采样和缓存等模式可直接应用于生产环境,决策树和EXPLAIN诊断方法具有跨场景的可迁移价值。

工程实践Cloudflare Blog

Dogfooding at scale: migrating cdnjs to Cloudflare’s Developer Platform

文章详细记录了 cdnjs 从旧架构(GCP Cloud Functions + GitHub 仓库 + Workers KV)迁移到 Cloudflare 全栈开发者平台(Workers、Workflows、R2、KV、Queues、Containers 等)的过程。旧架构痛点包括无共享追踪、双活存储、对象事件粘合流水线、26 个分片函数和臃肿的 GitHub 仓库;新架构以 R2 为文件单一真实源,KV 存元数据,Workers Cache 提供分层缓存,Workflows 编排流水线,并通过 Queues 和 Durable Object 实现异步阻塞。迁移中遇到字节级一致性和子请求限制等挑战,最终通过原样复制而非重新压缩解决了 SRI 哈希问题,并倒逼平台提升子请求上限至 1000 万、Workflow 步数上限至 10000 步。文章展示了该架构的弹性、可扩展性,并为未来支持 ES 模块等现代功能奠定基础,但 SRI 校验修复等遗留工作仍待完成。

这是一篇稀缺的大规模 CDN 服务迁移工程实录,直面真实约束与架构取舍,并记录了平台为适配需求而改进的共演过程。对基础设施工程师、平台架构师和 SRE 极具参考价值,可迁移经验包括可观测性设计、存储一致性保障、无服务器工作流编排及平台限制突破策略;文中的坦诚复盘(包括迁移失败回滚)使内容更可信。

工程实践知乎 - 鹅厂架构师

内核全栈诊断工具:一体化解锁稳定性与性能

文章介绍了 TencentOS 内核全栈诊断工具的设计理念、功能组成和定制方法。工具覆盖 fs/io、网络、内存、KVM 等领域,沉淀了超过 20 个子工具,已在线上部署并解决上百例稳定性与性能问题。核心能力包括函数级时延分析(支持 running 时延、block 时延以及多函数横向时延追踪)、稳定性问题检查(如页缓存扫描、内存踩踏、挂载数量检测等),以及通过修改 scene_template.c 模板快速定制诊断逻辑的机制。文章详细说明了积木式组合和槽位填空式架构,使已有工具可自由组装,也允许在预留槽位中插入新函数,极大降低了定制门槛。文中给出具体代码示例和命令行接口,展示了从定位时延瓶颈到沉淀子工具的完整工程实践路径。该工具依赖 TencentOS 内核特性,需安装专用 rpm 包和内核开发包,定制需具备内核代码理解能力。

推荐收录,因为文章不是简单的工具使用手册,而是系统阐述了内核诊断工具的整体设计思路、定制框架和工程落地经验,并提供真实代码与线上案例。对内核开发者、SRE 及从事操作系统性能与稳定性优化的工程师具有直接参考价值,其积木式、槽位式的可扩展架构设计可迁移至其他内核可观测性系统的建设中。

技术文章Kubernetes Blog

How the controller-runtime Cache Actually Works, and Why Your Controller Does Not Crash the API Server

本文深入剖析了 controller-runtime 缓存的内部机制,解释了为何控制器不会压垮 API 服务器。核心原理是:r.Get 和 r.List 并非直接查询 API 服务器,而是读取由 Reflector 通过 list+watch 构建、存储于 Indexer 的本地内存副本;写操作则直接发往 API 服务器,并通过 watch 异步反馈到缓存。文章详细拆解了 DeltaFIFO 的有序分组与去重、workqueue 的 key 级合并、索引器如何提供类 SQL 的快速查询、选择性缓存及 Transform 等内存优化策略,并列举了读后写期待、共享对象突变、resync 误解等常见误区。全文基于 client-go 原语,提供了从启动阶段到生产调优的完整心智模型,适用于已经编写 Go 控制器但希望深入理解其行为以避免生产意外的工程师。

推荐收录。文章深入揭示了 controller-runtime 缓存的底层模型和常见误区,为 Kubernetes 控制器开发者提供了可迁移的内部视角和防错指南。内容覆盖了从原理、设计取舍到实战优化的完整链路,长期计算参考价值显著,尤其适合需要在高负载集群下保障控制器稳定性和性能的工程团队。

工程实践BAIR Blog

From CUDA to MLX: How K-Search Brings Decades of Kernel Expertise to Apple Silicon

本文介绍了一种将NVIDIA CUDA GPU的kernel优化知识自动迁移到Apple Silicon MLX框架的方法。作者基于K-Search进化搜索框架,构造了结构化的CUDA-to-MLX翻译层,通过概念映射表、MLX特定模式与硬件约束,将数十年的CUDA优化经验转化为Apple GPU可用的指导。K-Search利用LLM迭代推理、生成和实测kernel,通过世界模型树搜索实现自动优化。实验表明,在Attention kernel上达到原生MLX性能的0.97倍,在Mamba SSM kernel的prefill阶段获得了相对社区实现的20倍加速。文章展示了瓶颈在于提供给LLM的上下文质量而非代码生成能力,该方法不限于MLX,可扩展到其他硬件生态。当前仅在两个kernel上验证,广泛适用性有待进一步检验。

本文详细记录了利用AI驱动的进化搜索实现跨硬件平台kernel优化的工程实践,提供了从原理到实现的完整路径,并包含可复现的实验对比。适合GPU kernel开发、AI系统优化和跨平台移植的研究与工程人员,其结构化翻译思路和领域知识注入方式对降低kernel开发门槛具有明确的迁移价值。

工程实践Marc Brooker

Lorenz and Little: How Much Does Your Tail Cost?

本文从成本和容量角度切入尾部延迟分析,通过Lorenz曲线量化不同百分位延迟对平均延迟的贡献比例,并结合Little法则说明这一比例同时对应系统并发所占份额。作者提供了基于分位数向量的数值计算方法,并讨论了插值假设和尾部帕累托外推的局限性。文章指出,在许多服务中p99及以上延迟可能贡献超过一半的平均延迟和并发寸,因此优化尾部能显著降低容量需求、锁争用和成本,而不应简单截断。这一视角将延迟分析从用户体验延伸至系统经济性,适合拥有可观测性指标的工程团队。

推荐收录。文章不是泛泛谈论尾部延迟的重要性,而是引入了Lorenz曲线这一经济学工具提供量化框架,并通过Little法则建立延迟与并发成本的直接关联,给出了可复用的计算方法和工程洞察。对于需要平衡服务性能与基础设施成本的后端工程师、SRE和架构师来说,该思路可直接迁移到容量规划和瓶颈识别中,具有长期参考价值。

技术文章知乎 - 严格鸽

从LeetGPU的一道题目到 Radix TopK / AIR TopK

本文以 LeetGPU 上的 Top-K 选择题目为切入点,系统介绍了在 GPU 上利用 Radix TopK 和 AIR TopK 算法高效完成最大 k 个元素选取的方法。作者首先处理了浮点数无法直接按二进制位比较的问题,通过 ordered_bits 转换将 float32 映射为保持数值顺序的无符号整数。然后详细演示了 Radix TopK 按高位到低位分桶、定位 splitter bucket 并逐步缩小候选范围的过程,给出了具体步骤和代码示例。在此基础上引入 AIR TopK(Adaptive and Iteration‑fused Radix Top‑K),说明当候选数据量下降到一定程度时,可以向专用 buffer 收集候选元素,以减少后续轮次的扫描开销。文章还提及 CUB 中的每轮 11 位处理策略,并给出性能测试结果。全文适用于了解 GPU 上的并行 Top‑K 算法实现,对大规模数据、k 较小场景有直接参考价值,但迭代融合部分的实测效果不显著,且测试环境主要基于 T4,硬件差异可能需要进一步验证。

本文从实际题目出发,深入讲解了 GPU 上 Radix TopK 和 AIR TopK 的算法原理与优化,提供了可运行的代码示例和清晰的图示,不是简单的问题解答或操作指南。对需要实现高性能 Top‑K 选择的 CUDA 开发者、并行算法研究者具有直接的参考价值,文中的 ordered_bits 转换、分桶筛选和自适应收集等思路可以迁移到其他基于 GPU 的排序与选择任务中。

技术文章Max Bernstein

The inliner is yielding benefits for ZJIT

文章详细介绍了 Ruby 的 ZJIT 编译器中内联器(inliner)如何通过方法内联优化块(block)调用,从而提升性能。作者首先回顾了 Ruby 解释器中块的工作机制,随后解释 JIT 编译器如何通过类型特化来优化方法调用,并指出核心库方法(如 Array#each)因多态块调用导致优化困难。ZJIT 采用将 callee 的代码内联到 caller 中的方式,利用调用上下文将动态的 invokeblock 转换为直接的块调用和循环,消除了间接调用开销。文章展示了内联前后 HIR 的变化与微基准测试结果(如 cfunc_itself 达到 35 倍加速),并说明当前块内联尚未完全实现,内联阈值等参数仍在调优。适合对编译器设计、JIT 优化和 Ruby 运行时性能感兴趣的读者。

本文深入剖析了 ZJIT 内联器的设计动机、实现细节和实际收益,通过具体示例和基准数据展示了如何解决动态语言中块调用的优化难题。它对编译器开发者、语言虚拟机工程师和关注 Ruby 高性能优化的从业者具有直接的参考价值,其中基于调用上下文的代码重组思路也可迁移到其他 JIT 系统。

技术文章LWN.net

[$] Hazard pointers for the kernel

文章介绍了hazard pointers作为内核RCU机制的替代方案,用于实现无锁数据更新。作者从原理层面比较了两者的内存开销、延迟和回收确定性,指出hazard pointers在低内存占用和及时回收方面的优势。文章还结合内核社区正在评估的实现,讨论了并发内存排序、安全语义以及实际部署中的工程权衡。内容适合理解内核无锁、垃圾回收机制和并发数据结构的读者,但未深入特定硬件架构或极端性能测试。

文章从原理、优缺点和工程可行性多角度剖析了hazard pointers在内核中的应用,具备深度的技术比较和清晰的适用边界说明。对于系统开发者、内核工程师或关注高性能并发的读者,本文可作为理解无锁同步替代方案的优质参考,迁移价值高。

技术文章Fzakaria Blog

The mean means nothing

文章以一次误导性的平均延迟指标为切入点,系统介绍了如何通过多种可视化手段正确理解性能分布数据。作者使用一个合成数据集模拟 Web 服务缓存上线场景,展示平均值、中位数、百分位数给出矛盾结论的原因,并依次通过密度图、累计分布函数(CDF)、位移函数、山脊图、热力图和联合图揭示数据呈双峰分布的实质:缓存命中导致低延迟,缓存未命中的大请求造成长尾。文章重点强调 CDF 能同时展示所有分位数的变化,尤其当两条 CDF 曲线交叉时,单一统计量无法概括整体效果。文中所有图表附有可复现的 Nix 脚本,便于读者在自己的数据上实践。该文既是一堂生动的可视化教学,也是工程师避免数据误读的实用指南。

这篇博文通过清晰的可视化对比,有力地揭示了仅依赖平均值或单一百分位数做技术决策的陷阱,并提供了可直接复现的分析方法。其核心方法(尤其是 CDF 对比和位移函数)可迁移到任何涉及分布变化分析的场景,如性能优化、A/B 测试或系统监控。适合所有需要从数据中提取可靠结论的后端工程师、SRE 和数据分析师,是一份长期值得参考的实践指南。

工程实践Elastic Security Labs

Inside Elastic InfoSec's agentic SOC: How we cut AI agent LLM calls by 60%

Elastic InfoSec 团队针对其安全运营中心中 14 个 AI 代理的 LLM 调用成本过高问题,提出并实施了一个五步优化循环,最终将单次调查的 LLM 调用次数从 14–19 降低到 7–9,降幅约 60%。方法包括:测量基线消耗指标;用自建凭证捕获代表性测试对话;分析对话轨迹找出低效模式(如缺乏明确停止条件、冗余查询、缺失字段投影等);基于分析结果修订代理指令并验证;最后通过持续监控防止性能回退。文章区分了代理优化与传统提示工程的差异,强调优化目标是稳定、可预测的成本而非单次输出质量,并列举了具体的反模式与修复技巧,如用检查清单替代文本预算、添加禁止重复查询规则等。该方法基于 Elastic 的 Agent Builder 平台,但核心思维可迁移至任何具备可观性指标的代理系统,主要依赖人工分析对话痕迹,适用于大批量、自动化工作流场景。

推荐收录。文章提供了一套系统、可复现的 AI 代理优化方法论,包含完整的测量、分析、修订、验证和监控流程,并配有具体代码示例和清晰的问题‑解决方案对照表。适合构建和维护生产级 AI 代理的工程师,尤其是需要兼顾成本、行为一致性与长期可维护性的团队;其数据驱动的诊断思路与结构化修正流程可直接移植到其他代理框架与业务场景,帮助团队从临时调整 prompt 转向工程化优化。

技术文章Daniel Lemire

Memory-level parallelism: AMD is the king

文章通过 pointer chase 基准测试,系统测量了 Intel、AMD 和 Graviton 处理器的内存级并行度(MLP)演化。核心方法是构建 1 GiB 的随机循环数组,同时运行多条独立的指针追逐路径(lanes),通过观测吞吐量饱和点确定单核可维持的最大并发内存请求数。结果显示,AMD Zen 5(Turin)达到 58 条并发缓存行请求和 24.5 GiB/s/s 随机访问带宽,约为 Intel Granite Rapids 的两倍;Intel 十年间从 10 增长至 30,主要提升在最近两代;Graviton 5 延迟显著改善,但 MLP 停滞在 19。测试在 AWS 云实例上进行,数据与脚本公开。该研究为理解处理器内存子系统的实际能力提供了可重复的实验框架和跨代对比。

推荐收录。文章不是泛泛的性能宣传,而是给出了可复现的指针追逐实验设计、完整的跨平台数据及演化趋势分析,直接揭示了 MLP 这一隐藏关键参数对软件性能的实质影响。对从事性能调优、系统选型或体系结构研究的读者极具参考价值,其测量方法和结论可迁移至各类内存敏感型工作负载的优化中。

工程实践知乎 - 严格鸽

LeetGPU Hard 题目笔记(3)GPT-2 Transformer Block(暂时第一)

文章记录了作者在 LeetGPU 平台完成 Hard 题目“GPT-2 Transformer Block”的完整优化过程。从朴素 CUDA 实现开始,逐步引入 FlashAttention 分块计算以避免完整 scores 矩阵的显存读写,但发现普通 CUDA Core 上 FlashAttention 融合并未带来理想加速。随后利用 Tensor Core 的 WMMA 指令,将数据转为 FP16 进行矩阵乘法,性能大幅提升至 22.88 ms。最终作者放弃 FlashAttention,转而直接用 WMMA 实现 QK 和 PV 计算,结合合并内存分配、手动分支消除等微调,将总耗时压至 13 ms。文中给出了核心 kernel 代码和不同方案的性能对比,揭示了在特定精度要求不高的 T4 环境下,直接使用 Tensor Core 可能比融合 kernel 更优的工程取舍,但未涉及长序列或大规模分布式推理场景,结论的环境依赖较强。

推荐收录为真实工程优化案例,因为它完整呈现了从算法理论(FlashAttention)到硬件指令(WMMA)再到性能调优的迭代链条,包含可运行的 kernel 代码和明确的性能数据,适合学习 GPU 编程和 Transformer 推理优化的开发者。文章的核心经验——“在特定硬件和精度约束下,直接使用 Tensor Core 可能优于融合内存节省的算法”——具有可迁移的权衡思维,但需注意其结论仅适用于小规模、精度要求不高的类似任务。

科研议题知乎 - 哔哩哔哩技术

CVPR 2026 Highlight 丨 用“几何感知”把扩散 Transformer 采样做成免训练加速器

本文解读CVPR 2026 Highlight论文GeoRK2,提出一种免训练的扩散Transformer加速框架。作者指出高加速下生成质量下降的根源是流形漂移,即大步采样时轨迹偏离模型内部低维弯曲特征流形。方法将二阶Runge-Kutta积分与黎曼几何结合,利用激活谱分析揭示前64个主方向解释99%以上方差,并设计几何感知预测、低秩度量校正和自适应稳定机制。在DiT-XL/2、FLUX.1-dev和HunyuanVideo等模型上实现4-5倍加速,同时保持低FID和语义一致性,消融实验验证各组件必要性。该方法无需重训练,仅增加约5%计算开销,适用于图像和视频生成场景,明确了扩散采样必须尊重特征几何结构的关键原则。

本文以一篇高亮论文为载体,清晰剖析扩散模型加速中的几何本质,融合动机分析、方法设计和多维实验验证,展示了从问题洞察到算法落地的完整链路。适合从事生成模型推理优化、计算机视觉研究的技术人员,文中几何感知加速思想可迁移至其他深度生成模型的加速设计中,具有明确的长期参考价值。

技术文章PlanetScale Blog

What's new in Postgres 19

文章详细介绍了 Postgres 19 的三个主要变化:在线表压缩 REPACK、默认禁用 JIT 以及查询规划器的多项改进。REPACK 功能将 VACUUM FULL 和 CLUSTER 整合为一个支持在线操作的命令,使用逻辑解码与复制槽实现非阻塞重写,但存在额外磁盘空间和 MVCC 安全等限制。默认禁用 JIT 是因为其对 OLTP 查询可能引入的编译开销,转而允许用户按需启用。查询规划器新增了早期聚合优化,可在特定条件下将聚合下推到连接之前,并改进了 NOT IN 的处理。文章通过示例和对比展示了这些特性的用法与边界,还简要提及了 lz4 默认 TOAST 压缩、并行 autovacuum 等其他改进,为 PostgreSQL 用户和管理员提供了全面的升级指导。

推荐收录,因文章不仅列出新特性,还深入解析了设计动机、内部机制(如 REPACK CONCURRENTLY 使用复制槽与快照实现在线重写)和实际影响(JIT 默认禁用的权衡),附带代码示例和注意事项。适合数据库管理员、后端开发者了解 PostgreSQL 19 的关键变化与适用场景,其技术深度和实用性对长期运维参考价值显著。

技术文章NVIDIA Technical Blog

Make Long-Running NVIDIA TensorRT Engine Builds Observable and Cancelable in Python or C++

本文针对长时间运行的NVIDIA TensorRT引擎构建过程缺乏可观测性和中断能力的问题,提出了一种在Python和C++中实现的方案。作者首先分析了构建耗时场景,包括强类型模型、深度策略搜索和冷缓存,指出传统集成因缺乏进度反馈和取消机制常导致开发者盲目等待或浪费资源。随后介绍通过进度回调、剩余时间估计和取消令牌等机制,使构建过程透明化并可安全终止。文中还讨论了多线程环境、跨平台兼容性及不同TensorRT版本下的适用边界与潜在风险。该技术适用于模型部署、自动化推理优化和AI工具链中TensorRT引擎生成环节,特别在批量构建和无人值守场景中可显著提升开发效率和资源利用率。

推荐收录,因为它针对TensorRT工程化中的真实痛点提供了可复用的解决方案,有效提升了构建过程的透明度和可控性。文章源自NVIDIA官方技术博客,具备较高的技术可靠性,适合所有使用TensorRT进行模型部署和优化的AI工程师、研究者参考,尤其对于自动化构建流水线和大规模模型调优场景具有直接可迁移价值。

科研议题知乎 - 微软亚洲研究院

OSDI上新 | 探索分布式系统公平性与操作系统性能优化新路径

本文介绍了微软亚洲研究院在OSDI 2025入选的两篇论文。第一篇针对区块链共识协议的排序公平性问题,借鉴机会平等理念,定义了ε-排序平等和Δ-排序线性化两个可量化属性,并设计秘密随机预言机与Bercow协议,通过调整随机噪声强度在公平性和时效性之间取得可控平衡,实验表明能显著降低地理偏差和抵御三明治攻击。第二篇针对操作系统内核中编译期常量导致性能潜力未释放的问题,提出Xkernel,支持在运行内核中动态修改固定性能决策,其核心的Scoped Indirect Execution (SIE) 机制通过二进制差分和符号执行推导常量表达式,实现安全、有作用域、毫秒级生效的参数替换,性能调优可提升数倍,并具备让AI agent安全操作内核参数的潜力。两篇工作从不同层面展示了系统设计的创新,为分布式公平性和内核可调性提供了理论与工程参考。

文章对OSDI顶级会议的两篇系统领域论文进行了深度解读,覆盖问题动机、方法创新和实验验证,为分布式系统公平性和操作系统内核动态调优提供了清晰的理论框架和工程路径。对从事区块链、分布式系统、操作系统性能优化的研发人员和研究者具有直接的参考价值,文中提出的机会平等排序机制和SIE内核调优方法具备可迁移的设计思路,是计算机系统方向高质量的长期参考内容。

工程实践Datadog Engineering

Unbiased Java CPU profiling with JFR in JDK 25

本文介绍了JDK 25中JFR新增的CPU时间采样事件,旨在解决传统Java profiler因依赖JVM内部未公开接口而导致的CPU分析偏差。作者详细阐述了由Datadog、SAP、Amazon等公司和OpenJDK社区共同推动的设计背景,解释了新事件如何基于操作系统线程调度数据实现无偏采样,避免基于栈采样或线程跟踪的常见误差。文章还讨论了该事件的实现原理、性能开销、使用方式以及与现有JFR事件的集成,并说明了其适用于Linux等支持OS级线程调度的平台。该工作为Java应用性能分析提供了更可靠的CPU数据基础,但对JDK版本和操作系统有要求。

本文深入剖析了JDK 25 JFR CPU时间采样事件的工程背景和实现细节,是由多家企业合作解决真实性能分析问题的案例,具有明确的长期技术参考价值。适合Java性能工程师、JVM研究者和可观测性平台开发者阅读。文中展示的偏差分析方法和跨社区协作经验可迁移至其他性能工具的设计与改进,帮助读者理解无偏CPU profiling的难点和解决方案。

技术文章Mitchell Hashimoto

Everyone Should Know SIMD

文章倡导所有开发者了解 SIMD(单指令多数据流)并破除其过于复杂的迷思。作者以 Zig 语言为例,展示了一套通用的五步模式来将标量循环向量化:广播常量、按向量宽度迭代、执行向量操作、归约向量结果、处理标量尾部。通过终端模拟器 Ghostty 中查找控制字符的真实案例,详细解释了每步的实现细节和寄存器位运算。文章还讨论了编译器自动向量化的局限性,强调手动编写 SIMD 可以在可预测的情况下获得显著性能提升,同时指出该方法主要适用于大量连续数据的处理场景,对于复杂算法则需更高技巧。整体内容清晰、可迁移,降低了 SIMD 的入门门槛。

本文以易懂的案例和通用模板系统讲解了 SIMD 的基本模式,适合希望提升循环密集型代码性能的软件开发者。其提出的五步法具有高度的可迁移性,能帮助读者跨语言理解向量化思维,避免过度依赖容易失效的编译器自动向量化。对于日常优化中处理扫描、比较、计数等任务的工程师,本文是一份低门槛、高回报的入门参考。

工程实践知乎 - 严格鸽

LeetGPU Hard 题目笔记(2)Linear Self-Attention(暂时优化到第一)

文章记录了在LeetGPU平台上完成线性自注意力算子的GPU优化过程。题目要求计算给定Q、K、V矩阵的线性注意力,采用特征映射φ(x)=x+1(x>0)或exp(x)(x≤0),并通过φ(K)ᵀV、归一化向量z和最终输出三个步骤实现。针对M=10000、d=128的规模,作者使用Split-K策略将K维度拆分为40份以增加并行度,并用atomicAdd合并局部状态矩阵S,同时将z的计算融合进同一kernel。进一步分析Shared Memory的bank conflict后,通过将q_tile的列宽从128×16改为128×17添加padding,使T4上的耗时从0.702ms降至0.656ms,提升约6.5%。该案例体现了在真实GPU受限条件下的算子优化取舍与可度量效果。

推荐收录,因为文章不是简单的调参记录,而是展示了一次完整的GPU算子优化流程:从问题定义、Split-K并行策略选择、atomicAdd合并权衡,到实测分析bank conflict并应用padding优化,每一步都有清晰的动机与性能对比。这为CUDA开发者以及需要优化Transformer类线性注意力算子的工程师提供了可迁移的实战参考。

科研议题知乎 - 微软亚洲研究院

SlideSparse:拓展结构化稀疏边界

文章提出 SlideSparse,首次在 NVIDIA GPU 上使 6:8、4:6 等温和结构化稀疏模式利用稀疏张量核加速,填补了长期技术空白。核心方法是通过滑动窗口将不满足 2:4 约束的权重块分解为多个重叠的 2:4 子块,以适度数据膨胀换取硬件加速,理论加速比约 1.33 倍。权重变换离线完成,输入侧重排融合进推理 kernel,系统集成于 vLLM。实验在多种 GPU、精度和模型上验证,Prefill 阶段接近理论上限,Decode 阶段也有一定提升,证明了通用性与实用性。该工作将稀疏优化从极端二选一扩展为灵活配置,使稀疏成为与量化并列的推理优化维度。

SlideSparse 解决了温和稀疏无法硬件加速的长期痛点,通过滑动窗口分解实现计算套利,有扎实的理论分析和充分的工程验证。文章适合关注大模型推理优化、稀疏压缩或系统部署的读者,其思想可迁移至其他稀疏模式或硬件后端,具有较高的长期参考价值,推荐收录。

技术文章PlanetScale Blog

Every UPDATE Leaves a Ghost: MVCC, Bloat, and VACUUM in PostgreSQL

本文深入解析 PostgreSQL 的 MVCC 实现,从元组(tuple)层面阐述多版本并发控制的原理。文章详细介绍了系统列 xmin 与 xmax 如何记录事务可见性,以及快照隔离如何通过 xmin/xmax/xip_list 决定事务看到的数据版本。进一步讲解了子事务、命令 ID(cmin)在解决 Halloween 问题中的作用,并通过 pageinspect 扩展展示页面布局与 VACUUM 的清理过程。还讨论了标准 VACUUM 与 VACUUM FULL 的区别、HOT 链的指针重定向机制,以及事务视界对死元组回收的影响。全文结合大量可执行的 SQL 示例,对理解 PostgreSQL 的膨胀(bloat)与维护具有长期参考价值,但内容仅适用于 PostgreSQL 及其特定版本。

这是一篇高质量的 PostgreSQL 内部机制讲解,不仅涵盖了 MVCC、元组可见性和快照隔离等概念,还通过 pageinspect 和实际操作演示了 VACUUM 的底层行为。对于需要深入理解 PostgreSQL 表空间膨胀原因、定位长事务阻塞 vacuum 的数据库管理员和开发者来说,这些可复现的分析方法可以直接应用到生产问题的排查与预防中。

工程实践知乎 - 严格鸽

LeetGPU Hard 题目笔记(1)(三道暂时排名第一的题)

文章记录了作者在LeetGPU平台解决三道Hard题并取得暂时排名第一的过程,覆盖了Multi-Agent Simulation、K-Means Clustering和All-Pairs Shortest Paths。对于多智能体模拟,利用随机分布的假设设计了基于空间网格的邻居查找优化;K-Means通过将聚类中心放入共享内存、展开循环并运用cooperative_groups实现跨块同步,提升并行效率;全源最短路采用分块Floyd‑Warshall算法,将矩阵划分为64×64个小块,使用共享内存和寄存器优化。每道题均给出了题意分析、核心思路、关键代码链接及性能结果,适用于测试数据范围,展示了从简单实现到充分利用GPU硬件特性的工程优化过程。

推荐收录,文章提供了三道具体GPU编程题目的完整解法与优化历程,不仅是代码片段,更展示了性能分析、网格划分、共享内存使用、cross‑block同步等实用工程技巧,对从事GPU并行算法开发和性能优化的读者有直接参考价值,相关方法可迁移至其他密集计算或聚类类问题。

工程实践Netflix TechBlog

In-House LLM Serving at Netflix

本文详述了 Netflix 内部 LLM 服务平台的工程实践,涵盖引擎选择、模型打包、API 设计与部署策略的权衡。平台基于 vLLM 和 Triton 构建,通过 OpenAI 兼容 API 与 gRPC 统一前端,并提供了 Red-Black 与 Versioned 两种发布策略以应对接口变更。文章重点揭示了生产环境中的意外问题,如 vLLM 与 Triton 版本不匹配、冷启动延迟、指标碎片化,并深入分析了约束解码从 vLLM V0 到 V1 的性能演进与状态管理难题。这些经验对构建大规模 LLM 推理基础设施具有直接参考意义,尤其展示了从实验到生产的平滑过渡如何通过工程细节落地。

推荐收录,因为文章不是浅层的工具介绍,而是基于 Netflix 真实生产环境给出了系统性的设计取舍和踩坑记录。约束解码的缩放瓶颈、指标融合、版本协调等细节可直接帮助平台工程师避坑,适合负责 LLM 基础设施、模型部署或高性能推理系统的读者借鉴。

工程实践Julia Evans

Learning a few things about running SQLite

Julia Evans 分享了她近期在 Django 网站中使用 SQLite 时积累的几个运维经验。她首先发现对 4000 行的表使用 FTS5 全文搜索耗时 5 秒,运行 ANALYZE 后降至毫秒级,推测是查询计划不佳所致。清理大量行时,删除操作超过 5 秒会导致其他工作线程写入超时崩溃,她通过小批量处理来规避。备份方面,最初使用 sqlite3 VACUUM INTO 加上 restic 上传到 S3,但偶尔 OOM 并产生锁问题;近期改用 Litestream 进行增量备份。她还提到拆分多个数据库文件有助于管理。文章基于个人小型项目,作者坦言若需要多写入支持可能得迁移到 PostgreSQL。

本文来自真实工程实践,详细记录了 ANALYZE 优化查询、批量清理避免写入冲突以及两种备份方案的具体步骤,对使用 SQLite 搭建个人或小型 Web 应用的开发者有直接参考价值。虽然深度有限,但作者的反思和解决方案具有可迁移性,适合作为入门级运维经验收录。

技术文章Crunchy Data Blog

Postgres 19 Compression: from pglz to LZ4

Postgres 19计划将默认TOAST压缩算法从pglz切换为LZ4。本文追溯了从Postgres 7.0引入lztext到7.1实现TOAST与pglz的历史,解释了pglz设计的取舍:速度优先、极小内存占用、快速终止和零外部依赖。然后对比了LZ4的优势:更快的压缩速度(测试中提速约8倍)、更大的滑动窗口带来更好的压缩率,并保留了快速终止特性。文章详细说明了变长类型的varlena格式、EXTENDED/PLAIN/EXTERNAL/MAIN四种存储策略,以及写入时的压缩决策树:行大小超过约2KB阈值时,依次压缩前列大对象或移入TOAST表。此外,还介绍了B树索引中机会主义压缩的机制:当键值超过510字节时尝试压缩,并举例说明可压缩与不可压缩数据对索引的影响。整体内容既包含机制解析也包含实践测试,展示了Postgres团队在压缩演进上的谨慎策略。边界在于测试非科学化,且未深入LZ4算法内部细节。

本文系统梳理了Postgres压缩框架的历史、原理与决策路径,并结合代码示例和对比数据说明LZ4替代pglz的收益。适合需要理解Postgres存储优化、TOAST机制或索引限制的DBA与开发者,可迁移的价值在于掌握如何诊断压缩效果、选择存储策略以及评估算法升级对性能的影响。内容详实且有长期参考价值。

工程实践知乎 - NGINX洪志道

10 | 好的软件设计,是 AI 编程的天花板

作者基于NGINX嵌入Lua开发了一个Web Runtime(nginx-lua-web),并借助AI辅助完成完整实现、自动化测试和性能对比。文章核心论点是:软件原有设计的质量决定了AI编程所能达到的天花板。项目难点在于端到端异步流式处理,涉及读、写、超时、背压等交织的复杂性,NGINX清晰的事件驱动架构、内存池、cleanup机制和模块边界为AI提供了可推理的上下文,使AI能够有效生成符合规范的C代码,并维持约7/10的代码质量和连贯设计。性能测试表明,增加Lua层后未付出失控代价。作者总结,AI加速了理解系统的过程,但理解本身才是对抗复杂性的基本能力,好的设计是AI放大的基础。文章以单个C扩展项目为案例,结论可能受限于特定技术栈,但提供了关于AI与系统设计关系的可迁移洞见。

推荐收录,因为文章结合真实工程案例和AI辅助开发经验,具体展示了软件设计如何制约AI生成代码的质量与系统复杂度管理。适合关注AI工程化、系统架构和扩展设计的读者,其分析方法、性能验证手段和设计原则可迁移至其他类似异步高并发系统的开发中。

工程实践LWN.net

[$] Lockless MPSC FIFO queues for io_uring

文章介绍了 Linux 7.2 内核中 io_uring 子系统将工作项跟踪机制从标准链表替换为无锁多生产者单消费者(MPSC)队列的工程实践。作者逐步解释了无锁队列的设计原理,包括原子操作、内存顺序和使用场景,并展示了该变更带来的显著性能提升。文章还讨论了无锁算法在正确性与性能之间的权衡,以及该实现为何适用于 io_uring 的特定工作负载。内容聚焦于真实工程问题、具体实现取舍和可验证的效果,为理解内核并发优化提供了清晰的案例。

推荐收录,因为该文不仅报告了性能提升结果,更深入解析了无锁 MPSC 队列在内核中的具体设计和正确性保障,展示了从问题识别到算法选择、验证的全过程。对从事内核开发、高性能系统设计或对无锁编程感兴趣的读者有直接参考价值,其设计思路和分析方法可迁移至其他并发场景。

工程实践Simon Willison

lobste.rs is now running on SQLite

文章记录了社区站点 Lobsters 从 MariaDB 迁移到 SQLite 的完整工程实践。自 2018 年起计划切换数据库,最初考虑 PostgreSQL,2025 年转向 SQLite 评估,并于近期完成迁移并稳定运行。新架构中 Rails 应用运行在单台 VPS 上,使用多个 SQLite 文件分别管理内容、缓存、队列和限流数据,总大小约 5.7GB。迁移后 CPU 与内存占用均下降,站点响应提升,VPS 成本减半。文章引用了详细的 PR 和讨论,展示了代码变更量、关键决策和验证过程,为类似规模站点的数据库选型与迁移提供了可参考的真实案例。

推荐收录,因为本文提供了从 MariaDB 到 SQLite 的真实迁移案例,包含决策背景、架构变化、性能对比和成本收益等具体证据。适合后端开发者、架构师及运维人员在评估轻量级数据库方案时参考,其单机多文件部署模式及限流中间件集成具有可迁移价值。

工程实践Netflix TechBlog

Building Service Topology at Scale: Architecture, Challenges, and Lessons Learned

本文详细介绍了Netflix构建实时服务拓扑系统的完整工程历程,涵盖架构设计、生产环境挑战与持续优化。系统采用流式优先的三阶段分布式聚合流水线,结合反向压力、动态一致性哈希和时间窗口聚合器,实现了对网络流日志、IPC指标的高吞吐处理与历史拓扑查询。文章重点分析了Kafka消费滞后、热点节点、内存与GC压力、响应式流复杂性等关键问题,并通过重分布、使用可变数据结构替代不可变对象、更换通信协议等务实手段解决。作者强调,在超大规模下测量驱动迭代优化比遵循教条更重要,同时也指出了响应式流心智模型的高成本。该案例为构建大规模分布式数据流水线提供了可迁移的架构模式与性能调优经验,但部分技术选型需结合自身场景评估。

本文收录理由在于它提供了从0到1构建大规模服务拓扑系统的完整工程案例,而非浅层介绍。作者坦诚分享了架构权衡、失败教训和优化方法论,对分布式系统、流处理和可观测性领域的工程师有直接参考价值。可迁移的核心经验包括多阶段重分布解决数据倾斜、背压实现优雅降级以及性能优化时的务实取舍,但采用时需结合自身规模与技术栈做适配。

工程实践美团技术团队

正式开源!美团 LongCat-2.0 同步开放国产卡推理代码

本文介绍美团万亿参数大模型 LongCat-2.0 在国产算力集群上的推理优化与开源实践。面对国产芯片显存、带宽和互联受限的挑战,团队从模型架构(LongCat 稀疏注意力、ScMoE 核心级并行、N-gram Embedding)、芯片适配(Super Kernel、Weight Prefetch、KV-cache 传输)和部署策略(PD 分离、EP 负载均衡、多推理特性适配)三个层面进行深度协同优化,实现了百万级上下文的高效推理。此外,模型通过多教师在线蒸馏和 MOPD 架构融合了 Agent、推理与交互能力。文章指出,该方案已在真实 Agentic Coding 任务中稳定运行,验证了国产芯片承载复杂大模型的可行性,并通过开源提供可复现的技术路径。

推荐收录,因为本文详细展示了在显存与带宽受限的国产硬件上部署万亿参数大模型的完整工程方案,包括模型、芯片适配和部署多个层面的协同优化,有明确的技术细节、架构取舍和验证结果。对于从事大模型推理优化、国产算力适配或大规模分布式服务的工程师,文中的稀疏注意力、ScMoE 算子融合、PD 分离部署和 EP 负载均衡等实践具有直接的迁移价值,也体现了在约束条件下进行系统设计的工程思维。

工程实践Meta Engineering

Modernizing the Meta Ads Service With an Open-Source Kernel Scheduler

文章介绍 Meta 广告服务在 Linux 内核升级至 6.9 时遭遇 EEVDF 调度器导致的延迟回归,影响广告排序。团队利用开源的 sched_ext(BPF 扩展调度框架)构建了面向广告交付的自定义调度策略,通过将 CPU 软分区为延迟关键池和非关键池,并根据负载动态调整池大小,显著提升最后一级缓存局部性。初始部署在最大广告服务器上后,广告检索的 p99 延迟降低 28%,功耗节省 3.28 兆瓦,加权广告排名提升 1.1%,后续两次用户空间策略更新进一步降低延迟并减少超时错误。该方案将调度优化从依赖内核发版的路径中解耦,使迭代周期从数月缩短至数天,并将 sched_ext 从短期修复发展为持续优化平台,同时已上游化至 Linux v6.12。文章未探讨该策略对其他混部负载的公平性影响,且定制策略需依工作负载特性重新设计。

推荐收录,因为它提供了一个完整的高负载服务调度优化工程案例,从问题诊断、基于 sched_ext 的自定义策略实现到量化效果验证,证据充分。适合基础设施、后端性能优化和 SRE 读者,文中展示的软分区、缓存局部性利用以及借助 BPF 快速迭代的方法可迁移至其他延迟敏感系统。

工程实践PlanetScale Blog

When the Postgres query planner goes rogue

文章记录了一次 PostgreSQL 生产事故:在没有代码或流量变化的情况下,数据库 CPU 飙升,查询延迟从毫秒级恶化到约 10 秒。通过监控工具定位到一个特定查询模式,发现其执行计划突然放弃索引而进行全表扫描。根因在于 PostgreSQL 查询优化器基于统计信息生成计划,而数据增长导致统计信息演变,使得优化器在罕见情况下选择次优计划。团队临时使用 Database Traffic Control 立即拦截该查询以恢复数据库健康,随后在安全环境通过 EXPLAIN 分析计划变化,并提出长期修复方案,包括执行 ANALYZE 刷新统计、调整索引或重写查询。文章展示了从发现现象、定位根因、应急止损到永久修复的完整工程流程,并点明查询计划不稳定的普遍风险与应对思路。

这篇文章是典型的数据库性能事件复盘,有明确的故障现象、诊断过程(延迟关联、计划变化对比)和分级应对方案。它不仅展示了应急响应手段,还解释了 PostgreSQL 优化器行为的技术背景,为 DBA 和开发者在类似场景下快速识别和修复计划退化提供了可迁移的经验。文中虽有产品功能描述,但技术分析独立且扎实,适合作为数据库稳定性实践案例收录。

工程实践知乎 - 严格鸽

从leetgpu的一道题目到CUB中的Decoupled look-back

本文以LeetGPU上的一道stream compaction题目为切入点,记录了从基础的多kernel前缀和实现到借鉴CUB的Decoupled look-back算法的完整优化过程。作者首先解释了题目要求和并行化思路,然后逐步融合算子、调整tile大小,最终引入基于状态的look-back机制,将全局扫描的读写复杂度降至2N。文章详细展示了tile状态机的设计、warp级扫描与lookback_sum的实现,以及针对写回路径的shared memory/global memory双路径优化。此外,还涵盖union复用shared memory、 sleep等待策略等工程技巧,并对比了Thrust和手写CUDA的性能差异。整体呈现了一个从简单到高性能的实战优化路径,适用于单GPU上的稳定stream compaction,但算法思想可迁移到其他并行扫描场景。

收录理由:本文不是单纯的代码片段或性能报告,而是展示了从算法选型到微观工程优化的完整决策链,包括对Decoupled look-back原理的剖析、状态机设计、warp级协同和硬件调优。对学习CUDA性能优化、并行扫描算法以及从CUB源码借鉴实践的读者具有直接参考价值,文中的look-back模式、shared memory复用和双路径写回策略均可迁移到类似的高性能GPU编程场景。

工程实践NVIDIA Technical Blog

Reducing High-Bandwidth Memory Bottlenecks in JAX-Based LLM Training with Host Offloading

本文针对大型语言模型训练中 GPU 高带宽内存(HBM)容量不足的瓶颈,提出并详细讲解了基于 JAX 的主机内存卸载方案。作者将模型参数、梯度、优化器状态等张量通过 JAX 的分片与异步传输机制卸载到主机内存,结合激活重计算进一步降低 HBM 占用,同时利用主机内存带宽和传输隐藏策略减少吞吐损失。文章给出了完整的代码示例与性能分析,在 LLaMA 风格模型上实测了显著的 HBM 节省效果,并讨论了该方案适用的模型规模、序列长度及通信环境约束。

推荐收录,因为文章不是简单的 API 介绍,而是深入剖析了 LLM 训练的内存瓶颈,并提供了一套可复用的主机卸载方案,包含具体实现、性能数据和工程取舍。对从事大模型训练、GPU 内存优化或 JAX 框架开发的工程师和研究者有直接的参考价值,其中的异步卸载策略和内存–计算权衡思路可迁移到其他框架和硬件平台。

技术文章NVIDIA Technical Blog

Kernel Fusion in NVIDIA CUDA: Optimizing Memory Traffic and Launch Overhead

本文深入探讨了CUDA中的内核融合技术,旨在缓解GPU计算与内存带宽之间的瓶颈。文章从GPU内存带宽不足以完全利用计算能力这一常见问题出发,详细解释了内核融合如何通过合并多个CUDA内核来减少内存传输和内核启动开销。文中介绍了多种实现融合的方法,包括手工编写融合内核、利用CUDA图动态融合以及通过编译指示自动融合等,并对比了各自的适用场景和潜在局限。文章还指出,内核融合虽然能够提升性能,但可能增加寄存器使用量和代码复杂度,需在具体情况下权衡。整体而言,该文为GPU性能优化提供了系统性的实践指导,特别适用于受内存带宽或启动延迟限制的计算密集型应用。

本文来自NVIDIA官方技术博客,从问题背景、优化原理到多种实现方式进行了系统阐述,并提供了可操作的代码示例和权衡分析。对于从事GPU编程、性能优化或HPC领域的开发者,文中关于减少内存瓶颈和启动开销的策略具有直接指导意义,可迁移至其他受类似约束的计算架构中。因此,该文具备长期参考价值,适合收录为技术深文。

技术文章NVIDIA Technical Blog

AI Model Co-Design: Hardware-Friendly LLM Design

文章探讨了AI模型与硬件协同设计的方法,旨在在不牺牲准确性的前提下提升LLM推理的吞吐量和交互延迟。作者分析了Transformer、Mamba等模型架构对GPU内存带宽、计算利用率和KV缓存等硬件资源的影响,指出减少注意力头的GQA等变体能有效降低内存压力。通过对比不同模型在NVIDIA H100 GPU上的推理性能,展示了选择硬件友好架构(如状态空间模型)带来的吞吐量提升。文章还讨论了量化、批处理等优化技术的权衡,并强调协同设计需贯穿模型开发早期阶段。结论是,通过架构层面的针对性设计,可显著提升LLM推理效率,但需要根据具体硬件特性进行定制化权衡。

该文不是泛泛的性能调优介绍,而是深入模型架构与硬件底层特性的匹配原理,通过具体数据对比和工程分析展示了协同设计的实际价值。适合从事AI推理部署、模型优化或系统架构的工程师和研究者参考,其方法论可迁移至其他模型或硬件平台的性能优化。因此推荐收录。

工程实践GitHub Engineering

Better tools made Copilot code review worse. Here’s how we actually improved it.

GitHub 工程团队分享了将 Copilot 代码审查代理从专用代码探索工具迁移到 Copilot CLI 共享工具(grep、glob、view)时遇到的性能退化问题:审查成本上升、捕获的有效问题减少。通过离线基准测试中的代理追踪,他们发现代理的行为从聚焦 diff 的审查模式变成了泛化的代码库浏览。团队通过迭代重写工具指令,引导代理模仿审查者的工作流:从 diff 出发,用 grep/glob 定位、批处理搜索、仅在需要时用 view 读取确凿范围。最终在保持同等审查质量下,平均审查成本降低约 20%。文章揭示了工具指令对代理注意力、上下文消耗及最终效果的关键影响,强调不同产品需匹配不同的工具使用策略,并展示了如何利用追踪和基准测试调试代理行为,而非仅依赖分数。

推荐收录。这是一次真实的 AI 工程实践复盘,完整展示了从问题定位(代理行为回溯)、假设验证(工具指令与工作流不匹配)到解决方案(重写指令对齐审查场景)的过程,并提供了 20% 成本优化的量化证据。文章对构建 Agent 系统的工程师具有可迁移价值:它揭示了工具描述如同 API 文档一样影响代理决策,且基准的追踪细节比最终得分更有调试价值。适合从事 AI 工程、开发者工具或 LLMOps 的读者。

工程实践Cloudflare Blog

Improving Smart Tiered Cache for Public Cloud Regions

文章详细说明了 Cloudflare Smart Tiered Cache 在公共云 anycast 源站上遇到的挑战:anycast IP 导致延迟探测无法锁定唯一最优上层数据中心,可能产生跨洲回源和缓存效率下降。解决方案是引入云区域提示,用户指定源站所在云区域后,系统利用各云厂商的 IP 范围文件和持续延迟探测为每个区域赋予主上层和备用上层,并在探测数据不足时回退到地理近似。文章介绍了 anycast 检测原理、区域到上层映射的投票机制,以及通过控制台、API 和 Terraform 进行配置的方式。该功能目前支持 AWS、GCP、Azure 和 Oracle Cloud,旨在提升缓存命中率、降低延迟,但需手动提供提示且仅适用于已支持的云提供商,边界清晰。

推荐收录,因为文章不是简单的功能通告,而是深入剖析了 Smart Tiered Cache 在 anycast 公共云环境中的局限、解决方案的技术细节和配置方法。适合负责 CDN、边缘网络、缓存策略或基础设施性能优化的工程师参考,其中的问题分析框架和自动化映射思路可迁移到类似分布式系统的网络拓扑优化场景。

工程实践知乎 - SmartCode 得物技术

得物 OceanBase 落地实践

文章详细记录了得物将 OceanBase 作为多模数据库引入的完整工程实践。面对 MySQL 在 TP/AP 混合负载下性能瓶颈、存储成本高和运维复杂等问题,DBA 团队从选型对比、性能压测、复杂 SQL 优化到业务迁移全流程展开验证。通过计划缓存、分区裁剪、列存索引、并行执行和 Hint 干预等五步优化,将两类聚合查询的执行时间分别从 1.3s 和 3.9s 降至 0.01s 和 0.02s,并获得与 DuckDB、StarRocks 对比的详细性能数据。在真实业务迁移中,SQL 平均耗时下降 88.3%,存储压缩率超过 80%,总体降本 43%,并消除了异构数据同步和手动分流风险。文章同时总结了迁移中遇到的实时物化视图与 DDL 冲突、SQL 语法兼容等具体问题及应对方案,并规划了运维体系转型和团队能力建设路径。该实践适用于有 TP/AP 混合负载、追求成本与可用性平衡的场景,但需注意新功能边界和版本限制。

推荐收录。文章不是泛泛的产品介绍,而是提供了从选型对比、性能压测到生产迁移的完整技术链条,包含具体的 SQL 优化思路、量化收益(近 200 倍提升、43% 降本)和踩坑记录,对考虑 OceanBase 落地或从 MySQL 迁移到分布式数据库的架构师、DBA 有直接可复用的参考价值。文中的五步优化法、物化视图使用约束和运维体系转型经验均具备可迁移性,风险提示也较为坦诚。

工程实践Cloudflare Blog

Introducing Meerkat: an experiment in global consensus

这篇文章介绍了 Cloudflare 为全球 330+ 数据中心控制面状态设计的实验性一致性服务 Meerkat。作者先明确需求:既要线性一致、又要在机器宕机、链路抖动和部分数据中心失效时保持可写可读,因此传统依赖主节点和超时的 Raft 在广域网里容易因 leader 故障或误判超时而不可用。Meerkat 采用 EPFL 提出的 QuePaxa,让任意副本都能发起提议,多个副本并发提案不会像 Raft 那样互相干扰,从而在多数派可通信时维持进展。文章还用日志槽位解释了如何通过一致的决议顺序实现 linearizability,并说明读写都可能进入日志以保证一致性。它也坦陈系统的边界:共识带来多轮往返和较高延迟,因此更适合写入稀少但必须强一致的控制面场景,而不适合通用数据库或低延迟业务。

推荐收录,因为文章给出了从 Raft 痛点到 QuePaxa 选择、再到 Meerkat 架构落地的完整论证链条,并明确展示了广域网一致性系统的可用性与延迟权衡。适合做分布式系统、控制面设计和一致性协议选型的参考,但需注意它仍是实验系统,结论主要适用于多数派可达、写入较少的场景。

工程实践PlanetScale Blog

Deadlocks and downtime

文章围绕数据库死锁导致的排队、重试风暴和潜在宕机展开,先解释 Postgres 如何在 deadlock_timeout 之后检测锁环并回滚一个事务。作者指出,单次死锁通常可恢复,但当高并发下死锁频繁出现时,等待队列会迅速堆满连接池,死锁检测本身反而成为系统压力源。文中给出两类缓解手段:在查询与事务层面保持一致的加锁顺序、缩短事务并尽量晚加锁;在应用层对 40P01 错误做指数退避加随机抖动的重试,避免立即重复触发同一冲突。最后还介绍了通过 PlanetScale 的 Traffic Control 和 Resource Budget 在数据库侧限制问题查询并先以 warning 观察影响,再切换到 enforce 阻断锁竞争。文章适合处理高并发数据库系统的工程实践参考,但其效果依赖于死锁场景的规模、查询模式以及应用是否具备正确重试逻辑。

推荐收录,因为文章明确给出了死锁从“可恢复错误”演变为“队列堆积和宕机”的链条,并提供了查询顺序、事务长度、重试退避和数据库侧限流的组合治理方案。适合做数据库稳定性、故障预防和高并发系统设计的参考,且这些做法可迁移到其他关系型数据库与在线服务场景。

技术文章LWN.net

[$] Faster RCUs and lockless memory allocation

文章围绕 Linux 内核里两项彼此关联的改进展开:一是 Puranjay Mohan 关于提升 RCU 性能的工作,二是 Harry Yoo 和 Alexei Starovoitov 提出的 kmalloc_nolock(),后者允许在任意内核上下文中进行无锁分配。作者先解释 kmalloc_nolock() 如何借助 RCU 保证并发安全,再回到 RCU 本身的开销来源,说明这些优化为什么能缓解热点路径上的锁竞争。文章强调,这类改动主要服务于高并发、上下文受限的内核路径,并不意味着所有分配都可以无条件去锁。它提供了从 API 设计到同步语义的完整背景,但结论高度依赖 Linux 内核的实现细节。

收录理由很明确:文章直接讨论了 RCU 性能优化与 kmalloc_nolock() 无锁分配这两个内核机制,并交代它们之间的同步关系和性能动机。适合内核、存储、BPF 和系统性能工程读者,尤其是需要理解高并发路径上锁竞争与内存分配约束的场景;可迁移价值在于同步语义和 API 设计的权衡方法。

工程实践NVIDIA Technical Blog

Enhancing Goodput in Large-Scale LLM Training with Nonuniform Tensor Parallelism

文章讨论大规模 LLM 训练在上千张 GPU 上运行时,因设备短暂不可用、资源波动和长尾故障而导致的 goodput 损失问题。作者提出非均匀 tensor parallelism:不再强制所有并行分片使用相同的张量并行度,而是根据可用硬件与作业状态动态调整不同分片的并行配置,以减少阻塞和重分配开销。文中把目标从单纯吞吐转向有效训练产出,强调在恢复、容错和资源利用之间做权衡。该方法更适合超大规模训练集群和频繁扰动环境,对稳定、小规模或编排能力有限的场景收益可能较弱。

收录价值在于它直面大规模训练中“有效产出”而非表面吞吐的问题,并给出非均匀 tensor parallelism 这一可迁移的系统思路。适合做 LLM 训练平台、GPU 集群调度和容错优化的工程师参考,但其收益依赖集群规模与故障/波动频率。

工程实践Cloudflare Blog

Your Worker can now have its own cache in front of it

这篇文章介绍了 Cloudflare Workers Cache:一种位于 Worker 前面的分层缓存,开启后可直接命中缓存而不执行 Worker,从而减少延迟并避免 CPU 计费。作者说明它完全由 HTTP 语义驱动,主要通过 Cache-Control、stale-while-revalidate、Vary、Cache-Tag 和程序化 purge 来控制缓存行为,而不是依赖 zone 级规则。文章进一步强调这是“Worker 自己的缓存”而非站点缓存,缓存会跟随 Worker、preview、workers.dev 和多租户场景,并支持按 ctx.props 构造多租户安全的 cache key。对于复杂应用,它还能插在多个 entrypoint 之间,让认证、归一化、重度计算和数据层分别决定是否缓存,组合出“近用户 + 近数据”的执行路径。文末也指出一些边界:认证请求需避免自动 bypass、需要控制 Vary 维度膨胀,且部分与 Smart Placement 的协同和响应体大小限制仍在演进中。

收录理由很明确:文章给出了可直接落地的缓存架构、HTTP 控制面设计、按入口点组合缓存的方式,以及多租户安全与失效策略的具体实现。适合做边缘计算、SSR 性能优化、平台架构和缓存设计的长期参考,尤其对使用 Workers、服务绑定或多入口应用的工程师有迁移价值。

工程实践Grab Tech

Migrating Counter Service storage: Design choices and learnings

文章复盘了 Grab 将 Counter Service 从宽表数据库迁移到 Aerospike 的全过程,核心不是简单换存储,而是先重构读写分层,再按访问模式重新设计数据模型。读路径上,作者把存储访问从业务逻辑中抽出,采用带枚举分发的 facade,并通过 shadow read、split traffic 和配置切换实现无停机、可回滚迁移。写路径上,团队尝试了按桶存行、Secondary Index 和 BatchGet,最终选择“单 counter 单记录 + 有序 map”的结构,用原子 MapIncrement 和显式清理旧桶来降低索引和磁盘占用。文中还记录了 Rust 客户端不成熟、DNS 解析和 NVMe 索引实验带来的问题与回退原因。最终系统在读延迟、成本和存储 footprint 上都有明显收益,但这些收益主要来自 schema 与架构重构,而非数据库替换本身。

推荐收录,因为文章给出了迁移前后的存储分层、影子流量、逐步切流、数据建模和回退验证等完整证据,而不是泛泛谈“换数据库”。适合做存储迁移、在线系统无停机改造和性能/成本权衡的参考,尤其对需要处理高 QPS 计数服务的工程师有直接迁移价值。

技术文章LWN.net

[$] Efficient access to local storage for BPF programs

这篇文章围绕 BPF 程序访问内核本地存储时的效率问题展开,说明该能力常被用于在网络路径中为数据包关联附加信息。作者结合 Linux Storage/Filesystem/Memory-Management/BPF Summit 上的两场分享,分别讨论了通用性能瓶颈,尤其是锁带来的开销,以及网络子系统中本地存储的具体使用方式。文章的核心结论是:本地存储虽然语义简单,但在高频访问场景下容易成为热点,优化必须同时考虑锁竞争、访问路径和数据布局。它更偏向内核机制与性能分析,而不是面向普通 BPF 开发者的入门教程。适合关注 Linux 内核、网络栈和 BPF 性能优化的读者参考。

推荐收录,因为正文明确讨论了 BPF 本地存储的访问效率、锁竞争和网络子系统中的实际使用,这些都是可迁移的内核性能分析点。适合做 Linux/BPF、网络栈优化和系统性能调优的读者阅读,但它偏会议讨论转述,深度主要来自问题分析而非完整实现细节。

工程实践Meta Engineering

Meta’s AI Storage Blueprint at Scale

文章系统复盘了 Meta 为 AI 工作负载重构 BLOB 存储的过程,目标是同时提升 GPU 利用率与研究迭代速度。旧架构沿用多层状态化元数据与全局默认复制,面对闪存级低延迟和 pMax 要求时,跨层查询与跨地域访问会把元数据延迟放大到毫秒乃至百毫秒级,直接造成 GPU stall。新方案将元数据压平为统一 schema 并由 ZippyDB 支撑,去掉数据面代理,改为客户端 SDK 直接从 Tectonic 拉取数据,同时按区域部署以贴近 GPU。为应对热点和突发流量,文中引入 GPU 主机分布式缓存、read-plan 缓存、hedged read 与动态并发控制,并通过预取、显式 hydration 和分层缓存把跨地域等待降到分钟级。文章也明确了边界:该架构更适合写一次、多次读取的训练数据与检查点场景,未来还需继续解决更高规模的网络上限与推理负载。

推荐收录,因为文章给出了从旧版全局存储到 AI 友好型区域化存储的完整重构证据,包括元数据压平、客户端直连、缓存分层和并发控制等可验证设计。适合做大规模训练存储、GPU 利用率优化和数据分发架构的参考,迁移价值高,但也明确依赖写多读多、可预取的训练型负载。

工程实践NVIDIA Technical Blog

Optimizing a Neural Reconstruction Pipeline Using NVIDIA Nsight Developer Tools

文章围绕 NVIDIA Omniverse NuRec 神经重建流水线的性能优化展开,目标是把来自相机、激光雷达等多传感器数据构建为高保真三维环境的过程做得更快、更稳定。作者以 Nsight 系列开发者工具为核心,先从端到端剖析 CPU、GPU、内存拷贝和各阶段调度开销,再定位流水线中的主要瓶颈与资源空转点。随后通过针对性的 kernel 优化、执行重排和数据搬运改进,验证了性能收益并说明了优化前后的差异。文章的重点不在算法创新,而在如何借助 профiliing 工具建立可重复的性能诊断流程。其方法适合 GPU 密集型 AI/图形管线,但结论会受具体硬件、数据分布和 NVIDIA 工具栈限制。

推荐收录,因为它明确展示了用 Nsight 工具从端到端定位 GPU 管线瓶颈、再逐步验证优化收益的完整过程。对做 AI 重建、仿真、图形或其他 GPU 密集型系统的读者,文中的分析框架和排障顺序具有直接迁移价值,但结果依赖 NVIDIA 生态与具体 workload。

工程实践Salesforce Engineering

Inside Unified Planner: The AI Brain Behind Agentforce

文章介绍 Salesforce 为 Agentforce 构建的 Unified Planner:一个统一的 AI 执行与推理运行时,用来同时支撑语音、文本、聊天以及 MuleSoft 等场景。作者解释了旧体系中 Agent Graph 与 Voice Planner 各自演进导致的能力割裂、重复实现和运维不一致,并通过将平台级职责与客户业务流程解耦来完成统一。性能上,团队把原先串行的提示注入检测、检索、校验、上下文收集等步骤改为可并行执行,并允许多工具调用并发,从而把部分响应延迟从约 20 秒降到 2.3 秒。文章还讨论了模型选择、迁移生产代理的安全验证、特性分阶段放量,以及面向视频等未来多模态交互时在表示、推理和扩展性上的新挑战。整体更偏真实平台重构与 AI 运行时设计经验,适合关注低延迟 AI 系统、统一架构和生产迁移的读者。

收录理由明确:文中给出了统一运行时、并行化执行和生产迁移验证的具体做法,并量化说明了延迟从 20 秒降到 2.3 秒。适合做 AI 平台、Agent 运行时和多模态系统设计的参考,尤其对需要在低延迟、可扩展与一致性之间做取舍的工程团队有直接迁移价值。

工程实践Instacart Tech Blog

Leveraging PyFixest for High-Cardinality Marketplace Modeling at Instacart

文章面向 Instacart Marketplace 的实验建模,讨论在 geo:time switchback 和 static-geo 场景下,如何用高基数固定效应控制区域与时间异质性,并缓解 treatment spillover 带来的偏差。作者先从 OLS 正规方程和 Gram 矩阵求逆的复杂度解释,为什么在数千到数万类别时,传统哑变量回归会在时间和内存上失控。随后用 Frisch-Waugh-Lovell 定理说明可通过去均值消去固定效应,再用交替投影法处理多重固定效应的反复污染与收敛问题。文章指出 fixest/pyfixest 通过这些算法在保持系数估计一致性的同时显著降低计算成本,但会少掉固定效应的直接标准误输出,部分估计还依赖后处理。基准测试和真实案例显示,PyFixest 在速度、内存和统计精度上明显优于 statsmodels 与朴素 scikit-learn 实现,适合大规模实验分析。

推荐收录,因为文章明确给出了高基数固定效应为何难算、以及如何用 FWL+MAP 在工程上解决的直接证据,并结合 benchmark 和线上实验结果验证收益。适合做增长实验、因果推断和高维回归的读者参考,但结论仍受固定效应结构和实现后端影响。

工程实践Netflix TechBlog

GenPage: Towards End-to-End Generative Homepage Construction at Netflix

文章介绍 Netflix 将首页推荐重构为端到端生成式系统 GenPage:把用户历史、画像和请求上下文序列化为提示词,再由单个 decoder-only Transformer 自回归生成整页首页,包括行、实体和布局。训练上沿用 LLM 方案,先做 next-token 预训练学习“首页语言”,再用加权二分类或强化学习做后训练,以对齐用户满意度和页面级奖励。工程上作者重点解决了实时延迟、冷启动、目录更新、业务规则约束和增量训练等问题,采用领域定制分词、语义 embedding 融合、fallback token、约束解码与混合行解码来兼顾可控性与效率。离线实验显示,丰富上下文往往比单纯扩大模型更有效,RL 还能提升页面多样性;在线 A/B 中,GenPage 在核心参与度指标上显著优于成熟多阶段基线,同时将端到端延迟降低约 20%。文章也指出当前仍依赖部分手工摘要,长上下文与更通用的语言/多模态能力仍是后续方向。

推荐收录,因为它给出了把推荐系统改造成生成式 Transformer 的完整工程链路:数据表示、训练范式、RL 对齐、业务规则约束与线上验证都有直接证据。适合做个性化推荐、AI 工程化和大模型落地的读者参考,尤其可迁移的是“先丰富上下文再扩模型”“用约束解码保业务规则”“用混合解码降延迟”的方法。

个人心得知乎 - 皮振伟

一个“外行人”与Redis/Valkey的六年

文章回顾作者从 Linux 内核、KVM 和存储虚拟化背景切入 Redis/Valkey 社区的六年经历,强调自己并非缓存数据库“专家”,却能借助外行视角持续发现内核、网络与数据库之间的协作点。前半部分列举了线程命名、CPU 亲和性、THP 开关和 LTTNG trace 等改动,说明这些功能如何帮助观测、隔离和排查长尾延迟。后半部分重点讲述 Valkey Over RDMA 与 Valkey Over MPTCP:前者围绕 RESP3 与 RDMA 消息语义的适配、连接抽象层改造和上游合入,验证了高性能网络可带来约 2.5 倍性能提升;后者则面向跨机房同步与多路径容错完成了客户端、服务端和工具链适配。文章也交代了从 Redis PR 长期无回应到 Valkey 社区推进落地的过程,并记录了社区协作、测试验证和发行版打包的推进路径。整体更像一篇带有技术细节的开源成长记录,适合想参与基础设施和数据库开源项目的读者参考,但方法论总结偏经验化而非系统化教程。

推荐收录,因为文章给出了从“外行”切入核心开源项目的具体证据:RDMA、MPTCP、THP、LTTNG 等改动都落到可验证的代码与性能结果上。对想参与基础设施开源、做跨层性能优化或理解社区协作流程的读者,具有可迁移的实践参考价值。

工程实践MaskRay

A deep dive into SmallVector::push_back

这篇文章围绕 LLVM SmallVector 的 push_back 热路径优化展开,分析了约 trivially copyable 元素在容量不足时为何会把本应只发生在慢路径的状态保存,意外带到快路径上。作者通过 clang、GCC 和不同库实现的汇编对比指出,fast/slow 合流会迫使 this 和元素值占用被调用者保存寄存器,shrink wrapping 无法消除这些开销。随后提出把 grow-and-store 拆成独立的尾调用慢路径,让快路径只保留一次比较、一次存储和一次递增,从而显著缩短指令序列并减少寄存器压力。文章还验证了 libc++、libstdc++、Boost small_vector 的类似问题,并说明这个改动对二进制体积、编译时指令数和少数内联阈值敏感点的影响。其边界在于慢路径会更慢且 noinline 很关键,但由于扩容本就要搬移元素,额外一次调用的代价通常可接受。

收录依据很明确:文章给出了汇编、shrink-wrap 诊断和编译时统计,证明问题出在快慢路径合流导致的寄存器溢出,而非简单的代码风格差异。适合做 C++ 标准库、LLVM/编译器后端和性能优化的参考,尤其对需要理解尾调用、内联与寄存器分配权衡的读者可迁移价值很高。

工程实践NVIDIA Technical Blog

Creating the NVIDIA Nemotron 3 Ultra NVFP4 Checkpoint with NVIDIA Model Optimizer

文章介绍了如何借助 NVIDIA Model Optimizer 将 Nemotron 3 Ultra 转换为 NVFP4 checkpoint,以降低大模型权重搬运成本并提升长上下文场景下的推理效率。核心思路是利用 Blackwell 架构引入的 NVFP4 4-bit 浮点格式,对模型权重进行量化压缩,在尽量保持模型质量的同时显著减少显存占用和带宽压力。文中强调这种做法并不是通用“无损压缩”,而是依赖特定硬件与工具链的协同,适合追求吞吐、延迟和部署成本平衡的 LLM 推理链路。其价值主要在于给出从原始模型到可部署 checkpoint 的实际路径,但适用边界也很明确:需要 Blackwell 相关能力,且对精度敏感任务仍需额外验证。

推荐收录,因为文章直接给出了基于 Model Optimizer 生成 NVFP4 checkpoint 的工程路径,明确涉及 Blackwell、4-bit 量化和推理性能优化。适合做大模型部署、显存压缩和 GPU 推理优化的读者参考,但需注意它强依赖特定硬件与量化误差验证。

工程实践知乎 - 腾讯技术工程

腾讯混元AI Infra如何优化Hy3 Preview:一次大模型推理性能提升的技术拆解

本文拆解了腾讯混元 Hy3 preview 在 Hopper 96G 上的推理全栈优化,围绕算子优化与融合、并行策略、多级缓存、MTP 异步调度、量化与稀疏五个方向展开。作者针对 Attention、MoE、Router、采样、AllReduce 等关键路径做了动态调度、双 BF16 GEMM、FusedMoE、通算融合和算子级融合,显著减少 HBM 往返与 Kernel 启动开销。系统层面又通过 TPSP、DP+EP、三级缓存和按最大接收长度预组装输入,缓解长上下文、MoE 与 MTP 带来的通信、显存和 CPU 气泡问题。文中给出了真实请求集与多组实测指标,如 TTFT 降幅约 24.5%~29.9%、端到端吞吐提升 15.7%~44.7%、量化后吞吐提升 28%+、稀疏注意力在 128K 上将 Prefill 延迟降低 3.6 倍。整体方法高度依赖 Hopper 架构、自研 kernel 与腾讯内部基础设施,迁移到其他模型或硬件时需要重新验证边界与收益。

收录,因为文章给出了真实请求集、Hopper 96G 和 W8A8C8 约束下的系统性优化路径,并明确量化了 TTFT、吞吐和单算子加速收益。适合做大模型推理、GPU Kernel 融合、并行与缓存设计的参考,但方案强依赖特定硬件与自研栈,迁移时需重做适配验证。

工程实践NVIDIA Technical Blog

Streamlining Resource Binding with End-to-End Support for Vulkan Descriptor Heaps

文章围绕 Vulkan 中的资源绑定机制,讨论如何通过 descriptor heaps 让着色器访问纹理、缓冲区等 GPU 资源时减少繁琐的逐项绑定操作。作者先解释传统绑定方式的管理成本与 CPU 开销,再介绍端到端支持的实现思路,即把资源组织、句柄分配和运行时访问路径统一起来,以降低绑定频率并改善提交效率。文章还强调这种方案对驱动、API 和应用侧需要协同适配,不能简单理解为“更快的接口”,而是绑定模型与资源生命周期的整体重构。其价值主要体现在资源数量大、绑定切换频繁的渲染场景,但收益会受硬件、驱动成熟度和应用架构影响。

文章直接讨论 Vulkan 资源绑定模型、descriptor heaps 的端到端支持路径,以及它对 CPU 开销和绑定管理复杂度的影响,属于可迁移的 GPU 图形系统经验。适合做图形引擎、渲染管线和底层 API 设计参考,但其收益依赖具体驱动与使用场景,不宜脱离上下文套用。

工程实践知乎 - TencentDB腾讯云数据库

腾讯云 NoSQL 技术之 MongoDB 篇:物理备份磁盘膨胀率减少 90% 的内核优化实践

文章围绕 MongoDB 基于 WiredTiger 的物理备份在 hidden 节点上持续膨胀的问题展开,指出根因是 backup cursor 将历史 checkpoint 持续 pin 住,导致旧 extent 不能回收,新写入只能不断追加到文件尾部。作者进一步分析了 oplog.wt 在备份期既最容易膨胀、又几乎没有回档价值的特点,并给出按表级粒度释放 checkpoint 的内核接口 `WT_CONNECTION::backup_release_checkpoint`,让旁路备份服务在拷完单表后即时通知引擎恢复空间回收。针对 oplog,则在备份开始即释放并跳过拷贝,同时配合元数据处理避免恢复失败。文章还补充了 crash recovery 场景下的 sentinel 文件方案,用于区分备份中断与备份完成,避免错误进入 hot backup restore 路径。实测显示,在多表场景下备份耗时约减半,hidden 节点峰值占用和物理膨胀率显著下降,但方案强依赖 MongoDB/WiredTiger 备份与恢复语义。

推荐收录,因为文章给出了从根因分析、内核改造到恢复语义兜底的完整闭环,并用线上实测数据证明了膨胀率和回档成本的下降。适合做数据库存储引擎、备份系统和稳定性优化的参考,尤其对需要处理 checkpoint、快照一致性和 crash recovery 的读者有直接迁移价值。

技术文章LWN.net

[$] Reports from OSPM 2026, day two

这篇文章是对 OSPM 2026 第二天会议内容的整理报道,聚焦 Linux 内核中的电源管理与调度议题。涉及的主题包括设备频率调节、基于时间片时长进行 CPU 选择、多簇 Arm 系统的调度域设计、LAVD 调度器等,反映了内核社区在性能、能耗和调度策略上的最新讨论方向。文章价值主要在于把多个分散的会场议题串联起来,帮助读者把握当前 Linux 内核相关子系统的演进脉络与权衡点。

推荐收录,因为它围绕 Linux 内核电源管理和调度这一长期重要主题,汇总了多个具体技术议题,适合系统方向读者跟踪社区讨论和设计取舍。虽然它是会议报道而非深入教程,但对理解内核调度与能耗优化的演进方向仍有较强参考价值。

工程实践Cloudflare Blog

Unlocking the Cloudflare app ecosystem with OAuth for all

这篇文章复盘了 Cloudflare 将 OAuth 从少数人工接入伙伴扩展到所有客户的工程改造过程,重点讲解了如何升级底层 Hydra OAuth 引擎、处理数据库 schema 迁移、设计蓝绿切换方案以及在迁移窗口内保证授权与撤销语义不被破坏。文章还披露了升级前后的性能指标变化和线上问题修复细节,说明这次改造不仅是产品能力开放,也是一次围绕一致性、可用性和安全性的系统性工程升级。

推荐收录,因为它不是简单的产品发布,而是完整展示了一个高流量授权系统如何在不中断用户的前提下完成大版本升级与能力开放。对做平台、基础设施、认证授权或大规模数据库迁移的工程师来说,文中关于蓝绿迁移、撤销事件回放、刷新令牌处理和性能观测的做法都很有迁移价值。

工程实践Meta Engineering

How Meta Engineered Ultra-Narrow Batteries for AI Glasses

这篇文章围绕 Meta 为 AI 眼镜定制超窄钢壳电池的工程实践,解释了为什么传统软包电池难以适配眼镜镜腿这种极窄空间,以及他们如何通过改变电芯形态、极片结构和制造公差来提升可用体积与峰值供电能力。文中还讨论了双电池系统的同步、交叉充电风险、不同代际产品的容量提升与系统级续航优化,展示了硬件、固件和结构设计协同迭代的思路。

推荐收录,因为它不是单纯的产品宣传,而是给出了在极端尺寸约束下重做电池形态、降低内阻、处理双电池协同的具体工程思路。对可穿戴设备、嵌入式硬件和低功耗系统设计读者都有较强迁移价值。

工程实践NVIDIA Technical Blog

Boost Inference Performance up to 15x on NVIDIA Blackwell Using DFlash Speculative Decoding

这篇文章讨论了在 NVIDIA Blackwell 上通过 DFlash speculative decoding 提升大模型推理性能的方法,核心问题是自回归 LLM 逐 token 生成导致的低 GPU 利用率和高延迟。文章强调用轻量 draft model 先预测候选 token,再由主模型验证,以此在延迟敏感和多智能体工作流场景中提升吞吐与响应速度,并给出最高可达 15x 的性能提升结论。其价值主要在于解释 speculative decoding 的推理瓶颈缓解思路,但具体收益高度依赖模型、提示分布、硬件与服务配置。

推荐收录,因为它围绕大模型推理的核心瓶颈给出了具体优化路径,且 speculative decoding 本身是可迁移到多种推理系统的通用思路。虽然标题带有明显的硬件性能宣传色彩,但文章主题对关注低延迟 serving、GPU 利用率和推理加速的读者仍有参考价值。

工程实践知乎 - 手抓饼熊

GTC 2026 技术分析:通过 CUTLASS Python 在 Blackwell GPU 上实现 GEMM 峰值 Tensor Core 性能

这篇文章基于 GTC 2026 关于 CUTLASS Python 的演讲,系统分析了如何在 Blackwell GPU 上围绕 GEMM 逐步逼近 Tensor Core 峰值性能。文章从基础 GEMM 的分块、TMA 传输、TMEM/RMEM/SMEM 流水线讲起,进一步比较了 2CTA、Warp Specialization、TMA Store、Persistent Kernel、Preferred/Fallback Cluster、Dynamic Scheduler 和 PDL 等优化手段在不同矩阵规模与瓶颈条件下的收益与边界。全文不仅给出性能数据,还强调了不同规模下瓶颈会从 DRAM 延迟、epilogue 开销转向 L2 命中率和调度效率,适合作为 Blackwell 上高性能 GEMM 编程的系统性参考。

推荐收录,因为它不是单纯介绍 CUTLASS Python,而是把 Blackwell 架构特性、内存层次、调度机制和性能结果串成了一条完整的优化路径。对做 GPU kernel、推理加速或高性能矩阵计算的读者来说,这些关于瓶颈切换、流水线隐藏和 cluster 调度的结论具有很强的可迁移性。

工程实践LWN.net

Sunsetting Tor 0.4.8

这篇文章讨论 Tor 项目计划停止支持 0.4.8 及更早版本的原因与时间表,核心动机是 0.4.9 中将移除旧的目录数据字段,尤其是 TAP onion keys 和 family lines,以显著降低客户端目录带宽并加快网络启动。文章同时说明了兼容性代价:旧版本客户端和中继将因依赖这些字段而失效,因此项目需要提前设定明确的日落日期来完成协议演进与版本切换。

推荐收录,因为它展示了一个典型的网络基础设施演进案例:为了整体性能提升而主动收缩旧协议兼容面,并明确处理版本退役带来的风险。对做安全网络、分布式系统或长期维护协议的人来说,这类兼容性与性能的权衡具有可迁移参考价值。

工程实践Xe Iaso

I taught a bucket to speak git

这篇文章讲的是作者如何把一个对象存储 bucket 改造成能直接承载 Git 仓库的后端,并基于 go-git 与 billy 这些抽象实现了一个纯 Go 的 git server。正文不只是展示“能跑”,还系统复盘了 rename 原语、packfile 写入与读取、stat/list 级联、clone 过程中的随机读放大,以及用本地缓存缓解对象存储高延迟等关键问题,并明确指出哪些地方只是实验性权衡、并不适合直接用于生产。

推荐收录,因为它把“把 Git 放到对象存储上”这个看似奇技淫巧的问题,拆解成了可验证的系统设计与性能问题,具有很强的迁移价值。读者可以从中学习如何用抽象层适配存储语义、如何识别网络存储与本地文件系统的性能鸿沟,以及如何用指标驱动优化。

工程实践Cloudflare Blog

How we found a bug in the hyper HTTP library

这篇文章复盘了 Cloudflare 在 Images binding 迁移后遇到的一起间歇性响应截断问题,最终定位到 Rust HTTP 库 hyper 的 HTTP/1 连接状态机里:flush 还没完成就被当作已完成,随后触发过早 shutdown,导致大响应在 socket 背压下被截断。作者通过复现工单、分层排除、分布式 tracing 和 strace 观察系统调用,最终用一个可控的“满缓冲 socket”测试稳定复现并修复了这个 race condition。文章特别说明了该问题只在特定时序、大响应、真实生产并发和读取方稍慢时出现,curl 等快速读取场景很难触发,因此很适合作为连接层故障排查与异步 I/O 正确性案例参考。

推荐收录,因为它不是简单的 bug 通报,而是完整展示了从现象、复现、分层排除到根因确认与最小修复的工程分析链路。文章对理解异步 flush/shutdown 顺序、socket 背压、以及为什么应用层观测可能看不到底层丢包问题,很有迁移价值。

工程实践Meta Engineering

Adopting AV1 for Real-Time Communication (RTC) at Scale

这篇文章系统复盘了 Meta 在实时通信场景大规模引入 AV1 的全过程,覆盖编码器/解码器选择、移动端功耗与内存约束、二进制体积控制、Android 设备准入、以及基于编码/解码延迟的动态码率与码流切换策略。作者进一步讲解了面向 RTC 的关键质量优化,包括更精确的 CBR rate control、VBV delay 评估、Temporal Layer、自适应 FEC 和 Long-Term Reference 等抗丢包机制,并说明这些设计如何在低带宽、弱网络和低端设备上兼顾清晰度、时延与稳定性。文章最后给出当前覆盖进展与后续扩展到群聊、硬件 AV1 的边界和方向。

推荐收录,因为它不是泛泛介绍 AV1 优势,而是完整呈现了一个大规模 RTC 系统从选型、落地到持续优化的工程路径,尤其适合关注端侧性能、网络适应和多约束权衡的读者。文章对 device eligibility、rate control、error resilience 的处理方式具有较强迁移价值,能为音视频、移动端和实时通信系统提供可复用的方法论。

技术文章知乎 - 手抓饼熊

Tensor Core 编程与优化深度技术解析 — GTC 2026

这篇文章系统梳理了 NVIDIA Tensor Core 的编程模型与优化方法,覆盖 Warp Level、Warpgroup Level 到 Blackwell 第五代 Tensor Core 的演进,并把 Nsight Systems/Nsight Compute 的分析方法、TMA 流水线、CuTe/CUTLASS 编程框架串成一条完整优化路径。文章不仅解释了 MMA、tiling、寄存器/共享内存/TMEM 的数据流关系,还通过具体矩阵尺寸、SASS 形态和 profiling 指标说明如何判断瓶颈与选择合适的实现策略。适用边界主要在 NVIDIA CUDA GPU 生态,且部分 Blackwell/GTC 2026 相关特性具有较强版本依赖。

推荐收录,因为文章把 Tensor Core 的硬件代际、编程接口和性能分析工具放在同一框架下讲清楚,兼具原理、方法和实战排查路径。对于做 CUDA 算子优化、GPU 性能分析或 AI 基础设施开发的读者,它提供了可迁移的心智模型与调优抓手。

技术文章知乎 - 严格鸽

C++中充满心智负担的内存别名

文章围绕 C++ 中的内存别名与严格别名规则展开,用多个汇编对比例子说明编译器为何会基于类型系统做激进优化,以及这种优化为什么会让看似“合理”的强转代码在 UB 场景下产生反直觉结果。作者进一步比较了 Fortran、Java、Rust 在别名约束上的差异,并结合 `__restrict`、`char`/`uint8_t`、`vector` 内部布局等例子,说明别名问题如何直接影响性能优化、接口设计和工程实践。文章的结论是:别名分析能带来显著性能收益,但在 C++ 中必须严格遵守语言规则,否则优化会把“直觉正确”变成“语义错误”,因此高性能代码需要更谨慎的类型设计和显式约束。

推荐收录,因为它不是泛泛讲“别名会影响优化”,而是通过具体汇编和跨语言对比把编译器推理、UB 边界和性能收益讲清楚了。对写 C++、做底层性能优化或设计高性能数据结构的读者,这篇文章有很强的可迁移价值。

工程实践Netflix TechBlog

The Evolution of Cassandra Data Movement at Netflix

这篇文章复盘了 Netflix 将 Cassandra 数据搬迁从旧的 Casspactor 架构演进到新的分层数据移动引擎的过程,核心目标是提升可靠性、可扩展性和成本效率。文章重点解释了新方案如何直接从 S3 中的备份元数据读取单一事实来源、在 Spark DataFrame 层处理数据、通过 Connector Factory 支持多种数据抽象,以及如何解决大分区、元数据脆弱、间接表膨胀和时间回溯等问题。文中还系统总结了迁移方法论:通过 shadow 验证、可观测性建设和 Decider pattern 实现对线上用户零影响切换,适合作为大型数据平台重构与平滑迁移的参考案例。

推荐收录,因为它不是简单的系统替换公告,而是完整展示了一个高风险数据平台迁移如何从架构、验证、观测和回滚机制四个层面设计。对做数据基础设施、平台工程和大规模迁移的读者来说,文中的分层架构、单一事实来源、shadow 对比和安全切换方法都具有很强的可迁移价值。

技术文章知乎 - 腾讯技术工程

拆解大模型几项核心操作背后的数学与 Infra 优化逻辑

这篇文章从大模型推理与训练中的几个核心算子入手,系统拆解了 RMSNorm、Softmax、Causal Mask、Online Softmax、FlashAttention、采样等操作背后的数学等价变换与硬件实现逻辑。作者把“数值稳定性”“访存带宽”“寄存器/SRAM 压力”“并行度与同步开销”串成一条线,说明现代 AI Infra 的核心思路是在尽量不损失模型效果的前提下,通过重写公式、融合 Kernel、减少 HBM 访问和降低数据依赖来换取吞吐与延迟优势。

推荐收录,因为它不是单纯讲概念,而是把大模型常见算子如何从数学形式落到 GPU Kernel 优化讲清楚了,适合做 AI Infra、CUDA/Triton、推理引擎方向的长期参考。文章兼顾理论直觉与工程实现,读者能迁移到归一化、Attention、采样和分布式推理等多类优化问题中。

工程实践知乎 - 千问云

Tair 联手 SGLang 共建 DeepSeekV4 分层缓存架构

这篇文章围绕 DeepSeek V4 的长上下文推理,系统讲解了 Tair KVCache 与 SGLang 如何通过分层缓存来同时缓解 Prefill 和 Decode 两侧的显存压力。核心思路是用 Shadow Radix 统一逻辑前缀坐标,再分别用 HiCache 处理前缀复用的多级存储回落与恢复,用 HiSparse 处理 Decode 阶段 C4 压缩历史的按需加载,从而在多轮对话场景下提升 Prefill 吞吐接近 3 倍,并在高并发下显著抬升 Decode 的 batch size 与峰值吞吐。文章也明确了这套方案的适用边界:它依赖 DeepSeek V4 的混合注意力与压缩 KV 结构,收益主要出现在长上下文、前缀复用强和并发较高的服务场景。

推荐收录,因为文章不是简单介绍一个缓存产品,而是把模型结构、推理阶段划分、KV 物理形态和缓存层级之间的关系讲清楚了,具有较强的系统设计参考价值。对于做大模型推理服务、长上下文优化和显存治理的读者,这篇内容能直接迁移为架构分析框架和实现思路。

工程实践Cloudflare Blog

Scaling Security Insights: how we achieved a 10x increase in global scanning capacity

这篇文章复盘了 Cloudflare 为 Security Insights 扫描系统做的整体扩容:从每周/每两周扫描一次、部分免费用户未自动扫描,提升到峰值每秒 120 次以上的扫描吞吐,并将免费用户默认扫描和全量扫描频率提升到更高水平。作者按链路拆解了多个瓶颈,包括 Kafka 消费的 head-of-line blocking、Postgres 批量写入效率、跨地域 API 延迟导致的连接池耗尽,以及调度器造成的扫描洪峰,并逐一用批量并行、快慢车道、UNNEST/COPY 混合写入、active-passive API 和自适应限流等手段解决。文章的核心结论是:在大规模系统里,先理解现有架构和真实瓶颈,再针对性优化,往往比简单加机器、加分区或抬超时更有效。

推荐收录,因为它不是泛泛的“扩容故事”,而是完整展示了一个安全扫描平台在消息队列、数据库、调度和跨地域部署上的系统性性能治理。对做后端、基础设施、安全平台或高并发任务调度的读者来说,这篇文章提供了很强的可迁移方法论:如何定位瓶颈、如何权衡架构改动、以及如何用指标验证收益。

技术文章Xe Iaso

Why are cached input tokens cheaper with AI services?

这篇文章解释了为什么大模型 API 里的 cached input tokens 通常比未命中的输入 tokens 便宜,核心原因是服务方可以复用前缀计算结果,避免对相同上下文重复做推理。作者用聊天消息不断累积的调用方式说明了 KV cache / prefix cache 的工作思路,并把它和延迟、算力成本以及用户侧费用直接联系起来。文章也给出一个实用建议:尽量保持推理设置和前置消息稳定,以提高缓存命中率、降低成本并改善响应速度。

推荐收录,因为它用通俗但正确的方式解释了大模型服务定价背后的系统原因,帮助读者把“缓存更便宜”从现象理解到机制层面。内容对做 AI 应用、推理优化或成本控制的人都很有参考价值,且经验可以迁移到其他依赖前缀复用的系统设计中。

工程实践Amazon Science

Graviton5&#8217;s improved design increases speed and energy efficiency &#8212; beyond Moore&#8217;s law

这篇文章介绍了 AWS Graviton5 的整体设计升级,包括从 96 核提升到 192 核、采用 3nm 工艺、支持 DDR5-8800 与 PCIe Gen6,以及更大的 L3 缓存和改进后的芯粒互联。作者进一步解释了这些变化如何通过更好的分支预测、缓存层级、NUMA 划分和芯粒内互联来提升真实负载表现,尤其是数据库、Web 应用和机器学习推理等场景。文章还补充了 Nitro Isolation Engine 的正式验证隔离机制,强调了硬件设计与云安全之间的结合。

推荐收录,因为它不仅是产品发布,更提供了 CPU、缓存、芯粒互联、NUMA 和云安全隔离的具体设计思路,适合关注云基础设施和处理器演进的读者。尽管带有厂商宣传色彩,但其中关于真实工作负载优化与形式化验证安全性的论述具有较强的迁移价值。

工程实践NVIDIA Technical Blog

Model Quantization: Turn FP8 Checkpoints into High-Performance Inference Engines with NVIDIA TensorRT

文章围绕模型量化后的部署流程,说明如何将 FP8 checkpoint 转换为 NVIDIA TensorRT inference engine,并把“模型优化”与“生产推理”连接起来。核心价值在于展示量化模型进入推理引擎后的落地路径,以及这种做法在吞吐、延迟和 GPU 利用率上的收益。文章的适用边界主要在 NVIDIA GPU 与 TensorRT 生态,以及已具备 FP8 量化能力的模型和工作流。

推荐收录,因为它提供了从量化 checkpoint 到高性能推理引擎的完整工程思路,适合关注模型部署、推理加速和 GPU 资源利用的读者参考。虽然带有明显的 NVIDIA 生态属性,但其中关于量化、引擎生成和性能收益验证的思路具有较强迁移价值。

技术文章知乎 - 严格鸽

C++从内存别名到vector为什么都是维护三个指针

文章围绕“为什么主流 C++ std::vector 通常维护三个指针”展开,从严格别名、TBAA、自动向量化失败案例一路分析到 vector 的三指针布局、ABI 约束和 libc++ 的 size-based vector 提案。作者先用一个 `data + size` 结构展示当元素类型与长度字段同型时,编译器可能因别名疑虑而保守重读循环上界,再对比三指针布局为何更利于把 `size()`、`capacity()` 和循环次数提前固化,从而获得更稳定的优化结果。文章还进一步补充了 libc++ hardening、ABI break、非法 reinterpret_cast 暴露问题以及与 LLVM RFC 的关系,说明三指针并非唯一原因,但确实兼顾了优化、接口语义和历史实现路径。

推荐收录,因为文章把一个看似“vector 实现细节”的问题,拆解成了别名分析、对象布局、自动向量化、ABI 和库演进等多个层面,能长期帮助读者理解 C++ 容器实现背后的工程逻辑。它不仅给出结论,还展示了何时 `data + size` 会让编译器保守、为何三指针更稳,以及现代库为何会在性能收益和 ABI 兼容之间做取舍。

工程实践知乎 - 腾讯技术工程

横向拆解Claude Code、Codex等六大Agent上下文压缩策略后,我们做了第 7 个

文章横向拆解了 Claude Code、Codex CLI、OpenCode、Cline、Cursor、Amp、MemGPT/Letta 等多种 Agent 上下文压缩方案,归纳出分层渐进、真实 token 计量、保护近端信息、增量摘要和稳定缓存前缀等共识。随后作者结合 MUR AI 这一云端多用户 Agent 的实际约束,落地了四级水位线(Snip/Prune/Summarize)方案,并补充了日志落盘、工具差异化、跨轮 ReplacementCache 和多租户隔离等工程设计。文章的核心结论是:上下文压缩不是一次性清理,而是持续维护模型注意力与缓存稳定性的系统能力,且在云端场景需要额外处理审计、重启一致性与权限边界。

推荐收录,因为它不是单纯介绍某个产品功能,而是把主流 Agent 压缩策略、失败模式和工程落地方案放在同一框架下比较,适合长期参考。尤其对做云端 Agent、长上下文管理、缓存优化和多租户系统的团队,这篇文章提供了可直接迁移的设计原则与踩坑经验。

工程实践知乎 - 皮振伟

漫谈AI推理与存储

这篇文章围绕 AI 推理中的存储需求展开,重点分析了模型权重加载、KV Cache 的数据形态、外部存储布局,以及单机和分布式场景下的 IO 路径选择。作者把 LLM 推理中的启动延迟、GPU 空转、缓存共享、存储分层和成本控制串成一条完整链路,并系统比较了 mmap、GDS、Direct IO、RDMA、NVMe-oF、对象存储等方案的适用边界。最后,文章结合自研 GD2FS 和若干实测数据,提出了面向推理场景的 GPU 直连分布式存储架构,但也明确这些优化高度依赖数据对齐、缓存形态和具体工作负载。

推荐收录,因为它不是泛泛谈“AI 存储”,而是从推理引擎的数据特征出发,逐层分析了存储栈、网络栈和 GPU 直连路径的取舍,具有很强的工程可迁移性。文中还给出了自研系统和实测结果,适合做 AI 基础设施、推理优化和分布式存储方向的长期参考。

技术文章Max Bernstein

A survey of inlining heuristics

这篇文章系统梳理了动态语言 JIT 和多种编译器中的内联启发式,重点讨论“何时内联”比“如何内联”更难。作者从代码体积、编译时延迟、缓存压力、递归、调用深度、调用频率、调用上下文和 profile 传播等维度,比较了 Cinder、PyPy、V8、JavaScriptCore、SpiderMonkey、HotSpot、.NET、Dart、ART、HHVM 等实现差异,并补充了机器学习、部分内联和 AOT 信息辅助等研究方向。文章的结论是:内联本质上是一个全局收益与局部预算之间的权衡问题,启发式设计必须结合目标运行时、可观测性和分层编译策略。

推荐收录,因为它不是泛泛而谈“内联能提速”,而是把多个真实编译器/JIT 的决策规则、预算约束和调用上下文处理方式放在一起比较,长期参考价值很高。对做编译器、语言运行时或性能优化的读者来说,这篇文章能直接提供可迁移的启发式设计框架和调参视角。

工程实践Instacart Tech Blog

From Scoring to Spelling: Rebuilding Ads Retrieval at Instacart

文章复盘了 Instacart 广告召回系统从“对固定候选集打分”转向“按 token 自回归生成”的重构过程。作者先分析了旧式 BERT 检索在词表膨胀、冷启动和候选结构漂移上的瓶颈,再介绍用 Semantic IDs 作为新产品词汇、用上下文模板组织训练输入、以及通过 beam search 生成候选并映射回商品索引的完整方案。为了支撑新模型,团队还重建了 GPU serving 栈(TensorRT-LLM、Triton、Go-native 服务),最终在两条发现型广告位上取得了约 +5% CTR、+34% add-to-carts 的线上收益,并显著提升了长尾类目和品牌多样性。

推荐收录,因为它不是单纯的产品宣传,而是把广告召回从建模、表示、训练、检索到推理基础设施完整串起来,呈现了一个可迁移的工业级重构范式。对于做推荐系统、检索系统和大模型推理落地的读者,这篇文章能直接提供“何时从打分转向生成”“如何重做表示层”“如何为生成式召回重建 serving 栈”的判断框架。

工程实践Cloudflare Blog

How we reduced core unit boot time from hours to minutes

这篇文章复盘了 Cloudflare 核心裸金属服务器在固件更新后启动时间从几分钟恶化到数小时的问题,根因不是单一故障,而是 UEFI/iPXE 启动流程中对网络启动接口进行顺序探测时,反复命中超时导致的级联等待。作者通过串口观察、启动链路拆解和与 OEM 协同,最终把正确的网络启动接口前置声明,并处理了旧版 UEFI 不支持、升级后配置丢失、不同 NIC 字符串不一致、iPXE 读取配置受限等工程边界。文章最后把固件升级总耗时从接近 4 小时压到 3 分钟,后续单次启动也从约 20 分钟缩短到 1 分钟以内,适合作为裸金属自动化、UEFI 启动排障和固件配置管理的参考案例。

推荐收录,因为它不是简单的性能优化报道,而是把裸金属启动链路、固件行为、供应商差异和自动化控制串成了一条完整的工程排障路径。对于做基础设施、SRE、系统启动和硬件自动化的读者,这篇文章提供了可迁移的诊断框架和规避超时放大的方法。

工程实践Amazon Science

How flat is replacing fat in AWS data center networks

文章介绍了 AWS 在数据中心网络中用“准随机”平面网络替代传统 fat-tree 的方案,核心包括拓扑设计 RNG、路由算法 Spraypoint,以及用于落地布线的被动光学组件 ShuffleBox。作者不仅解释了为什么随机平面拓扑在理论上更优,还给出了可计算的性能模型、530 个 CPU 年规模的仿真实证,以及在真实生产环境中的部署结果。文章最后总结了该方案在路由器数量、吞吐量和能耗上的收益,同时说明其适用前提是需要配合专门的物理布线与路由机制。

推荐收录,因为它把网络拓扑理论、路由算法设计、物理布线约束和生产验证完整串联起来,属于典型的高质量工程研究案例。对做数据中心网络、系统架构和高性能基础设施的读者来说,这篇文章提供了可迁移的设计思路:如何把“理论最优”转化为“可部署、可验证、可规模化”的方案。

工程实践知乎 - SmartCode 得物技术

HorizonVault 技术深潜:如何在 HDD 上做出 100GB/s+ 级大吞吐分布式存储|得物技术

文章深度解析了得物自研分布式存储引擎 HorizonVault 的设计,目标是在通用 HDD 上支撑 Kafka 远程存储、冷热数据下沉等场景,并实现 100GB/s+ 级别的集群吞吐。作者围绕 Broker、Meta、Store、Network、HA 等模块,说明了如何通过顺序追加、小索引定位、磁盘状态治理、线程隔离、网络背压和 follower 主动追赶,把 HDD 的随机 I/O 短板限制在系统可控范围内。文章的核心结论是:高吞吐并不只靠单盘性能,而是依赖资源调度、路由打散和副本同步等机制的组合;但这种方案主要适用于大对象、顺序写占主导的远端存储场景。

推荐收录,因为它不是泛泛介绍“做了一个存储系统”,而是完整讲清了面向 HDD 的高吞吐分布式存储如何在架构、路由、索引、复制和背压上协同工作。对做存储、Kafka Tiered Storage、分布式系统和性能治理的读者来说,这篇文章提供了可直接迁移的设计思路和边界判断。

工程实践知乎 - 皮振伟

LLM分布式推理终极方案——以GPU为中心的云原生架构

文章围绕 LLM 推理部署中 KV Cache 依赖带来的扩缩容困难、命中率波动、内存冗余和成本不透明等问题,提出以 GPU 为中心、通过 GD2FS 这类分布式文件系统承载 L2 缓存的无状态化推理架构。作者进一步用 Kubernetes 的弹性调度类比互联网后端演进,说明显式 KV Cache、零拷贝数据路径、预读分层缓存和可调副本策略如何提升资源利用率、降低主机内存占用,并给出了一组 RDMA/TCP 与多节点推理测试数据作为支撑。文章的主要边界在于:它更像一篇面向落地的架构提案与实践总结,部分性能结论需要结合具体硬件、负载和实现细节理解,不能直接泛化到所有推理场景。

推荐收录,因为它不是单纯讨论 LLM 推理概念,而是把缓存层级、调度弹性、状态管理和存储协议放到同一套架构框架里分析,具备较强的工程可迁移性。对做大规模推理平台、云原生基础设施和 GPU 资源调度的读者来说,这篇文章能提供有参考价值的设计思路、性能指标视角和权衡点。

工程实践知乎 - TencentDB腾讯云数据库

腾讯云Agent Memory节省61% Token提升52%成功率的诀窍:Mermaid无限画布×上下文卸载

文章围绕 Agent 长任务中的短期记忆压缩问题,提出“上下文卸载 + Mermaid 无限画布”的组合方案:将完整工具结果、网页正文和日志等原始信息卸载到外部文件系统,同时用 Mermaid Flowchart 维护任务结构、状态与索引,使上下文只保留高密度摘要和可恢复入口。作者还系统比较了 Flowchart 与 StateDiagram、上下文卸载与画布的分工边界,以及从 raw 原文到 JSONL、MMD、metadata 的分层折叠/恢复路径。文章给出多组长 Session 实验结果,在 SWEbench、Toolathlon、WideSearch、AA-LCR 等场景中实现了最高 61.38% 的 Token 节省,并在部分任务上提升通过率/准确率,说明该方案更适合长任务、多工具调用和反复迭代的 Agent 场景,但对摘要质量与外部索引设计仍有依赖。

推荐收录,因为它不是泛泛介绍“省 Token”的产品稿,而是把 Agent 记忆管理拆成了可复用的工程机制:信息卸载、结构化画布、分层恢复与实验验证。对于做 LLM Agent、工具链、长上下文管理或记忆系统设计的读者,这篇文章能直接迁移其分层存储和任务状态外化思路。

技术文章知乎 - 腾讯技术工程

AI Infra源码入门:大模型是如何高效推理的

这篇文章以 vLLM 源码阅读为主线,系统拆解了大模型推理的完整数据流:从 tokenization、embedding、Transformer block、Attention、FFN 到 LM head 和 sampling,并用 Llama 3 的张量维度变化把“模型怎么算”和“代码怎么跑”对应起来。文章重点解释了 continuous batching、PagedAttention、FlashAttention、KV Cache 组织、prefill/decode 差异、抢占与调度策略等 AI Infra 核心机制,同时穿插了算力密度、访存带宽、kernel fusion、在线 softmax 等工程取舍与性能边界。整体上它不是泛泛讲 Transformer,而是从源码和运行时视角揭示大模型高效推理的关键实现路径,适合作为 AI 推理系统入门与复盘参考。

推荐收录,因为文章把大模型推理的核心机制、张量形状和工程优化串成了一条完整链路,既能帮助读者理解原理,也能帮助读者读懂 vLLM 这类推理系统的实现。它对做 AI Infra、GPU 推理优化、模型服务和系统架构的人都有较强迁移价值。

工程实践知乎 - 腾讯技术工程

腾讯云Agent Memory节省61% Token 提升52% 成功率的诀窍:Mermaid无限画布×上下文卸载

文章围绕 Agent 短期记忆压缩展开,提出“上下文卸载 + Mermaid 无限画布”的组合方案:把完整工具结果、网页正文和日志移到外部文件系统,只在上下文中保留高密度摘要、任务状态与索引路径,再用 Mermaid Flowchart 组织成可导航的任务拓扑。作者还比较了 Flowchart 与 StateDiagram 的适配性,给出分层存储链路(refs、JSONL、MMD、metadata)和分级召回机制,说明这种结构化记忆比单纯压缩文本更能维持长任务连续性。 实验部分在超长 Session 场景下验证了效果:在 SWEbench、Toolathlon、WideSearch、AA-LCR 等任务中,方案在显著节省 Token 的同时,任务完成率或准确率未下降,部分场景还有提升;其中 WideSearch 的 Token 节省最高可达 61.38%,成功率相对提升 51.52%。文章也指出该方案更适合长任务、多轮工具调用、反复改写与跨轮次恢复的场景,而不是依赖严格状态机的短流程任务。

推荐收录,因为它不是泛泛讨论“记忆很重要”,而是给出了可落地的 Agent 记忆架构、信息分层方式和实验验证,能直接启发长上下文、工具调用和任务恢复设计。对于做 AI 工程、Agent 框架、上下文工程或记忆系统的读者,这篇文章具有较强的可迁移价值和工程参考意义。

工程实践NVIDIA Technical Blog

Unlock Exascale Performance on NVIDIA GB200 NVL72 with Slurm Topology-Aware Job Scheduling

文章围绕 NVIDIA GB200 NVL72 这类高密度 GPU 机架如何通过 Slurm 的拓扑感知调度来提升作业性能,核心关注点是“任务如何放置”而不仅是“硬件有多快”。它强调在共享集群里,调度器需要理解节点、机架和互联拓扑,才能更好地把大模型训练或推理作业映射到合适的资源上,从而更接近整机架的性能上限。文章的适用边界主要在于面向 AI/HPC 集群管理与 Slurm 调度实践,尤其是对 NVIDIA 这类高带宽、强拓扑约束平台的资源编排问题。

推荐收录,因为它讨论的是大规模 GPU 集群中非常典型且长期存在的问题:如何通过拓扑感知调度减少性能损失、提升资源利用率。对做 AI 基础设施、HPC 集群管理和高性能作业编排的读者来说,这类经验具有较强的可迁移价值。

工程实践知乎 - 鹅厂架构师

Elasticsearch 实战 | 客户的 ES 2.4 集群跑了 10 年没动,这次我们把它搬上腾讯云了

这篇文章复盘了一个真实的 Elasticsearch 迁移项目:将客户长期运行的 ES 2.4、Solr 5.3.1 以及相关业务索引,迁移到腾讯云 ES 7.14.2,并覆盖了全量/增量同步、灰度切流和回滚双写等完整链路。作者重点讲解了跨 5 个大版本迁移中遇到的关键问题与处理方式,包括多 type 合并到单 type、字段类型一旦落地不可修改、_id 元数据与 source 字段冲突、ngram 分词导致索引膨胀、默认模板影响全文检索,以及按月拆索引配合 index sorting 提升范围查询性能等。

推荐收录,因为它不是泛泛而谈的迁移宣讲,而是把真实生产环境里最容易踩坑的 ES 迁移、建模和性能优化问题逐一拆开,给出了可复用的定位思路和配置方案。对做搜索系统迁移、索引设计、同步链路和线上切流的工程师来说,这篇文章具有很强的迁移价值和实战参考意义。

科研议题Amazon Science

Making LLMs faster without sacrificing accuracy

这篇文章基于一篇 ICLR 论文,讨论如何在不牺牲准确率的前提下提升大语言模型推理效率。作者指出,传统 Chinchilla scaling law 只覆盖参数量与训练数据量,而没有把隐藏维度、MLP 与注意力参数比例、以及 GQA 这类架构选择纳入优化框架;因此他们进一步建立了“条件缩放律”,把这些架构变量与损失和吞吐量直接关联起来。文章还通过训练 200 多个不同架构模型验证了该方法,给出了 Panda 与 Surefire 两类在准确率或准确率-效率帕累托前沿上更优的模型家族,并说明这些结论在不同 GPU 和推理框架上具有较强一致性,但仍主要适用于 Transformer 风格的 LLM 及其服务场景。

推荐收录,因为它不是泛泛介绍模型加速,而是把缩放规律、架构设计与推理吞吐放进同一个可计算框架里,具有很强的方法论价值。对做 LLM 训练、架构搜索和推理系统优化的读者来说,这类“如何在精度与效率之间做定量权衡”的结论很有迁移性。

科研议题Stanford Hazy Research

From Minions to OpenJarvis: A Retrospective on Two Years in Local AI

这篇文章是 Stanford Hazy Research 对两年本地 AI 研究路线的回顾,串联了 Minions、Intelligence per Watt 和 OpenJarvis 三个项目,核心论点是“混合式推理应以云端做搜索/规划、本地做执行为默认范式”。文章分别从长上下文任务协作、单位能耗智能密度测量、以及本地优先的个人 AI 技术栈三个层面,给出了实验结果、系统设计和发布内容,并用统一的效率视角解释为什么本地与云端不是替代关系而是互补关系。

推荐收录,因为它不是单一产品介绍,而是把三个相互关联的研究项目串成了一条清晰的方法论主线,并且给出了可量化的实验结果与系统化设计。对关注本地推理、混合部署、能效评估和个人 AI 架构的读者,这篇文章有很强的迁移价值。

工程实践Microsoft Research Blog

mimalloc: A new, high-performance, scalable memory allocator for the modern era

这篇文章系统介绍了 mimalloc 现代内存分配器的设计目标与实现取舍,包括线程本地 heap、按页组织的固定大小块、三层 free list、跨线程释放的原子 CAS 路径,以及通过 page stealing 在可扩展性和内存共享之间取得平衡。作者还给出了小对象分配/释放的快路径、跨线程同步开销为何可控,以及在大规模并发服务和超大内存工作负载中的基准表现,说明它既能支撑高吞吐也能保持较低碎片与可接受的提交内存比例。

推荐收录,因为它不是泛泛介绍 malloc,而是把并发分配器的关键设计点、数据结构、快慢路径和性能边界讲得很清楚,适合长期作为系统性能与内存管理参考。文章对“低争用、高局部性、可迁移到真实服务”的工程取舍有很强的迁移价值,尤其适合做系统编程、运行时和基础设施方向的读者学习。

工程实践知乎 - 携程技术

9亿数据归因分析跑进15秒:携程智能归因系统如何用 Ray+DuckDB 破解算力危机?

这篇文章复盘了携程智能归因系统在9亿+数据规模下的性能重构:原先依赖 ClickHouse 的集中式重计算导致查询超过40秒并影响集群稳定性,随后通过将数据提前导出为 Parquet、放到 S3/Ceph 中,并用 Ray 负责任务调度、DuckDB 负责单节点高性能执行,把归因分析压到15秒以内。文章不仅解释了 Ray + DuckDB 的分工、任务拆分、分区剪枝、Actor 共享本地磁盘等实现细节,还展示了在 K8s/KubeRay 上的弹性伸缩、可观测性和 CI/CD 集成方式,适合大规模分析计算与资源隔离场景参考。

推荐收录,因为它不是单纯的技术宣传,而是一个有明确前后对比、瓶颈定位和架构取舍的真实工程案例。对于做大规模分析、工作负载隔离、分布式任务拆分和嵌入式分析引擎选型的团队,这篇文章具有较强的可迁移参考价值。

工程实践知乎 - 鹅厂架构师

两个字符让Django接口快了8倍:一次险些翻车的线上性能排查实录

这篇文章复盘了一次老 Django 接口的线上性能排查,围绕 10000+ 条数据、7MB 响应体和高频调用场景,逐步验证了 ORM 对象构造、values() 直出、字段裁剪、JSON 序列化、gzip 等多个假设。作者最终通过 TTFB/Total 对比、本机回环测试和代码审查,发现真正的瓶颈不是数据库或网络,而是把完整字符串错误地交给 StreamingHttpResponse 导致逐字符输出,修复后接口从 13.6 秒降到 1.7 秒。文章还总结了如何用数据而不是直觉定位 HTTP 性能问题,并说明了该结论对真正流式接口与大对象返回的适用边界。

推荐收录,因为它不是单纯的“改一行代码变快”故事,而是完整展示了从经验判断到数据验证、从错误归因到根因定位的工程排查过程。对做 Web 后端、Python/Django、线上性能治理的读者都有很强的迁移价值,尤其适合理解 TTFB、响应体输出链路和“看起来没错的代码”带来的隐性性能坑。

工程实践知乎 - 携程技术

携程 JDK25 升级踩坑记:一场由 G1GC “偷走”对象引发的数据静默损坏

这篇文章复盘了携程在将大数据计算集群升级到 JDK25 过程中遇到的一起极其隐蔽的数据静默损坏事故:Spark/Flink 写出的 Parquet、ORC 文件表面写入正常、校验也通过,但下游读取时出现 Zstd/Zip 解压失败。作者通过列级定位、排除存储介质、构造复现环境、JDK 版本二分和自建可指定 commit 的编译环境,最终将根因锁定为 JDK25 G1GC 的一个 bug:Optional Evacuation 错误移动了被 JNI 临界区锁定的对象,进而导致 native 压缩写入指向失效内存。 文章不仅给出了从现象到根因的完整排查链路,还解释了 G1 GC、pinned 对象、GetPrimitiveArrayCritical 这类底层机制之间的关系,并验证了影响范围、规避方案与 OpenJDK 后续 backport 修复。整体上它既是一次高质量线上事故复盘,也是对 JDK 升级、JNI 交互和 GC 风险的可迁移经验总结。

推荐收录,因为它不是简单的“踩坑记录”,而是完整呈现了线上数据损坏问题的定位方法、验证手段、复现路径和最终根因确认过程。对于做 Java 基础设施、计算引擎、存储格式或 JDK 升级治理的读者,这篇文章具有很强的可迁移参考价值。

技术文章知乎 - 南山烟雨珠江潮

std::networking最新动向:依然是源自asio的协程原生I/O

这篇文章系统梳理了 C++ 标准网络库 std::networking 的最新提案方向,核心观点是:网络 I/O 更适合直接建立在 C++20 协程之上,而不是继续沿用 sender/receiver 的 std::execution 抽象。作者从性能开销、复合结果处理、编译时间、ABI 稳定性、学习曲线和生产部署等多个维度对比了两类方案,并详细解释了 IoAwaitable、io_env、Executor、any_stream 等设计如何继承并简化 Asio 的成熟思路。

推荐收录,因为文章不只是转述标准化动态,而是把 C++ 网络编程的关键设计分歧、工程权衡和迁移路径讲得非常完整,适合作为理解标准库网络化方向的长期参考。它对正在使用 Asio、关注 C++ 协程或评估异步 I/O 架构的读者都有直接迁移价值。

工程实践知乎 - 胡津铭

Caliby:面向 AI Agent 的嵌入式高性能向量数据库,我们把它开源了

这篇文章介绍了一个面向 AI Agent 和 RAG 场景的嵌入式向量数据库 Caliby,核心卖点是把文本、向量、元数据统一放进同一套进程内引擎,并通过 HNSW、DiskANN、IVF+PQ 三类索引覆盖不同规模与延迟需求。文章还说明了它在磁盘持久化、SIMD 加速、Python 绑定、批量并发检索上的设计思路,并给出与 pgvector、FAISS 的性能对比,强调“pip install 即可用”的本地化部署体验。需要注意的是,正文更偏项目发布与产品介绍,性能数字和结论主要来自作者展示,适合作为选型与架构参考,但不宜当作严谨基准报告直接引用。

推荐收录,因为它不是单纯的产品宣传,而是把“AI Agent 需要什么样的数据引擎”这个问题具体化到了嵌入式、持久化、索引选择和文本/向量统一管理等工程决策上。对做向量检索、RAG、Agent 记忆系统或本地优先工具的读者,这些设计取舍和场景划分具有可迁移价值。

工程实践知乎 - 携程技术

执行个 systemd 命令,竟然让容器CPU“打架”?一文看懂绑核错乱的根因

这篇文章复盘了一起发生在 K8s 宿主机上的线上故障:执行 systemd 相关发布操作后,绑核容器的 cpuset 配置被意外改写,多个容器被分配到相同 CPU 核,最终引发算力竞争和业务超时。作者通过 Perfetto、BPF 和 cgroup 相关排查,逐层定位到 runc 1.1.5 向 systemd 传递 cpuset 参数时的顺序错误,并用升级到 runc 1.1.6 的验证闭环确认根因。文章不仅解释了现象背后的调度与绑核机制,还清楚展示了如何从“CPU load 升高”这种表象反推真正的资源错配问题。适合关注容器运行时、Kubernetes、Linux 调度和线上故障分析的读者参考。

推荐收录,因为它不是简单的故障描述,而是把容器绑核、cgroup、systemd 与 runc 的交互链路完整串了起来,并给出了可复现、可验证的定位过程。文章对排障思路、工具选择和版本回归验证都有明确沉淀,具有较强的跨团队迁移价值。

科研议题知乎 - 手抓饼熊

利用Eagle3加速RL Rollout

这篇文章围绕“用 EAGLE-3 加速 RL 训练中的 rollout”展开,核心是在强化学习训练阶段引入推测采样/草稿模型,把原本昂贵的轨迹展开与策略前向计算做协同优化。作者解释了在线草稿自适应的必要性:策略参数在训练中不断更新,部署侧和草稿模型都必须及时跟随当前策略,否则会出现分布不一致导致的加速失效。文章还描述了与 vLLM、MegatronLM 的整体协作方式,以及通过缓存隐藏状态和对数概率、并用梯度分离避免干扰策略梯度的实现思路。

推荐收录,因为它不仅转述论文结论,还抓住了 RL rollout 加速的关键瓶颈、系统协同方式和训练时一致性问题,具有明确的可迁移价值。对于做大模型训练、RLHF/GRPO 优化或推测解码系统设计的读者,这类方法能直接启发性能优化与训练架构改造。

工程实践知乎 - 鹅厂架构师

如何让 AI 在我睡觉时把性能优化 20%?- Harness 框架分享

文章围绕 AI coding agent 的 harness 设计,系统讨论了如何把“智能”转化为可管理的“自主性”:通过把约束从执行路径转移到目标、边界、验收标准和升级条件上,让 agent 在无人持续盯控的情况下自主规划、执行、验证并交付结果。作者以从 procedural harness 迁移到 Agency harness 为主线,提出了 declarative 任务描述、最小化常驻上下文、从真实失败中生长规则、质量关卡、持久化状态、subagent 协作、跨模型互审和反思进化等机制。

推荐收录,因为它不仅讨论了 AI agent 的使用方式,还给出了可落地的 harness 设计原则、任务编排机制和验证闭环,具有明显的工程方法论价值。文中还用真实性能优化案例证明了框架如何帮助 agent 独立完成复杂排障和性能提升,适合做 AI 工程化与人机协作的长期参考。

工程实践Blender Developers Blog

Cycles Texture Cache

这篇文章介绍了 Blender Cycles 在 5.2 LTS 中引入的纹理缓存系统,目标是在大量图像纹理参与渲染时显著降低显存和内存占用。作者不仅说明了功能入口和 tx 文件生成流程,还系统解释了 GPU/CPU 统一缓存策略、基于 tile 的虚拟纹理映射、ray differentials 计算 mipmap 层级,以及在大规模渲染中如何通过分块调度与淘汰策略保持较稳定的内存使用。文章同时给出了适用边界:收益高度依赖场景纹理占比,旧 GPU、viewport 交互、packed textures 和过滤细节仍有后续优化空间。

推荐收录,因为它不是单纯的功能发布,而是把一个真实图形渲染系统中的纹理缓存设计、GPU 约束和内存权衡讲得比较完整,具有长期参考价值。对于做图形渲染、GPU 计算或资源管理的读者,这篇文章能直接借鉴虚拟纹理、批量失效重跑和分块驱逐等设计思路。

工程实践NVIDIA Technical Blog

Advancing Emerging Optimizers for Accelerated LLM Training with NVIDIA Megatron

文章介绍了高阶优化算法在大模型训练中的应用进展,重点提到 Shampoo 与 Muon 这类方法如何用于提升 LLM 的训练效果。作者结合 NVIDIA Megatron 说明,虽然这类优化器在收敛性和模型质量上有潜力,但其矩阵运算、通信和显存开销也更高,因此需要借助 GPU 侧和分布式训练框架做专门加速。文中还指出,Muon 已被用于训练 Kimi K2、GLM-5 等开源模型,说明这类“新优化器 + 系统加速”的组合已经进入实际训练场景。整体论点是:优化算法不应只看理论收益,还要看是否能被工程化地高效实现。适用范围主要是超大规模 LLM 训练;若模型规模较小或训练基础设施不足,收益可能不明显。

推荐收录,因为标题和正文片段都明确指向“优化算法 + Megatron 加速 + LLM 训练”这一可复用工程主题,并给出了 Shampoo、Muon 及实际开源模型训练的直接证据。适合做大模型训练、GPU 优化和训练系统设计的读者参考,但需要注意其收益依赖模型规模与系统实现,不能直接照搬到小规模训练。

工程实践Google DeepMind Blog

Decoupled DiLoCo: A new frontier for resilient, distributed AI training

这篇文章介绍了 DeepMind 提出的 Decoupled DiLoCo 分布式训练架构,目标是在跨机房、跨区域乃至跨代际硬件上训练大模型时,降低同步通信开销并提升故障韧性。其核心思路是把训练切成多个彼此解耦的“计算岛”,岛内局部推进,岛间通过异步数据流交换,从而避免传统数据并行在大规模同步时的阻塞。文章给出了两类证据:一方面在 chaos engineering 注入硬件故障后,系统能继续训练并在节点恢复后重新并入;另一方面在 Gemma 4 实验中,带宽需求显著下降,仿真中的 goodput 明显高于基线,且最终 ML 性能基本持平。作者还展示了一个 12B 参数模型跨 4 个美国区域、以 2–5 Gbps WAN 完成训练的案例,速度比传统同步方法快 20 倍以上。该方案的边界在于它依赖特定的异步训练栈与系统整合能力,且部分收益来自 Google 自身的基础设施条件与 TPU 生态。

推荐收录,因为文章直接给出了带宽、goodput、故障恢复和跨区域训练的量化结果,并明确说明了 Decoupled DiLoCo 的系统机制与实验边界。适合做大模型训练基础设施、容错分布式系统和 AI 工程化方案的参考,尤其对关注跨机房训练与资源弹性利用的读者有迁移价值。

技术文章NVIDIA Technical Blog

Maximizing Memory Efficiency to Run Bigger Models on NVIDIA Jetson

文章围绕 NVIDIA Jetson 这类边缘设备的内存瓶颈,讨论如何让更大的开源生成式模型在受限硬件上稳定运行。作者指出,随着多十亿参数模型从数据中心下沉到物理世界中的 AI 代理和机器人场景,显存/内存效率已成为部署成败的关键。全文重点不在训练新模型,而在推理部署侧通过压缩占用、减少运行时冗余和优化内存分配来扩大可运行模型规模。它强调必须在模型大小、吞吐、延迟和平台资源之间做权衡,适合 Jetson 与边缘 AI 场景参考。其边界也很明确:这些方法主要缓解内存压力,不能替代算力不足或模型本身结构不适配的问题。

推荐收录,因为标题和导语直接指向 Jetson 边缘部署中的内存效率优化,覆盖了多十亿参数模型落地这一长期问题。适合做边缘 AI、机器人和嵌入式推理选型参考,但方案强依赖 Jetson 平台,迁移到其他硬件时需要重新评估资源与性能权衡。

工程实践NVIDIA Technical Blog

Run High-Throughput Reinforcement Learning Training with End-to-End FP8 Precision

文章面向大模型强化学习训练的吞吐优化问题,讨论如何在端到端流程中引入 FP8 精度,以提升训练效率并降低算力与显存开销。作者指出,RL 训练通常分为采样/生成与策略更新两类高强度阶段,二者对计算、带宽和数值稳定性的要求不同,因此单点加速往往不足。文中围绕 NVIDIA 的 GPU 与软件栈,说明 FP8 在推理、前向与反向计算中的应用方式,以及如何在保持训练可用性的前提下扩大吞吐。其核心结论是:对于支持该精度路径的硬件和框架,端到端 FP8 可以显著提升高强度 RL 训练效率,但需要配合数值验证与实现适配,不能简单地对所有模型直接替换。

收录理由直接而明确:文章围绕“端到端 FP8 精度”提升 RL 训练吞吐展开,属于可迁移的工程优化经验,而不是单纯产品宣传。适合做大模型训练、GPU 性能优化和数值精度权衡的参考;但其效果依赖支持 FP8 的硬件与软件栈,迁移时需要验证稳定性。

工程实践NVIDIA Technical Blog

Cut Checkpoint Costs with About 30 Lines of Python and NVIDIA nvCOMP

文章介绍在大模型训练中,如何借助 NVIDIA nvCOMP 和约 30 行 Python 为 checkpoint 加入压缩,以降低频繁保存模型权重、优化器状态和梯度带来的存储与传输开销。作者以 70B 模型每次约 782GB、15-30 分钟一次的检查点为背景,指出 checkpoint 已成为训练预算中的重要成本项。方案核心是把压缩与解压尽量放到 GPU 侧处理,减少写盘数据量,同时保持训练中断后的可恢复性。文中展示了接入方式与落地路径,适合 I/O 或存储受限的训练任务,但在算力已接近饱和或检查点规模较小的场景,收益会下降并引入额外压缩开销。

推荐收录,因为文章给出了大模型 checkpoint 降本的具体工程做法,并用 70B 模型 782GB、15-30 分钟一次的量化背景证明问题真实存在。适合训练平台、GPU 基础设施和存储优化读者参考,但需注意压缩会带来额外算力与延迟,效果依赖 I/O 是否为主要瓶颈。

工程实践NVIDIA Technical Blog

Running AI Workloads on Rack-Scale Supercomputers: From Hardware to Topology-Aware Scheduling

文章围绕 NVIDIA GB200/GB300 NVL72 这类 rack-scale 超级计算机,说明其以 Blackwell 架构、18 个紧耦合计算托盘、GPU fabric 和高带宽网络组成统一系统。作者强调,AI 任务在这种硬件上运行时,关键不只是“把机器装进机柜”,而是要理解通信拓扑并据此做作业放置与调度。文章从硬件层次、网络/互联特性讲到 topology-aware scheduling,重点讨论如何减少跨托盘通信、匹配计算与通信密集型负载,并提升整体吞吐和资源利用。结论是,软硬件协同设计能明显改善大模型训练与推理的扩展性,但方案强依赖特定 rack-scale 平台,不宜直接照搬到普通集群。

有明确的硬件细节与调度方法,不是单纯产品介绍:文章直接讨论 rack-scale 互联结构、负载拓扑感知放置和性能收益。适合 AI 基础设施、HPC 平台和集群调度读者参考,但迁移时要注意它主要针对 NVIDIA NVL72 这类特定架构。

工程实践Anthropic Engineering

Scaling Managed Agents: Decoupling the brain from the hands

本文介绍 Anthropic 为 Managed Agents 设计的“元 harness”架构,核心是把 Claude 的“脑”(模型与调度逻辑)、“手”(沙箱和工具)以及“会话”(持久事件日志)解耦。作者先回顾了早期把所有组件放进单容器的方案,说明这种耦合会把容器变成难以替换的“宠物”,带来故障难排查、用户数据与调试冲突、以及 VPC/外部系统接入困难等问题。随后文章给出新的接口设计:harness 通过 execute/provision/wake/getSession/emitEvent 等稳定边界与沙箱和会话交互,使容器、harness、会话都能独立失败、重启或替换。安全上,凭据被移出沙箱,Git 与 MCP/OAuth 通过受控初始化或代理访问,避免提示注入直接接触 token。作者还指出这种解耦显著降低了 TTFT,p50 约下降 60%,p95 超过 90%,但前提是系统愿意承担更复杂的编排与多环境 reasoning 负担。

推荐收录,因为文章给出了面向长时运行 agent 的完整接口分层、故障隔离和凭据边界设计,并用 TTFT 数据验证了架构收益。适合做 AI 平台、Agent 基础设施和安全设计的参考,尤其能迁移到需要多沙箱、多工具、可恢复会话的工程场景。

工程实践Amazon Science

Verifying and optimizing post-quantum cryptography at Amazon

文章介绍 Amazon 围绕后量子密码 ML-KEM(原 Kyber)构建高保障实现 mlkem-native 的工程实践。作者将前端高层逻辑与面向不同架构的性能后端拆分,前端保留可维护性,后端针对 AArch64、x86_64、RISC-V64 做汇编/内建优化。为同时保证安全与性能,团队用 CBMC 为 C 代码添加可机检契约,证明内存安全和整数边界安全;对关键汇编则结合 SLOTHY、HOL Light 和 s2n-bignum 做形式化正确性证明,并尽量让证明对指令调度和寄存器分配不敏感。文章还专门说明了形式化验证的可信边界,公开 SOUNDNESS.md 记录假设、残余风险和缓解措施。该实现已集成进 AWS-LC,并在 c7i/c7g 上相对参考实现取得明显吞吐提升,但文章也强调验证仍依赖模型、工具链和人工桥接,不能被理解为绝对无风险。

收录价值明确:文章给出了从参考实现到高性能、可验证生产代码的完整链路,且用 CBMC、HOL Light、SLOTHY 等工具说明了具体做法。适合密码工程、系统安全和高性能基础设施读者,尤其可迁移到需要同时兼顾正确性、性能与可维护性的关键代码场景。

工程实践Yelp Engineering

Zero downtime Upgrade: Yelp’s Cassandra 4.x Upgrade Story

文章复盘 Yelp 数据库可靠性团队如何将一千多台 Cassandra 节点从 3.11 升级到 4.1,并做到全程零停机。作者先说明 Cassandra 在 Yelp 中承载主数据与衍生数据,且集群运行在 Kubernetes 上、由 operator 编排,因此升级必须兼顾状态迁移、回滚和服务连续性。文中强调此次升级的驱动力不仅是版本更新,还包括更好的可观测性、可靠性和性能,且决策参考了公开基准。整体上,它展示了大规模有状态服务在成熟运维体系下的分批规划、验证与上线思路,但其可迁移性明显依赖现有自动化、编排和回滚能力。

有明确工程证据:超过一千台 Cassandra 节点、Kubernetes + operator、3.11 到 4.1、零停机升级,说明这是大规模状态系统的真实复盘。适合做数据库可靠性、滚动升级和有状态服务编排的参考,但方法强依赖现有自动化与回滚机制,迁移时需评估自身条件。

工程实践Dropbox Tech

Improving storage efficiency in Magic Pocket, our immutable blob store

文章复盘 Dropbox 在 Magic Pocket 这个不可变 blob 存储中的一次空间效率退化事件:新上线的 Live Coder 改变了数据放置方式,虽然降低了写放大,却意外制造出大量极度稀疏的卷,导致碎片化和实际复制开销迅速上升。作者先解释不可变存储里删除不会立刻释放空间、只能依赖垃圾回收加压缩回收的基本机制,再说明原有 L1 只能维持“接近满卷”的稳态,无法快速处理长尾稀疏卷。为此团队引入 L2,用动态规划把多个中度稀疏卷合并到近满新卷;又引入 L3,把最稀疏的卷交给 Live Coder 流式重写回收。文章进一步给出动态阈值、候选排序、速率限制、机房内本地化等控制手段,并指出元数据压力是主要约束。最终该方案把膨胀的 overhead 拉回到可持续水平,甚至低于之前基线。

推荐收录,因为它给出了 exabyte 级不可变存储中“碎片化—压缩—元数据压力”三者联动的完整工程解法,且明确展示了 L1/L2/L3 分层策略、动态阈值和限流边界。对做存储系统、容量治理或大规模后台任务调度的读者,具有很强的可迁移参考价值。

工程实践Lyft Engineering

Predicting Rider Conversion in Sparse Data Environments with Bayesian Trees

这篇文章介绍 Lyft 用于预测乘客下单转化率的一种 Bayesian Trees 建模框架,目标是在高基数、极度稀疏的上下文中仍能做出稳定预测。作者先指出常规 GBDT 在细粒度分桶后会因样本过少而过拟合,而深度模型虽可能缓解稀疏性,却不适合需要实时响应的线上场景。其核心做法是把会话按地域、时间、供需等层级拆成树状节点,每个子节点复用与父节点相同的参数化模型,并通过以父节点参数为中心的 L2 正则实现 Gaussian prior 形式的 Bayesian smoothing。这样,叶子节点样本很少时会更多依赖上层先验,样本积累后再逐步向局部数据靠拢。文章还强调用简单模型并施加单调约束来保证“历史转化率越高、当前预测越高”等业务一致性。该方案的边界在于依赖合理的层级划分与正则强度设定,且更适合可解释、低延迟、强稀疏分布的线上预测任务。

文章给出了从稀疏数据过拟合、实时推断约束到 Bayesian smoothing 训练方式的完整工程解法,直接说明了为何要用层级先验和单调约束。适合做推荐/转化率预测、广告或 marketplace 线上建模的读者参考,尤其适用于高基数特征和低延迟服务场景。

工程实践Max Bernstein

Using Perfetto in ZJIT

文章围绕 Ruby JIT 实现 ZJIT 如何借助 Perfetto 做性能诊断展开,核心目标是把“侧退出栈计数”这类静态统计,升级为能看时间分布、调用栈和热点聚集位置的可视化追踪。作者先说明仅靠 --zjit-stats 只能知道退出原因数量,却难以定位它们发生在哪些 Ruby 方法中、集中在启动期还是稳态阶段,因此需要引入 trace。随后通过 Perfetto 的时间线和 SQL 接口,把 slice 与 args 表关联起来统计退出原因和顶层方法,直接找到了 ActiveRecord 相关的 shape/type guard miss 热点。实现部分展示了如何导出 trace、为何 JSON 格式会膨胀到 8GB,以及改用更紧凑的 FXT 二进制格式和采样后将体积降到约 100MB。文章也提到还可以继续追踪编译阶段、代码大小、失效、分配和 GC 等事件,但当前结论依赖采样与单次基准,适合做定位和直觉建立,不适合替代完整性能评测。

文章给出了从计数器到可视化 trace 的完整落地路径,并用真实 JIT 热点证明 Perfetto 能直接帮助定位 side-exit 归因。适合做编译器、运行时和性能排障的参考,尤其对需要把追踪数据转成可查询、可视化分析流程的工程场景有可迁移价值。

工程实践Dropbox Tech

Reducing our monorepo size to improve developer velocity

文章复盘了 Dropbox 如何把服务器 monorepo 从 87GB 压缩到 20GB,并将首次 clone 时间从 1 小时以上降到 15 分钟以内。作者指出,问题并非提交量异常,而是 Git 默认基于路径末尾 16 个字符做 delta 配对,导致 i18n 目录下跨语言文件被错误比较,生成了过大的 pack 文件。团队先用实验性的 --path-walk 在本地验证了按目录结构配对能显著缩小仓库,但该方案与 GitHub 依赖的 bitmap 和 delta islands 等服务器优化不兼容。随后他们与 GitHub Support 合作,改用更激进但兼容的 repack 参数,在镜像仓库上验证后分阶段上线,并监控 fetch 延迟、push 成功率和 API 延迟。文章最后总结了三点经验:仓库膨胀可能是结构性问题、解决方案往往需要平台方协作、repo 健康应按生产基础设施来治理,并建立持续监控机制。

有明确的量化结果和诊断链路:从 87GB 降到 20GB、clone 时间从 1 小时降到 15 分钟,并解释了 Git 压缩启发式如何与目录结构产生冲突。适合维护大规模 monorepo、CI 性能或平台协作的工程团队参考,尤其有助于借鉴“先本地验证、再与平台方联合上线”的排障方法。

工程实践Datadog Engineering

When upserts don’t update but still write: Debugging Postgres performance at scale

这篇文章复盘了 Datadog 在高流量场景下排查 Postgres 性能退化的过程:一次 upsert 操作表面上没有“更新”数据,却仍然引发了磁盘写入翻倍。作者从现象出发,结合数据库监控与写放大分析,最终定位到 Postgres 的 WAL 行为和 upsert 语义带来的隐藏成本。文章进一步说明,问题并不在业务逻辑本身,而在查询写法与存储引擎内部机制的交互。团队通过重写查询,去掉不必要的写入路径,恢复了写放大和 IO 压力的正常水平。它的价值主要在于揭示了高并发写场景下,SQL 语义、日志机制和性能表现之间的非直观关系,但结论对 Postgres 语义和负载形态有明显依赖。

推荐收录,因为文章给出了明确的工程证据:高频 upsert 导致磁盘写入翻倍,且根因落在 Postgres WAL 与查询语义的组合效应上,而不是泛泛的“数据库慢”。适合做数据库性能优化、线上故障定位和写放大分析的参考案例,但迁移时要注意它强依赖 Postgres 的实现细节。

工程实践Amazon Science

Formally verified AES-XTS: The first AES algorithm to join s2n-bignum

这篇文章介绍了 Amazon 将 Arm64 汇编实现的 AES-XTS 加密/解密加入 s2n-bignum,并用 HOL Light 对其做形式化验证的过程。作者先从 AWS-LC 的现有实现出发,重整了原本为避免 buffer overread 而非常复杂的 5x 展开循环,把轮密钥常驻寄存器、拆分尾块处理,以便 SLOTHY 进一步优化指令调度。随后,他们依据 IEEE 1619 写出可测试的规格,再证明汇编代码与规格一致,并补充常量时间与内存安全性质。文章还说明了用 CI 持续约束证明、用硬件随机测试校验指令模型的做法。结果是在部分 Arm 核心上获得小幅性能收益,同时把高风险密码实现纳入可维护、可复用的证明框架。

推荐收录,因为它直接给出了“优化汇编 + 形式化证明 + CI 持续约束”的完整证据链,且落地在真实的 AES-XTS 密码库实现上。适合密码工程、系统安全和形式化验证读者参考,尤其对需要兼顾性能与正确性的底层实现有可迁移价值。

科研议题Amazon Science

Optimizing LoRA target module selection for efficient fine tuning

本文围绕 LoRA 微调中“把适配器插到哪些模块”这一关键问题展开,基于 Amazon Nova 2.0 Lite 做了系统性消融实验。作者比较了 qkv、o_proj、fc1/fc2 以及多种组合在文本、长上下文、结构化 JSON 和多模态任务上的效果,评估指标覆盖准确率、ROUGE 和延迟。结果显示,o_proj 作为单模块目标最稳健,几乎不失手且通常接近最佳;qkv-only 波动较大,容易在复杂任务上欠拟合。对于更难的任务,o_proj + fc2 往往能取得更高精度,但相对单独 o_proj 只带来小幅收益。文章最终给出面向效率与精度的配置建议,并指出模块选择仍受基座模型、任务类型和模态影响,难以一刀切。

文中明确给出了跨 7 个数据集的消融结果、延迟对比和可落地的模块选择建议,不是泛泛而谈的 LoRA 介绍。适合做 LLM 微调、推理成本优化和生产化适配器设计的参考,但结论主要基于 Nova 2.0 Lite,迁移到其他基座模型仍需复验。

技术文章Go Blog

Allocating on the Stack

文章系统介绍 Go 编译器在切片分配上的栈化优化演进:从原先 append 扩容时频繁产生 1、2、4… 的堆分配和 GC 压力,到 Go 1.25 对小尺寸 make([]T,0,n) 的推测性栈分配,再到 Go 1.26 对 append 扩容场景也能先用栈上小缓冲、必要时再转堆。作者解释了返回切片等逃逸场景下,编译器如何借助 runtime.move2heap 把最终结果搬到堆上,同时尽量保留中间阶段的栈分配收益。文章还点明这些优化依赖切片最终大小、是否逃逸以及 32 字节等边界条件,并给出关闭优化的调试开关。整体上它展示了 Go 通过编译器与运行时协同减少分配、降低 GC 负担的具体机制与适用边界。

推荐收录,因为文章直接给出了 Go 1.25/1.26 在切片分配上从堆到栈、再到自动回迁堆的实现路径,属于可长期参考的编译器优化案例。适合关注 Go 性能、编译器和运行时协同的读者,也能帮助工程师判断哪些写法会触发或错过这些优化。

工程实践Stanford Hazy Research

ThunderKittens 2.0: Even Faster Kernels for Your GPUs

这篇文章发布了 ThunderKittens 2.0,一个面向 GPU 的 CUDA 内嵌 DSL,并顺带给出一篇面向 Blackwell 的内核优化复盘。新版增加了 MXFP8/NVFP4 支持、调度与 tensor memory 控制能力、简化的构建结构,并把多个示例内核升级到更现代的 API。技术部分重点解释了为何原先放在 GEMM 路径中的两类 fence 实际上并非必需,作者通过 PTX 的因果顺序与 proxy 规则证明共享内存和 tensor memory 的可见性已被保证,去掉后带来约 20 TFLOP/s 的收益。文章还分析了 tcgen05.cp 与 tcgen05.mma 的隐式流水、PTX assembler 对单线程指令的保守串行化、cluster size 对占用率的影响,以及 tensor memory 触发的单 SM occupancy 限制。最后给出较完整的 GPU kernel benchmark 规范,强调输入分布、L2 冷热状态、warmup 和温度稳态都会显著影响 TFLOPs。整体内容适用于做 Blackwell/CUDA 内核、性能分析和基准设计的人,但结论主要建立在特定硬件与 PTX 行为之上,跨架构迁移时需要重新验证。

推荐收录,因为文章不是单纯发布稿,而是给出了 Blackwell GPU 内核优化的具体证据:PTX 因果/代理模型、assembler 生成差异、cluster 占用率和基准方法都配有可验证的观察。适合做 CUDA 内核、性能调优和基准设计的读者参考,但其结论强依赖 Nvidia 新架构与特定指令语义,迁移到其他 GPU 时需重新实测。

工程实践Datadog Engineering

How we reduced the size of our Agent Go binaries by up to 77%

文章复盘 Datadog Agent 的 Go 二进制体积膨胀问题,目标是在不牺牲功能的前提下显著缩小分发包。作者先用依赖图和链接器输出定位体积占比最高的模块,区分出业务依赖、重复引用和可裁剪的标准库/第三方包。随后通过移除冗余依赖、按平台或功能拆分构建、调整编译与链接参数等手段,把不可见但昂贵的体积成本逐步压缩。最终部分目标二进制缩小最多 77%,同时验证启动、发布和维护流程没有被破坏。文章也说明这类优化强依赖 Go 项目结构与构建链,若程序本身耦合过深或功能必须全量打包,收益会明显下降。

收录,因为文章给出了从体积测量、依赖分析到构建裁剪的完整路径,并用“最多 77%”的结果证明优化有效。适合维护 Go CLI、agent、sidecar 或容器镜像的工程师参考;但许多手段依赖项目结构和构建链,迁移时要先做体积画像。

工程实践Blender Developers Blog

Winter of Quality 2026

这篇文章回顾了 Blender 在 2025—2026 冬季进行的“质量季”工作,重点不是新功能,而是围绕稳定性、缺陷修复、测试补强和技术债清理展开。两个月内修复了 350+ 个用户报告的问题,并按动画、建模、节点、渲染、界面、视口等模块给出分布,说明质量投入是按子系统推进的。正文还列出多项结构性工作,例如将代码从旧式 C 接口迁移到更现代的 C++ 风格、补充自动化测试、优化性能、完善文档,以及完成 Mesh 属性存储格式切换等。文章也展示了缺陷分流和 triage 的进展,未分配问题显著下降,说明质量治理不仅是修 bug,也包括流程改进。其边界在于这是项目回顾而非深入技术复盘,很多条目只给出结果和方向,缺少实现细节与量化对比,但仍适合作为开源大型工程做稳定性治理的参考案例。

推荐收录,因为它明确给出了 350+ 缺陷修复、自动化测试补强、代码现代化和 triage 流程改进等直接证据,体现了大型开源项目如何系统性提升质量。适合做开源维护、稳定性治理和技术债清理的参考,但读者需注意它偏项目总结,细节深度有限。

技术文章Max Bernstein

Type-based alias analysis in the Toy Optimizer

文章延续 Toy Optimizer 系列,围绕加载/存储转发中的别名分析展开,先指出仅按偏移量划分 alias class 太粗,会把不同类型对象上同一偏移的访问误判为冲突。作者借鉴 type-based alias analysis,用类型层次树的前序/后序区间表示各 heap region,将“是否可能别名”转化为区间重叠查询,并在缺少类型信息时退化到 Any。随后又补充了对象来源、分配点、常量对象和已知内建函数副作用等更强的别名线索,用于局部保留或部分失效缓存的 heap 信息。文章还讨论了未知调用、逃逸对象与保守失效的边界,强调这种做法在 JIT 和受控语言中能以较低成本提升优化精度,但在通用 C-like 场景下需要更强的分析配合。

推荐收录,因为文章给出了从偏移量别名到类型层次 TBAA 的具体改造路径,还展示了与对象来源、内建副作用和未知调用的联动处理。适合做编译器、JIT 和语言运行时优化的参考,尤其对需要在精度与分析成本之间取舍的读者很有迁移价值。

工程实践Dropbox Tech

How low-bit inference enables efficient AI

这篇文章系统梳理了低比特推理如何通过量化降低大模型在生产环境中的显存、算力和能耗成本,并以 Dropbox Dash 的部署场景说明为什么效率优化会直接影响延迟、吞吐和服务成本。作者先解释了注意力模型中线性层与 attention 的主要开销,再从硬件角度说明 GPU Tensor Core 在精度降低时能获得更高吞吐,因此量化不仅是压缩表示,更是面向 MMA 指令和带宽瓶颈的执行优化。文章重点比较了 pre-MXFP 时代的 A16W4、A8W8、AWQ、HQQ、FlashAttention 3 等方案,指出权重量化更适合小批量、带宽受限场景,而激活量化更适合高吞吐和长上下文预填充。随后作者介绍 MXFP/NVFP4 等新标准,强调其把微缩放和量化支持下沉到硬件后可减少显式反量化开销,但不同 GPU 架构和框架支持仍不统一。文章结论是:低比特推理的收益很大,但真正可落地的前提是硬件、编译器、内核和推理框架协同成熟,当前 FP4 生态仍存在兼容性与模型质量边界。

文章直接给出了量化格式、硬件指令和推理场景之间的取舍证据,不是泛泛介绍概念,而是面向生产部署的效率分析。适合做大模型推理、GPU 优化和 AI 基础设施选型的长期参考,尤其对关注吞吐、延迟与生态兼容性的工程团队有迁移价值。

职业经验Brendan Gregg

Why I joined OpenAI

这篇文章是 Brendan Gregg 解释自己加入 OpenAI 的个人职业选择与工作动机,核心围绕 AI 数据中心在成本、能耗和规模上的压力,以及性能工程在其中的价值。作者结合与多位从业者、朋友和普通用户交流的经历,说明 ChatGPT 已经成为大众高频工具,这种真实使用场景改变了他对 AI 落地的判断。他还回顾了自己从少年时期想做“Orac”式对话系统,到后来从事数据中心性能工作的长期兴趣脉络,强调自己希望把性能优化方法直接用到 ChatGPT 性能团队。文中也交代了他在 OpenAI 的岗位、远程办公地点、初始项目方向,以及会继续使用 eBPF、Ftrace、PMCs 等手段寻找更大优化空间。整体属于职业决策与岗位展望,而非系统化技术教程,技术细节主要停留在方法与方向层面。

推荐收录,因为文章直接给出了顶级性能工程师选择 AI 公司与岗位的依据:真实用户规模、算力/能耗压力、团队能力和个人兴趣的交汇。适合关注 AI 基础设施、性能工程或职业转型的读者参考,但需要注意它是带强烈个人色彩的叙述,不是可复用的完整方法论。

工程实践Lyft Engineering

Lyft’s Feature Store: Architecture, Optimization, and Evolution

这篇文章系统复盘了 Lyft Feature Store 的架构、演进和优化实践,重点解释了如何用统一的特征平台支撑大规模 ML 训练与在线推理。文章把系统拆成批处理、在线服务和流式三条路径:批特征由 Spark SQL+JSON 配置生成 Airflow DAG,在线侧以 DynamoDB 为持久存储、ValKey 作写穿缓存,并为 embedding 引入 OpenSearch。作者进一步说明了特征治理机制,包括版本、血缘、元数据、数据质量检查、Amundsen 可发现性,以及 Kyte 本地开发和 SDK 提升迭代效率。平台演进部分展示了从 Flyte 迁移到 Astronomer、收缩少数边缘能力、增加 staging、数据契约和实时特征抽象的取舍。性能优化则聚焦于缓存现代化、payload 精简、pod 规格调整、重试/超时策略和 TTL 管理,最终把读路径 P95 降低约三分之一。文章的边界在于大量方案高度依赖 Lyft 内部工具链与 AWS 生态,但整体方法论具有较强可迁移性。

文章给出了特征平台从架构、治理到性能优化的完整工程证据,不是泛泛介绍概念,而是包含具体存储选型、缓存策略、DAG 生成和迁移取舍。适合数据平台、ML 平台和基础设施团队参考,尤其可迁移的是“统一接口+分层存储+可观测治理+围绕 P95 做瘦身”的方法。

工程实践Lyft Engineering

From Python3.8 to Python3.10: Our Journey Through a Memory Leak

文章复盘了 Lyft 将 Python 服务从 3.8 升级到 3.10 后,某个服务在测试环境出现延迟尖刺、下游 5xx 和内存缓慢增长的排障过程。作者先用统计指标和基于 tracemalloc 的内部内存 профiler 采样,并尝试通过 USR2 信号在 gunicorn worker 上抓取堆栈;但由于启用了 preload,信号处理器只在 leader 进程注册,导致 worker 被误杀。关闭 preload 后,采样堆栈最终指向 pynamodb/botocore/urllib3 的连接池路径。根因是 urllib3 1.26.16 在 gevent 场景下与 weakref.finalize 和 monkey patch 存在不兼容,连接未能及时归还池中,进而引发池耗尽、请求阻塞以及内存上涨。团队先回退到 1.26.15 解除故障,后续在 gevent v25.4.1 与修复后的 urllib3 组合上恢复升级。文章同时说明 Python 版本并非直接元凶,问题更像是依赖版本与协程运行时组合触发的隐性缺陷。

推荐收录,因为文章给出了从延迟、内存增长到信号采样、preload 坑位和依赖回退的完整证据链,不是单纯经验谈。适合做 Python Web 服务、gunicorn/gevent/urllib3 兼容性和生产排障的参考,但结论强依赖具体版本组合,迁移时需重新验证。

技术文章Crunchy Data Blog

PostGIS Performance: Simplification

这篇文章围绕 PostGIS 中“几何简化”展开,比较了多种常见方法在点数压缩、形状保真和有效性上的差异。作者先用 ST_Letters、ST_Segmentize 和 ST_RemoveRepeatedPoints 构造出可观察的测试图形,再依次展示 ST_Simplify(Douglas-Peucker)、ST_SimplifyVW(Visvalingam-Whyatt)、ST_SnapToGrid 与 ST_ReducePrecision 的效果。文章指出,Douglas-Peucker 更偏向折线压缩,VW 在多边形形状保留上通常更好,而简单网格吸附虽能统一精度却容易产生无效多边形。相较之下,ST_ReducePrecision 在固定精度与几何有效性之间提供了更稳妥的折中。最后还补充了 PostGIS 3.6 新增的覆盖面处理能力:先用 ST_CoverageClean 清理共享边界,再用 ST_CoverageSimplify 对相邻面集合整体简化,适用于需要边界一致性的专题图或覆盖数据。

文章直接比较了多种 PostGIS 简化函数的输出差异、有效性风险和适用场景,不是泛泛介绍 API。对做空间数据处理、地图渲染或数据库性能优化的读者很有参考价值,尤其适合需要在精度、合法性和边界一致性之间做取舍的工程场景。

技术文章Crunchy Data Blog

How to Read Postgres EXPLAIN: A Guide to Scan Types

这篇文章以 Postgres 的 EXPLAIN 输出为切入点,系统讲解了常见扫描类型及其适用场景,帮助读者从执行计划中判断查询为何快或慢。文章依次解释了顺序扫描、索引扫描、位图索引扫描与位图堆扫描、并行顺序扫描、并行索引扫描以及索引仅扫描,并配合真实的 EXPLAIN ANALYZE 示例展示各自的计划形态和指标。作者不仅说明了这些扫描方式的工作机制,还强调了优化器的选择逻辑,例如小表、返回比例较高或需要随机访问过多时,顺序扫描可能优于索引扫描。对于索引仅扫描,文章进一步讨论了覆盖索引带来的收益,以及写放大、索引体积和适用列数等边界条件。整体上,这是面向 PostgreSQL 性能排查与执行计划阅读的实用入门,但内容仍以常见扫描类型为主,未深入展开代价模型或更复杂的连接/排序计划。

文章直接给出了多种 EXPLAIN 扫描节点的真实输出和判读方法,适合做 PostgreSQL 性能排查、SQL 优化和执行计划入门参考。它的可迁移价值在于帮助读者建立“选择哪种扫描方式、为什么会选它”的心智模型,但内容主要覆盖基础扫描类型,深层优化仍需结合具体工作负载。

科研议题Stanford Hazy Research

Maximizing American Gross Domestic Intelligence with Hybrid Inference

文章提出“Gross Domestic Intelligence(GDI)”框架,把国家可部署的AI能力近似写成“单位功耗的智能效率(IPW)× 可用于计算的电力”,并用它解释中美在AI竞赛中的不同瓶颈:美国更受电网和数据中心选址约束,中国更受高端芯片与制造工具限制。作者进一步指出,随着推理型服务和Agent需求上升,AI竞争正从训练转向推理部署,因此应把美国境内大量闲置的本地加速器视为战略资源。基于对1M单轮对话/推理查询的研究,文章主张采用本地-云混合推理:简单请求在设备端处理,复杂请求升级到云端。文中声称这种路由可覆盖80%以上的单轮查询,并相对全云方案带来约64%的能耗、62%的算力和59%的成本下降,同时把美国可用推理容量提升约2-4倍。文章的主要适用边界是单轮聊天与推理场景;对强SLA、长上下文和高难度任务,仍需依赖前沿云模型,且文中的国家级容量与政策推论高度依赖若干估算假设。

文章给出了可复用的技术框架:用路由器把本地模型与云端模型组合起来,并用真实流量和能效数据量化收益。适合关注推理系统、端侧AI、容量规划和隐私架构的读者;需要注意的是,其中的地缘政治与国家级GDI推导建立在多项估算上,宜把结论视为策略判断而非精确测量。

工程实践Datadog Engineering

Scaling real-time file monitoring with eBPF: How we filtered billions of kernel events per minute

文章介绍 Datadog 如何用 eBPF 构建实时文件监控,在保持完整检测覆盖的前提下,将内核事件处理规模提升到每分钟 100 亿级。核心问题不是“能否采集”,而是如何在内核态对海量事件做前置过滤,减少无效上报、避免用户态开销和放大效应。作者围绕事件选择、规则匹配、上下文保留与数据路径设计,说明了怎样把原本细粒度的文件访问流量压缩成可分析信号。文中还讨论了性能瓶颈、验证方法以及与检测准确率之间的权衡,强调系统要同时满足低延迟、低丢弃和可维护性。这套经验适合主机安全、可观测性或高频内核事件采样团队,但方案强依赖 eBPF/Linux 环境,迁移到其他平台需重新评估事件模型。

推荐收录,因为文章给出了把 eBPF 文件监控扩展到每分钟百亿级内核事件的具体过滤与数据路径设计,而不是泛泛介绍特性。适合主机安全、可观测性和 Linux 内核工程读者参考,尤其有助于理解高频事件下如何在覆盖率、延迟和开销之间做取舍。

工程实践Stanford Hazy Research

Loads and Loads of Fluffy Kittens

文章系统总结了 ThunderKittens 在多 GPU 计算-通信融合中的设计经验,围绕传输机制、重叠调度和 tile 组织给出可复用原则。作者比较了 copy engine、TMA 与寄存器级指令的适用区间,指出消息粒度、是否需要 in-network reduction、以及能否与计算对齐,决定了最优方案。随后用这些原则实现并评测了数据/张量并行中的 AG+GEMM、GEMM+RS/AR,序列并行中的 Ring Attention 与 Ulysses,以及 MoE token dispatch 融合 GEMM,整体能以几十行 device code 达到或超过手写优化内核。文章也明确了边界:结论主要针对 NVLink/NVSwitch 上的 Hopper/Blackwell,跨节点、不同互联和不同算子仍需重新权衡。

收录,因为它不只是展示结果,而是把多 GPU 算子融合的关键选择——传输机制、调度方式和 tile 划分——用实验和对比讲清楚了。适合做 AI 系统、GPU 性能优化和分布式算子设计的参考,但需要注意其验证平台主要是 NVLink/NVSwitch 体系。

科研议题Stanford Hazy Research

ParallelKittens: Simple and Fast Multi-GPU AI Kernels

这篇文章是 ThunderKittens 新增多 GPU 能力的总览性介绍,核心目标是把 AI kernel 从单卡扩展到基于 NVLink/NVSwitch 的 scale-up 多 GPU 场景。作者提出三条经验:通信启动方式有不同开销,调度可以在主机、SM 乃至 SM 内部多层重叠通信与计算,以及直接手写少量 device 代码往往比 NCCL、NVSHMEM 等现成库更能利用新硬件特性。文章强调 tile 仍然是多 GPU kernel 的基本抽象,因为它既能饱和带宽,又能延续 ThunderKittens 的编程模型。作者用 BF16 all-reduce、all-gather+GEMM 和 Ring Attention 等基准展示更新版实现已能达到或超过现有最优结果。其边界是目前主要聚焦单机多 GPU,后续还计划补充跨节点通信、MoE 负载均衡和文档整理。

推荐收录,因为文章明确给出了多 GPU kernel 的设计原则、通信/调度取舍以及基准结果,并不是泛泛的产品宣传。适合做 GPU 系统、AI kernel 优化和多卡通信设计的参考,尤其对需要从 NCCL 之类库转向自定义实现的读者有直接迁移价值。

技术文章Brendan Gregg

Third Stage Engineering

文章提出一个关于计算机性能评估的“三阶段火箭”比喻:硬件只是第一阶段,软件适配是第二阶段,真正拉开差距的是第三阶段的调优。作者指出,很多厂商和外部评测只比较裸硬件性能,却忽略了面向特定工作负载的软件栈选择、编译/运行时优化以及参数配置,这会导致对真实生产表现的误判。文中把“third-stage engineering”拆成人员、培训、工具和调优能力四部分,强调需要能做观测分析与实验验证的团队,才能把系统性能推到更高水平。其核心结论是:面向客户和生产环境的性能判断,必须同时看硬件、软件与调优三层,而不是只看单点基准。文章更偏方法论与认知框架,适合做性能评测、系统优化和硬件选型时的长期参考。

推荐收录,因为文章直接指出了“只看硬件”会导致性能评测失真,并明确给出了软件适配与第三阶段调优的分析框架。对做基准测试、平台选型、性能优化和供应商评估的读者都很有迁移价值,但它更偏观点总结,缺少具体实验案例与量化数据。

工程实践Instacart Tech Blog

Building The Intent Engine: How Instacart is Revamping Query Understanding with LLMs

文章复盘了 Instacart 用 LLM 重构 Query Understanding 的全过程,目标是提升购物搜索中长尾、口语化和歧义查询的意图识别能力。作者先指出传统方案依赖噪声标签、多个独立模型和碎片化流水线,难以同时兼顾召回、精度与维护成本。新方案以 LLM 为核心,分三层推进:用 RAG 和提示工程注入类目、转化等业务上下文,用后处理 guardrails 约束幻觉和类目偏差,再对关键场景做 LoRA 微调,把领域知识固化到小模型里。文章分别展示了类目分类、query rewrite 和 SRL 三个任务的改造方式,尤其强调“teacher 生成离线高质量数据 + student 承担实时长尾推理”的混合架构。最终他们在 8B 模型上达到接近大模型的 F1,并通过缓存、H100、adapter merge、量化取舍和 autoscaling 把延迟压到约 300ms,证明该路线既能提升搜索质量,也能控制成本,但前提是业务上下文足够丰富且可被持续治理。

收录依据很明确:文章不仅讲了 LLM 替代传统 QU 的思路,还给出了 RAG、guardrails、微调、缓存与延迟优化的完整落地链路,以及精度/召回/成本的结果。适合做搜索、推荐或垂直场景 LLM 工程的参考,尤其对需要处理长尾查询和实时推理约束的团队有直接迁移价值。

工程实践Stanford Hazy Research

AMD GPUs go brrr

这篇文章深入分析了 AMD MI355X/CDNA4 GPU 上 AI kernel 的性能来源,并提出 HipKittens 作为面向 AMD 的编程原语集合。作者先从硬件结构入手,对比了 AMD 与 NVIDIA 在寄存器文件、SRAM、矩阵指令、chiplet/L2/LLC 组织以及编译器支持上的差异,说明许多在 NVIDIA 上有效的做法在 AMD 上会失效。文章重点解释了为什么 wave specialization 在 AMD 上表现不佳:没有寄存器重分配、AGPR/VGPR 约束更强、以及细粒度同步和内存指令行为更复杂。为此,作者提出 8-wave ping-pong 和 4-wave interleave 两种调度模式,并结合 chiplet-aware 的 grid 排布来提升缓存复用。实验表明,这些策略在 GEMM 和 attention 等工作负载上能达到接近或优于现有 AMD 基线的性能,但其方法强依赖 CDNA3/4 细节、HIPCC 行为和底层指令布局知识,移植到其他平台仍需重新验证。

收录依据很明确:文章不仅给出 AMD GPU 的硬件差异分析,还提供了寄存器调度、bank conflict、chiplet cache 复用和基准测试的完整证据链。适合做 GPU kernel、编译器和 AI 基础设施的长期参考,但读者需要接受其强 AMD/CDNA 绑定和大量底层实现细节。

工程实践Stanford Hazy Research

HipKittens: Fast and Furious AMD Kernels

文章围绕 AMD GPU 上的高性能 AI kernel 设计,介绍了 HipKittens 这一套面向 HIP 的 C++ 嵌入式原语。作者先分析现有 AMD 软件栈的问题:AITER、PyTorch、Triton、TileLang 和 CK 在若干 attention/GEMM 场景下难以稳定逼近峰值,部分还受限于寄存器分配、bank conflict、chiplet swizzle 等硬件细节。随后提出核心判断:tile 抽象可以跨架构复用,但真正决定性能的内存访问、调度和后端实现必须按 AMD/ NVIDIA 分开定制。基于这一思路,HipKittens 用约 500 行代码实现 attention 前向、不到 100 行热循环实现 GEMM,并在多项基准上超过现有基线。文章同时指出 wave specialization 在 CDNA3/4 上并不总有效,说明可移植的高层接口并不等于可移植的底层优化。

文中直接给出可验证的性能结果:HipKittens 的 attention 和 GEMM kernel 在 AMD MI355X 上超过多种基线,且代码规模很小,说明其方法不只是概念展示。适合做 GPU kernel、AI 编译器和多硬件适配的参考,尤其能帮助读者理解“统一接口、分离后端实现”的可迁移设计。

科研议题Stanford Hazy Research

Intelligence Per Watt: A Study of Local Intelligence Efficiency

这篇文章提出用“intelligence per watt(IPW)”衡量本地推理的效率,把任务准确率除以推理功耗,试图用一个统一指标比较不同本地模型与加速器的“单位能耗智能产出”。作者从主机时代到PC时代的算力迁移类比出发,认为随着小模型能力提升和本地硬件进步,部分原本依赖云端的大模型请求可以迁移到本地设备。文章基于100万条真实查询与多种基准,评估了20多种本地LLM和多类硬件,发现本地模型已能正确处理88.7%的单轮聊天与推理任务,且2023到2025年间效率提升约5.3倍。研究同时指出,本地加速器与企业级加速器之间仍有约1.5倍的IPW差距,说明硬件侧还有明显优化空间。文章也明确了边界:主要覆盖单轮通用问答与推理,不涉及长链路代理任务、长文档处理或更大批量推理;功耗测量与“准确率=智能”的代理指标也存在近似误差。

推荐收录,因为它不仅讨论本地LLM是否“能用”,还给出了可复现的评测指标IPW、真实查询数据和跨硬件实验结果,证据链完整。适合关注推理成本、边缘部署和模型/硬件协同优化的研究者与工程师参考,但需注意其结论主要适用于单轮通用任务,不能直接外推到agent或长上下文场景。

工程实践Go Blog

The Green Tea Garbage Collector

文章介绍 Go 1.25 中实验性垃圾收集器 Green Tea 的设计与落地。作者先回顾 Go 现有的标记-清扫 GC,指出其主要成本集中在标记阶段,而且大量时间浪费在指针追踪带来的随机内存访问和 CPU 缓存失配上。Green Tea 的核心改动是“按页而不是按对象”组织工作队列:在页级别积累待扫描对象,用 seen/scanned 位图在页内区分已发现和已扫描的对象,从而把零散遍历变成更连续的内存扫描。文章进一步说明它如何借助 AVX-512 和 VGF2P8AFFINEQB 等指令做位图扩展与筛选,把多个步骤压缩到寄存器内完成。实测显示,多数负载可减少约 10% 的 GC CPU 时间,部分负载可达 40%,但结构很不规则、每页常只出现单个待扫对象的场景收益会变小甚至可能回退,因此仍是一个依赖工作负载形态的优化。

推荐收录,因为文章给出了 Go 运行时 GC 的具体瓶颈、页级扫描的新算法、位图与向量化实现细节,以及在生产环境中的量化收益,证据充分且可迁移性强。适合关注运行时、性能优化、缓存友好数据布局和指令级加速的读者;同时也提醒读者该方案对负载形态敏感,实验性开关阶段仍需做基准验证。

工程实践Stanford Hazy Research

How Many Llamas Can Dance in the Span of a Kernel?

这篇文章介绍了 Stanford Hazy Research 的一个吞吐优先版 Llama-70B megakernel:在 8 卡张量并行场景下,把预填充与解码、Paged KV cache、跨 GPU 通信和 CPU 侧调度尽量纳入单个内核的统一执行框架。作者沿用“解释器模板 + 指令序列”的设计,由 CPU 预先生成调度,内核内部按较粗粒度指令执行,从而减少 kernel launch、协调开销和 CPU 参与。文章重点分析了三类重叠:SM 内重叠、跨 SM 重叠和跨 GPU 重叠,并说明如何通过 warp specialization、显式同步和远程读写把这些优化放进同一套 megakernel 里。实测上,该原型在 ShareGPT 65,536 prompts 上端到端比 SGLang 快约 22%。其边界在于依赖较大的算子粒度和复杂的手工调度,当前更适合大模型高吞吐推理,而非所有模型与硬件都能直接套用。

推荐收录,因为它给出了把多 GPU 推理的调度、通信与计算统一进单核框架的直接实现证据,而不只是概念讨论。适合做大模型推理系统、CUDA 优化和高吞吐服务设计的参考,尤其对需要权衡 launch 开销、通信重叠和调度复杂度的工程场景很有迁移价值。

工程实践Stanford Hazy Research

We Bought the Whole GPU, So We're Damn Well Going to Use the Whole GPU

这篇文章介绍了一个面向 Llama-70B 张量并行推理的高吞吐 megakernel,目标是在 H100 上把计算、显存带宽和 NVLink 通信尽量同时吃满。作者先回顾了此前面向低延迟的单卡 megakernel,再说明高吞吐场景下工作负载更异质:矩阵乘法偏计算、RMS norm 和 decode 偏内存、跨 GPU 交换偏通信,因此必须做分层重叠。文中提出新的指令集与解释器执行模型,把 RMS norm、QKV、Attention、O-projection、MLP 等融合为少量指令,并用分布式 transpose 代替部分 reduce-scatter,以便把通信隐藏在后续计算之后。文章还展示了三层优化:SM 内指令流水化、跨 SM 的全局 work queue 动态调度、跨 GPU 的 storer 线程通信重叠,并通过消融实验证明这些策略在大 batch 下能带来数个百分点到十几个百分点的吞吐收益。最终将 megakernel 集成到 Tokasaurus,在 ShareGPT 65,536 prompts 的端到端吞吐上比 SGLang 高约 22%,但作者也明确说明这套代码对编译器版本、GPU 配置和同步细节非常敏感,属于研究原型而非可直接落地的生产实现。

推荐收录,因为文章给出了可复现的系统设计证据:指令/解释器架构、跨 SM 全局调度、跨 GPU 通信重叠,以及对应的消融和吞吐数据。适合做大模型推理、GPU kernel 融合和多卡通信优化的参考,但需注意它是强依赖 H100 和编译环境的研究代码,不宜直接当作生产模板。

工具笔记Go Blog

Flight Recorder in Go 1.25

文章介绍了 Go 1.25 新增的 flight recorder:它基于执行 trace,但不再把全量数据写到文件或 socket,而是将最近几秒的 trace 缓存在内存中,等程序检测到故障时再一次性导出。作者给出 `MinAge`、`MaxBytes`、`Start/Stop` 与 `WriteTo` 的使用方式,并说明该机制特别适合长时间运行的 Web 服务。文中以一个 HTTP “猜数字”服务为例,展示如何在请求耗时超过 100ms 时触发快照,再用 `go tool trace` 查看时间线和 flow event。最终定位到 `sendReport` 中 `defer Unlock` 让锁持有时间被意外拉长,导致偶发长尾延迟。文章也明确了适用边界:它不是全量追踪方案,仍需合理控制内存预算和触发条件。

文中直接给出 flight recorder 的 API、配置参数、快照导出和 trace 分析流程,并用真实并发性能问题证明其定位价值。适合维护 Go 长运行服务、排查线上延迟和锁竞争的工程师,迁移价值在于“先留最近窗口、再按异常触发取证”的诊断思路。

工程实践Stanford Hazy Research

One Kernel for All Your GPUs

这篇文章系统讲解了如何在 NVIDIA 多 GPU 平台上手写高性能通信核,重点面向 NVLink/NVSwitch 互联的单机多卡场景。作者先解释了跨进程共享 GPU 内存的三种路径:UVA、CUDA IPC 和手动 VMM,并说明为何生产环境更需要后两者以及它们的初始化开销与边界。随后文章分析了 NVSwitch 的广播/归约加速机制,以及 copy engine、TMA 和寄存器指令三种通信方式在带宽、并发和可融合性上的差异,给出在 B200 上的实测利用率。最后,作者把这些机制封装进 ThunderKittens 的 PGL 和 TKParallelTensor,展示了不到 100 行代码实现 all-reduce、all-gather、reduce-scatter 和 all-to-all,并在 8 卡 B200 上相对 NCCL 取得最高 2.6x 提升。文章的适用边界也很明确:它主要针对单机 NVLink/NVSwitch 域内的细粒度通信优化,且依赖 VMM、固定粒度显存和较强的 CUDA/编程模型理解,不直接覆盖跨节点通信。

收录价值很高,因为文章不仅给出性能结果,还把多 GPU 通信从内存映射、NVSwitch 机制到 kernel 设计完整串起来,直接提供了可复用的实现路径。适合做分布式训练、MoE、序列并行和自定义 collective 的工程参考;但读者需要接受其局限于单机 NVLink/NVSwitch 域,且实现门槛较高。

工程实践Datadog Engineering

From hand-tuned Go to self-optimizing code: Building BitsEvolve

文章介绍 Datadog 如何把 Go 热路径上的人工性能调优,抽象为一个可持续运行的自优化系统 BitsEvolve。作者围绕热点识别、候选优化生成、自动基准验证、收益评估与安全护栏,构建了 AI 辅助的连续优化流程,使性能改进不再完全依赖手工介入。文中强调,这种方法更适合重复出现、可量化收益、且回归风险可控的局部优化问题,而不是任意复杂业务逻辑。最终该系统在真实线上场景中节省了数千个 CPU core,体现出把性能优化工程化、平台化的价值。其适用边界也很明确:必须有稳定基准、可观测指标和严格回滚机制,否则自动优化可能放大风险。

收录依据很直接:标题与简介明确给出“self-optimizing code”“AI-assisted performance improvements”和“saved thousands of cores”,说明这是可落地的性能工程案例,而非概念展示。适合做 Go 服务、基础设施和成本优化的参考,尤其对需要把热点优化自动化、平台化的团队有迁移价值。

工程实践Datadog Engineering

Scaling down to speed up: How we improved efficiency of live process metrics by 100x

文章复盘 Datadog 为 Processes 和 Containers 视图重构实时数据管线的过程,目标是在保留在线进程指标可用性的同时显著降低采集与传输成本。作者先说明原方案在流量规模、处理链路和基础设施占用上的瓶颈,再介绍新的架构拆分与数据处理方式,最终把流量压缩 100 倍、基础设施消耗降低 98%。文中强调的不是单点优化,而是围绕实时性、可见性和成本之间的取舍重新设计系统边界。它对可观测性平台、高基数指标处理和流式管线重构都有迁移价值。需要注意的是,方案效果依赖 Datadog 的数据形态与产品场景,未必可直接照搬。

推荐收录,因为正文直接给出了“流量减少 100x、基础设施减少 98%”的量化结果,并明确讨论了实时指标管线的架构重构与系统取舍。适合做可观测性平台、流式处理和高基数指标设计的工程参考,尤其适合需要在实时性与成本之间权衡的团队。

工程实践Blender Developers Blog

Blender for Windows on Arm

这篇文章回顾了 Blender 在 Windows on Arm(WoA)上的移植与加速进展,说明该项目在 Microsoft、Linaro 和 Qualcomm 的合作支持下,已能在 Snapdragon 等 ARM64 Windows 设备上稳定运行。文章重点介绍了从 Blender 4.3 开始的官方 WoA 支持,以及在 4.5 LTS 中引入 Vulkan 后,EEVEE 视口播放和渲染性能得到显著提升。作者还给出了针对 Adreno GPU 的基准测试,显示 Vulkan 相比 OpenGL 在不同示例场景下有明显收益,尤其是播放帧率和渲染耗时改善突出。文中进一步指出,当前优化重点仍在着色器优化、Adreno 瓦片架构利用和 UI 性能,长远目标是到 2026 年为 Snapdragon GPU 上的 Cycles 提供硬件加速光追。整体来看,这是一篇围绕跨平台图形栈迁移、驱动适配与性能验证的工程案例,但结论主要适用于具备 Vulkan 和特定 ARM GPU 支持的环境。

推荐收录,因为文章给出了 WoA 移植、Vulkan 后端切换和实际基准数据,能直接看到图形应用在 ARM Windows 设备上的性能收益与边界。适合做跨平台图形开发、GPU 适配和开源工程协作的参考,但其结论强依赖 Blender、Adreno 和 Vulkan 生态。

职业经验Brendan Gregg

When to Hire a Computer Performance Engineering Team (2025) part 1 of 2

本文讨论在什么情况下应成立计算机性能工程团队,以及这类团队的投资回报如何评估。作者从多年在 Netflix、Intel 等公司的经验出发,指出性能工程的主要价值不只是降本,还包括降低延迟、提升可扩展性与可靠性,以及加快研发推进。文中详细列举了团队的工作范围:测试和推动新软硬件采纳、构建内部观测与分析工具、深入定位瓶颈和尾延迟、调参优化、做容量规划与知识分享等。作者给出粗略的组建门槛和规模建议,例如当基础设施支出达到百万美元级别就应考虑专职人员,并强调已有的 SRE/高级开发者会部分覆盖这类工作。文章也说明这些建议更适用于技术消耗型公司,且实际收益依赖栈的复杂度、现有优化基础和团队成熟度。

文中直接给出了性能工程团队的职责边界、ROI 构成和规模判断规则,并用 Netflix、Sun 等案例说明其可迁移的判断方法。适合负责基础设施、SRE、技术管理和成本优化的读者参考,但结论依赖公司体量与技术栈复杂度,不宜机械套用。

工程实践Datadog Engineering

How we tracked down a Go 1.24 memory regression across hundreds of pods

这篇文章复盘了 Datadog 在大规模将服务升级到 Go 1.24 后,如何在数百个 Pod 中发现并定位一次内存回归。作者先通过系统级指标和线上观测确认问题不是单点实例异常,而是与新版本运行时相关的整体性内存上升。随后他们逐步缩小排查范围,最终把根因指向 Go runtime 的分配器缺陷,并与 Go 团队协作推动修复。文章的价值在于展示了从真实生产信号、跨层指标关联到运行时 bug 定位的完整排障链路,但其结论也明确依赖于特定 Go 版本与运行时实现环境。

推荐收录,因为它直接给出了“Go 1.24 内存回归—系统指标定位—runtime 分配器 bug”这一完整证据链,而不是泛泛讲升级经验。适合做生产排障、性能回归分析和运行时问题定位的参考,尤其对大规模 Go 服务团队具有可迁移的方法价值。

工程实践Datadog Engineering

How Go 1.24’s Swiss Tables saved us hundreds of gigabytes

文章介绍 Datadog 在 Go 1.24 引入 Swiss Tables 后,对内部高流量服务中的 map 内存占用和性能收益做的实测复盘。作者说明旧版 Go map 在某些业务场景下会带来较高的内存开销,而新实现通过更紧凑的布局和更高效的查找方式,能在 map 密集型工作负载中把内存使用降低最高约 70%。文中重点不是泛泛宣传新版本,而是展示他们如何用 profiling 和线上指标确认收益、识别适用场景,并把改动控制在可验证的范围内。文章也暗示这类收益依赖键值分布、访问模式和业务负载,并非所有程序都会得到同等改善。

推荐收录,因为它给出了明确的工程证据:围绕 Go 1.24 Swiss Tables 的真实工作负载剖析、内存节省幅度和性能验证,而不是停留在版本公告。适合关心 Go 运行时、服务内存优化和性能排障的工程师参考,尤其适合把“新 runtime 特性是否值得升级”转化为可测量、可回滚的决策流程。

科研议题Stanford Hazy Research

BWLer 🎳 (Part 2): Navigating a Precision-Conditioning Tradeoff for PINNs

文章围绕 PINN 在高精度求解 PDE 时常见的精度瓶颈,提出 BWLer(Barycentric Weight Layer)作为一种以重心拉格朗日插值为核心的高精度替代层。作者将函数表示与导数计算解耦:一种模式让 MLP 只预测插值节点值,再由 BWLer 统一完成全局插值与谱导数;另一种模式则直接把节点值作为可学习参数,形成显式 BWLer。实验表明,前者在三个基准 PDE 上可把误差降低 10 到 1800 倍,后者甚至能把相对误差推到 10^-12 量级,接近机器精度。文章进一步指出,精度提升与条件数恶化之间存在显式权衡:节点越多越精细,但导数矩阵越病态,优化越困难。作者也明确了边界条件:对不连续解、复杂几何或需要快速训练的场景,BWLer 目前仍可能比标准 MLP-PINN 更慢、更依赖二阶优化。

收录证据很明确:文章给出可复现的方法设计、三组基准 PDE 结果、误差与条件数的权衡分析,以及对不连续/复杂域的局限说明。适合做科学机器学习、PINN 和数值方法结合方向的长期参考,尤其对关注高精度训练与优化病态性的读者有可迁移价值。

科研议题Stanford Hazy Research

Cartridges: Storing long contexts in tiny caches with self-study

文章提出一种面向长上下文推理的新方法:不再直接用一次前向传播生成巨大 KV cache,而是离线用梯度下降“训练”一个更小的缓存,称为 cartridges。为避免只会死记上下文,作者引入 self-study:先让模型基于上下文生成合成问答/对话,再用 context distillation 训练缓存,从而兼顾压缩率与泛化。实验显示,cartridge 在保持接近常规 KV cache 质量的同时,可将内存占用降低 38.6 倍、峰值吞吐提升 26.4 倍,并能把有效上下文长度扩展到训练时窗口之外。文章还给出一个简化的理论分析,说明梯度下降在某些关联回忆任务上能比注意力或线性注意力更省内存。其局限是训练需要额外离线算力,且方法效果依赖合成数据质量与特定上下文形态,仍需更强的训练效率和理论解释。

文中给出了可量化证据:38.6 倍压缩、26.4 倍吞吐提升,以及在 LongHealth、MTOB 等基准上的结果,说明这不是概念性设想,而是有实验支撑的研究方案。适合做 LLM 长上下文服务、KV cache 压缩和 test-time training 方向的读者参考,但需注意其依赖离线训练与合成数据,落地时要评估训练成本和泛化边界。

科研议题Stanford Hazy Research

Look Ma, No Bubbles! Designing a Low-Latency Megakernel for Llama-1B

本文聚焦低延迟、batch size=1 的 Llama-1B 推理优化,指出 vLLM 和 SGLang 在 H100 上因大量小 kernel、launch/teardown 开销、以及严格的 kernel 顺序同步而只能利用约一半 GPU 带宽。作者提出把整层前向传播融合为一个“megakernel”,并用 GPU 端解释器统一调度各类指令。为解决资源竞争与依赖同步,他们设计了共享内存分页机制和基于计数器的显式同步,把权重加载、激活读写和计算更紧密地流水化。实验显示,H100 上前向传播可达到约 78% 内存带宽利用率,较基线提速 1.5x 至 2.5x;B200 上单次前向可压到 680 微秒以内。文章同时说明该方法主要适用于内存带宽主导、且追求极低延迟的场景,仍受激活加载、原子操作和同步开销限制。

文中给出了可验证的性能数据、明确的瓶颈分析和完整的实现取舍,不是泛泛而谈的加速口号。适合做 LLM 推理、GPU runtime 和系统优化的参考,但其收益主要局限于 batch=1 的低延迟内存受限场景。

工程实践Stanford Hazy Research

Mind the Trust Gap: Fast, Private Local-to-Cloud LLM Chat

这篇文章讨论了如何在云端 LLM 聊天中消除“信任云厂商”的前提,核心方案是把本地客户端与远端机密计算环境连接起来,采用临时密钥交换、CPU/GPU 双重远程证明、端到端加密与带 nonce 的消息传递,让提示词和回复只在 TEE 内明文出现。系统基于 AMD SEV-SNP 与 NVIDIA H100 Confidential Computing 构建嵌套 TEE,覆盖从传输、CPU 进程到 GPU 推理的完整链路。作者同时给出原型实现和性能测量,指出初始 attestation 有 2–6 秒固定开销,但消息加解密几乎可忽略。实验显示小模型与高批量场景下开销较明显,而 10B 以上模型、长上下文和常见在线聊天批次下,额外延迟可降到 1% 左右。文章也明确了边界:原型尚未第三方审计,且演示环境仍依赖 Azure 的虚拟化栈信任。

收录依据很直接:文章不仅讲了机密计算的思路,还给出威胁模型、双层 TEE 协议和实际延迟数据,能支撑对“安全是否必然慢”的判断。适合做 AI 系统、安全工程和隐私推理的参考,但需注意它仍是未审计原型,生产落地前还要补充虚拟化与运维侧的安全验证。

工具笔记Brendan Gregg

Doom GPU Flame Graphs

文章介绍了 Brendan Gregg 团队开源的 AI Flame Graphs 新能力:在 Intel Battlemage GPU 上生成完整的 GPU flame graph,并与 FlameScope 结合做 CPU/GPU 的亚秒级可视化分析。作者用 GZDoom 作为案例,通过自制的高负载地图把不同房间的渲染、后处理、stencil 和 sprite 开销拆开观察,并用 GPU flame scope 定位到具体时间窗口。文中还展示了 CPU 端的 shader 编译与 NIR 预处理如何对应到 GPU 空转区间,说明这种图形化方法能快速建立跨 CPU/GPU 的因果关联。与此同时,文章明确列出使用门槛:需要 Linux root 权限、较新的内核与显卡驱动、启用 eustalls/eudebug 接口,以及带 frame pointers 的系统库和应用。它的适用边界也很清楚:当前主要面向 Intel 硬件与 Linux,且采样开销、驱动支持和环境准备仍在完善中。

推荐收录,因为文章给出了可操作的 GPU 性能剖析方法、命令示例和完整环境要求,而不是停留在概念介绍。适合做图形渲染、GPU profiling 和性能诊断参考,但当前局限于 Intel/Linux 生态,部署门槛较高。

科研议题Stanford Hazy Research

BASED ✌️: our one year retrospective

这篇文章是 Stanford Hazy Research 对 BASED 发表一年后的回顾,核心在于重新总结高效语言模型的设计原则与影响扩散路径。作者认为,推理时真正的关键权衡不是“是否使用 Transformer”,而是上下文回忆能力与 state size 之间的关系;BASED 通过“短程精确混合 + 大状态线性注意力”的组合,把这一帕累托前沿向外推进。文章进一步强调了 MQAR、EVAPORATE 等回忆评测任务如何成为衡量高效模型的重要基准,并回顾了该路线如何影响 Mamba-v2、RWKV-v5/v6、MetaLA、MiniMax、Liger attention 等后续架构。实现层面,作者强调从硬件出发设计内核,利用 H100 的 WGMMA/TMA 以及二阶 Taylor 近似的软最大核,在保持高质量的同时提升吞吐,并指出 k=2 在质量与性能间较平衡。文章也给出局限:高效模型仍存在“没有免费午餐”,且结论依赖具体工作负载与硬件平台,迁移时需要重新评估边界。

收录依据明确:文中不仅复盘了 BASED 的设计逻辑,还给出了可复用的评测基准、硬件优化手段和后续模型扩散证据。适合做高效 LLM、线性注意力和 GPU 内核设计的研究参考;但内容带有项目回顾色彩,部分效果宣称仍需结合原论文与独立复现交叉验证。

工程实践Stanford Hazy Research

ThunderKittens Now on Blackwells!

文章介绍了 ThunderKittens 针对 NVIDIA Blackwell/B200 架构的新一代 GEMM 与 Attention kernel 实现,并解释其为什么能接近或超过 cuBLAS、FA3 的性能。作者把重点放在“数据流”而非传统 CUDA 控制流上,围绕 5 代 tensor cores、tensor memory 和 CTA pairs 设计更深的流水线,通过 producer/consumer warpgroup 协作、persistent kernel、跨迭代预取 K/V、以及把输出累积器逐级写回共享内存和 HBM,尽量消除 pipeline bubble。文章还指出 B200 的 tensor core 更大,微基准上更像 128×128 systolic,因此只有当 M、N 维度足够大时才能充分吃满算力,小尺寸 GEMM 会按比例降速。它同时展示了如何把 Hopper 上的 kernel 结构迁移到 Blackwell,并说明 tensor memory 如何缓解 backward pass 的中间状态压力。整体结论是:Blackwell 的性能优化核心是提高并行数据供给深度,而 TK 的 tile 抽象恰好适配这一点,但收益依赖于特定硬件与形状假设。

推荐收录,因为文章直接给出了 Blackwell 上 GEMM/Attention kernel 的实现思路、硬件特性利用方式和明确的性能对比结果,而不是泛泛介绍新卡参数。适合做 GPU kernel、AI 加速和高性能计算的长期参考,尤其对需要把 Hopper 代码迁移到 Blackwell 的读者有可迁移的流水线设计价值;但其结论强依赖 B200 的 128×128 计算单元和特定 tile 形状。

工程实践Stanford Hazy Research

ThunderMLA: FlashMLA, Faster and Fused-er!

本文介绍 Stanford Hazy Research 的 ThunderMLA:针对 LLM 推理中变长请求和小批量 decode 的性能瓶颈,把原本分开的 attention/归约 kernel 融合成一个可由指令张量驱动的 megakernel。作者提出 ThunderKittens 的 interpreter template,在 GPU 上用虚拟指令集组织子 kernel,并通过全局 tensor 做依赖同步,从而减少 kernel launch、尾部效应和中间结果写回。文中还给出两种调度器:静态调度器与基于 makespan 反推的调度器,后者能进一步压缩执行时间约 10%。在 H100 上,ThunderMLA 相比 DeepSeek 的 FlashMLA 在多个 workload 上提升约 20–35%,但调度生成本身仍较慢,主要依赖可复用 schedule,适合推理场景而非通用低延迟单次执行。作者还强调该思路可迁移到 GQA、tensor parallel 的通信重叠以及 MoE 等数据流型 AI 工作负载。

收录价值明确:文章给出了可复现的性能证据、具体的 megakernel 设计和两类调度策略,而不是泛泛谈“更快”。适合做 LLM 推理、CUDA kernel 融合、GPU 调度与性能分析的参考,尤其对需要处理变长序列和小批量 decode 的工程场景可迁移。

科研议题Stanford Hazy Research

Minions: the rise of small, on-device LMs

文章提出 Minions 协议,探索让小型端侧模型与云端前沿模型协作,把长上下文读取、任务分解和部分推理迁移到本地,从而显著降低云端 API 成本。作者先验证了一个较朴素的 Minion 聊天式方案:它只消耗约 3.3% 的云成本,却能保留 87% 的云端性能,但会受到小模型长上下文能力弱、难以稳定执行多步指令等限制。随后 Minions 采用“分解—执行—聚合”循环,由云端模型生成切分与分解代码,本地模型并行处理子任务并筛选结果,再由云端汇总或继续迭代,在金融、医疗和论文问答任务上达到 97.9% 的云端精度,成本仅为 17.5%。文章进一步指出,3B 以下本地模型通常不足以支撑该协议,推理时扩展、细粒度分解和更多通信轮次可继续提升效果,但会带来更长时延和更高本地算力消耗。整体上,它给出了端云协同推理的一种可操作协议,而不是试图用小模型完全替代大模型。

推荐收录,因为文章给出了明确的协议设计、对照实验和成本-精度数据,而不是停留在“小模型很有潜力”的泛论。适合关注端云协同、长上下文任务和推理成本控制的研究者与工程师参考,但其收益依赖较强本地模型与特定数据密集型场景。

工程实践Stanford Hazy Research

ThunderMittens For Your ThunderKittens

文章记录了 Stanford Hazy Research 将 ThunderKittens 这一面向 NVIDIA GPU 的 AI kernel DSL 移植到 Apple Silicon/Metal 的过程,并把新版本命名为 ThunderMittens。作者先分析了 M2 Pro 的硬件特征:内存带宽相对算力更高、共享内存收益有限、bf16 编译优化不稳定、占用率对性能影响很大,因此更适合用直接寄存器加载和更简单的 kernel 组织方式。移植时,用户侧几乎只需把基础 tile 从 16x16 改成 8x8;内部则删去 swizzling、WGMMA/TMA 和异步读写等 NVIDIA 特定机制,并通过不同寄存器布局适配 Metal 指令。文中给出 GEMM 与注意力推理 kernel 的实现片段,说明 DSL 抽象在不同硬件上基本保持稳定,但具体优化手段会随平台变化。性能上,注意力 kernel 与 MLX 相差约 ±15%,GEMM 在多数尺寸上快约 9%,同时代码行数显著减少,但作者也承认当前仍处早期阶段,且调试依赖反复试验与 Xcode GPU 工具。

收录依据很直接:文章不仅给出跨平台 kernel 迁移的设计原则,还提供了具体实现、硬件约束和性能数据,能支撑读者判断 DSL 在异构 GPU 上的适用性。适合做 AI 系统、GPU kernel 和编译/DSL 设计的长期参考,但需要注意其结论主要基于 M2 Pro 与特定 kernel,泛化到其他平台仍需验证。

工程实践Stanford Hazy Research

ThunderKittens: Bringing fp8 to theaters near you

这篇文章介绍 ThunderKittens 为 fp8 新增算子与 GEMM kernel 的实现思路,目标是在保持统一编程接口的同时支持量化数据类型。作者重点解释了 fp8 与 fp16/bf16/fp32 在寄存器布局上的差异,以及为何需要额外的线程间 shuffle 来完成数据重排,而不是简单复用原有 tile 逻辑。文章进一步分析了 ldmatrix/stmatrix 与 WGMMA 在 H100 上的使用方式,说明 fp8 在共享内存到寄存器加载时仍受 16 位指令接口限制,只能通过“先按 16 位加载再拆成两个 fp8”的方式绕过。为了降低 bank conflict,作者讨论了 32/64/128-byte swizzling 的适用条件,并把 fp8 tile 宽度下限提高到 32,以匹配更大的 core matrix 和更好的硬件利用率。整体结论是:fp8 kernel 可以复用 bf16 的整体结构,但必须围绕数据布局、bank conflict 和硬件指令约束做针对性改造,且效果高度依赖 NVIDIA H100 这类支持 WGMMA 的平台。

文中直接给出了 fp8 kernel 的布局、shuffle、swizzle 和 bank conflict 处理细节,并用 H100/WGMMA 约束解释了为何要这样设计。适合做 GPU 算子、AI 基础设施和高性能 CUDA 编程的参考,但结论明显依赖特定硬件代际。

工程实践Datadog Engineering

How we built a Ruby library that saves 50% in testing time

文章介绍 Datadog 用 Ruby 实现测试影响分析库的过程,目标是在代码改动后只运行真正受影响的测试,从而缩短 CI 时间。作者先梳理 Ruby VM 中方法调用、对象分配和加载行为,借助 tracing 记录代码间依赖,再把生产代码与测试用例建立映射。文章详细讨论了 Ruby 动态特性、monkey patch、反射和框架层封装带来的分析误差,以及如何通过过滤规则和采样降低开销。最终该方案在内部场景把测试耗时减少约 50%,但对强动态、依赖隐式副作用的项目效果会下降。全文属于真实工程经验,适合需要优化 CI、构建测试选择或理解 Ruby 运行时可观测性的读者。

收录,因为文章直接给出了“受影响测试选择”这一工程问题的实现路径,且用 Ruby VM tracing、依赖映射和约 50% 的测试时间下降作为明确证据。适合做 CI 优化、测试基础设施或运行时可观测性的读者;同时也提醒动态特性强的代码库会带来准确率风险。

工程实践Stanford Hazy Research

Easier, Better, Faster, Cuter

这篇文章介绍了 ThunderKittens 的第二轮升级,重点是把它从“可玩”推进到“可用”的 GPU kernel 工具箱。作者发布了多类新算子与实现,包括 fused Mamba-2、长卷积、线性注意力、RoPE、LayerNorm 和线性层,并给出在 H100 上相对现有 Triton/FlashFFTConv 实现的性能提升数据。文章还展示了 Llama3、Qwen2.5、nanoGPT、PyTorch Lightning 等集成示例,说明这些 kernel 已能用于推理和训练。除了算子本身,TK 2 还强化了构建系统、自动共享内存布局、全局 layout 描述、类型支持和大规模测试,降低了编写 kernel 的复杂度。作者强调,注意力加速的主要收益并非来自复杂算法,而是更好地利用 GPU、控制寄存器与内存流动;但当前实现仍偏向特定硬件与模型形态,且 FP8 支持尚未完善。

文中直接给出多项 kernel、注意力实现和基准对比,且附带可运行 demo 与训练集成,说明它不是概念展示而是可落地的工程经验。适合做 GPU kernel、LLM 推理/训练加速和算子设计的参考,但读者需要注意其性能结论强依赖 H100 与特定布局。

工具笔记Brendan Gregg

AI Flame Graphs

这篇文章介绍了 Intel 正在试验的 AI Flame Graphs:把传统 CPU flame graph 扩展到 GPU/AI 加速器,统一展示加速器指令、源代码和触发它们的 CPU 调用链。作者强调其核心目标是像 CPU 性能分析那样做到低开销、生产安全、随时可用,并通过 EU stall profiling 与 eBPF 结合,定位 AI 工作负载中的热点和停顿原因。文中还展示了 SYCL 矩阵乘和 PyTorch/Llama 2 的示例,说明它能把看似混乱的 AI 栈收敛到少数关键瓶颈函数或指令。作者同时指出当前仍处于早期阶段,PyTorch、符号化、驱动和运行时适配都较困难,部分场景还有中等开销,离大规模通用化还需要较长时间。

推荐收录,因为文中明确给出了新型 AI 性能分析工具的设计目标、实现思路和适用边界,而不是停留在产品宣传层面。适合做 GPU/AI 性能优化、可观测性和开发工具演进的参考,尤其对需要把加速器热点与上层代码关联起来的工程团队有直接迁移价值。

科研议题Stanford Hazy Research

Linearizing LLMs with LoLCATs

文章介绍了 LoLCATs,一种把现有 Transformer 大模型“线性化”为亚二次推理结构的方法。核心思路不是从头设计新架构,而是先用线性注意力替换 softmax 注意力,再通过 attention transfer 让新注意力近似原模型行为,并用 LoRA 这类参数高效微调恢复质量。作者声称该方法在 Mistral 7B、Llama 3 8B 等模型上显著优于传统线性化方案,且在零样本任务上接近原始 Transformer,同时把训练参数和 token 成本压到很低。更重要的是,他们把方法扩展到 Llama 3.1 8B/70B/405B,展示了在“学术算力”下线性化超大模型的可行性。文章适合关注高效推理、模型压缩和 Transformer 结构替换的读者,但其结论主要依赖论文与基准评测,实际部署仍需结合任务分布和质量回归风险验证。

有明确的研究问题、方法链路和量化结果:attention transfer + LoRA 低成本线性化,并给出 7B 到 405B 的实证。适合做 LLM 高效推理、结构替换和模型压缩的参考,但落地时仍需关注任务迁移与质量回归。

科研议题Stanford Hazy Research

LoLCATs Blog Part 2: How to Linearize LLMs for Me and You

文章介绍 LoLCATs,用于把已有 Transformer 线性化为子二次复杂度 LLM。方法在保持预训练骨架不变的前提下,先用可学习线性注意力/滑窗混合层做 attention transfer,再用少量 LoRA 重新连接 QKVO,并在 405B 场景加入按层分块训练以降低显存和磁盘开销。作者报告在 7B/8B 上仅用约 0.2% 参数、4000 万 token 即可弥合超过 80% 的线性化质量差距,并将 70B/405B 线性化成本压到远低于既有方法。局限是它依赖现成 Transformer 作为起点,主要验证于 LM Eval 等基准,且更像“后转换”而非从零设计新架构。

推荐收录,因为它给出了从软注意力迁移到线性注意力的完整训练配方,并用 7B/70B/405B 结果证明能显著降低线性化成本。适合关注高效注意力、大模型压缩和架构替换的研究者,但结论主要建立在预训练模型与基准评测上。

工程实践PlanetScale Blog

Anatomy of a Throttler, part 2

本文继续分析 throttler 的部署形态,先比较单体服务、独立多实例、主备切换以及引入 agent/API 的方案。作者指出,加入采集代理或跨节点协作后,系统会从单一同步组件演变成分布式多组件系统,复杂度、权限边界和版本兼容问题都会上升,同时采样间隔叠加也会让指标更陈旧。随后文章给出分布式 throttler 的几种切分方式:按可用区、按功能、按主机或按服务粒度,并以 Vitess tablet throttler 为例说明如何在 shard 范围内聚合 replica lag,让 primary 代表整个 shard 做限流判断。最后,文章讨论如何降低 throttler 自身开销,包括客户端退避、空闲时降低采样频率或休眠、以及在无大任务时减少 heartbeat 生成,避免 binlog、磁盘和备份成本被额外放大。其边界在于,这些策略都依赖对业务负载形态、重试行为和一致性要求的准确预判。

收录价值明确:文章直接比较了 throttler 的单体、分布式与 agent 化方案,并用 Vitess 的 shard 级限流给出可落地的架构证据。适合做 MySQL/Vitess、SRE 和基础设施设计参考,但需要注意其结论高度依赖心跳粒度、轮询频率和客户端重试假设。

技术文章PlanetScale Blog

B-trees and database indexes

文章系统解释了 B-tree 与 B+tree 的结构差异、节点有序性、查找/插入路径,以及它们为何特别适合磁盘上的持久化数据。作者进一步结合 InnoDB 说明:表数据和二级索引都会落到 B+tree 上,查询通常需要先查索引再回表,因此访问的页数直接决定性能。文章重点比较了自增整数、UUIDv4、UUIDv7 等主键选择对树深度、页分裂、写放大和数据局部性的影响,指出随机键会导致插入路径不可预测、叶子分散、缓存命中更差,而顺序键更利于保持浅层和连续访问。文中还说明了页大小、buffer pool 和表宽度对单页可容纳行数的影响,并给出主键大小与可扩展性的权衡。整体适合理解数据库索引底层机制,但内容主要面向 MySQL/InnoDB 场景,结论迁移到其他存储引擎时需结合其页布局和实现差异。

文中直接给出 B+tree、InnoDB 页和二级索引回表的工作方式,并用主键选择解释性能差异,证据充分、可验证。适合数据库开发、后端和性能优化读者,尤其是需要评估主键设计、索引布局和随机写放大风险的场景。

工程实践PlanetScale Blog

Instant deploy requests

文章介绍了 PlanetScale 为符合条件的 deploy request 新增的“instant deployment”能力,用于把数据库 schema 部署时间从小时级压缩到接近秒级。其核心前提是请求中的所有变更都必须能被 MySQL 的 INSTANT DDL 满足,例如符合条件的 ALTER TABLE,以及可选的建表、删表、建视图、改视图和删视图。系统会在部署前自动判断是否满足条件,并让用户在 instant deployment 与默认的 Online DDL 之间做显式选择。文章同时强调了边界:instant deployment 不可 revert,在某些负载下迁移表仍可能出现数秒级锁,因此它只适用于少量明确可瞬时执行的 schema 变更。

推荐收录,因为文章给出了数据库 schema 变更加速的具体判定条件、系统预评估机制和不可忽略的风险边界,而不是单纯宣传新功能。适合做数据库平台、迁移系统和 SRE 设计参考,尤其对需要在“速度”和“可回滚/稳定性”之间取舍的场景有直接迁移价值。

工程实践PlanetScale Blog

Anatomy of a Throttler, part 1

本文讨论数据库节流器(throttler)的设计原则,目标是在批量导入、ETL、在线 DDL、清理和重分片等长耗时操作中保护数据库整体健康。作者先解释节流不应只按固定速率控制,而要围绕数据库是否“健康”来判断,因此重点分析了复制延迟、threads_running、队列延迟、队列长度、Load Average 和连接池占用等指标。文章强调单一指标往往只是症状,真正有价值的是能预测 SLO 的组合指标及其阈值,并说明阈值必须结合业务、硬件和部署形态来设定。文中还指出节流系统上线后会改变系统行为,健康状态常表现为指标围绕阈值上下波动而非持续低位。最后讨论了采样间隔与指标粒度的关系,认为过慢的采样会造成滞后和突发释放,应按阈值范围进行更高频的测量;但该文只覆盖系列的第一部分,分布式节流器与节流器自身影响留待后文。

推荐收录:文章不是泛泛讲限流,而是以数据库健康为中心,系统讨论了指标选择、阈值设定、队列含义和采样粒度等可落地问题。适合做数据库平台、批处理控制和稳定性治理的参考,尤其对需要设计自适应节流机制的工程师有直接迁移价值。

工程实践PlanetScale Blog

Increase IOPS and throughput with sharding

文章围绕数据库在云上扩容时最容易被忽视的 IOPS 和吞吐量成本展开,先解释 AWS EBS 中 IOPS 的计量方式、顺序/随机读写对有效带宽的影响,以及 gp3、io1、io2 的配额与价格差异。随后作者用 RDS、Aurora 和 PlanetScale 的月费对比,说明当单体数据库从中等规模增长到 8 倍需求时,单机方案往往要付出显著更高的 I/O Premium。文章的核心观点是:对 I/O 密集型数据库,分片可以把计算、存储和 I/O 压力拆散到多个 primary 上,从而继续使用更便宜的存储层。文中还指出分片带来的额外收益包括故障隔离、备份更快和长期线性扩展,但没有给出实际压测结果,因此结论更偏成本与架构层面的比较,而非纯性能评测。

文中直接用 EBS 的 IOPS/吞吐限制和三种数据库方案的月费对比,证明了单体扩容会迅速推高 I/O 成本,而分片能把需求摊平到多个 shard 上。适合做数据库容量规划、云成本评估和分片选型的读者;但价格结论依赖区域、流量形态和分片键设计,落地时需要按自身 workload 复算。

工程实践PlanetScale Blog

Tracking index usage with Insights

这篇文章介绍了 PlanetScale Insights 新增的“索引使用跟踪”能力,目标是在真实生产流量中观察每个查询模式实际命中了哪些索引,以及这种使用如何随时间变化。作者先比较了 EXPLAIN、MySQL performance schema 等现有手段,指出它们要么只能分析单条手工输入的查询,要么只能提供服务器级累计计数,难以关联到具体查询模式和趋势。随后文章给出实现思路:利用 InnoDB 的索引初始化流程,在查询执行过程中记录被选中的索引,将结果随响应返回到 VTGate,再按查询模式聚合并以时间序列方式写入 Insights 流水线。这样可以在几乎不增加 MySQL 开销的前提下,获得覆盖全部查询的索引使用统计,并支持反向检索“哪些查询在用某个索引”或“哪些查询完全未命中索引”。但它也明确了边界:索引信息目前只对 SELECT 统计,删除索引前仍需独立核实 UPDATE/DELETE 的使用情况。文章的价值在于把数据库可观测性、查询归因和索引治理串成了一套可落地的方法。

收录价值明确:文章不仅解释了功能,还给出从 MySQL/InnoDB 到 VTGate 和 Insights 的完整实现链路,以及为何 EXPLAIN 和 performance schema 不足以支撑生产趋势分析。适合做数据库性能优化、索引治理和可观测性设计的参考,但需注意它只覆盖 SELECT 场景。

工程实践PlanetScale Blog

Zero downtime migrations at petabyte scale

文章系统拆解了 PlanetScale 在 TB 到 PB 级 MySQL 迁移中实现零停机的流程:先做一致性且不加锁的快照,再持续复制 binlog 追平增量,并用 VDiff 对源端与目标端做全表校验。切流阶段通过 VTGate 缓冲请求、等待复制追平、建立反向复制链路,使切换可在秒级完成且可随时回滚。作者进一步说明了底层依赖 Vitess 的 VReplication、MoveTables、路由规则、序列和 sidecar 元数据,展示了按表、按分片串并行协作的实现方式。文章也明确了适用边界:切流前经 PlanetScale 转发会引入额外网络开销,建议使用只读副本作为迁移源;而超过约 250GiB 的库通常应结合分片来控制成本与性能风险。

推荐收录,因为文章不是泛泛谈“零停机”,而是给出了快照、GTID、binlog 追平、VDiff 校验、反向复制和请求缓冲等完整证据链。适合做数据库迁移、分库分表和在线切流的工程参考,尤其对需要评估回滚能力与迁移风险的团队很有迁移价值。

工程实践PlanetScale Blog

Faster backups with sharding

文章系统解释了 PlanetScale 在 Vitess 体系下的备份流程:先从对象存储取回上一次备份,恢复到专用 VTBackup 实例,再让其通过主库做短暂追平,最后生成新的全量备份写回 S3/GCS。作者强调,单库越大,顺序备份越容易被网络与恢复耗时拖慢;而分片后每个 shard 可并行执行同样流程,从而把总体备份时间显著压缩。文中用 161GB 未分片库与 20TB、32 分片库对比,说明总体吞吐提升主要来自并行化,而非单分片传输速度大幅上涨。文章还补充了备份的工程意义:它不仅用于灾难恢复,也用于新副本初始化、误删恢复和 Vitess 的时间点恢复。适用前提是数据库已分片且备份/恢复链路能并行调度;若是单体库或分片不均,效果会明显打折。

推荐收录,因为文章给出了可复用的备份链路设计、分片并行化带来的吞吐收益,以及备份在副本初始化和误删恢复中的真实作用。对做数据库基础设施、MySQL/Vitess、备份恢复或大规模系统运维的读者尤其有参考价值,但前提是系统本身具备分片与并行恢复能力。

工程实践PlanetScale Blog

Optimizing aggregation in the Vitess query planner

这篇文章复盘了 Vitess 查询规划器中的一次聚合优化:一个包含 join、group by 和 order by 的查询因为无法把聚合下推到 MySQL,导致 VTGate 需要拉取大量数据并可能触发 OOM。作者先分析初始计划和树重写过程,说明 ordering under aggregation 过早执行时会把排序卡在 join 上游,从而阻断聚合下推。随后他利用规划器的阶段机制,延后该重写器直到 split aggregation 阶段,再让聚合穿过 join 下推到各个分片。最终 VTGate 只需合并各分片返回的部分聚合结果,而不是承担全量数据排序和聚合。文章的边界也很明确:该优化依赖重写阶段的时机控制,属于规划器内部顺序与算子可交换性之间的权衡。

文中给出了真实的 OOM 问题、初始执行树、重写前后计划和最终下推结果,是典型的数据库查询优化工程案例。适合做查询规划器、分布式 SQL 引擎和算子重写设计的参考,尤其对需要处理聚合下推与阶段控制的读者很有迁移价值。

技术文章PlanetScale Blog

Dealing with large tables

文章以一个健身应用中的 exercise_log 大表为例,解释为什么少数高增长表会先成为数据库瓶颈:写入频繁、历史数据持续被查询,最终把存储、内存和 IO 都推到极限。作者先讨论纵向扩容,即通过增加 CPU、内存和磁盘来延长单机数据库的可用寿命,但指出当数据达到多 TB 时,成本和资源争用会迅速上升。接着介绍垂直分片,把大表从主库中拆出到独立 keyspace,并借助 Vitess 的 MoveTables 平滑迁移和切流,使主业务表与日志表可以分别扩展。最后给出水平分片方案:按 user_id 做哈希分布、使用 sequence 生成全局 ID,再通过 Reshard 把单表扩到多个 shard。文章还总结了分片带来的吞吐提升、备份加速、故障隔离和成本优化,同时提醒分片键选择会直接影响查询局部性和性能。

推荐收录,因为文章明确给出了大表扩容的三级演进路径,并直接展示了 Vitess 的 MoveTables、Reshard 和分片键设计等可操作证据。适合做数据库架构、MySQL 扩容和日志/消息类大表治理的参考,但读者需要结合自身读写模式谨慎选择分片键。

科研议题Stanford Hazy Research

Just read twice: closing the recall gap for recurrent language models

这篇文章讨论了高效递归语言模型在“联想回忆”(associative recall)上的缺口:虽然 Mamba、RWKV、Based 等架构在困惑度和推理效率上接近 Transformer,但在需要从长上下文中准确检索事实时仍明显落后。作者从理论上把联想回忆归约到集合不相交问题,说明仅靠固定大小的因果状态会对输入顺序高度敏感,因此需要更合适的读入顺序或非因果建模。基于这一洞察,文章提出 JRT-Prompt 通过重复上下文来帮助模型在多次扫描中决定“该记住什么”,以及 JRT-RNN 通过非因果编码器加因果解码器提升选择性记忆能力。实验显示两种方法都能在多个问答与信息抽取基准上显著提升准确率,JRT-RNN 可把强递归基线拉近到 Transformer 质量,同时保持线性时间/常数状态优势。文中也指出训练目标如何在因果与非因果模型间公平对齐仍是开放问题,结论主要适用于回忆密集型任务而非所有语言建模场景。

收录理由充分:文章不仅给出召回缺口的理论解释,还提供 JRT-Prompt/JRT-RNN 的具体方法、实验对比和 CUDA 实现结果。适合研究高效 LLM、线性注意力和长上下文检索能力的读者,迁移价值在于“重读/非因果”这类设计思路,但其收益主要集中在召回型任务。

工程实践Datadog Engineering

How we migrated our static analyzer from Java to Rust

文章介绍 Datadog 团队将静态分析器从 Java 迁移到 Rust 的工程过程,核心目标是提升吞吐并降低内存占用。作者围绕旧实现的性能瓶颈、迁移后的实现方式,以及如何保持分析语义一致展开说明,属于一次以性能和资源效率为导向的重写。文中给出的结果很明确:迁移后性能提升约 3 倍,内存使用下降约 10 倍。它展示了在计算密集型开发工具场景中,语言迁移如何换取更好的成本曲线,但也意味着需要承担重写、验证和生态适配的代价。

收录依据很直接:标题和摘要都给出了从 Java 迁到 Rust 的具体改造目标,以及 3 倍性能、10 倍内存下降的量化结果。适合做静态分析器、代码扫描或其他性能敏感开发工具的架构参考,但读者也要注意迁移成本、语义一致性验证和语言生态差异。

工程实践Stanford Hazy Research

GPUs Go Brrr

文章围绕如何让 NVIDIA H100 的 Tensor Core 尽可能持续工作展开,作者先拆解 H100 的计算、共享内存、L2、寄存器和 TMA/WGMMA 等关键硬件资源,再用微基准说明真正的瓶颈不只是 HBM,而是共享内存延迟、地址生成开销和银行冲突。文章强调 WGMMA 与 TMA 是榨干算力的必要条件,同时指出其共享内存布局和 swizzle 规则文档混乱、易出错,需要精细控制数据布局与流水线。基于这些经验,作者发布了嵌入 CUDA 的 DSL ThunderKittens,用 tiles 抽象寄存器和共享内存中的张量操作,让复杂 kernel 代码显著简化。文中给出 FlashAttention-2 和线性注意力的实现与性能结果,说明在 H100 上可比常见实现进一步提升约 30%,但也暗示该方法高度依赖特定 GPU 架构与手工调优边界。

推荐收录,因为文章给出了 H100 上从硬件特性、布局约束到 kernel 实现的完整证据链,并以实际基准证明 ThunderKittens 能带来可观性能提升。适合做 GPU kernel、AI 加速和底层 DSL 设计的参考,但读者需注意其结论强依赖 Hopper 架构,且 swizzle/TMA 细节具有较强平台特定性。

工程实践Datadog Engineering

How we built the Datadog heatmap to visualize distributions over time at arbitrary scale

这篇文章讲的是 Datadog 如何把“随时间变化的分布热力图”做成可在任意规模数据上工作的可视化。作者先指出传统 heatmap 在高基数、长时间窗和细粒度分桶下会遭遇内存、计算和渲染压力,且容易丢失分布形状。为此,他们引入 DDSketch,把原本需要精确直方图的聚合改造成带相对误差保证的近似分布表示,从而在保持尾部分布与整体趋势可读性的同时显著降低存储和计算成本。文章还讨论了桶设计、时间维度聚合和前端展示之间的配合方式。其适用边界也很明确:它更适合观测分析和趋势探索,不适合要求绝对精确数值的场景。

文中直接给出了用 DDSketch 改造 heatmap 的工程方案、问题来源和规模化收益,属于可复用的观测系统设计案例。适合做可视化、指标聚合或高基数分布分析的工程师参考,尤其能迁移到需要在精度与成本之间权衡的场景。

技术文章PlanetScale Blog

The MySQL adaptive hash index

这篇文章系统解释了 MySQL InnoDB 中的自适应哈希索引(AHI)是如何在 B-tree 索引之上再加一层内存加速的。作者先回顾了 B-tree、InnoDB buffer pool 和普通哈希查找的差异,说明 InnoDB 虽然不支持磁盘上的 HASH 索引,但会在运行时为高频访问的索引值或前缀构建 AHI 条目,把键映射到 buffer pool 中的数据位置。文章还说明 AHI 会根据访问模式和 buffer pool 命中情况自动增减,适合重复查同一批热点值的场景,不适合缓存很小或数据访问很分散的负载。通过 3.9 亿行表上的基准测试,作者展示了开启 AHI 后约 16% 到 20% 的 QPS 提升,并用 InnoDB 状态输出验证了哈希搜索确实被使用。结论强调:AHI 不是通用银弹,但在高并发、热点明显且索引较深的系统中,哪怕单次收益不大,也可能显著影响整体延迟和服务器容量。文章的边界也很清楚:收益高度依赖工作负载、buffer pool 大小和重复访问模式。

推荐收录,因为文章不仅解释了 AHI 的工作机制,还给出了 buffer pool、哈希命中统计和真实基准测试结果,能帮助读者判断它为什么快、何时有效。适合做 MySQL/InnoDB 性能优化、热点查询分析和存储引擎原理参考;但收益强依赖访问模式,不能把文中的提升直接外推到所有业务。

工程实践PlanetScale Blog

Introducing global replica credentials

文章介绍了 PlanetScale 新增的 global replica credentials:用户只需一套复制库密码,即可在全球范围内自动路由到最近的只读副本,并在同一区域内对多个 replica 做负载均衡。作者说明了其默认拓扑是一个 primary 加多个跨可用区 replica,而新凭据可以在新增或删除只读区域时自动更新路由,无需修改应用代码或重新连接。文中进一步拆解了 PlanetScale Global Network 的工作方式:在边缘层终止 MySQL 与 TLS、进行连接池化,并通过低延迟 DNS 选择就近入口。实现上把 Credential、Route 和 Endpoint 分离,Route 由 etcd 监听并按实时延迟排序,从而把下一跳决策稳定地落到最优副本。该方案的价值主要体现在跨地域读扩展和连接管理简化上,但也明显依赖 PlanetScale 自身的全局网络与内部路由体系,通用性受平台约束。

文中给出了凭据、路由、端点三层拆分,以及边缘终止 MySQL/TLS、按延迟排序副本的具体实现证据,不是简单的产品宣传。适合做数据库代理、跨地域读扩展和连接层设计的参考,但迁移时要注意它强依赖 PlanetScale 的全局网络基础设施。

工程实践PlanetScale Blog

Profiling memory usage in MySQL

文章介绍如何利用 MySQL 的 performance_schema 对单个连接执行中的内存占用进行剖析。作者先说明 memory/% 相关 instrument 以及 memory_summary_by_thread_by_event_name 等统计表的含义,再通过把 CONNECTION_ID 映射到 thread_id,实时查看某条长查询在文件排序、InnoDB、会话对象等类别上的内存消耗。由于 MySQL 没有直接的 per-query 内存视图,文章采用对连接线程做周期采样的办法,并给出一个用 Python/MySQLdb 实现的轮询脚本。随后进一步用 matplotlib 将近 50 个样本绘成堆叠图,便于观察内存随时间的增长和峰值。文章的边界也很明确:它更适合秒级到分钟级的长查询,短查询可见性有限,且结果受采样频率和线程共享影响。

推荐收录,因为它给出了从 system tables 到 Python 可视化的完整 MySQL 内存剖析链路,证据充分且可直接用于排查高内存查询、排序和建索引等场景。适合数据库工程师和 SRE 参考,但需注意它是线程级采样,不是真正的 per-query 计量,短查询和剧烈波动场景下精度有限。

工程实践Datadog Engineering

.NET Continuous Profiler: Exception and lock contention

文章讲解 Datadog 在 .NET 连续性能分析器中,如何识别并处理异常与锁竞争这两类对性能影响很大的运行时事件。作者先说明连续采样式 profiler 的约束:既要尽量低开销,又要在高频事件下保留足够语义,因此不能简单依赖传统的堆栈采样。随后分别讨论异常与锁竞争的采集思路、事件归因方式,以及如何把运行时信号映射成可分析的性能数据,同时避免对应用造成过多扰动。文中也强调这些机制依赖 .NET 运行时能力与事件可见性,适用于需要在线观测异常风暴、锁争用和尾延迟问题的场景,但对非 .NET 平台的直接迁移有限。整体来看,它提供的是一篇围绕真实产品实现的 observability 工程经验,而不是泛泛介绍 profiler 概念。

推荐收录,因为文章直接围绕连续 profiler 的实现细节展开,明确讨论了异常与锁竞争的采集、归因和低开销约束,属于可复用的工程方法而非产品宣传。适合做 APM、性能分析、运行时观测和 .NET 工具链设计的参考,但需要注意其方案强依赖 .NET 运行时特性,跨语言迁移时要重新评估事件模型。

技术文章PlanetScale Blog

Identifying and profiling problematic MySQL queries

这篇文章系统介绍了如何用 MySQL 原生能力定位并剖析性能异常查询,适合在大规模数据库和复杂业务负载下做问题排查。作者先从 performance_schema 的 events_statements_summary_by_digest 入手,借助 avg_timer_wait、count_star 等指标找出高代价语句,再结合 sys 库中的 statements_with_runtimes_in_95th_percentile、statements_with_full_table_scans 等视图,从“慢查询”和“全表扫描”两个角度缩小范围。随后文章用 EXPLAIN ANALYZE 展示如何根据执行计划中的 cost、rows、table scan 和索引回表路径判断瓶颈是否来自索引缺失或 SQL 改写空间。最后通过开启 instruments、consumers 和 history 记录,利用 stage 历史表拆分一次查询在执行、优化、加锁等阶段的耗时,并提醒这些监控手段会带来一定开销,需要按需选择范围。文章也提到 PlanetScale Insights 可将同类分析可视化自动化,但核心方法仍然适用于原生 MySQL 环境。

推荐收录,因为文章直接给出了 performance_schema、sys、EXPLAIN ANALYZE 和 stage profiling 的完整排查链路,而不是停留在“查慢 SQL”的泛泛建议。它特别适合 DBA、后端和平台工程师在生产环境中定位索引缺失、全表扫描和执行阶段耗时问题,方法可迁移性强,但需要注意 profiling 本身有一定开销。

技术文章PlanetScale Blog

The Problem with Using a UUID Primary Key in MySQL

本文系统解释了 UUID 各版本的结构差异,并将讨论重点落在 MySQL 中把 UUID 作为主键时的代价。作者通过 B+Tree 索引、页分裂和 InnoDB 页填充机制说明:随机 UUID 会打乱主键顺序,导致插入时更频繁地重平衡索引,从而拖慢高写入场景的性能。文章进一步指出,UUID 以字符串形式存储会显著放大主键和二级索引体积,即使用 BINARY(16) 也仍比自增整数更占空间。针对这些问题,作者给出几类缓解方案,包括改用二进制存储、采用有序 UUID 版本(如 v6/v7)、利用 MySQL 的 UUID_TO_BIN swap flag,或直接选择 Snowflake、ULID、NanoID 等替代 ID 方案。整体结论是:UUID 能提升分布式唯一性,但在 MySQL 中并非默认的最优主键选择,是否采用应结合写入模式、索引数量和存储成本综合判断。

推荐收录,因为文章不仅说明“UUID 不适合当主键”的结论,还用 B+Tree、页分裂、二级索引膨胀和页利用率等机制给出直接证据。适合做数据库设计、主键选型和性能排障的长期参考,尤其对需要在分布式唯一性与写入性能之间权衡的工程场景很有迁移价值。

科研议题Stanford Hazy Research

Based: Simple linear attention language models balance the recall-throughput tradeoff

这篇文章围绕“检索能力(recall)—生成吞吐—显存占用”之间的权衡展开,指出许多高效架构虽然推理更快,但在长上下文回忆和 in-context learning 上会明显弱于 Transformer。作者通过可控的合成关联回忆实验和真实语言建模评估,比较了注意力、滑窗注意力、线性注意力和 Mamba 等方法,发现单一原语都难以同时兼顾局部精确对齐与全局信息传递。基于这一分析,文章提出 Based:将极小窗口的滑窗注意力与二阶 Taylor 近似的线性注意力结合,用固定大小的递归状态在 recall 与 throughput 之间移动到更优的 Pareto 前沿。实验显示它在信息抽取、阅读理解和回忆型任务上优于先前子二次架构,同时在大模型推理吞吐上显著快于 FlashAttention-2 和 Mamba;但它仍未完全追上最强 Transformer,且效果强依赖特征映射与状态设计。文章还给出 IO/数据流感知的 CUDA 实现思路,说明算法与硬件协同对最终速度至关重要。

推荐收录,因为文章同时给出了问题定义、实证曲线、架构设计和 CUDA 实现优化,直接证明了其不仅是模型概念介绍,而是可复用的研究与工程方法。适合做长上下文模型、线性注意力和高吞吐推理系统的读者参考,但需注意其结论仍受任务类型和状态规模限制,未完全超越 Transformer。

工程实践PlanetScale Blog

Introducing schema recommendations

文章介绍了 PlanetScale Insights 新增的 Schema recommendations 功能,目标是基于生产流量自动给出可直接执行的 MySQL 架构优化建议。作者说明系统如何结合表结构变更事件、近期查询表现、Vitess 解析器和列基数统计,生成索引、冗余索引清理、主键 ID 耗尽预警和未使用表删除等建议。其核心特点是把推荐结果以 DDL 形式输出,并支持先在分支上验证,再安全发布到生产。文中还给出新增索引的完整示例,展示了随着数据量增长,p50 延迟上升后如何通过推荐索引显著降低查询时间。需要注意的是,这类建议依赖近期查询与统计信息,仍需结合业务语义、写入成本和迁移风险人工评估。

文章不仅是功能发布,还给出了推荐系统的判定信号、实现链路和落地流程,尤其包含查询解析、基数估计与分支验证这些可迁移的工程细节。适合做数据库性能优化、自动化运维和架构诊断的参考,但读者仍需结合自身业务负载与迁移约束来使用这些建议。

技术文章PlanetScale Blog

Three common MySQL database design mistakes

这篇文章围绕 MySQL 数据库设计中的三个常见错误展开:字段类型选得过小或过大、索引缺失或冗余、以及半结构化数据存储方式不当。作者用一个车联网系统的真实案例说明,ID 列早期采用 INT 可能在业务增长后迅速逼近上限,最终甚至会威胁线上可用性;同时也举了 VARCHAR 过短导致写入失败、字段类型过宽造成额外存储浪费的例子。针对索引,文章解释了缺少索引会让大表查询退化为全表扫描,而过多或重复索引又会增加存储和写入维护成本。对于 JSON 数据,作者强调应优先使用 MySQL 原生 JSON 类型,而不是用 TEXT 直接存字符串,因为前者支持更高效的二进制存储、按字段查询和基于 JSON 内容建索引。结尾还提到通过把有符号整型回绕到负数区间临时扩容 ID 的权宜之计,并指出数据库设计必须结合增长预估和业务边界来权衡。

文章给出了字段类型、索引和 JSON 存储三个维度的具体反例与后果,不是泛泛而谈,而是能直接指导 MySQL 表结构设计和性能排查。适合后端开发、DBA 和做系统容量规划的读者参考,尤其对需要在增长、存储和写入成本之间做取舍的场景很有迁移价值。

工程实践Datadog Engineering

.NET Continuous Profiler: CPU and wall time profiling

这篇文章介绍了 Datadog 在 .NET 连续 профiler 中实现 CPU profiling 和 wall time profiling 的方法。作者不仅说明了两类采样各自回答的问题,也分析了它们在低开销、跨线程、跨运行时边界下的实现约束。文中重点讨论了如何持续获取调用栈、如何区分真正占用 CPU 的时间与线程阻塞或等待造成的 wall time,以及这些数据如何帮助定位性能瓶颈。文章还指出,连续剖析必须在精度、性能损耗和运行时安全之间折中,因此采样间隔、信号处理和线程状态判断都会影响结果。它更适合关注性能分析、运行时观测和 profiler 设计的读者,尤其对 .NET 服务的线上诊断有参考价值,但不适合作为通用入门教程。

文中直接讲了 .NET 连续 profiler 的 CPU 与 wall time 实现细节,不是产品介绍,而是可复用的观测与采样设计经验。适合做性能诊断、运行时工具或可观测性基础设施的读者参考,尤其能借鉴其在开销、精度和线程安全之间的取舍。

工程实践Datadog Engineering

.NET Continuous Profiler: Under the hood

文章介绍 Datadog 为 .NET 设计的持续性能剖析器,目标是在生产环境中 24/7 运行且几乎不增加可感知开销。作者从底层实现出发,说明它如何借助 CLR/运行时接口采集 CPU、锁等待与堆栈等信息,并把热路径上的工作尽量压缩到采样和轻量汇聚。文中还强调数据上报、线程安全和后台处理等工程取舍,以避免 profiler 本身成为性能瓶颈。整体结论是:持续 profiler 能在大规模线上系统中提供稳定诊断能力,但必须严格控制采样频率和额外内存、同步成本。

收录理由是文章明确围绕“生产环境 24/7 运行、影响可忽略”这一目标展开,并给出实现层面的约束与取舍,而不是泛泛介绍产品功能。适合 .NET 性能优化、APM/可观测性平台和运行时工程读者参考,其可迁移价值在于低开销采样与后台汇聚思路,但细节强依赖 CLR 和具体实现边界。

科研议题Stanford Hazy Research

Monarchs and Butterflies: Towards Sub-Quadratic Scaling in Model Dimension

文章综述了作者团队围绕“让模型维度计算从二次复杂度走向次二次复杂度”的研究路线,核心对象是 MLP 和投影层中的矩阵乘法。作者先指出:任意稀疏虽能减少参数,但会遇到质量-计算量权衡和 GPU tensor core 利用率低的问题,因此难以在真实硬件上兑现收益。随后文章从 FFT 的 Butterfly 计算模式出发,介绍可学习的结构化稀疏矩阵及其在 GPT-2 上的效果,再进一步过渡到 Monarch 矩阵,通过置换加块对角分解来适配 dense GEMM 硬件。实验显示 Monarch/Monarch Mixer 可在 OpenWebText、BERT、长序列任务上同时保持或接近原始精度,并带来可观的参数与端到端加速。文章的边界也很明确:这些方法主要针对特定线性层与特定结构,仍是研究路线而非通用替代方案。

推荐收录,因为文章不仅讨论了稀疏化,还明确比较了任意稀疏、Butterfly、Monarch 等结构在质量与硬件效率上的差异,并给出 GPT-2、BERT、OpenWebText 等实验结果。它适合关注高效模型结构、GPU 计算映射和线性层替代方案的研究者与工程实践者,尤其有助于理解“结构化算子如何同时兼顾可表达性和硬件友好性”。

科研议题Stanford Hazy Research

Zoology (Blogpost 2): Simple, Input-Dependent, and Sub-Quadratic Sequence Mixers

这篇文章介绍了 Stanford Hazy Research 提出的 Based 序列混合器,并说明其设计动机来自先前对“联想回忆”能力的误差分析:许多亚二次模型在局部建模上表现尚可,但在需要根据上下文检索目标词的 AR 任务上明显落后于注意力。作者将结构拆成短门控卷积和“spiky”线性注意力两部分,用短卷积负责局部依赖,用泰勒展开近似指数函数的线性注意力模拟 softmax 的尖锐匹配,从而保留输入依赖的全局检索能力。文中还给出统一视角,把这两类模块解释为同一种广义门控卷积,并强调该结构可以保持完全亚二次、训练稳定且不需要 KV-cache。实验上,Based 在 Pile 上的困惑度优于强 Transformer 基线,并在合成 AR 任务和 1B 模型推理吞吐上取得显著收益,但当前内容仍属于博客预览,部分结论需要结合后续论文与更大规模实验进一步验证。

收录价值明确:文章同时给出了问题诊断、结构设计、理论解释、合成任务验证和真实语言模型吞吐评测,证据链比较完整。适合研究序列建模、LLM 架构和高吞吐推理的读者参考,但需注意它是博客预览,部分性能与泛化结论仍应以正式论文为准。

科研议题Stanford Hazy Research

FlashFFTConv: Efficient Convolutions for Long Sequences with Tensor Cores

本文介绍了 Stanford Hazy Research 提出的 FlashFFTConv:一种面向长序列卷积的 GPU 加速算法,目标是解决传统 FFT 卷积在 ML 场景中“渐近复杂度好但实际很慢”的问题。作者指出,现代 GPU 上真正的瓶颈已从算术转向内存 I/O,而且 Tensor Core 的矩阵乘远快于通用浮点运算,因此经典 FFT 实现难以充分利用硬件。FlashFFTConv 通过 Monarch/Bailey 四步分解把 FFT 卷积改写成一系列矩阵乘与少量点操作,并用递归分解在 SRAM 限制下尽量融合多步计算,兼顾 FLOPs 与 I/O。实验显示它在 PyTorch 基线下可获得最高 7.93x 的卷积加速,端到端提升最高 4.4x;在长序列上,性能可接近甚至超过 FlashAttention-v2,并在部分模型上达到约 62% MFU。文章也说明了适用边界:短序列更依赖较低阶分解,序列更长时高阶分解才体现优势,因此算法效果强烈依赖序列长度和 GPU 形态。

推荐收录,因为文章把“FFT 卷积为什么在 GPU 上跑不快”这一问题拆成了硬件带宽、Tensor Core 利用率和 SRAM 约束三个直接证据,并给出可实现的 Monarch 分解方案与性能数据。适合做长序列模型、CUDA/ML 系统优化和算子设计的参考,尤其对需要在工程上平衡 I/O、FLOPs 与 kernel 融合的读者有可迁移价值。

科研议题Stanford Hazy Research

Monarch Mixer: Revisiting BERT, Without Attention or MLPs

这篇文章介绍了 Monarch Mixer(M2-BERT)这一新架构,目标是在不使用标准 Transformer 注意力和全连接 MLP 的情况下,仍保持 BERT 级别的效果。作者用 Monarch 矩阵统一替代序列混合与维度混合:前者借鉴 H3/Hyena 的卷积式长程建模,后者用块对角结构替换 MLP,从而把序列长度和模型宽度两侧都做到次二次复杂度。实验部分在 C4 上以 128 长度预训练,80M 与 110M 两个版本在 GLUE 上分别达到 79.9 和 80.9,接近或超过标准 BERT-base,同时在 A100 上长序列吞吐也明显优于 HuggingFace BERT 和 FlashAttention 版本。但文章也明确指出,这仍是早期结果,训练配方、门控设计和长序列能力都还有较大探索空间,结论更适合作为架构方向与初步证据,而非最终定论。

文中不仅提出了用 Monarch 矩阵替代注意力和 MLP 的具体机制,还给出了 GLUE 指标、参数量和吞吐量的对比证据,属于可长期参考的架构研究材料。适合关注高效模型、长序列建模和 Transformer 替代方案的研究者与工程师,但需注意它仍处早期,长序列与训练配方尚未完全验证。

技术文章Stanford Hazy Research

FlashAttention-2: Faster Attention with Better Parallelism and Work Partitioning

这篇文章介绍了 FlashAttention-2 的设计目标:在不做近似的前提下,继续压缩 Transformer 注意力的时间与显存开销,并把算子吞吐尽量逼近高效 GEMM。作者先回顾 FlashAttention 的分块、重算与在线 softmax 思路,再指出其瓶颈主要来自线程块与 warp 的工作划分不够理想,以及非矩阵乘法操作比例偏高。FlashAttention-2 通过减少 rescaling、边界判断和 causal mask 等非 matmul FLOPs,并将并行维度扩展到序列长度,从而在长序列、小 batch 场景下显著提升 GPU 利用率。与此同时,新版把 warp 之间的“sliced-K”改成更少通信的“sliced-Q”划分,减少 shared memory 读写与同步开销。文章还说明其支持更大的 head dimension、MQA/GQA,并在 A100/H100 上给出端到端训练与注意力基准,体现出该方法对长上下文训练和推理都有直接收益,但仍依赖具体 GPU 架构与实现细节。

文中明确给出算法改写、并行划分和 warp 通信优化的具体证据,并配有 A100/H100 与端到端训练基准,属于可复用的高质量系统/模型加速资料。适合做 GPU kernel 优化、注意力实现和长上下文训练的参考,但其收益高度依赖硬件与实现路径,迁移时需重新验证。

科研议题Stanford Hazy Research

The Safari of Deep Signal Processing: Hyena and Beyond

这篇文章系统梳理了面向超长序列的模型设计思路,以 Hyena 为核心,说明如何用可学习的非线性序列处理器替代 Transformer 的二次复杂度注意力。作者先回顾 dense attention、linear attention、AFT 和 RWKV,指出这些方法分别在全局记忆、精度或参数化上存在局限。随后给出 Hyena 的分解:用短卷积提取局部变化,用长卷积或状态空间式归纳实现长程记忆,再通过门控完成信息混合,并强调这些模块可由快速线性算子实现近线性复杂度。文章还讨论了训练与推理效率、FFT 在现代硬件上的瓶颈、Monarch 矩阵等结构化替代方案,以及在关联检索和 100 万长度 DNA 预训练中的初步结果。整体结论是:Hyena 及其“safari”家族在超长上下文上有潜力,但性能、硬件映射和投影压缩仍存在明显权衡,属于仍在快速演化的研究方向。

推荐收录,因为文章不仅介绍了 Hyena,还把长序列建模拆解为投影、归约、归一化和门控四个可复用部件,并给出与 Attention、RWKV、S4 等方法的明确对比。适合研究长上下文、序列建模和高效推理的读者参考,但需注意它仍是研究博客,部分结论和实现取舍属于探索阶段。

科研议题Stanford Hazy Research

Batch computing and the coming age of AI systems

这篇文章把基础模型应用场景区分为有人在环的交互式系统和无需人工逐条介入的批处理系统,强调后者覆盖医疗、金融、科学与供应链等更大规模的社会计算任务。作者指出,过去这类 AI 批处理应用往往依赖大量领域专家与 PhD 级投入,而基础模型有机会显著降低构建门槛并扩大可用性。文章进一步总结了三类关键研究问题:如何提升高吞吐推理效率、如何重新设计任务分解以获得更好的质量/成本权衡、以及如何建立适合基础模型的评测与错误分析流程。文中以 FlexGen、Evaporate 和 Meerkat 为例,分别展示了离线推理吞吐优化、用代码生成替代直接抽取、以及面向基础模型的新型验证工具。其核心结论是,基础模型真正改变世界的潜力不只在聊天和创作,而在于可靠、低成本地接管大规模批处理工作流,但前提是系统效率和评估体系都要同步升级。

推荐收录,因为文章明确提出了“批处理 AI 系统”这一长期重要的研究与工程方向,并给出了 FlexGen、Evaporate、Meerkat 等直接证据说明具体可行的改进路径。适合关注 AI 系统、离线推理和评测方法的研究者与工程师阅读,其可迁移价值在于帮助读者重构大模型应用的成本、吞吐与验证思路。

科研议题Stanford Hazy Research

From Deep to Long Learning?

这篇博客系统梳理了“把序列建得更长”这一研究方向,核心论点是:Transformer 的注意力在长度上是二次复杂度,若要支持长上下文、多模态和长代码等场景,就需要近线性时间的序列模型。文章按时间线回顾了 Long Range Arena、S4、H3 到 Hyena 的演进:S4 通过结构化状态空间模型把长程依赖建模成本降到 O(N log N);H3 通过门控与少量注意力层补齐语言建模性能;Hyena 进一步用隐式参数化卷积和更多门控替代最后的注意力层,尝试实现全程近线性扩展。作者还讨论了 FFT 在现代硬件上的效率瓶颈,以及将其改写为矩阵乘法、甚至学习变换矩阵的思路,以更贴合 GPU 计算单元。文中给出若干小型与中型实验,显示 Hyena 在 Pile 子集上的困惑度可接近或达到 Transformer 基线,但整体结论仍主要建立在初步实验与特定任务上,是否能稳定迁移到更大规模语言模型仍需后续验证。

收录理由很直接:文章明确给出了从 Transformer 到 SSM、H3、Hyena 的技术演进、复杂度分析和实验结果,不是泛泛而谈长上下文愿景。适合做长序列建模、模型结构替代和计算效率权衡的长期参考,但读者也应注意它是研究博客,结论主要来自初步实验而非完整论文定论。

科研思考Stanford Hazy Research

Is AI Rare or Everywhere?

文章围绕“AI 是稀缺还是无处不在”展开,讨论 foundation models 是否真的依赖一套极其脆弱的配方。作者认为当前模型的可复现性比预想更强:不同团队在足够时间尺度上性能差距会收敛,开源实现也能迅速复制并改进,这让“复制危机”并不明显。接着文章追问 transformer 是否真是唯一关键路径,并以 Hyena 这类无注意力架构为例,说明语言建模可能存在多条可行路线,而且还能借助信号处理等既有理论。作者进一步推演了这种判断对新架构设计、样本效率、测试时计算、模型安全与开放生态的影响。整体是面向研究方向的反思性随笔,强调问题值得深入,但不少结论仍是启发式判断而非严格实验结论。

文章直接讨论 foundation models 的可复现性、transformer 是否必要,以及 Hyena 这类替代架构的意义,属于明确的研究反思而非泛泛评论。适合做研究选题启发、架构比较和生态判断,但其中不少推断仍偏设想,读者应把它当作问题框架而非定论。

科研议题Stanford Hazy Research

Hyena Hierarchy: Towards Larger Convolutional Language Models

这篇文章介绍了 Stanford Hazy Research 提出的 Hyena 层,用长卷积与逐元素门控替代标准注意力,以在保持语言建模质量的同时把时间复杂度从二次降到次二次。作者先从注意力的“数据控制”特性出发,指出早期无注意力替代方案在困惑度和 in-context learning 上存在明显差距,因此设计了一组合成字符串任务来寻找结构缺口,并据此迭代滤波器参数化和输入投影。实验显示,Hyena 在较短序列上可与 FlashAttention 竞争,在长上下文下显著更快,并在 The Pile、PG-19、SuperGLUE 等任务上缩小了与 Transformer 的差距。文章还给出在视觉任务中的初步结果,表明这种基于信号处理的设计可能具有跨模态迁移性。其边界也很明确:当前优势主要体现在长序列和特定参数规模,且仍依赖精心设计的合成基准与参数化选择,离全面替代注意力还有距离。

推荐收录,因为文章直接给出了 Hyena 的核心机制、合成任务驱动的设计方法,以及与 FlashAttention、Transformer 的速度和困惑度对比证据。适合关注长上下文建模、注意力替代结构和高效序列模型的研究者参考;同时也提示了其对参数化与任务选择较敏感的风险。

科研议题Stanford Hazy Research

Simple Long Convolutions for Sequence Modeling

这篇文章讨论序列建模中一种更简单的基线:直接把卷积核参数化为与输入序列同长度的长卷积,并用 FFT 将计算复杂度从 O(N^2) 降到 O(N log N)。作者先指出,朴素长卷积在 Long Range Arena 上明显落后于 S4,主要问题是学到的卷积核在时域过于噪声、频域也不够平滑。为此,他们引入一个很简单的 Squash 正则化,对核权重做阈值收缩,从而得到更稀疏、平滑的核,并把 LRA 准确率提升到与 S4 持平。文章还展示该方法在图像分类、文本建模和脑 fMRI 任务上也有不错泛化,尤其是把 H3 中的 SSM 替换为卷积后,H3-Conv 在 PILE 上接近 H3 并优于 Transformer。与此同时,作者也明确了局限:这种简化版并不具备 SSM 的隐藏状态缓存、参数与长度解耦以及多分辨率扩展等优势。

推荐收录,因为文章给出了从朴素长卷积、问题诊断到 Squash 正则化改进的完整研究链条,并用 LRA、文本建模等实验直接证明了方法有效。适合做序列模型、卷积替代 SSM、以及实验设计与消融分析的参考,也能帮助读者理解何时“更简单的参数化”足以达到竞争性能。

科研议题Stanford Hazy Research

FlashAttention: Fast Transformer Training with Long Sequences

这篇文章介绍了 FlashAttention 面向长序列训练的改进版本:在保持精确注意力、没有近似的前提下,通过 tiling、重计算和更细粒度的并行,把注意力的显存访问从二次复杂度降到线性,并进一步优化超长序列场景。作者指出,原版 FlashAttention 主要按 batch 和 head 维度并行,在长上下文但 batch 很小、head 数有限时会出现 GPU 并行度不足,因此新增了沿序列长度维度的并行。前向传播按行分块,反向传播按列分块,并借助 atomic operations 汇总梯度,从而减少 worker 间通信并提升吞吐。基准结果显示,在 8K 序列长度下,相比 PyTorch 和 Megatron-LM 实现可达 2.2-2.7 倍加速,端到端训练效率最高达 175 TFLOPs/sec/A100。实验还表明,把上下文从 2K 提升到 8K 能稳定改善困惑度和长程任务准确率,但收益主要出现在长序列、小批量训练场景。

推荐收录,因为文章给出了明确的算法改造、并行划分方式和可量化基准,不只是宣讲性能提升,而是解释了为什么长序列下原方案并行不足、如何改、改完后提升多少。适合研究注意力加速、长上下文训练和 GPU kernel 优化的读者,尤其对需要把理论收益落到真实训练吞吐的工程/研究工作很有参考价值。

科研思考Stanford Hazy Research

How Foundation Models Changed our Work

这篇文章从斯坦福 Hazy Research 团队的视角,回顾 foundation models 如何改变他们的研究重心,尤其是围绕数据与系统的工作方式。作者将相关工作分成两类:一类是理解和改进基础模型本身,如 FlashAttention、S4、长序列建模和跨地域的去中心化训练;另一类是把 foundation models 作为数据工具,用于弱监督、数据探索、数据清洗与集成,以及隐私敏感场景中的新型学习方式。文章的核心判断是,FM 不只是更大的模型,而是在重新定义“如何编程数据”和“如何做研究”。不过它更像研究进展综述与方向宣言,缺少统一实验框架和系统性比较,适合把握研究趋势,不适合作为单点结论依据。

文章直接给出了 FlashAttention、S4、弱监督和数据清洗等具体研究线索,说明 foundation models 正在同时重塑模型、系统与数据工作流。适合做研究选题、方向梳理和跨领域方法迁移的读者,但需注意它是团队视角的阶段性总结,证据更偏方向性而非严格综述。

工程实践Stanford Hazy Research

Fast Stable Diffusion with FlashAttention + Diffusers

这篇文章介绍了将 FlashAttention 接入 HuggingFace Diffusers,以加速 Stable Diffusion 推理的工程实践。作者先解释 FlashAttention 的核心原理:在 A100 等现代 GPU 上,注意力计算的瓶颈更多来自显存读写而非算力,因此通过融合 matmul 与 softmax、采用 tiling 和自定义 CUDA kernel 来减少内存访问。随后给出一个不到 70 行的集成方案,并证明生成结果与原版 Diffusers 一致。基准测试显示,相比未优化版本可获得 3-4 倍吞吐提升,相比 Diffusers 0.4.1 仍有约 33% 提升,A100 上最高约 1.04 images/s,T4 上收益更明显。文章还指出该方法能降低显存占用、放大 batch size,但优势主要来自注意力路径,效果依赖具体 GPU 的内存系统和原始实现是否已优化。

推荐收录,因为文中同时给出原理解释、70 行级别的集成路径和可复现的 benchmark 结果,直接证明了 FlashAttention 在扩散模型推理中的工程收益。适合做 GPU 性能优化、生成模型推理加速和框架集成的参考,但读者也应注意其收益强依赖硬件与基线实现。

科研议题Stanford Hazy Research

Simplifying S4

这篇文章以“简化 S4”为目标,从经典线性时不变系统和状态空间方程出发,逐步把连续时间 ODE 转写为积分形式,再用离散采样和矩形求积导出可实现的卷积/递推计算。作者强调 S4 的核心并不神秘,而是把电路与控制理论中的老问题重新用于深度学习:既要稳定,又要高效,还要具备足够表达能力。文中重点解释了为何应让特征值位于左半平面、为何可用复共轭对把矩阵近似为对角形式,以及如何把隐藏状态消去,只预计算长度相关的 kernel 来提升批量训练效率。最后还讨论了初始化如何覆盖多尺度记忆,并补充了零阶保持下的更精确离散化。整体上这是面向 S4/S4D 的机制拆解与实现导向说明,但对更一般非对角 SSM 和严格数值分析仍较简化。

收录依据很明确:文章给出了 S4 从连续系统到离散卷积、从稳定性约束到高效实现的完整推导,而不是泛泛介绍模型。适合研究序列建模、长程依赖或状态空间模型的读者参考;需要注意其结论建立在教程式简化假设上。

科研议题Stanford Hazy Research

Can Longer Sequences Help Take the Next Leap in AI?

这篇文章讨论了“序列长度”作为深度学习新的规模维度,指出 Transformer 虽然强大,但在长输入上受限于二次复杂度、训练不稳定和长程依赖建模困难。作者认为,更长上下文不仅能提升文本、图像等现有任务,还可能催生新的能力,例如更强的 in-context learning、长篇内容生成,以及对时间序列、音视频和多模态数据的自动学习。文中重点介绍了两条推进路径:FlashAttention 通过 IO-aware 设计减少 GPU 内存读写,使 Transformer 能处理更长序列;S4 则借助结构化状态空间模型和初始化技巧,天然适配长序列训练。作者用 Long Range Arena 和 Path-X 等基准说明,单纯拉长序列已能带来可观增益,甚至把部分任务从随机水平提升到显著高于随机。整体上,这是一篇面向研究与工程交叉读者的方向性综述,优点是抓住了长上下文的核心瓶颈,但仍以研究愿景和早期结果为主,距离通用解决方案还有边界。

文章直接给出长序列为何重要的研究证据,并用 FlashAttention、S4、LRA/Path-X 的结果说明可迁移的方法与收益。适合关注长上下文、注意力优化和序列建模的研究者与系统工程师;需要注意它偏研究博客,结论更像方向判断而非完整定论。

工程实践Datadog Engineering

Introducing Husky, Datadog’s third-generation event store

文章介绍 Datadog 第三代事件存储 Husky,核心定位是一个“解耦”的分布式无模式向量化列存,用来承载高吞吐观测事件数据。作者从前两代系统的局限出发,说明为什么需要同时兼顾写入扩展、查询效率和模式灵活性,而不是继续沿用单体式或强绑定架构。文中重点讨论了 Husky 的设计目标:让存储能力随负载独立演进,并为分析型查询提供更适合列式扫描与向量化处理的数据布局。它的价值主要体现在观测平台这类高基数、宽表、模式变化快的工作负载上,但并不等同于通用数据库方案。对存储系统、分布式系统和可观测性基础设施的读者,这是一篇适合理解架构演进与取舍的工程案例。

收录依据很明确:标题和摘要直接表明这是 Datadog 对第三代事件存储 Husky 的设计复盘,强调“how we built it—and why”,属于典型的工程架构案例。适合做观测数据平台、分布式存储和列式查询系统的参考;其可迁移价值在于理解高吞吐写入、分析查询和模式演进之间的权衡,但方案本身强依赖 Datadog 的业务负载。

科研议题Stanford Hazy Research

Pixelated Butterfly: Simple and Efficient Sparse Training for Neural Network Models

文章介绍 Pixelated Butterfly 稀疏训练方法,目标是在尽量不损失精度的前提下,降低大模型训练的计算量与显存开销。作者指出,现有动态稀疏掩码会带来额外开销,非结构化稀疏也难以在 GPU 上真正提速,因此提出静态且硬件友好的稀疏参数化。核心思路是将 butterfly 与 low-rank 结合,并通过 block butterfly 与 flat butterfly 把原本不利于并行的结构改造成块对齐、易实现的形式,再为各个矩阵乘层生成硬件感知的稀疏 mask。实验表明,该方法可让 MLP-Mixer、ViT 和 GPT-2 的从头训练获得约 2.0-2.5 倍 wall-clock 加速,准确率或困惑度基本不变,部分下游任务还有小幅提升。文章也明确了边界:它主要适用于 GEMM 驱动的网络与特定硬件假设,更像是稀疏参数化与软硬件协同设计的研究方案,而不是通用加速器。

文中直接给出 2.0-2.5 倍训练加速、精度基本不降等实验结果,并解释了为何要从动态稀疏转向静态、块对齐的硬件友好结构。适合关注稀疏训练、模型加速和软硬件协同的研究者或工程师参考;其可迁移价值在于提供了稀疏参数化设计思路,但适用范围受限于 GEMM 网络和特定硬件。

科研议题Stanford Hazy Research

Structured State Spaces for Sequence Modeling (S4)

这篇文章是 Stanford Hazy Research 对结构化状态空间模型 S4 的系列导读,重点解释它为何适合建模“连续、超长”的序列数据。作者先指出 Transformer 在中等长度依赖上表现强,但受固定上下文窗口限制,难以处理语音、视频、医疗传感和机器人等场景中的长距离依赖与连续采样特性。随后文章概述 S4 的核心定位:基于状态空间模型,兼具连续时间、递归和卷积三种表示,既能处理不规则采样和无界上下文,又能保持训练与推理效率。文中还给出 Long Range Arena 上的结果,强调 S4 在各任务上取得强基准表现,并首次解决了长度 16384 的 Path-X 任务。需要注意的是,这篇是系列第一篇,更偏动机与总体介绍,具体参数化、算法和理论细节主要留给后续文章和原论文。

文章直接给出 S4 的问题背景、模型定位和基准结果,属于长序列建模方向的重要方法导读。对研究长依赖序列、音频/时序建模或替代注意力机制的读者很有参考价值,但它本身偏概览,深入实现仍需结合论文和后续篇章。

工程实践Datadog Engineering

How we optimized our Akka application using Datadog’s Continuous Profiler

文章复盘了一个基于 Akka 的 Java 应用性能问题,核心症状来自 ForkJoinPool 的调度与并发执行方式不匹配,导致吞吐和延迟出现异常。作者借助 Datadog Continuous Profiler 观察线程与 CPU 热点,先确认问题并不在业务逻辑本身,而是在运行时线程池和任务切分策略上。随后文章说明如何用持续剖析数据定位瓶颈、验证假设,并据此调整实现以降低线程争用和调度开销。它的价值在于把“性能优化”从经验调参变成可观测、可验证的工程流程。适用对象主要是 JVM、Akka 或类似 actor/线程池模型的服务,但具体结论依赖真实负载与 profiling 数据,不宜直接照搬到不同并发模型。

推荐收录,因为标题和摘要都明确指向“用持续剖析定位 Akka/JVM 性能瓶颈”,且直接给出了 ForkJoinPool 这一具体问题点。适合做 JVM 服务、线程池调优和可观测性实践的参考,尤其对需要把性能分析从猜测转为证据链的工程场景有迁移价值。

工程实践Datadog Engineering

How we minimized the overhead of Kubernetes in our job system

文章复盘 Datadog 将内部 job system 迁移到 Kubernetes 后,如何压低平台引入的额外开销。作者指出瓶颈并不只在业务计算本身,而常出现在容器启动、调度等待、资源分配和节点利用率等环节。随后通过调整任务模型、批量与复用策略、以及更合理的资源请求配置来减少空转和抖动。文中强调迁移收益不能只看单点指标,而要结合吞吐、尾延迟和资源成本做端到端评估。它适合需要把批处理或异步任务迁到容器编排平台的工程团队参考,但具体方案仍受作业形态与隔离要求限制。

推荐收录,因为标题直接指向“minimized the overhead”和“moving a jobsystem to Kubernetes”,属于典型的真实工程优化案例。对做批处理平台、容器化迁移和成本优化的读者尤其有价值,可迁移的方法是用端到端指标分析调度与资源开销,而不是只盯业务代码。

技术文章Josh W Comeau

The Perils of Hydration

这篇文章围绕 React/Gatsby 中的 hydration(重新注入/再水合)问题展开,指出一个很常见但容易被忽视的误解:预渲染出来的页面并不等于最终可交互状态,服务器输出与客户端首次渲染之间的差异会引发难以定位的界面异常。文章以深度教程的方式解释了静态预渲染、客户端补水以及二者约束之间的关系,说明为什么个性化、依赖浏览器环境或实时数据的内容会与 SSR/SSG 产生冲突。作者进一步讨论了常见的规避方式,例如延后仅客户端逻辑、拆分服务端壳与客户端动态区、用占位内容避免初始不一致。整体结论是:hydration 本身不是 bug,而是预渲染架构的必然边界,真正需要处理的是内容一致性与交互时机的设计。适用场景主要是使用 React、Gatsby 或类似前后端同构方案的网页应用,但对高度动态、强个性化页面仍需谨慎。

收录依据很明确:文章不是泛泛讲概念,而是直接围绕预渲染与 hydration 不一致导致的渲染故障,给出可操作的规避思路。适合使用 React/SSR/SSG 的前端工程师阅读,尤其在排查首屏异常、内容闪烁和服务端/客户端不一致时具有迁移价值。