工程实践知乎 - 严格鸽
本文记录了一道 LeetGPU Hard 题目——FP32 滑动窗口自注意力在 T4 GPU 上的优化过程，目标是将 5000×64、window_size=16 的推理加速到极致。作者从 256 线程、每 warp 处理一个 Query 的基线出发，通过 shared memory bank conflict 消除、K/V 共享 tile、交错 query 提升 ILP、手写 PTX 倒数近似加牛顿迭代、去掉 Q 的 shared memory 缓存以提升 occupancy 等手段，将时间从约 0.28 ms 优化到 0.177 ms。文中逐一展示了各版本的关键改动和性能收益，最终方案减少了一次 shared memory staging，并通过 #pragma unroll 16 平衡了控制开销与寄存器压力，在单 T4 上取得目前第一名成绩。整体适用于固定窗口尺寸的批量自注意力加速场景，但优化策略（如 occupancy 调优、PTX 指令替换）可迁移至其他类似 GPU 内核开发中。
推荐收录，因为它不是简单的竞赛题解，而是一个完整的 GPU 内核优化案例，清晰展示了从并行设计到微架构调优的迭代过程。文中对 bank conflict 处理、warp shuffle reduction、PTX 指令精度与速度平衡、shared memory 容量与 occupancy 权衡等都有具体讨论，对学习 CUDA 优化或处理类似 reduction+attention 模式的高性能计算开发者具有直接的参考和可迁移价值。
技术文章NVIDIA Technical Blog
文章系统介绍了NVIDIA NVLink技术在AI工厂中的横向扩展网络角色，从第一代到第五代的演进，重点解析了第五代NVLink提供的1.8 TB/s总带宽、NVSwitch实现的GPU全互联拓扑，以及NVLink-C2C实现Grace CPU与Blackwell GPU间内存一致性的片间互连。作者结合DGX和HGX系统实例，展示了NVLink如何支撑万亿参数模型训练和实时推理，并概览了未来NVLink 6和7的性能指标。文章主要基于NVIDIA官方视角，对NVLink技术的原理、性能和系统架构提供了深入描述，但内容局限于NVIDIA生态系统，未涉及替代方案或成本权衡。
推荐收录，因为文章详细解释了NVLink的协议设计、拓扑演进和性能数据，并提供了具体的系统集成案例，对于需要理解大规模AI训练基础设施的工程师和架构师具有明确参考价值。尽管带有官方宣传色彩，但其技术深度仍可帮助读者掌握GPU互连对系统设计和可扩展性的影响，适合作为硬件架构和AI系统工程的学习材料。
技术文章NVIDIA Technical Blog
本文深入探讨了CUDA中的内核融合技术，旨在缓解GPU计算与内存带宽之间的瓶颈。文章从GPU内存带宽不足以完全利用计算能力这一常见问题出发，详细解释了内核融合如何通过合并多个CUDA内核来减少内存传输和内核启动开销。文中介绍了多种实现融合的方法，包括手工编写融合内核、利用CUDA图动态融合以及通过编译指示自动融合等，并对比了各自的适用场景和潜在局限。文章还指出，内核融合虽然能够提升性能，但可能增加寄存器使用量和代码复杂度，需在具体情况下权衡。整体而言，该文为GPU性能优化提供了系统性的实践指导，特别适用于受内存带宽或启动延迟限制的计算密集型应用。
本文来自NVIDIA官方技术博客，从问题背景、优化原理到多种实现方式进行了系统阐述，并提供了可操作的代码示例和权衡分析。对于从事GPU编程、性能优化或HPC领域的开发者，文中关于减少内存瓶颈和启动开销的策略具有直接指导意义，可迁移至其他受类似约束的计算架构中。因此，该文具备长期参考价值，适合收录为技术深文。
工程实践NVIDIA Technical Blog
文章围绕 NVIDIA GB200 NVL72 这类高密度 GPU 机架如何通过 Slurm 的拓扑感知调度来提升作业性能，核心关注点是“任务如何放置”而不仅是“硬件有多快”。它强调在共享集群里，调度器需要理解节点、机架和互联拓扑，才能更好地把大模型训练或推理作业映射到合适的资源上，从而更接近整机架的性能上限。文章的适用边界主要在于面向 AI/HPC 集群管理与 Slurm 调度实践，尤其是对 NVIDIA 这类高带宽、强拓扑约束平台的资源编排问题。
推荐收录，因为它讨论的是大规模 GPU 集群中非常典型且长期存在的问题：如何通过拓扑感知调度减少性能损失、提升资源利用率。对做 AI 基础设施、HPC 集群管理和高性能作业编排的读者来说，这类经验具有较强的可迁移价值。
工程实践NVIDIA Technical Blog
文章围绕 NVIDIA GB200/GB300 NVL72 这类 rack-scale 超级计算机，说明其以 Blackwell 架构、18 个紧耦合计算托盘、GPU fabric 和高带宽网络组成统一系统。作者强调，AI 任务在这种硬件上运行时，关键不只是“把机器装进机柜”，而是要理解通信拓扑并据此做作业放置与调度。文章从硬件层次、网络/互联特性讲到 topology-aware scheduling，重点讨论如何减少跨托盘通信、匹配计算与通信密集型负载，并提升整体吞吐和资源利用。结论是，软硬件协同设计能明显改善大模型训练与推理的扩展性，但方案强依赖特定 rack-scale 平台，不宜直接照搬到普通集群。
有明确的硬件细节与调度方法，不是单纯产品介绍：文章直接讨论 rack-scale 互联结构、负载拓扑感知放置和性能收益。适合 AI 基础设施、HPC 平台和集群调度读者参考，但迁移时要注意它主要针对 NVIDIA NVL72 这类特定架构。