85 篇内容
本文是“让炼丹更科学一些”系列第九篇，系统回顾 AdaGrad 这一自适应梯度算法奠基工作。作者将 SGD 收敛分析推广到一般预条件矩阵，借助矩阵恒等式与 Mahalanobis 范数得到平均损失上界。再以最小化上界为原则，推导出最优预条件矩阵是梯度二阶矩的负二分之一次幂，说明二阶矩自适应并非启发式技巧。由于完整矩阵预知未来梯度且成本高，作者由截断求和、对角近似、EMA 和动量引出 AdaGrad、RMSProp、Adam，并指出 PSGD、Shampoo 等是其结构化近似。文章脉络清晰，但对 EMA 后理论保证丢失、实现细节和实验对比着墨较少。
推荐收录：文章完整复现了从 SGD 收敛证明到最优预条件矩阵的 AdaGrad 推导，并把 RMSProp、Adam、PSGD、Shampoo 等放进同一理论脉络，证据具体。适合优化器、深度学习训练和论文精读读者，可迁移到理解自适应学习率的设计原则；不足是偏理论推导，缺少实验对比与实现细节。
文章复盘 Amazon Neuron Science 与 Reactor 在 Trainium 上优化自回归扩散视频模型 Rolling Forcing 的工程实践，目标是实时流式视频生成。团队采用 kernel 中心的自底向上方法，用 NKI 定制 3D-RoPE、KV cache 拷贝和 attention transpose 等热点，并设计序列并行与张量并行的混合分片，解决 12 个 attention heads 与 8 个 Neuron core 不整除及 3D token 切分问题。优化后 3D-RoPE 从 5 秒降至 1.8 毫秒、每层 cache 拷贝从 23 毫秒降至 1.9 毫秒、VAE 解码器加速 8.25 倍，首次端到端运行即生成正确视频。文章称这些技术可迁移到其他实时自回归扩散模型，但主要依赖特定硬件和单一模型，缺少完整基准与复现细节。
推荐收录，因为文章不是产品宣传，而是给出 NKI 内核定制、混合 SP/TP 分片和模型结构改造的具体方案，并附 3D-RoPE、cache 拷贝和 VAE 解码器的量化收益。对从事生成式 AI 推理、视频生成、AI 加速器或性能优化的读者，这些方法可迁移到长序列实时推理场景；风险是结论主要基于 Trainium 与 Rolling Forcing，缺少跨硬件/模型对比和完整复现细节。
文章介绍如何用 NVIDIA Transformer Engine 与 BioNeMo 配方高效训练基于 MoE 的生物基础模型，重点解决专家计算碎片化、激活显存压力和低精度量化开销三个问题。方法上，以 GroupedLinear 将多个专家 GEMM 合并为一次分组操作，替代 Hugging Face 基线中的逐专家 Python 循环；采用 MXFP8 块缩放将权重与激活降至 8 位，并利用 Blackwell Tensor Core 加速；再通过 Sequential API 将 GroupedLinear、ScaledSwiGLU 和路由权重缩放融合为 ForwardGroupedMLP_CuTeGEMMSwiGLU_MXFP8 kernel。在 8 张 B200 上，Mixtral-8x7B 训练吞吐达到 Hugging Face 基线的最高 2.21 倍。边界是融合 MXFP8 内核依赖 Blackwell GPU 与 NVIDIA 软件栈，且未深入讨论生物模型精度和长序列场景下的泛化影响。
推荐收录，因为文章给出可复现的 MoE 训练优化路径，包括 GroupedLinear 分组 GEMM、MXFP8 块缩放和融合 GroupedMLP kernel，并在 8×B200 上报告 Mixtral-8x7B 相对 HF 基线最高 2.21× 吞吐。适合大模型训练基础设施、GPU 算子优化和 AI 工程化读者，可迁移到其他 MoE 或长序列训练场景。需注意其结论依赖 Blackwell GPU 与 NVIDIA TE/BioNeMo 栈，且未充分分析生物模型精度影响。
文章系统复盘得物交易搜索团队一年内从判别式检索走向生成式召回的工程实践。作者先以LLM增强文本索引，覆盖视觉理解、社区语料、I2I推理、详情页OCR与线上行为锚点，再用四塔多模态向量融合视觉、文本与行为信号。随后引入HLLM进行用户、商品、Query语义解耦，以HSTU把行为序列Token化并验证搜索场景的Scaling Law，并通过语义ID实现语义索引召回与自回归候选生成。最后提出召粗一体化架构，试图用统一生成模型替代部分级联链路。文章给出离线与线上收益趋势，但关键指标披露有限，且SID量化损失、实时增量更新、MFU约17%等仍是待解问题。
推荐收录：文章给出了从LLM索引增强、多模态表征、HLLM/HSTU到语义ID与召粗一体的完整落地路径，并讨论Scaling Law、MFU、SID增量更新等真实约束，工程证据密度高。适合搜索/推荐算法与工程团队参考，可迁移到生成式召回、语义ID和端到端排序系统设计；不足是关键线上指标披露有限，部分模块细节需结合后续文章验证。
NVIDIA 推出 NV-Reason-CT，一个面向 3D CT 体积成像的开源视觉语言模型，将思维链推理从 2D 胸片扩展到全三维 CT。模型组合全 3D ViT 编码器与 Qwen3.5-4B 语言模型，借助 3D MRoPE 保留层间空间关系，支持结构化报告、类放射科医生推理和多次追问。训练分两阶段：先基于约 55 万条结构化 QA、医生推理标注及合成数据做监督微调，再用 GRPO 强化学习，奖励按解剖区域计算以改善校准。在 CT-RATE 上达到 Macro-F1 0.614、Macro-AUROC 0.871，优于 VoxelFM、CT-CLIP、MedGemma 1.5 等基线，并获 NIH 放射科医生对推理合理性的正面评价。需注意其定位为开放研究基础，并非获批临床产品，实际应用仍需针对场景后训练和验证。
推荐收录。文章虽为 NVIDIA 模型发布博客，但给出了具体架构（3D ViT + Qwen3.5-4B、3D MRoPE）、两阶段训练细节（SFT + 解剖感知 GRPO）、CT-RATE 基准对比表和推理代码，对研究医学 3D 视觉语言模型、链式推理和强化学习后训练的读者有可迁移参考。风险在于数据与评测由厂商主导，临床结论尚未经过独立复现，宜作为技术调研而非临床决策依据。
文章从多阶段训练视角重新审视无调度学习率，把目标折中为每个阶段结束时都接近最优，而不是任意时刻停止即最优。作者基于经典的凸收敛不等式，分别推导“意外续训”的贪心解和“计划多阶段”的minimax解，给出两阶段最优学习率的闭式形式。核心概念是“等效步数”：贪心解相当于亏损部分训练步数，minimax解则让两个阶段的相对损失均衡，并可推广到多阶段。结论表明多阶段minimax通常优于贪心，但阶段数较多时一般需数值求解；且推导基于SGD/凸假设，迁移到Adam、Muon和Scaling Law需借等效步数做启发式修正。
推荐收录。文章不是泛泛介绍学习率调度，而是给出从凸收敛界到两阶段最优学习率的完整推导、闭式解和minimax均衡结论，并提炼出可迁移到实践Scaling Law的“等效步数”概念。适合深度学习训练、LLM预训练及优化器/学习率调度方向的研究者和工程师精读；主要风险是结论依赖SGD与凸假设，实际非凸和大模型训练中需实验验证。
文章介绍发表于 Nature 的逆合成预测模型 RetroChimera，目标是自动为小分子设计合成路线。它将基于 Transformer 的生成式模型 R-SMILES 2 与基于图神经网络和反应模板的 NeuralLoc 组合：前者灵活但易幻觉，后者可靠但受模板库限制。RetroChimera 用学习式排序集成两模型候选，使整体在常见和稀有反应类别上接近或超过更强子模型。盲测中专家更偏好其单步预测，多步路线在十个挑战目标上成功九个，相关实现与权重已开源。局限是博客仅作概述，完整实验细节、专有数据微调表现和失败边界需查阅论文。
推荐收录：文章对应 Nature 论文，给出 RetroChimera 的互补模型组合、学习式重排与盲测专家偏好，并开源实现和权重。适合关注 AI for Science、深度学习用于分子设计/逆合成的研究者与工程师，可迁移到多模型集成、排序学习和专家评测设计；但博客为概述，需结合论文确认完整边界。
文章介绍 NVIDIA Earth-2 / Earth2Studio 中面向气象预报的 AI 数据同化工具，展开两条技术路线。其一是基于分数的数据同化 SDA：通过定义观测算子，在扩散模型的多步去噪过程中逐次用站点观测修正中间结果，从而在不重训模型的前提下约束 CorrDiff 区域降尺度与 StormCast 短时预报。其二是 HealDA：用观测编码器把异质遥感与常规观测编码为 token，经 ViT 骨干聚合到 1° HEALPix 网格，秒级给出全球大气状态。文中给出可运行代码、GHCN/HRRR/UFS 数据接入方式，并报告留出站点上 CorrDiff-COSMO 风速 RMSE 降低 54%、StormCast-CONUS 六个预报步平均降低 7.2%。作者同时指出 SDA 效果依赖观测数量、空间分布与精度、目标场特征尺度及观测算子的良定性。
推荐收录：文章不只介绍产品，还给出 SDA 与 HealDA 的机制说明、可复现代码和留出站点误差对比（-54%、-7.2%），并明确观测密度、算子良定性等适用边界。适合从事 AI 气象、扩散模型条件生成或科学计算工程化的读者，“在推理阶段注入观测约束”的思路可迁移到其他带物理约束的生成任务；主要风险是评测基于 NVIDIA 自有工具链，缺少与数值同化的公平对比。
文章针对线性层的矩阵参数优化，提出对动量机制的新理解：动量不只是梯度的平均，还可视为一个在线回归问题的解。作者希望让参数层面的梯度下降逼近特征层面的梯度下降，于是把更新量对特征变化的偏差建模为线性回归并最小化，解出的校正梯度以输入自相关矩阵为Preconditioner，对其做EMA后得到一个SGDM变体。据此把更“靠谱”的动量替换进Muon得到Newton-Muon，输入各向同性时退化为Muon；再用梯度下降替代解析解优化该目标，引出DeltaMomentum，其演进与线性注意力从Vanilla到DeltaNet再到MesaNet高度一致。作者也点明两点不足：实现上需在前向记录自相关矩阵而破坏优化器独立性，理论上以实际输入构建Preconditioner可能限制探索空间并引入额外超参数。整体处于方兴未艾的雏形阶段，问题并不比结论少。
推荐收录：文章由苏剑林撰写，给出了把动量解释为在线回归问题的原创推导，并清晰串联Newton-Muon、DeltaMomentum与线性注意力演变的对应关系，属于可直接迁移到优化器设计的研究视角。适合研究大模型训练优化与深度学习理论的读者，帮助理解输入相关Preconditioner的动机与边界；作者也坦承实现耦合与探索受限等风险，判断审慎。
文章以美团智播数字人直播系统为例，系统梳理了本地生活场景下AI数字人直播从形象生成、动作驱动到规模化部署的完整技术路径。针对商家门槛高、时效严、同质化与成本大四大痛点，作者提炼出形象高保真、动作自然多样、语音手势语义协调、推理成本可控四项核心挑战，并介绍了结构解耦身份个性化、自奖励精准编辑、多级因果LLM动作生成MoTiGA、流式共语动作生成StreamingTalk及视觉Token压缩Glance2Gaze等方法，其中多篇已被CVPR、NeurIPS、ACM MM等会议收录。实验数据显示，MoTiGA在HumanML3D上FID降至0.041，Glance2Gaze实现75%的Token压缩和2.5倍推理加速。系统方面构建了实时交互与内容量产双引擎，配合“形象-动作-场景”解耦知识库实现多智能体协同生产。文章还给出了落地业务提升，但未披露万路并发的详细资源账单与失败边界，部分指标依赖论文自述仍需独立验证。
推荐收录。文章呈现了从业务约束、技术建模、论文实验到系统架构的完整工程演进，技术方案有明确量化改进和真实部署数据，适合数字人、多媒体内容生成及直播平台的工程师与研究者参考。其结构解耦、流式生成和Token压缩等思路可迁移到其他多模态生成与实时交互系统；但单方披露的指标和效率收益建议结合论文与独立复现结果再谨慎引用。
本文是腾讯架构师撰写的大语言模型实现原理通俗长文的中下篇，延续了让高中生读懂的目标。中篇从 Attention 出发，说明 Query/Key/Value 的角色、Multi-Head Self-Attention、Transformer 整体结构，以及 FFN 的作用；随后用传话游戏和蒙眼下山的类比，解释深层网络中的梯度消失/爆炸，并说明残差连接和 LayerNorm 如何稳定训练，并比较 Pre-LN 与 Post-LN。训练部分涵盖损失函数、反向传播、梯度下降、学习率调度与 AdamW 优化器。下篇介绍从预训练接龙模型到对齐的 SFT、RLHF、DPO，梳理贪婪解码、Temperature、Top-k/Top-p、Beam Search、KV Cache 等推理技术，再扩展到 MoE、GQA、滑动窗口、Mamba，以及量化、FlashAttention 等压缩加速手段。全文用大量生活化类比递减理解门槛，但技术脉络完整，适合初学者系统入门，不过部分类比与数据存在简化，深入实现仍需阅读原始论文。
文章用清晰多层类比系统拆解了 LLM 从注意力机制到训练、对齐、推理优化与模型压缩的完整链路，既有整体框架又有关键技术对比，适合初学者、工程师及希望速览 LLM 原理的读者作长期参考。其对概念间关系的梳理和类比设计可迁移到其他技术科普或教学场景，但部分数据和版本信息较新，阅读时需注意时效性。
本文从语言模型预训练和微调的实际需求出发，系统探讨了交叉熵作为 LM Loss 是否可替代的问题。作者指出，语言建模需要估计完整的下一个 token 分布而非仅预测单一标签，且训练数据以采样形式逐条进入，因此损失函数关于目标分布必须是线性的。依托这一约束，文章用切平面与凹函数关系推导出损失函数的一般构造，并联系到恰当评分规则（Proper Scoring Rules），给出对数、Brier、Tsallis 等经典例子，说明后者多为交叉熵的推广。随后，作者分析在 Softmax 激活下不同损失的梯度和凸性，指出交叉熵梯度更干净、利于前中期学习，而平方损失在后期可能有助于跳过难样本或噪声。最后，文章借助 Fenchel-Young 框架从给定损失反推最优激活函数，统一导出 Softmax、Sparsemax 与 Entmax，从而解释了交叉熵与 Softmax 搭配的必然性。文章还指出了连续分布中归一化因子难以计算的局限，并提醒更换损失函数后需要靠下游任务比较评估。
文章通过严谨的数学推导，从分布估计与采样约束两个层面给出了 LM Loss 的一般构造，并将交叉熵、评分函数、凸共轭和激活函数统一起来，具有很强的理论深度和长期参考价值。适合关注 LLM 优化原理与损失函数设计的科研人员和工程师阅读，其推导框架也可迁移到其他概率建模任务中。
本文是腾讯工程师作者基于在 MacBook 上从零训练迷你 LLM 的实践，写给非技术背景读者的大语言模型原理通俗讲解的上篇。上篇从“计算机如何看文字”出发，依次解释分词与 BPE 算法、语言模型的自回归预测机制、Embedding 的语义坐标内涵以及位置编码的作用，并用城市坐标、钟摆、华强北装配线等类比帮助理解。文章还特别说明了正弦位置编码为何能处理任意长度、词向量运算的统计本质，以及 Transformer 作为通用模型骨架所处的位置。作者明确说明上篇只是铺垫，Attention、FFN 与训练过程留待中篇，因此本文不涉及模型内部的数学推导和训练细节，适合作为零基础读者建立全局概念的入门读物。
作者并非单纯转述概念，而是结合亲手跑通迷你训练实验来梳理原理，在分词、Embedding 和位置编码等关键环节都给出了通俗类比和边界说明，且预告了后续深度拆解。适合零基础但想建立 LLM 整体认知的读者，也适合作为教学讲解的参考框架；主要风险在于通俗化会牺牲部分技术严谨性，但文中已标注了统计规律与严格逻辑推理的区别。
本文介绍微软研究院与合作方发布的GigaPath-Flash和GigaTIME-Flash高效病理学基础模型。GigaPath-Flash通过知识蒸馏将十亿参数ViT-g压缩为2200万参数ViT-S编码器，搭配2100万参数LongNet slide编码器，在全切片分类任务上以约50倍更少计算量达到原模型97%的预测性能。GigaTIME-Flash用ViT-S替换原CNN骨干，通过LoRA微调和轻量解码器实现H&E到空间蛋白组学映射，在四个癌种队列中匹配或超过原GigaTIME，并快约6倍、内存少约8倍。两模型均以Apache 2.0开源。文章强调当前是早期研究发布，评估覆盖有限，须经多机构临床验证后才可用于临床决策。
推荐收录，因为文章提供了关于病理学基础模型效率优化的具体方法和量化结果，包括蒸馏、LoRA微调和推理成本对比，对从事计算病理学、医学影像分析和高效视觉模型研究的读者有直接参考价值。模型开源且效率数据可验证，迁移价值在于展示如何在不显著牺牲性能的前提下大幅降低计算成本，从而支持更大规模人群研究。主要风险是博客深度有限，技术细节需查阅正式论文。
这篇文章介绍了 Netflix 如何利用多模态嵌入（CLIP 与 MediaFM）解决艺术作品和视频预览的冷启动个性化问题。作者首先说明 ID 型模型在资产新上线时缺乏行为数据的痛点，然后提出将预训练 CLIP 图像嵌入拼接进资产表示，使模型能“看到”画面内容，并将五个按画布分别训练的模型合并为一个统一模型，通过基于长期奖励的样本加权来混合不同画布数据。离线评估采用基于探索流量的逆倾向得分（IPS），在线 A/B 与消融实验表明，只有图像嵌入与模型合并结合才能获得显著提升。视频预览方面引入多模态基础模型 MediaFM，融合视觉、音频和文本信号，超越纯视觉 SeqCLIP。此外，文章描述了一个线性探针代理任务来低成本筛选新嵌入，以及共享 Embedding Store 基础设施支撑快速部署。该方案对大规模内容推荐系统有参考价值，但其效果依赖于充足的预训练模型和成熟的 A/B 实验平台。
这篇文章提供了完整的生产级案例：从问题定义、方案设计、消融实验、离线评估到线上 A/B，证据充分。适合推荐系统、AI 工程化和媒体个性化领域的工程师与研究者。其可迁移价值在于冷启动处理、模型合并、IPS 离线评估和代理任务筛选嵌入的方法论；风险是这些实践需要相应的基础设施（如 Embedding Store）和实验体系支持。
文章解析了美团与北京大学合作发表在 ACL 2026 并获得杰出论文奖的 GeoRA 方法。GeoRA 是针对 RLVR（带可验证奖励的强化学习）设计的几何感知低秩适配，源于对 RLVR 与 SFT 优化几何本质差异的洞察：RLVR 的更新稀疏、各向异性且避开预训练权重主方向，而现有 LoRA 类方法多按 SFT 先验设计，存在几何与工程错位。方法分三步：先用谱先验与欧氏先验定位 RLVR 偏好的稀疏更新子空间，再用截断 SVD 将其压缩为低秩稠密适配器，最后冻结残差权重以维持初始化函数不变。实验覆盖 1.5B 至 32B 的 Qwen 与 Llama，在数学、医学、代码三类 RLVR 任务上稳定优于低秩基线，OOD 能力遗忘更少，训练参数减少 99.5%、单步耗时降低 19.9%、显存降低 28.5%。文章还给出 AI 招聘场景的落地经验，验证效果与全参训练相当且效率高于 LoRA 基线。局限在于该方法依赖对预训练权重的谱先验分析，不同模型或任务迁移时需重新评估有效性。
推荐收录，因为文章完整呈现了一个面向特定训练范式（RLVR）的低秩适配方法的动机、方法构造、理论依据、系统实验和业务落地验证，属于研究价值与工程价值兼备的优质内容。适合研究高效强化学习训练、参数高效微调或大模型推理能力的读者，其“先刻画优化几何、再设计低秩近似”的范式可迁移到其他 RLVR 相关工作中，也为使用 LoRA 变体做 RLVR 提供了可复现的参考。
本文由苏剑林撰写，旨在将Softmax Attention线性化为具有Delta Rule的线性注意力变体。作者从Softmax Attention可视为平方复杂度RNN的视角出发，发现其递归增量天然具备Delta Rule形态，进而利用Softmax的一阶近似只近似对角线部分，以减小误差。随后，通过最小误差原则为残余的二次项寻找替代量，最终推导出Gated DeltaNet（GDN）的形式。文章严格推导了从Vanilla Linear Attention到GDN的转化过程，并说明了近似策略的动机与优势。该方法为线性注意力机制的设计提供了新的理论思路，但仍是近似变换，存在精度与泛化能力的边界。
推荐收录。文章展示了从Softmax Attention到Gated DeltaNet的完整数学推导，提供了可复现的理论路径，对研究线性注意力、RNN形式Transformer或高效长序列建模的读者有直接参考价值。其近似原则和误差分析可迁移至其他注意力变体的设计，是AI基础理论方向的优质内容。
文章复盘美团搜索3.0在服务零售排序中应用LLM语义表征的三期实践。一期通过特殊Token与注意力掩码生成Query和POI的64维向量，以余弦相似度分桶注入精排，验证可行并显著改善长尾体验。二期构建Query-POI-Deal五元组，结合LoRA微调、MRL-E降维及InfoNCE与Triplet联合对比损失，系统性提升表征质量。三期将表征迁移至下挂精排，解决覆盖率缺口后，用PEPNet门控注入并叠加全域交叉统计特征，进一步提升订单。作者沉淀了难负样本质量决定上限、Embedding Prompt宜精简、迁移需先验证覆盖率等经验，并指出负例质量提升与Semantic ID量化等后续方向。作者也说明结论源于美团特定场景，普适性有待验证。
本文是真实业务三期迭代的完整复盘，包含问题定义、多方案对比、离线在线指标和工程细节（如覆盖率修复、存储优化），对搜索排序、LLM表征应用和推荐系统工程师有直接参考价值。可迁移经验包括难负样本构造、MRL-E多尺度降维、PEPNet门控注入等，同时也指出了阶段局限性。适合作为长期技术参考。
文章介绍微软研究院推出的 Skala 1.1，一种基于深度学习训练的 DFT 交换关联泛函。相比上一版本，训练数据量扩大 2.5 倍，在 GMTKN55 基准上加权平均误差达到 2.8 kcal/mol，以 meta-GGA 计算成本超越全局杂化泛函，并改善了电子密度、偶极矩和分子几何结构预测。Skala 已集成到 CP2K，并正在接入 Psi4、FHI-aims、ORCA 和 VASP 等主流电子结构软件。文中展示了 CP2K 与 PySCF 实现之间的数值一致性验证，误差在 0.1 kcal/mol 以内，同时给出 CPU/GPU 性能对比，并推出持续更新的性能基准报告。整体体现了连续改进的模型迭代思路，但作为项目进展公告，未深入展开模型架构与训练细节。
推荐收录，因为文章提供了明确的基准数值、跨软件集成验证和性能对比，展示了深度学习 DFT 从研究原型走向工程可用的路径。对计算化学、材料科学和 AI for Science 的读者有参考价值，尤其有助于了解 Skala 的集成方式和验证方法。需要注意这是项目公告，适合作为发展脉络的长期记录，而非方法论详述。
文章介绍 Quarkslab 开源的 pcode_graph 库，用于将二进制代码转换为语义图，并利用图神经网络进行跨架构、跨编译器的函数相似性检测。作者首先解释为何统计特征和原始汇编不适合语义比较，然后详细展示通过 pypcode 将二进制提升为 P-Code、构建数据流图与控制流图、应用简化与分析 pass 的过程。实验基于 Cisco-Talos 数据集，采用 GINE 架构和 Supervised Contrastive Loss 训练嵌入模型，最终在 XM 等任务上取得与基准最优方法 GMN 相当的 AUC。文章也明确指出了当前方法的局限，如指令排列对控制流边的影响、大函数超时剔除以及未做充分的超参数搜索。
推荐收录，因为文章不仅开源了可复用的工具，还完整呈现了从二进制语义提取到图神经网络建模的工程链路，包含具体代码、数据预处理权衡和实验对比。适合从事二进制分析、漏洞挖掘、恶意软件检测或程序相似性研究的读者，其将 P-Code 抽象与 GNN 结合的方法可直接迁移到相关工程场景，且文中明确说明的边界和未解决问题有助于读者判断适用性。
文章由苏剑林撰写，深入解析了K3模型在MoE和Attention上的设计思路与取舍。在MoE部分，作者提出Stable LatentMoE，通过SiTU‑GLU激活和关键位置的RMS Norm解决LatentMoE的稳定性问题，并引入QB分位数平衡策略，以低通信的分bin方法实现大规模专家负载均衡。在Attention部分，作者论证了在训练成本、KV Cache大小和Decoding计算量的多约束下，MLA仍是对效果与效率平衡良好的选择，结合KDA后更是可以移除RoPE，形成NoPE方案。文章还对比了DSV4的Attention设计，指出其本质是对MLA思想的极致推广而非抛弃。全文以效果、效率与稳定性的协调为主线，提供了多项有实验支撑的架构决策参考。
本文为知名研究者苏剑林对K3模型架构的深度解读，详细阐释了MoE稳定化、负载均衡和Attention选型等关键设计，并给出了明确的动机、实验依据和边界分析。适合大模型架构师、研究人员以及对大规模训练优化感兴趣的工程师，其关于训练稳定性、计算‑存储权衡和混合架构设计的方法论具有很强的可迁移价值。
文章提出一种统一视角来理解深度学习中的Scaling Law，将模型训练损失分解为数据误差、优化误差和架构误差三层，并对每层关键变量（学习率、批大小、训练步数、参数量、宽度深度、数据量、多轮训练等）假设幂律形式，利用异幂不等式推导最优参数配比和缩放关系。推导结果与Kaplan、Chinchilla、Step Law、Microsoft Law等经典工作进行对照验证，部分指数理论值与实验值接近。文章还探讨了MoE和Memory等稀疏架构对Scaling Law的影响，以及数据端Multi-Epoch的最优轮数。最后讨论了幂律假设的合理性，指出幂律源于长尾性质和无标度性，而系数变化比指数变化更符合工程改进的物理类比。分析框架具有启发性，但数据侧分析仍较模糊，且幂律假设的适用范围需要在实际训练中验证。
本文对Scaling Law进行了系统性重构，将优化、架构和数据的影响纳入统一数学框架，推导过程清晰且与多个经典结论互洽，为理解深度学习扩展规律提供了新颖的整合视角。适合关注模型训练理论、资源分配和架构设计的深度学习研究者和工程师阅读，其推导方法和分解思路可直接迁移至其他规模定律分析任务。
文章提出 ControlG 框架，将工业 PID 控制器引入多任务图自监督学习，将多目标协调重新定义为时间分配问题，避免逐步梯度混合带来的冲突、漂移和饥饿。框架包含三个时间尺度的闭环：感知环估计目标难度（谱需求与干扰），规划环基于对数超体积敏感性生成计算资源分配计划，控制环利用 PID 控制器跟踪分配并修正偏差。在 9 个图基准（含同配、异配及大规模图）上的节点分类、链接预测和节点聚类任务中，ControlG 的平均排名显著优于随机调度及多种多任务基线，效率开销可控，且训练过程可解释、可审计。消融实验证实各组件贡献，方法主要适用于共享参数的多目标场景，当前验证限于图 SSL，作者正探索其在 LLM 持续学习与多任务微调中的应用。
本文来自亚马逊科学博客，详细介绍了 ICML 论文 ControlG，以控制理论重构多任务学习中的梯度冲突问题，方法新颖且有扎实的理论与实验支撑。适合从事多任务学习、图神经网络或自监督学习的研习者。其感测-规划-控制的分解及可解释调度记录，为克服目标冲突提供了可迁移的设计范式，具有长期参考价值。
本文从论文《The Key to Going Linear》出发，推导了LogSumExp和Softmax的泰勒展开式，利用偏置简化形式并通过梯度关系建立展开。在此基础上，文章分别探讨了两个应用方向：一是用LogSumExp展开解释Block Sparse Attention的块打分机制，与MoBA、SPLA、HiLS等工作建立联系，并讨论高阶修正及协方差对角近似；二是用Softmax展开直接近似归一化后的注意力权重，得到一阶和二阶线性注意力形式，关联Based等工作，指出二阶近似可转化为线性注意力。推导过程严谨，为稀疏和线性注意力提供了统一的数学视角。需注意的是，展开截断有限项时可能无法保证非负性，且高阶近似会增加计算成本。
苏剑林的文章一贯深入浅出，本文从一篇特定论文切入，但并未止步于解释，而是将Softmax展开与多个已有工作（MoBA、SPLA、Based等）串联起来，展示了一个共享的数学框架。这对关注高效Attention机制、Transformer优化的研究者或工程师极具参考价值，不仅提供了可迁移的推导思路，还有助于从统一视角比较不同线性化方案。
文章介绍了Gemini Robotics 2系列模型，包括用于全身控制的视觉-语言-动作模型（VLA）、用于具身推理的视觉-语言模型（ER）以及可在设备端高效运行并快速适应新机器人形态的轻量VLA。核心进展在于实现了人形机器人的全身协调控制、多指与夹爪的灵巧操作、多机器人协作以及数百步长时任务规划。文中给出了在多种机器人平台上的基准测试结果，展示了不同技能类别的成功率，同时也指出多指灵巧操纵仍具挑战。此外，文章强调了安全框架，引入了ASIMOV-Agentic基准来衡量推理模型的安全编排和不确定性处理能力。该工作面向通用物理智能，但当前成果仍处于研究阶段，运动速度和复杂任务的成功率有待进一步提升。
本文系统地介绍了Gemini Robotics 2的技术架构、关键能力、实验评估与安全设计，具备研究发布所要求的明确问题定义、方法依据和局限分析。对机器人学、具身AI、多模态模型及安全领域的研究者和工程师有直接参考价值，其多模型协作和快速适应新形态的技术思路可迁移到相关工程实践。
文章针对 LLM 在长程交互中上下文无法无限扩展的问题，指出递归摘要虽能压缩上下文但会显著降低性能，尤其在高质量训练数据稀缺的辅助场景（如协作编程）。为此提出 ABBEL 框架，将摘要重新设计为可显式更新的自然语言信念状态，并引入信念评分机制，通过自编码启发式或领域知识来监督信念状态的信息含量。实验在 CollabBench 协作编程、Combination Lock 猜词游戏和多目标问答三个环境中进行，结果表明信念评分能有效缩小与全上下文模型的性能差距，同时减少内存占用和训练步数。文章还讨论了信念状态的潜在扩展及多种记忆形式的组合前景，为长期交互中的记忆管理提供了新思路。
该研究直面 LLM 在数百步交互中面临的上下文管理挑战，提出信念状态与评分机制的框架，并在多个环境中验证了有效性，兼具理论启发性与工程参考价值。适合从事 LLM 代理、对话系统或长程任务优化的研究者和工程师，可从中学到如何通过结构化摘要和监督学习来权衡性能与效率。
本文解读CVPR 2026 Highlight论文GeoRK2，提出一种免训练的扩散Transformer加速框架。作者指出高加速下生成质量下降的根源是流形漂移，即大步采样时轨迹偏离模型内部低维弯曲特征流形。方法将二阶Runge-Kutta积分与黎曼几何结合，利用激活谱分析揭示前64个主方向解释99%以上方差，并设计几何感知预测、低秩度量校正和自适应稳定机制。在DiT-XL/2、FLUX.1-dev和HunyuanVideo等模型上实现4-5倍加速，同时保持低FID和语义一致性，消融实验验证各组件必要性。该方法无需重训练，仅增加约5%计算开销，适用于图像和视频生成场景，明确了扩散采样必须尊重特征几何结构的关键原则。
本文以一篇高亮论文为载体，清晰剖析扩散模型加速中的几何本质，融合动机分析、方法设计和多维实验验证，展示了从问题洞察到算法落地的完整链路。适合从事生成模型推理优化、计算机视觉研究的技术人员，文中几何感知加速思想可迁移至其他深度生成模型的加速设计中，具有明确的长期参考价值。
本文从凸优化理论出发，通过推广恒等式和放缩变换，推导出模型权重平均与学习率衰减之间的定量联系。作者首先指出常数学习率加等权平均的理论收敛速度可达到线性衰减的终点效果，但实践不佳；进而分析任意加权平均的收敛界，得到平均权重相当于学习率乘以衰减因子的结论，揭示了指数滑动平均（EMA）优于等权平均的原因。文中还结合 Schedule-Free 等近期工作，讨论了学习率调度无法完全被权重平均取代的深层原因，指出最优学习率仍依赖于总步数，导致相关方法仍无法彻底摆脱 warmup 和调度。该分析基于凸函数假设，实际非凸训练中结论可能偏移，但其理论框架为优化器设计提供了启发。
本文以严格的凸优化推导，系统揭示了权重平均与学习率衰减的数学等价条件，并解释了 EMA 奏效、等权平均失败的本质，对理解深度学习优化中的实用技巧有理论指导意义。适合从事优化器研究、模型训练或希望深入训练 dynamics 的读者，其推导方法可迁移至其他训练策略的分析中。理论假设与现实的差距已被作者明确指出，但仍不失为有价值的长期参考。
本文提出基于通用可扩展性定律（USL）的大语言模型（LLM）计算动力学模型，用以解释OpenAI在训练LLM时观察到的计算高效前沿（CEF）。USL在标记化的神经网络景观中定义了双稳态极小值，其中更深的极小值决定了LLM实例可达到的最低损失。作者指出，规模更大的LLM具备与CEF幂律斜率对齐的更深的全局最小值，这表明CEF是更大规模模型捕获跨语料相关性的自然结果。文章为LLM可扩展性提供了理论框架，但模型依赖于对神经网络景观和标记化的假设，可能未涵盖所有实证因素。
该文章从通用可扩展性定律出发，为LLM训练中的计算高效前沿提供了新颖的理论解释，对理解缩放法则具有长期参考价值。适合关注LLM可扩展性、深度学习理论和性能建模的研究者与工程师阅读。其跨领域迁移价值在于将经典可扩展性理论与现代AI模型相结合，但需注意模型的理论假设可能与实际训练细节存在差距。
本文提出将Transformer中的MLP层视为Hebbian记忆的全新视角，据此设计了一种无需梯度下降的闭式MLP构建方法，用于高效存储事实（键值对）。该构建通过在高斯随机投影后的特征空间中计算外积和，使MLP以信息论最优的Θ(F log F)参数量存储F条事实。理论分析证明了该构建在独立MLP及Transformer Block中面对attention噪声时的容量保障，并可实现无需重训练的事实编辑。研究为理解LLM中的知识存储机制、可解释性及模型编辑提供了坚实的理论基础，主要局限在于目前侧重于理论构建与仿真验证，尚未在大型预训练模型上充分验证。
文章以简洁的数学框架揭示了MLP与Hebbian记忆的等价性，并给出了可证明的信息论最优存储构造，直接回应了LLM事实存储效率这一重要研究问题。适合关注模型解释性、知识编辑或高效微调的研究者与工程师，其构建思路可能启发新的无训练记忆增强或参数高效适配方法。
文章介绍NVIDIA CTK Sensor RTX Python API，该独立安装包允许开发者在现有应用中集成基于物理的RTX传感器模拟功能，生成带标签的合成数据，如摄像头图像、激光雷达点云和雷达数据，用于感知AI训练与测试。文中通过代码示例展示配置传感器与环境、渲染数据、应用颜色映射、生成实例分割掩码和深度图等关键步骤。方案无需完整Omniverse套件，支持自定义OpenUSD场景、SimReady资产或导入自有数据，但要求系统配备NVIDIA RTX GPU并限定于物理精确渲染任务。适用于希望在现有工具链中嵌入传感器模拟的机器人、数字孪生和自动驾驶工程师。
该文提供了将RTX传感器模拟集成到非Omniverse应用的实用API和完整示例，技术细节清晰，直接支撑合成数据生成工作流。对计算机视觉、机器人及自动驾驶领域的开发者，能显著降低独立环境搭建的成本，迁移价值高。
文章提出 SlideSparse，首次在 NVIDIA GPU 上使 6:8、4:6 等温和结构化稀疏模式利用稀疏张量核加速，填补了长期技术空白。核心方法是通过滑动窗口将不满足 2:4 约束的权重块分解为多个重叠的 2:4 子块，以适度数据膨胀换取硬件加速，理论加速比约 1.33 倍。权重变换离线完成，输入侧重排融合进推理 kernel，系统集成于 vLLM。实验在多种 GPU、精度和模型上验证，Prefill 阶段接近理论上限，Decode 阶段也有一定提升，证明了通用性与实用性。该工作将稀疏优化从极端二选一扩展为灵活配置，使稀疏成为与量化并列的推理优化维度。
SlideSparse 解决了温和稀疏无法硬件加速的长期痛点，通过滑动窗口分解实现计算套利，有扎实的理论分析和充分的工程验证。文章适合关注大模型推理优化、稀疏压缩或系统部署的读者，其思想可迁移至其他稀疏模式或硬件后端，具有较高的长期参考价值，推荐收录。
本文是微软亚洲研究院在 ICML 上五项视觉研究的精选介绍，涵盖世界模型、轻量化扩散编解码、视觉高效压缩、跨模态统一建模与长视频时序推理等前沿方向。PERSIST 框架通过三维环境帧显式建模空间记忆，实现数千帧长程交互式生成；CoD‑Lite 利用卷积扩散与蒸馏，在 A100 上达到 1080p 实时解码；隐式视觉表征将视频压缩为单个 LoRA 向量，支持极低码率重建；LatentLM 以因果 Transformer 统一离散与连续模态，在文生图与语音合成中表现出可扩展性；ViTL 用两阶段焦点采样解决长视频问答的算力分配瓶颈，结合强化学习优化定位与答案。每项研究均附有论文链接，适合作为前沿方向概览。但文章属于简报性质，缺少深入的技术拆解与局限性讨论，详细实现需阅读原论文。
文章汇集了微软亚洲研究院五项 ICML 视觉前沿研究，每项均给出明确的问题、方法与关键结果，并有论文链接支撑，适合视觉与机器学习研究者快速把握最新研究方向。内容虽为简报，但提供了可迁移的新思路，如持久的空间记忆、轻量化生成与统一多模态框架，对工程落地与学术探索均有启发。不足之处在于解读较浅，需结合原文获取完整细节，但作为研究动态的索引仍具有长期参考价值。
文章介绍了微软亚洲研究院提出的Spectral Sphere Optimizer（SSO），一种基于μP理论的新优化器。它将训练稳定性与最速下降目标统一到同一框架中，通过谱球约束保证权重和更新量满足μP条件，并在切空间内计算更新以实现Loss最快下降。文章详细推导了最优更新的数学解，引入拉格朗日乘子和二分搜索求解，并结合谱球回缩、幂迭代缓存等工程实践降低计算开销。实验表明，SSO在不同规模模型上均优于AdamW和Muon，且无需权重衰减，训练过程更稳定。文章同时讨论了当前方法的边界，如需要数值迭代、对c参数的控制仍需进一步研究。
这是一篇兼具理论深度和工程细节的论文解读，清晰阐述了SSO优化器如何从μP理论出发统一训练稳定性与效率。适合从事大模型训练优化、优化器设计的研究者和工程师阅读。文中推导和工程技巧（如切空间更新、谱球回缩）具有较强的可迁移性，有助于提升对训练动力学的理解，并可直接指导实验改进。
文章探讨了AI模型与硬件协同设计的方法，旨在在不牺牲准确性的前提下提升LLM推理的吞吐量和交互延迟。作者分析了Transformer、Mamba等模型架构对GPU内存带宽、计算利用率和KV缓存等硬件资源的影响，指出减少注意力头的GQA等变体能有效降低内存压力。通过对比不同模型在NVIDIA H100 GPU上的推理性能，展示了选择硬件友好架构（如状态空间模型）带来的吞吐量提升。文章还讨论了量化、批处理等优化技术的权衡，并强调协同设计需贯穿模型开发早期阶段。结论是，通过架构层面的针对性设计，可显著提升LLM推理效率，但需要根据具体硬件特性进行定制化权衡。
该文不是泛泛的性能调优介绍，而是深入模型架构与硬件底层特性的匹配原理，通过具体数据对比和工程分析展示了协同设计的实际价值。适合从事AI推理部署、模型优化或系统架构的工程师和研究者参考，其方法论可迁移至其他模型或硬件平台的性能优化。因此推荐收录。
文章围绕 MoE 中 Router/Gate 的“门控是否需要归一化”展开，比较了 Softmax、Sigmoid、ReLU 以及 Re-Norm 等不同做法，并指出当前工业实践中这些变体效果往往接近，因此更需要从理论上寻找统一解释。作者先从“让 Router 选择期望损失最小的 Expert”出发，构造目标分布与预测分布，并用 KL 散度把离散路由问题转化为可优化目标。进一步推导表明，这一过程可对应到 REINFORCE、STE，以及用专家权重改写后得到的前后一致训练形式，从而说明 Router 作为 Gate 时应当归一化，但不必 Re-Norm。文章也讨论了采样与 Top-k 的权衡，强调随机性、稳定性和负载均衡之间的取舍。其边界在于概率框架对 Top-2 等形式不够自然，因此它更像对主流 MoE 路由的一种统一解释，而非对所有变体的最终定论。
推荐收录，因为文章直接以 MoE Router/Gate 的训练机理为对象，给出了 KL、REINFORCE、STE 到归一化策略的统一推导，而不是停留在经验结论。适合研究 MoE、稀疏路由和大模型训练的人阅读；其可迁移价值在于帮助读者判断离散决策如何获得梯度，但对 Top-2 等变体的解释仍有边界。
文章介绍了如何借助 NVIDIA Model Optimizer 将 Nemotron 3 Ultra 转换为 NVFP4 checkpoint，以降低大模型权重搬运成本并提升长上下文场景下的推理效率。核心思路是利用 Blackwell 架构引入的 NVFP4 4-bit 浮点格式，对模型权重进行量化压缩，在尽量保持模型质量的同时显著减少显存占用和带宽压力。文中强调这种做法并不是通用“无损压缩”，而是依赖特定硬件与工具链的协同，适合追求吞吐、延迟和部署成本平衡的 LLM 推理链路。其价值主要在于给出从原始模型到可部署 checkpoint 的实际路径，但适用边界也很明确：需要 Blackwell 相关能力，且对精度敏感任务仍需额外验证。
推荐收录，因为文章直接给出了基于 Model Optimizer 生成 NVFP4 checkpoint 的工程路径，明确涉及 Blackwell、4-bit 量化和推理性能优化。适合做大模型部署、显存压缩和 GPU 推理优化的读者参考，但需注意它强依赖特定硬件与量化误差验证。
文章围绕矩阵参数优化中的奇异值失控问题，提出了 Muon 的双旋转变体 MuonR。作者借鉴 Pion 的思路，先用“瞬时重参”把任意矩阵写成两个正交矩阵的乘积，再把更新转化为正交流形上的最速下降，从而只更新左右奇异向量并保持奇异值分布不变。文中给出了可解析的更新公式，并说明实际训练中可直接用动量替代梯度。作者还分析了它与普通 Muon、Pion 的差异、计算量约翻倍的代价，以及从常规 Muon 中途切换到 MuonR 的做法。其主要边界在于初始奇异值需事先设定，适合需要维持矩阵谱性质和训练稳定性的场景。
文章直接给出 MuonR 的推导、更新规则和与 Pion 的对比，属于可复用的优化器研究笔记而非泛泛讨论。适合做深度学习优化、矩阵约束训练和谱性质控制的参考，但需注意它对初始奇异值设定和额外计算量有明确要求。
文章系统介绍了美团围绕商业海报生成建立的 AIGC 技术闭环，核心由 PosterCraft、PosterOmni 和 PosterReward 三项工作组成，分别对应端到端高质量生成、多任务统一编辑与专用质量评估。作者详细展开了数据构建、分阶段训练、奖励模型、偏好对齐和统一评测基准等方法，并说明这些能力已在外卖套餐图、品牌 IP 和信息流治理等真实场景中落地。
推荐收录，因为它不是单纯展示模型效果，而是完整呈现了生成、编辑、评估三位一体的工程与研究闭环，包含数据、训练、奖励和评测的关键设计。对做多模态生成、AIGC 工程化或行业落地的读者，都有很强的可迁移参考价值。
本文介绍美团 LongCat 团队的 LongCat-AudioDiT 零样本 TTS 音色克隆模型，核心思路是抛弃梅尔频谱等中间表示，直接在波形潜空间中用 Wav-VAE + DiT 完成文本到语音生成。文章重点讲解了两项关键改进：一是修复流匹配 TTS 中训练与推理阶段对提示区域约束不一致的问题，二是用自适应投影引导（APG）替代传统 CFG 以缓解过饱和并提升自然度。作者还分析了潜空间维度与帧率的权衡，展示了该模型在 Seed 基准上取得的零样本语音克隆 SOTA，并给出可懂度指标保持竞争力的结果，说明“直接波形隐空间生成”路线在高保真语音合成上是可行的。
推荐收录，因为它不是简单的产品发布，而是完整展示了一个语音生成研究方案的架构选择、训练/推理修正、引导策略和实验验证。对做语音合成、扩散模型或生成式音频研究的读者，这篇文章有较强的迁移价值，尤其适合参考模型设计与评测思路。
这篇文章介绍了 Netflix 在“可控 AI 视频编辑”方向上的两项早期研究探索：Vera 和 VOID。Vera 通过分层视频扩散模型把“需要修改的内容”和“应保持不变的原视频区域”解耦，从而尽量保留源视频的身份、表演和背景细节；VOID 则面向视频目标删除，加入物理因果推理与两阶段推理流程，使被删除对象及其相关交互后果能够以更合理的方式被重建。文章还给出了自建数据集、模型架构、评测设计和用户研究结果，并明确讨论了当前在复杂特效、摄像机运动、视频长度与分辨率上的局限。
推荐收录，因为它不是单纯的产品宣传，而是围绕一个清晰研究问题给出了方法、数据、评测和局限分析，具有较强的长期参考价值。对于关注生成式视频编辑、可控生成、视频理解与物理一致性的读者，这篇文章能提供可迁移的研究思路和实验框架。
这篇文章介绍了微软亚洲研究院与多家医院合作发表的专病多模态基础模型 RenalCLIP，核心目标是让模型从“通用医疗表征”转向“肾癌专病理解”。文章说明了模型的两阶段预训练方法：先从放射学报告中学习肿瘤位置、大小、强化模式等结构化属性，再通过视觉-语言对比学习将 CT 影像与临床语义对齐，以支持良恶性判断、侵袭性评估、R.E.N.A.L. 评分和生存预测等任务。
推荐收录，因为它不是泛泛的产品宣传，而是围绕一篇真实发表的研究论文，清楚展示了专病基础模型的建模思路、训练范式和多中心评估结果。对关注医疗 AI、视觉-语言模型和小样本/零样本迁移的读者都有参考价值，也能帮助理解“从通用到专病”的研究趋势。
这篇文章从大模型推理与训练中的几个核心算子入手，系统拆解了 RMSNorm、Softmax、Causal Mask、Online Softmax、FlashAttention、采样等操作背后的数学等价变换与硬件实现逻辑。作者把“数值稳定性”“访存带宽”“寄存器/SRAM 压力”“并行度与同步开销”串成一条线，说明现代 AI Infra 的核心思路是在尽量不损失模型效果的前提下，通过重写公式、融合 Kernel、减少 HBM 访问和降低数据依赖来换取吞吐与延迟优势。
推荐收录，因为它不是单纯讲概念，而是把大模型常见算子如何从数学形式落到 GPU Kernel 优化讲清楚了，适合做 AI Infra、CUDA/Triton、推理引擎方向的长期参考。文章兼顾理论直觉与工程实现，读者能迁移到归一化、Attention、采样和分布式推理等多类优化问题中。
文章围绕 MoE 的序列级负载均衡问题，提出了从 QB 演化而来的 Moving Quantile Balancing（MQB）方案，目标是在不依赖 Aux Loss 的情况下实现更强的局部均衡。作者先回顾了全局均衡、局部均衡、测试时训练式更新和分位数最优解之间的关系，再通过分桶、EMA 和局部偏置项把分位数估计改造成可并行、可因果的路由机制。文末实验显示，MQB 能显著改善第一层 MoE 的不均衡，但过强的序列级约束会带来明显 loss 损失，因此更适合用于抑制极端不均衡，而不是无条件追求完美均衡。
推荐收录，因为文章不是单纯介绍 MoE 名词，而是沿着明确的问题定义、方法推导和实验验证，给出了一条可迁移的序列级均衡实现思路。它对做 MoE 路由、LLM 训练和负载均衡设计的读者都很有参考价值，尤其适合理解“局部均衡”和“全局均衡”的权衡边界。
文章围绕“能否直接把 FID 当作生成模型的损失函数”展开，先解释 FID/FD 的定义与可导性，再从均值、协方差和矩阵平方根的梯度推导出完整的反向传播形式。作者进一步指出真正的困难不在不可导，而在于 FID 需要跨样本统计、对 Batch Size 高度敏感，并由此引出等效损失、EMA 统计和队列近似等流式训练技巧。文章最后结合相关论文实验，说明这些方法可用于单步生成模型的微调，并在 FID 指标上取得显著提升，但也隐含对大批量统计稳定性的依赖。
推荐收录，因为它把一个常见评价指标 FID 的“可作为训练目标”问题讲清楚了，既有数学推导，也有训练系统层面的约束分析。对于做生成模型、损失设计或小批量训练近似的读者，这篇文章提供了可迁移的思路：跨样本统计如何求梯度、如何用历史信息模拟大批量效果。
文章围绕矩阵谱范数的估计问题，系统比较了幂迭代、Krylov 子空间加速、Schatten 范数上界以及多阶矩改进等思路。作者不仅解释了各方法的数学依据、复杂度和数值稳定性，还给出了 JAX 实现示例，并明确指出不同方案在“近似监控”和“严格上界”两类场景下的适用边界。文章还联系了深度学习中的 Lipschitz 约束、谱归一化和 Muon 优化器，说明谱范数估计在训练稳定性中的实际意义。
推荐收录，因为它把谱范数估计这一基础数学问题，和深度学习中的训练稳定性、约束优化等实践场景清晰地连接起来，具有较强的长期参考价值。文章兼顾公式推导、算法改进、复杂度分析和数值稳定性，适合希望把理论工具落到工程实现中的读者。
文章围绕“流式幂迭代”这一思想，讨论如何把原本需要完整迭代才能完成的矩阵运算，拆解为训练过程中每步只做少量修正的低成本方案。作者重点给出两个应用：一是每步更新后将参数重新投影回正交（Stiefel）流形，二是通过逐一裁剪主奇异值的方式近似实现谱范数约束，并解释了它们与 Newton-Schulz 迭代、主奇异向量幂迭代以及 Muon 优化器的关系。
推荐收录，因为文章不是简单介绍一个优化器技巧，而是抽象出“流式”这一可复用方法论，并把它具体落到正交约束、谱约束等训练场景中。对于关注深度学习优化、矩阵约束和高效近似算法的读者，这篇文章提供了可以迁移到其他迭代型计算的思考框架。
这篇文章用结构图梳理了 DeepSeek V4 的注意力机制，重点拆解了 Heavily Compressed Attention（HCA）和 Compressed Sparse Attention（CSA）两种形态。作者说明了压缩 KV 的生成方式、APE 在压缩块内的作用、压缩后再施加位置编码的原因，以及 window KV 与 compress KV、indexer 与 sparse attn 之间的关系，还指出了共享 KV MQA 与 MLA 在计算路径上的区别。文章最后补充了实现来源主要参考 HuggingFace 版本，并提醒开源推理框架可能做了额外优化，适合在理解模型结构时把握“论文/实现/推理框架”之间的边界。
推荐收录，因为它不是泛泛介绍注意力概念，而是把 DeepSeek V4 的具体结构拆成可读的计算流程，帮助读者建立对压缩注意力、稀疏注意力和位置编码配合方式的直观理解。对于研究模型架构、阅读开源实现或分析推理优化的人，这类“结构图 + 细节解释 + 边界说明”的内容具有较强的迁移价值。
文章面向大模型强化学习训练的吞吐优化问题，讨论如何在端到端流程中引入 FP8 精度，以提升训练效率并降低算力与显存开销。作者指出，RL 训练通常分为采样/生成与策略更新两类高强度阶段，二者对计算、带宽和数值稳定性的要求不同，因此单点加速往往不足。文中围绕 NVIDIA 的 GPU 与软件栈，说明 FP8 在推理、前向与反向计算中的应用方式，以及如何在保持训练可用性的前提下扩大吞吐。其核心结论是：对于支持该精度路径的硬件和框架，端到端 FP8 可以显著提升高强度 RL 训练效率，但需要配合数值验证与实现适配，不能简单地对所有模型直接替换。
收录理由直接而明确：文章围绕“端到端 FP8 精度”提升 RL 训练吞吐展开，属于可迁移的工程优化经验，而不是单纯产品宣传。适合做大模型训练、GPU 性能优化和数值精度权衡的参考；但其效果依赖支持 FP8 的硬件与软件栈，迁移时需要验证稳定性。
文章介绍了 Amazon 与 Nimbus Therapeutics 合作的实验：把通用大模型 Nova 2 Lite 通过监督微调（SFT）和强化微调（RFT）改造成分子性质预测器，用于药物发现中的脂溶性、渗透性和清除率等 11 项属性。作者先证明未定制的 Claude Sonnet 4 与 Nova 2 Lite 在该任务上明显落后于专用 GNN，误差可高出 40% 到 200% 以上；随后用 55,000 个带实验标签分子做 SFT，再在 15,000 个未见样本上用 RFT 优化。文中重点比较了指数衰减、二值奖惩和 Huber reward 三种奖励设计，指出 Huber 在大误差和小误差区间都更稳定，最终取得最佳结果。最佳模型在 11 项性质上平均 RMSE 接近或部分超过多模型 GNN 方案，并把原本需要多套模型与接口的流程简化为单一对话式系统。文章也明确边界：当前成果主要是性质预测，向分子生成与可解释推理扩展仍是下一步，且效果依赖领域数据、奖励设计和持续微调。
收录价值在于它给出了可复现的迁移路径：SFT 负责补足领域知识，RFT 通过 Huber reward 稳定优化回归任务，并用明确指标对比 GNN 基线。适合做 LLM 行业定制、科学计算与 AI4Science 的方法参考，但其结论主要针对分子性质预测，外推到其他科学任务仍需重新验证。
这篇博客从“生成式”视角研究 Transformer 中 MLP 层如何存储事实：不再只对已训练模型做探测，而是直接构造一个能够实现 key-value 映射的门控 MLP，并给出正确性与参数规模的理论保证。作者先提出 encoder gadget：在固定门控矩阵后，把求输出的问题化为线性系统，从而以接近最优的参数量把有限输入映射到任意标量。随后引入 value embeddings 的可解码性指标 ρ，利用“margin-optimal outputs + 随机 JL 投影”把输出维度压缩到 Θ(ρ^-2 log|V|)，使整体 fact-storage cost 达到 Θ(ρ^-2|K|log|V|)。当值向量较均匀、ρ=Ω(1) 时，这一规模接近信息论下界，并显著优于先前构造；实验也显示其参数效率接近梯度下降训练的 MLP，且明显好于 NTK 基线。局限在于结论依赖 generic keys、ρ>0 以及随机投影高概率保证，主要覆盖可分性较好的嵌入情形。
推荐收录，因为文章明确给出了可证明的事实存储构造、参数下界对齐和可解码性 ρ 的核心理论证据，不是泛泛讨论 MLP 记忆现象。适合研究 Transformer 内部机制、表示几何和模型压缩的读者；其“先构造、再压缩、再验证”的思路也具有可迁移价值，但对嵌入可分性与随机性假设较强。
这篇文章讨论 Transformer 中 MLP 层如何存储与检索事实，作者没有沿用“事后分析已训练模型”的路线，而是采用生成式方法，直接构造可证明正确的事实存储 MLP。核心思路是把单隐层 MLP 分解为编码器和解码器：编码器把 key 压缩成约为 log F 维代码，解码器再恢复到 value 空间，从而在参数量上达到接近信息论下界的 Θ(F log F) 级别。文章进一步提出“可解码性”指标来刻画输出嵌入几何对容量的限制，并发现其对梯度训练和构造型 MLP 的事实存储能力都有很强预测性。作者还给出让 Transformer 可靠调用这类 MLP 的若干结构改动，并展示了在合成事实回忆任务上超过 99% 的召回率。最后，文章证明可通过整体替换 MLP 块实现模块化事实编辑，但同时指出容量与可用性之间存在权衡，且目前结果主要建立在受控合成设置中。
收录价值明确，因为文章不仅解释了 LLM 事实记忆的机制假设，还给出可证明的构造、下界匹配的容量分析和可复现实验。适合关注大模型机理、表示几何、可编辑记忆与合成验证的研究者阅读，但需注意其结论主要来自受控任务，向真实预训练模型迁移仍有边界。
这篇博客讨论物理信息神经网络（PINN）在求解 PDE 时的精度瓶颈，作者认为问题不仅是优化困难，也与网络表示能力有关。为验证这一点，他们先去掉 PDE，只做一维光滑函数插值，发现标准 MLP 即使加宽加深，RMSE 仍常停在 1e-8 左右，远离 float64 的机器精度；而多项式插值器可在很少参数下达到机器精度。基于此，作者提出 BWLer（Barycentric Weight Layer），把多项式插值作为可微层叠加到 MLP 上，或直接替代网络，从而把函数表示与导数计算解耦。在三个 PDE 基准上，BWLer-hatted MLP 最多将 RMSE 降低 1800 倍，显式 BWLer 可到 1e-12，但更依赖二阶优化器；本文主要提供动机和证据，完整机制与实现细节留到 Part 2。
推荐收录，因为文中用“先去掉 PDE 做插值”这一对照实验，直接证明精度瓶颈不只来自方程条件数，也来自 MLP 的表示上限。适合做科学机器学习、PINN 和数值方法研究的读者参考；但当前只是两部分中的前半，具体架构与实现细节需结合 Part 2。
文章围绕 PINN 在高精度求解 PDE 时常见的精度瓶颈，提出 BWLer（Barycentric Weight Layer）作为一种以重心拉格朗日插值为核心的高精度替代层。作者将函数表示与导数计算解耦：一种模式让 MLP 只预测插值节点值，再由 BWLer 统一完成全局插值与谱导数；另一种模式则直接把节点值作为可学习参数，形成显式 BWLer。实验表明，前者在三个基准 PDE 上可把误差降低 10 到 1800 倍，后者甚至能把相对误差推到 10^-12 量级，接近机器精度。文章进一步指出，精度提升与条件数恶化之间存在显式权衡：节点越多越精细，但导数矩阵越病态，优化越困难。作者也明确了边界条件：对不连续解、复杂几何或需要快速训练的场景，BWLer 目前仍可能比标准 MLP-PINN 更慢、更依赖二阶优化。
收录证据很明确：文章给出可复现的方法设计、三组基准 PDE 结果、误差与条件数的权衡分析，以及对不连续/复杂域的局限说明。适合做科学机器学习、PINN 和数值方法结合方向的长期参考，尤其对关注高精度训练与优化病态性的读者有可迁移价值。
本文介绍 PEVA（Predicting Ego-centric Video from human Actions），目标是在第一人称视角下，根据过去帧和全身动作轨迹预测下一帧视频，进而支持原子动作生成、反事实模拟和长时序滚动预测。作者将人体动作建模为基于运动学树的48维结构化控制信号，并在 Nymeria 数据集上训练自回归条件扩散 Transformer，把真实 egocentric 视频与姿态捕捉对齐学习。方法上加入 random timeskips、序列级训练和动作嵌入，以适应高维、时变且受物理约束的人体动作。实验显示模型在原子动作、长视频一致性和规模扩展上优于基线，还可用 CEM 和 LPIPS 做候选动作规划。文章也明确指出局限：目前只做局部手臂规划，缺少任务意图与语义目标条件，且用图像相似度替代真实任务目标仍偏粗糙。
这篇文章给出了明确的方法设计、数据来源、评测协议和局限分析，不是泛泛的项目介绍。适合关注具身智能、世界模型和视频生成的研究者参考，尤其可迁移的是把人体运动学结构引入第一人称预测，以及用规划式评估检验模型能力。
文章介绍了 BAIR 提出的 PLAID：一种把蛋白质折叠模型的潜空间当作生成空间来训练的多模态扩散模型，可同时生成蛋白质序列和三维原子级结构。其核心思路是只用更廉价、规模大 2-4 个数量级的序列数据库训练扩散模型，再在推理时借助冻结的 ESMFold 解码结构，从而绕开稀缺结构数据的瓶颈。作者还提出用 CHEAP 压缩联合嵌入，缓解 ESMFold 潜空间过大、分布不规则和大量“异常激活”带来的训练难度。文章展示了按功能与物种提示进行条件生成的案例，并说明 PLAID 能在保持较高序列多样性的同时复现金属蛋白配位、跨膜蛋白等结构/功能模式。其边界在于目前仍是蛋白设计领域的研究原型，依赖预训练折叠模型的表征能力，且主要验证了函数与生物体两个控制轴，离真实药物设计与湿实验闭环仍有距离。
推荐收录，因为文章明确给出了从“折叠预测”到“生成设计”的方法转向，并解释了序列-only 训练、冻结解码器和潜空间压缩的关键证据。适合做蛋白生成、条件扩散和表示复用的研究参考，但需注意它仍是面向预训练模型的原型验证，工程落地与湿实验效果还有边界。
文章记录了 Stanford Hazy Research 将 ThunderKittens 这一面向 NVIDIA GPU 的 AI kernel DSL 移植到 Apple Silicon/Metal 的过程，并把新版本命名为 ThunderMittens。作者先分析了 M2 Pro 的硬件特征：内存带宽相对算力更高、共享内存收益有限、bf16 编译优化不稳定、占用率对性能影响很大，因此更适合用直接寄存器加载和更简单的 kernel 组织方式。移植时，用户侧几乎只需把基础 tile 从 16x16 改成 8x8；内部则删去 swizzling、WGMMA/TMA 和异步读写等 NVIDIA 特定机制，并通过不同寄存器布局适配 Metal 指令。文中给出 GEMM 与注意力推理 kernel 的实现片段，说明 DSL 抽象在不同硬件上基本保持稳定，但具体优化手段会随平台变化。性能上，注意力 kernel 与 MLX 相差约 ±15%，GEMM 在多数尺寸上快约 9%，同时代码行数显著减少，但作者也承认当前仍处早期阶段，且调试依赖反复试验与 Xcode GPU 工具。
收录依据很直接：文章不仅给出跨平台 kernel 迁移的设计原则，还提供了具体实现、硬件约束和性能数据，能支撑读者判断 DSL 在异构 GPU 上的适用性。适合做 AI 系统、GPU kernel 和编译/DSL 设计的长期参考，但需要注意其结论主要基于 M2 Pro 与特定 kernel，泛化到其他平台仍需验证。
文章介绍了 LoLCATs，一种把现有 Transformer 大模型“线性化”为亚二次推理结构的方法。核心思路不是从头设计新架构，而是先用线性注意力替换 softmax 注意力，再通过 attention transfer 让新注意力近似原模型行为，并用 LoRA 这类参数高效微调恢复质量。作者声称该方法在 Mistral 7B、Llama 3 8B 等模型上显著优于传统线性化方案，且在零样本任务上接近原始 Transformer，同时把训练参数和 token 成本压到很低。更重要的是，他们把方法扩展到 Llama 3.1 8B/70B/405B，展示了在“学术算力”下线性化超大模型的可行性。文章适合关注高效推理、模型压缩和 Transformer 结构替换的读者，但其结论主要依赖论文与基准评测，实际部署仍需结合任务分布和质量回归风险验证。
有明确的研究问题、方法链路和量化结果：attention transfer + LoRA 低成本线性化，并给出 7B 到 405B 的实证。适合做 LLM 高效推理、结构替换和模型压缩的参考，但落地时仍需关注任务迁移与质量回归。
文章介绍 Stanford Hazy、Arc 与 Together AI 联合训练的 Evo：一个 7B 参数、基于 StripedHyena 的长上下文生物基础模型，使用 2.7M 个细菌和噬菌体基因组、300B token 的 OpenGenome 语料，以单核苷酸 byte-level 方式做 next-token 预测。作者把 DNA 视为同时承载 DNA、RNA、蛋白三种“语言”的统一建模问题，展示了跨中心法则的零样本泛化，包括蛋白功能预测、基因必需性判断，以及无监督生成新的 CRISPR 系统。文章重点分析 DNA 建模的难点：超长上下文、单碱基分辨率和噪声序列，并通过 300 个模型的 scaling laws 发现 Transformer++ 在 byte-level 上明显落后，Hyena/StripedHyena 更具计算效率。作者还提出 Mechanistic Architecture Design，用合成任务解释压缩、聚合和过滤能力，并据此改进架构；但当前证据主要来自原核和噬菌体数据，向真核与真实应用迁移仍有限。
推荐收录，因为它给出了生物序列基础模型的完整研究链条：数据集、架构、缩放律、机制分析和零样本验证都写得很清楚。适合关注长上下文、字节级建模、跨模态 foundation model 与生物计算交叉的读者，但要注意其结论目前主要建立在原核/噬菌体数据上。
这篇文章介绍了基于 Monarch Mixer（M2）的长上下文检索模型探索：作者用可替代注意力和 MLP 的 Monarch 矩阵构造 BERT 变体，并借助长卷积实现更高效的长序列建模。为适配 2K/8K/32K 上下文预训练，他们发现仅把短文硬拼接效果不佳，因此改用自然长文与拼接文档的混合语料，并在 32K 模型上从 8K 检查点 warm-start。检索微调阶段，作者指出常见对比学习损失受 batch size 影响严重，于是改用可在单样本显存约束下工作的 orthogonal loss，从而在长文场景稳定训练。文章还发布了 LoCo 长上下文检索基准，涵盖会议纪要、政策报告、剧本和论文等任务；结果显示 M2-BERT-32K 在该基准上显著优于同级或更大模型，但目前基准仅有 5 个任务，仍处于早期扩展阶段。
有明确的研究贡献：模型结构、长文预训练配比、微调损失和新基准 LoCo 都给出了可复用的做法与结果。适合做长上下文检索、Embedding 和 RAG 评估的研究/工程读者参考，但需注意基准规模仍小、结论是预览版。
文章综述了作者团队围绕“让模型维度计算从二次复杂度走向次二次复杂度”的研究路线，核心对象是 MLP 和投影层中的矩阵乘法。作者先指出：任意稀疏虽能减少参数，但会遇到质量-计算量权衡和 GPU tensor core 利用率低的问题，因此难以在真实硬件上兑现收益。随后文章从 FFT 的 Butterfly 计算模式出发，介绍可学习的结构化稀疏矩阵及其在 GPT-2 上的效果，再进一步过渡到 Monarch 矩阵，通过置换加块对角分解来适配 dense GEMM 硬件。实验显示 Monarch/Monarch Mixer 可在 OpenWebText、BERT、长序列任务上同时保持或接近原始精度，并带来可观的参数与端到端加速。文章的边界也很明确：这些方法主要针对特定线性层与特定结构，仍是研究路线而非通用替代方案。
推荐收录，因为文章不仅讨论了稀疏化，还明确比较了任意稀疏、Butterfly、Monarch 等结构在质量与硬件效率上的差异，并给出 GPT-2、BERT、OpenWebText 等实验结果。它适合关注高效模型结构、GPU 计算映射和线性层替代方案的研究者与工程实践者，尤其有助于理解“结构化算子如何同时兼顾可表达性和硬件友好性”。
这篇文章介绍了 Stanford Hazy Research 提出的 Based 序列混合器，并说明其设计动机来自先前对“联想回忆”能力的误差分析：许多亚二次模型在局部建模上表现尚可，但在需要根据上下文检索目标词的 AR 任务上明显落后于注意力。作者将结构拆成短门控卷积和“spiky”线性注意力两部分，用短卷积负责局部依赖，用泰勒展开近似指数函数的线性注意力模拟 softmax 的尖锐匹配，从而保留输入依赖的全局检索能力。文中还给出统一视角，把这两类模块解释为同一种广义门控卷积，并强调该结构可以保持完全亚二次、训练稳定且不需要 KV-cache。实验上，Based 在 Pile 上的困惑度优于强 Transformer 基线，并在合成 AR 任务和 1B 模型推理吞吐上取得显著收益，但当前内容仍属于博客预览，部分结论需要结合后续论文与更大规模实验进一步验证。
收录价值明确：文章同时给出了问题诊断、结构设计、理论解释、合成任务验证和真实语言模型吞吐评测，证据链比较完整。适合研究序列建模、LLM 架构和高吞吐推理的读者参考，但需注意它是博客预览，部分性能与泛化结论仍应以正式论文为准。
本文介绍了 Stanford Hazy Research 提出的 FlashFFTConv：一种面向长序列卷积的 GPU 加速算法，目标是解决传统 FFT 卷积在 ML 场景中“渐近复杂度好但实际很慢”的问题。作者指出，现代 GPU 上真正的瓶颈已从算术转向内存 I/O，而且 Tensor Core 的矩阵乘远快于通用浮点运算，因此经典 FFT 实现难以充分利用硬件。FlashFFTConv 通过 Monarch/Bailey 四步分解把 FFT 卷积改写成一系列矩阵乘与少量点操作，并用递归分解在 SRAM 限制下尽量融合多步计算，兼顾 FLOPs 与 I/O。实验显示它在 PyTorch 基线下可获得最高 7.93x 的卷积加速，端到端提升最高 4.4x；在长序列上，性能可接近甚至超过 FlashAttention-v2，并在部分模型上达到约 62% MFU。文章也说明了适用边界：短序列更依赖较低阶分解，序列更长时高阶分解才体现优势，因此算法效果强烈依赖序列长度和 GPU 形态。
推荐收录，因为文章把“FFT 卷积为什么在 GPU 上跑不快”这一问题拆成了硬件带宽、Tensor Core 利用率和 SRAM 约束三个直接证据，并给出可实现的 Monarch 分解方案与性能数据。适合做长序列模型、CUDA/ML 系统优化和算子设计的参考，尤其对需要在工程上平衡 I/O、FLOPs 与 kernel 融合的读者有可迁移价值。
这篇文章介绍了 Monarch Mixer（M2-BERT）这一新架构，目标是在不使用标准 Transformer 注意力和全连接 MLP 的情况下，仍保持 BERT 级别的效果。作者用 Monarch 矩阵统一替代序列混合与维度混合：前者借鉴 H3/Hyena 的卷积式长程建模，后者用块对角结构替换 MLP，从而把序列长度和模型宽度两侧都做到次二次复杂度。实验部分在 C4 上以 128 长度预训练，80M 与 110M 两个版本在 GLUE 上分别达到 79.9 和 80.9，接近或超过标准 BERT-base，同时在 A100 上长序列吞吐也明显优于 HuggingFace BERT 和 FlashAttention 版本。但文章也明确指出，这仍是早期结果，训练配方、门控设计和长序列能力都还有较大探索空间，结论更适合作为架构方向与初步证据，而非最终定论。
文中不仅提出了用 Monarch 矩阵替代注意力和 MLP 的具体机制，还给出了 GLUE 指标、参数量和吞吐量的对比证据，属于可长期参考的架构研究材料。适合关注高效模型、长序列建模和 Transformer 替代方案的研究者与工程师，但需注意它仍处早期，长序列与训练配方尚未完全验证。
这篇文章介绍了 FlashAttention-2 的设计目标：在不做近似的前提下，继续压缩 Transformer 注意力的时间与显存开销，并把算子吞吐尽量逼近高效 GEMM。作者先回顾 FlashAttention 的分块、重算与在线 softmax 思路，再指出其瓶颈主要来自线程块与 warp 的工作划分不够理想，以及非矩阵乘法操作比例偏高。FlashAttention-2 通过减少 rescaling、边界判断和 causal mask 等非 matmul FLOPs，并将并行维度扩展到序列长度，从而在长序列、小 batch 场景下显著提升 GPU 利用率。与此同时，新版把 warp 之间的“sliced-K”改成更少通信的“sliced-Q”划分，减少 shared memory 读写与同步开销。文章还说明其支持更大的 head dimension、MQA/GQA，并在 A100/H100 上给出端到端训练与注意力基准，体现出该方法对长上下文训练和推理都有直接收益，但仍依赖具体 GPU 架构与实现细节。
文中明确给出算法改写、并行划分和 warp 通信优化的具体证据，并配有 A100/H100 与端到端训练基准，属于可复用的高质量系统/模型加速资料。适合做 GPU kernel 优化、注意力实现和长上下文训练的参考，但其收益高度依赖硬件与实现路径，迁移时需重新验证。
这篇文章介绍了 HyenaDNA：一个面向基因组序列的长上下文基础模型，采用单碱基粒度 token 化与 Hyena 算子堆叠，在人类参考基因组上预训练，最长上下文可达 100 万 token。作者强调基因组任务同时需要超长上下文和高分辨率表示，因为单个碱基变化就可能影响调控与疾病表型。相比 Transformer，HyenaDNA 以 N log N 复杂度处理长序列，在 100 万 token 规模下训练/推理显著更快，并在 28 个下游任务中取得 23 个 SOTA。文章还展示了长上下文带来的新能力，包括基于软提示的 in-context learning、instruction fine-tuning，以及超长范围物种分类和染色质预测。其边界在于：方法主要针对 genomics 这一超长离散序列场景，纯 ICL 与标准微调之间仍有明显差距。
收录价值明确：文中给出了 100 万 token、160x 训练加速、28 项任务、23 项 SOTA 等直接证据，不只是概念讨论。适合研究长上下文模型、序列建模或 AI for Science 的读者参考，但需要注意其结论强依赖基因组场景，迁移到通用 NLP 仍有边界。
这篇文章系统梳理了面向超长序列的模型设计思路，以 Hyena 为核心，说明如何用可学习的非线性序列处理器替代 Transformer 的二次复杂度注意力。作者先回顾 dense attention、linear attention、AFT 和 RWKV，指出这些方法分别在全局记忆、精度或参数化上存在局限。随后给出 Hyena 的分解：用短卷积提取局部变化，用长卷积或状态空间式归纳实现长程记忆，再通过门控完成信息混合，并强调这些模块可由快速线性算子实现近线性复杂度。文章还讨论了训练与推理效率、FFT 在现代硬件上的瓶颈、Monarch 矩阵等结构化替代方案，以及在关联检索和 100 万长度 DNA 预训练中的初步结果。整体结论是：Hyena 及其“safari”家族在超长上下文上有潜力，但性能、硬件映射和投影压缩仍存在明显权衡，属于仍在快速演化的研究方向。
推荐收录，因为文章不仅介绍了 Hyena，还把长序列建模拆解为投影、归约、归一化和门控四个可复用部件，并给出与 Attention、RWKV、S4 等方法的明确对比。适合研究长上下文、序列建模和高效推理的读者参考，但需注意它仍是研究博客，部分结论和实现取舍属于探索阶段。
这篇博客系统梳理了“把序列建得更长”这一研究方向，核心论点是：Transformer 的注意力在长度上是二次复杂度，若要支持长上下文、多模态和长代码等场景，就需要近线性时间的序列模型。文章按时间线回顾了 Long Range Arena、S4、H3 到 Hyena 的演进：S4 通过结构化状态空间模型把长程依赖建模成本降到 O(N log N)；H3 通过门控与少量注意力层补齐语言建模性能；Hyena 进一步用隐式参数化卷积和更多门控替代最后的注意力层，尝试实现全程近线性扩展。作者还讨论了 FFT 在现代硬件上的效率瓶颈，以及将其改写为矩阵乘法、甚至学习变换矩阵的思路，以更贴合 GPU 计算单元。文中给出若干小型与中型实验，显示 Hyena 在 Pile 子集上的困惑度可接近或达到 Transformer 基线，但整体结论仍主要建立在初步实验与特定任务上，是否能稳定迁移到更大规模语言模型仍需后续验证。
收录理由很直接：文章明确给出了从 Transformer 到 SSM、H3、Hyena 的技术演进、复杂度分析和实验结果，不是泛泛而谈长上下文愿景。适合做长序列建模、模型结构替代和计算效率权衡的长期参考，但读者也应注意它是研究博客，结论主要来自初步实验而非完整论文定论。
这篇文章介绍了 Stanford Hazy Research 提出的 Hyena 层，用长卷积与逐元素门控替代标准注意力，以在保持语言建模质量的同时把时间复杂度从二次降到次二次。作者先从注意力的“数据控制”特性出发，指出早期无注意力替代方案在困惑度和 in-context learning 上存在明显差距，因此设计了一组合成字符串任务来寻找结构缺口，并据此迭代滤波器参数化和输入投影。实验显示，Hyena 在较短序列上可与 FlashAttention 竞争，在长上下文下显著更快，并在 The Pile、PG-19、SuperGLUE 等任务上缩小了与 Transformer 的差距。文章还给出在视觉任务中的初步结果，表明这种基于信号处理的设计可能具有跨模态迁移性。其边界也很明确：当前优势主要体现在长序列和特定参数规模，且仍依赖精心设计的合成基准与参数化选择，离全面替代注意力还有距离。
推荐收录，因为文章直接给出了 Hyena 的核心机制、合成任务驱动的设计方法，以及与 FlashAttention、Transformer 的速度和困惑度对比证据。适合关注长上下文建模、注意力替代结构和高效序列模型的研究者参考；同时也提示了其对参数化与任务选择较敏感的风险。
这篇文章讨论序列建模中一种更简单的基线：直接把卷积核参数化为与输入序列同长度的长卷积，并用 FFT 将计算复杂度从 O(N^2) 降到 O(N log N)。作者先指出，朴素长卷积在 Long Range Arena 上明显落后于 S4，主要问题是学到的卷积核在时域过于噪声、频域也不够平滑。为此，他们引入一个很简单的 Squash 正则化，对核权重做阈值收缩，从而得到更稀疏、平滑的核，并把 LRA 准确率提升到与 S4 持平。文章还展示该方法在图像分类、文本建模和脑 fMRI 任务上也有不错泛化，尤其是把 H3 中的 SSM 替换为卷积后，H3-Conv 在 PILE 上接近 H3 并优于 Transformer。与此同时，作者也明确了局限：这种简化版并不具备 SSM 的隐藏状态缓存、参数与长度解耦以及多分辨率扩展等优势。
推荐收录，因为文章给出了从朴素长卷积、问题诊断到 Squash 正则化改进的完整研究链条，并用 LRA、文本建模等实验直接证明了方法有效。适合做序列模型、卷积替代 SSM、以及实验设计与消融分析的参考，也能帮助读者理解何时“更简单的参数化”足以达到竞争性能。
这篇文章讨论了状态空间模型（SSM）在语言建模中为何长期落后于注意力机制，并提出用“是否具备上下文学习能力”来解释两者差距。作者先用合成任务 associative recall 作为探针，证明普通 SSM 难以在序列中同时完成“记忆历史 token”和“把当前 token 与历史 token 做比较”，而注意力可以轻松完成。基于这一分析，文章提出 H3 层：用对角矩阵 SSM 负责全局记忆，用移位矩阵 SSM 形成可比较的上一时刻状态，再通过乘性交互完成匹配，从而显著提升召回能力。实验表明，H3 在 OpenWebText 上几乎替代全部注意力层即可接近 Transformer，加入少量注意力后还能超越基线；进一步扩展到 2.7B 参数时，在 Pile 上各规模都能匹配或优于同类 Transformer，并伴随推理加速。文章的边界在于，它主要围绕特定的合成归纳任务来解释能力缺口，结论更适合作为 SSM 设计与混合架构的研究依据，而不是对所有长序列任务的最终定论。
收录依据很明确：文章用 associative recall 解释 SSM 与注意力的能力差异，并给出 H3 的结构设计、对比实验和 2.7B 规模结果。适合做序列模型、LLM 架构和 SSM 研究的参考，但读者也应注意其结论高度依赖特定合成任务与混合注意力设置。
这篇文章介绍了 FlashAttention 面向长序列训练的改进版本：在保持精确注意力、没有近似的前提下，通过 tiling、重计算和更细粒度的并行，把注意力的显存访问从二次复杂度降到线性，并进一步优化超长序列场景。作者指出，原版 FlashAttention 主要按 batch 和 head 维度并行，在长上下文但 batch 很小、head 数有限时会出现 GPU 并行度不足，因此新增了沿序列长度维度的并行。前向传播按行分块，反向传播按列分块，并借助 atomic operations 汇总梯度，从而减少 worker 间通信并提升吞吐。基准结果显示，在 8K 序列长度下，相比 PyTorch 和 Megatron-LM 实现可达 2.2-2.7 倍加速，端到端训练效率最高达 175 TFLOPs/sec/A100。实验还表明，把上下文从 2K 提升到 8K 能稳定改善困惑度和长程任务准确率，但收益主要出现在长序列、小批量训练场景。
推荐收录，因为文章给出了明确的算法改造、并行划分方式和可量化基准，不只是宣讲性能提升，而是解释了为什么长序列下原方案并行不足、如何改、改完后提升多少。适合研究注意力加速、长上下文训练和 GPU kernel 优化的读者，尤其对需要把理论收益落到真实训练吞吐的工程/研究工作很有参考价值。
这篇文章介绍了将 FlashAttention 接入 HuggingFace Diffusers，以加速 Stable Diffusion 推理的工程实践。作者先解释 FlashAttention 的核心原理：在 A100 等现代 GPU 上，注意力计算的瓶颈更多来自显存读写而非算力，因此通过融合 matmul 与 softmax、采用 tiling 和自定义 CUDA kernel 来减少内存访问。随后给出一个不到 70 行的集成方案，并证明生成结果与原版 Diffusers 一致。基准测试显示，相比未优化版本可获得 3-4 倍吞吐提升，相比 Diffusers 0.4.1 仍有约 33% 提升，A100 上最高约 1.04 images/s，T4 上收益更明显。文章还指出该方法能降低显存占用、放大 batch size，但优势主要来自注意力路径，效果依赖具体 GPU 的内存系统和原始实现是否已优化。
推荐收录，因为文中同时给出原理解释、70 行级别的集成路径和可复现的 benchmark 结果，直接证明了 FlashAttention 在扩散模型推理中的工程收益。适合做 GPU 性能优化、生成模型推理加速和框架集成的参考，但读者也应注意其收益强依赖硬件与基线实现。
这篇文章以“简化 S4”为目标，从经典线性时不变系统和状态空间方程出发，逐步把连续时间 ODE 转写为积分形式，再用离散采样和矩形求积导出可实现的卷积/递推计算。作者强调 S4 的核心并不神秘，而是把电路与控制理论中的老问题重新用于深度学习：既要稳定，又要高效，还要具备足够表达能力。文中重点解释了为何应让特征值位于左半平面、为何可用复共轭对把矩阵近似为对角形式，以及如何把隐藏状态消去，只预计算长度相关的 kernel 来提升批量训练效率。最后还讨论了初始化如何覆盖多尺度记忆，并补充了零阶保持下的更精确离散化。整体上这是面向 S4/S4D 的机制拆解与实现导向说明，但对更一般非对角 SSM 和严格数值分析仍较简化。
收录依据很明确：文章给出了 S4 从连续系统到离散卷积、从稳定性约束到高效实现的完整推导，而不是泛泛介绍模型。适合研究序列建模、长程依赖或状态空间模型的读者参考；需要注意其结论建立在教程式简化假设上。
这篇文章讨论了“序列长度”作为深度学习新的规模维度，指出 Transformer 虽然强大，但在长输入上受限于二次复杂度、训练不稳定和长程依赖建模困难。作者认为，更长上下文不仅能提升文本、图像等现有任务，还可能催生新的能力，例如更强的 in-context learning、长篇内容生成，以及对时间序列、音视频和多模态数据的自动学习。文中重点介绍了两条推进路径：FlashAttention 通过 IO-aware 设计减少 GPU 内存读写，使 Transformer 能处理更长序列；S4 则借助结构化状态空间模型和初始化技巧，天然适配长序列训练。作者用 Long Range Arena 和 Path-X 等基准说明，单纯拉长序列已能带来可观增益，甚至把部分任务从随机水平提升到显著高于随机。整体上，这是一篇面向研究与工程交叉读者的方向性综述，优点是抓住了长上下文的核心瓶颈，但仍以研究愿景和早期结果为主，距离通用解决方案还有边界。
文章直接给出长序列为何重要的研究证据，并用 FlashAttention、S4、LRA/Path-X 的结果说明可迁移的方法与收益。适合关注长上下文、注意力优化和序列建模的研究者与系统工程师；需要注意它偏研究博客，结论更像方向判断而非完整定论。
这篇文章是 Stanford Hazy Research 对对比学习研究进展的综述开篇，先解释对比学习通过拉近正样本、推远负样本来学习表征，并指出 SimCLR、CLIP、DALL·E 2 等方法体现了它在视觉和多模态中的强大效果。文章重点梳理了“为什么有效”的两类理论解释：一类从几何结构出发，讨论 alignment、uniformity、类塌缩和简单单纯形等表征性质；另一类从数据增强和潜在子类出发，分析增强如何连接语义近邻并支撑下游分类泛化。作者还提到硬负样本采样、增强重叠条件等改进思路，为后续提升监督式对比学习的迁移性和鲁棒性埋下伏笔。文章的价值在于搭建研究地图，但它本身是综述性博客，不提供完整实验细节或原始方法实现。
收录理由很明确：文章系统梳理了对比学习的主流理论解释，并引用了多篇关键工作，适合作为理解该方向研究脉络的入口。对做表示学习、监督式对比学习或相关论文阅读的读者有直接参考价值，但它偏综述而非原始实验论文。
这篇文章围绕监督式对比学习如何同时提升迁移能力与鲁棒性展开，先从表示几何出发解释 SupCon 的“类塌缩”倾向为何对下游迁移不利。作者指出，单纯拉近同类、推远异类会让表示过于集中，而加入自监督式 InfoNCE 又可能带来更合适的几何“spread”。文章进一步提出两个关键问题：如何平衡表示空间的展开程度，以及如何打破类内置换不变性，否则同样的训练损失也可能对应很差的子类保留。基于这些分析，作者提出 Thanos：在 SupCon 上加入 class-conditional InfoNCE 和 class-conditional autoencoder，以同时获得适度展开和子群簇结构。实验显示它在 coarse-to-fine 迁移上平均提升 11.1 个点，在 worst-group robustness 上也优于已有方法，但结论主要针对监督式对比学习及其特定几何假设。
文章不仅解释了监督式对比学习的几何机制，还给出可检验的改进方案 Thanos，并用迁移与鲁棒性实验验证收益，证据链完整。适合做表示学习、对比学习和鲁棒性研究的长期参考，也便于迁移到需要子类保留与特征展开的任务中。
文章介绍 Pixelated Butterfly 稀疏训练方法，目标是在尽量不损失精度的前提下，降低大模型训练的计算量与显存开销。作者指出，现有动态稀疏掩码会带来额外开销，非结构化稀疏也难以在 GPU 上真正提速，因此提出静态且硬件友好的稀疏参数化。核心思路是将 butterfly 与 low-rank 结合，并通过 block butterfly 与 flat butterfly 把原本不利于并行的结构改造成块对齐、易实现的形式，再为各个矩阵乘层生成硬件感知的稀疏 mask。实验表明，该方法可让 MLP-Mixer、ViT 和 GPT-2 的从头训练获得约 2.0-2.5 倍 wall-clock 加速，准确率或困惑度基本不变，部分下游任务还有小幅提升。文章也明确了边界：它主要适用于 GEMM 驱动的网络与特定硬件假设，更像是稀疏参数化与软硬件协同设计的研究方案，而不是通用加速器。
文中直接给出 2.0-2.5 倍训练加速、精度基本不降等实验结果，并解释了为何要从动态稀疏转向静态、块对齐的硬件友好结构。适合关注稀疏训练、模型加速和软硬件协同的研究者或工程师参考；其可迁移价值在于提供了稀疏参数化设计思路，但适用范围受限于 GEMM 网络和特定硬件。
这篇文章是 Stanford Hazy Research 对结构化状态空间模型 S4 的系列导读，重点解释它为何适合建模“连续、超长”的序列数据。作者先指出 Transformer 在中等长度依赖上表现强，但受固定上下文窗口限制，难以处理语音、视频、医疗传感和机器人等场景中的长距离依赖与连续采样特性。随后文章概述 S4 的核心定位：基于状态空间模型，兼具连续时间、递归和卷积三种表示，既能处理不规则采样和无界上下文，又能保持训练与推理效率。文中还给出 Long Range Arena 上的结果，强调 S4 在各任务上取得强基准表现，并首次解决了长度 16384 的 Path-X 任务。需要注意的是，这篇是系列第一篇，更偏动机与总体介绍，具体参数化、算法和理论细节主要留给后续文章和原论文。
文章直接给出 S4 的问题背景、模型定位和基准结果，属于长序列建模方向的重要方法导读。对研究长依赖序列、音频/时序建模或替代注意力机制的读者很有参考价值，但它本身偏概览，深入实现仍需结合论文和后续篇章。
这篇文章是 Stanford Hazy Research 对连续时间序列建模相关路线的综述，重点比较了递归、卷积和连续时间/微分方程三类范式。作者分别从归纳偏置、训练并行性、在线推理成本、上下文长度和对不规则采样数据的适应能力等维度，解释了各自的优势与短板。文章进一步梳理了这些范式之间的联系，包括 RNN 与连续时间系统的对应、卷积与线性递归的等价展开，以及 CT 模型与离散输入处理的若干代表工作。它也指出，长程记忆仍是核心瓶颈，尤其在真实长序列场景中，许多方法在 1000 到数千步后就面临稳定性和效率限制。整体上，这是一篇为后续 S4 模型铺垫背景、帮助读者建立方法谱系与边界认识的综述，但不提供新的实验结果或系统实现细节。
文章直接给出了递归、卷积与连续时间模型的对比、联系和局限，是理解 S4 及长序列建模脉络的可靠背景材料。适合研究连续时间序列、状态空间模型或序列模型的读者，用于建立方法地图和判断各路线适用边界。
这篇文章讨论了多任务学习在异构任务上为何常出现负迁移，并基于 ICLR 2020 的工作给出解释与改进方案。作者指出，是否优于单任务学习，关键不只取决于模型结构，还取决于共享表示的容量、任务数据协方差的对齐程度，以及训练时的优化/重加权策略。文中用示意实验说明：共享模块过大可能使任务互不干扰而失去迁移，过小则会产生破坏性冲突；任务主方向不对齐时，加入协方差对齐模块可提升效果。作者还提出基于 SVD 的任务重加权方法，以缓解标签噪声和任务重要性不均带来的训练偏差。实验在 GLUE 的五个任务上验证了方法有效性，BERT Large 的平均分提升 2.35%，但结论主要适用于共享编码器式多任务训练场景。
文章直接给出负迁移的三个可操作原因，并用 GLUE 与 BERT Large 的实验结果支撑结论，不是泛泛而谈的科普。适合做多任务学习、迁移学习和训练策略设计的长期参考，尤其对需要决定容量、任务配比和表示对齐方式的读者有迁移价值。
这篇文章是 Stanford Hazy Research 对数据增强研究的总览，讨论其在图像、文本分类和强化学习中的重要性，以及手工启发式增强在组合方式和参数选择上的局限。作者把该领域的进展归纳为三条主线：自动搜索变换函数与组合、从理论上解释增强为何有效、以及把数据增强用于修补模型在特定子群上的性能缺陷。文章强调，自动化方法有望优于人工经验，但搜索空间复杂、增强效果依赖任务与数据分布，因此并不存在通用最优策略。文中还提到系列后续文章与配套代码，说明它更偏研究导览而非单一算法细节。整体适合作为理解数据增强研究脉络、选题方向和方法边界的入口。
推荐收录，因为正文明确梳理了数据增强研究的三类核心问题：自动搜索、理论解释和细粒度质量保证，并给出后续系列与代码入口。适合做研究综述、选题启发或相关论文阅读的起点，能帮助读者把零散增强技巧放回到更完整的方法脉络中。
文章综述了自动化数据增强的几种代表性方法，核心问题是如何在巨大的变换函数空间中高效搜索出比人工经验更优的增强策略。作者先介绍 TANDA：把增强看作由用户定义的变换序列，并通过对抗训练让生成器产出“看起来真实”的增强样本，再用判别器约束其合理性。随后比较 AutoAugment、RandAugment 和 Adversarial AutoAugment：前者直接以验证集精度为目标搜索策略，但代价很高；RandAugment 用随机采样和简化搜索显著降低计算成本；Adversarial AutoAugment 则以对抗式方式联合优化模型与策略，在若干图像分类基准上取得更强结果。文章的结论是，自动化增强确实能超越手工规则，但搜索开销、对代理数据集的依赖以及任务迁移性仍是主要边界。
文中明确比较了 TANDA、AutoAugment、RandAugment 和 Adversarial AutoAugment 的目标函数、搜索代价与基准表现，属于可长期参考的研究脉络梳理。适合关注数据增强、AutoML 和图像分类训练策略的读者，能直接迁移其“效果-算力”权衡框架。
这篇文章回顾了数据增强的理论研究，重点解释“增强为何有效”而不只是“怎么做”。作者先介绍 Dao 等人关于核方法的分析：把数据增强建模为带随机变换的马尔可夫链后，增强等价于对变换后的特征映射做平均，从而提升不变性，并在二阶近似下带来类似方差正则化的效果。随后文章总结 Wu 等人在过参数线性回归中的结果，区分标签不变变换、mixup 以及多种变换组合，说明它们可能补充新信息、缩小预测波动，或产生正负不一的复合效应。基于这些理论，作者提出按不确定性进行随机采样的增强策略，在 CIFAR 和 ImageNet 上优于 RandAugment，并接近 Adversarial AutoAugment，同时训练成本更低。文章的边界也很明确：理论主要建立在简化模型上，对复杂视觉任务中的具体变换效果仍不能完全泛化。
收录价值在于它不只讲经验技巧，而是给出数据增强的理论解释、简化模型下的机制分析，以及由理论反推实践策略的完整链条。适合做机器学习研究、自动增强方法设计和理论入门参考；需要注意的是结论主要来自核方法与过参数线性模型，迁移到复杂深网时仍需实验验证。
文章提出“model patching”框架，目标是用数据增强自动修补部署后模型的缺陷，而不是只在静态任务上追求平均精度。方法分两步：先用类条件 CycleGAN 学习不同子群体之间的语义变换，再用这些增强样本重训分类器。作者进一步设计 subgroup consistency regularizer，并结合类条件 GDRO，让模型在保留类别信息的同时，降低对子群体特有伪特征的依赖。实验在 MNIST、CelebA、Waterbirds 和 ISIC 上表明，该方法能同时提升整体精度与最差子群体鲁棒精度，部分任务中组间性能差距最高缩小 24 倍，ISIC 上鲁棒精度提升 11.7%。其边界在于：方法依赖可学习且语义合理的跨组变换，并且主要适用于已有明确子群体标注的场景。
这篇文章给出了从问题定义、方法设计到多数据集实验验证的完整研究链条，直接讨论了部署模型维护与子群体鲁棒性，证据充分。适合关注数据增强、公平性、鲁棒训练和生成式建模的读者参考，但需要注意它依赖子群体标注和高质量跨组生成。