17 篇内容
文章由苏剑林撰写，深入解析了K3模型在MoE和Attention上的设计思路与取舍。在MoE部分，作者提出Stable LatentMoE，通过SiTU‑GLU激活和关键位置的RMS Norm解决LatentMoE的稳定性问题，并引入QB分位数平衡策略，以低通信的分bin方法实现大规模专家负载均衡。在Attention部分，作者论证了在训练成本、KV Cache大小和Decoding计算量的多约束下，MLA仍是对效果与效率平衡良好的选择，结合KDA后更是可以移除RoPE，形成NoPE方案。文章还对比了DSV4的Attention设计，指出其本质是对MLA思想的极致推广而非抛弃。全文以效果、效率与稳定性的协调为主线，提供了多项有实验支撑的架构决策参考。
本文为知名研究者苏剑林对K3模型架构的深度解读，详细阐释了MoE稳定化、负载均衡和Attention选型等关键设计，并给出了明确的动机、实验依据和边界分析。适合大模型架构师、研究人员以及对大规模训练优化感兴趣的工程师，其关于训练稳定性、计算‑存储权衡和混合架构设计的方法论具有很强的可迁移价值。
文章提出一种统一视角来理解深度学习中的Scaling Law，将模型训练损失分解为数据误差、优化误差和架构误差三层，并对每层关键变量（学习率、批大小、训练步数、参数量、宽度深度、数据量、多轮训练等）假设幂律形式，利用异幂不等式推导最优参数配比和缩放关系。推导结果与Kaplan、Chinchilla、Step Law、Microsoft Law等经典工作进行对照验证，部分指数理论值与实验值接近。文章还探讨了MoE和Memory等稀疏架构对Scaling Law的影响，以及数据端Multi-Epoch的最优轮数。最后讨论了幂律假设的合理性，指出幂律源于长尾性质和无标度性，而系数变化比指数变化更符合工程改进的物理类比。分析框架具有启发性，但数据侧分析仍较模糊，且幂律假设的适用范围需要在实际训练中验证。
本文对Scaling Law进行了系统性重构，将优化、架构和数据的影响纳入统一数学框架，推导过程清晰且与多个经典结论互洽，为理解深度学习扩展规律提供了新颖的整合视角。适合关注模型训练理论、资源分配和架构设计的深度学习研究者和工程师阅读，其推导方法和分解思路可直接迁移至其他规模定律分析任务。
本文从论文《The Key to Going Linear》出发，推导了LogSumExp和Softmax的泰勒展开式，利用偏置简化形式并通过梯度关系建立展开。在此基础上，文章分别探讨了两个应用方向：一是用LogSumExp展开解释Block Sparse Attention的块打分机制，与MoBA、SPLA、HiLS等工作建立联系，并讨论高阶修正及协方差对角近似；二是用Softmax展开直接近似归一化后的注意力权重，得到一阶和二阶线性注意力形式，关联Based等工作，指出二阶近似可转化为线性注意力。推导过程严谨，为稀疏和线性注意力提供了统一的数学视角。需注意的是，展开截断有限项时可能无法保证非负性，且高阶近似会增加计算成本。
苏剑林的文章一贯深入浅出，本文从一篇特定论文切入，但并未止步于解释，而是将Softmax展开与多个已有工作（MoBA、SPLA、Based等）串联起来，展示了一个共享的数学框架。这对关注高效Attention机制、Transformer优化的研究者或工程师极具参考价值，不仅提供了可迁移的推导思路，还有助于从统一视角比较不同线性化方案。
本文从凸优化理论出发，通过推广恒等式和放缩变换，推导出模型权重平均与学习率衰减之间的定量联系。作者首先指出常数学习率加等权平均的理论收敛速度可达到线性衰减的终点效果，但实践不佳；进而分析任意加权平均的收敛界，得到平均权重相当于学习率乘以衰减因子的结论，揭示了指数滑动平均（EMA）优于等权平均的原因。文中还结合 Schedule-Free 等近期工作，讨论了学习率调度无法完全被权重平均取代的深层原因，指出最优学习率仍依赖于总步数，导致相关方法仍无法彻底摆脱 warmup 和调度。该分析基于凸函数假设，实际非凸训练中结论可能偏移，但其理论框架为优化器设计提供了启发。
本文以严格的凸优化推导，系统揭示了权重平均与学习率衰减的数学等价条件，并解释了 EMA 奏效、等权平均失败的本质，对理解深度学习优化中的实用技巧有理论指导意义。适合从事优化器研究、模型训练或希望深入训练 dynamics 的读者，其推导方法可迁移至其他训练策略的分析中。理论假设与现实的差距已被作者明确指出，但仍不失为有价值的长期参考。
本文提出一种通用的矩阵函数近似框架，针对奇异值型矩阵函数，构造三次多项式迭代格式，通过贪心策略逐层求解每一步的系数参数，将优化问题转化为线性回归或线性规划以稳定获得有效解。该框架克服了现有方法仅适用于有理次幂且复杂度依赖分数分母的局限，能够以固定迭代阶次近似任意连续函数，相近函数的近似系数也自然接近。文中以立方根、五次方根等为例给出了具体迭代系数和误差对比，验证了方法在最大误差和通用性上的优势，并讨论了边界约束、初始条件等工程细节，最后提供了基于CVXPY的参考实现。
文章针对矩阵函数计算这一基础问题提出了系统性改进方案，从问题定义、现有方法局限梳理到通用框架设计和优化求解，技术脉络清晰，数学推导扎实，并附有可复现的参考代码和误差分析。其贪心求解思路和线性规划转化技巧具有一定的可迁移性，适合从事数值计算、优化器实现或科学计算库开发的研究者和工程师参考。
本文提出一种称为“强制间隔投影（MEP）”的数学运算，用于将分类分数向量投影到满足正类最小分数比负类最大分数至少大一个指定间隔的最近向量上。作者先阐述了间隔约束在稳健分类和特征学习中的必要性，然后给出 MEP 的数学定义，并分别在 L2 和 L1 距离下推导求解方法：L2 情形转化为分段线性函数的零点搜索，L1 情形则有简洁的排序取分位点闭式解。文章还提供了 JAX 实现代码，分析了两种距离下的算法复杂度和适用性，推荐实践中使用 L1 版本。该投影运算可直接作为模型学习目标，为设计带间隔的损失函数提供新思路，但适用边界限于单次分类分数向量的投影变换，并非完整的训练算法。
本文从一个实用需求出发，用清晰的数学推导和配套代码完整地讲解了 MEP 运算的原理与实现，既有理论深度也有工程可操作性。它适合从事度量学习、损失函数设计或分类器鲁棒性优化的读者，其中 L1 版本的简洁解法可直接用于训练流程中的后处理或约束嵌入。尽管不是端到端的新损失函数，但其投影思路具备较高的可迁移价值，可作为构建定制化损失组件的参考。
文章围绕 MoE 中 Router/Gate 的“门控是否需要归一化”展开，比较了 Softmax、Sigmoid、ReLU 以及 Re-Norm 等不同做法，并指出当前工业实践中这些变体效果往往接近，因此更需要从理论上寻找统一解释。作者先从“让 Router 选择期望损失最小的 Expert”出发，构造目标分布与预测分布，并用 KL 散度把离散路由问题转化为可优化目标。进一步推导表明，这一过程可对应到 REINFORCE、STE，以及用专家权重改写后得到的前后一致训练形式，从而说明 Router 作为 Gate 时应当归一化，但不必 Re-Norm。文章也讨论了采样与 Top-k 的权衡，强调随机性、稳定性和负载均衡之间的取舍。其边界在于概率框架对 Top-2 等形式不够自然，因此它更像对主流 MoE 路由的一种统一解释，而非对所有变体的最终定论。
推荐收录，因为文章直接以 MoE Router/Gate 的训练机理为对象，给出了 KL、REINFORCE、STE 到归一化策略的统一推导，而不是停留在经验结论。适合研究 MoE、稀疏路由和大模型训练的人阅读；其可迁移价值在于帮助读者判断离散决策如何获得梯度，但对 Top-2 等变体的解释仍有边界。
文章围绕矩阵参数优化中的奇异值失控问题，提出了 Muon 的双旋转变体 MuonR。作者借鉴 Pion 的思路，先用“瞬时重参”把任意矩阵写成两个正交矩阵的乘积，再把更新转化为正交流形上的最速下降，从而只更新左右奇异向量并保持奇异值分布不变。文中给出了可解析的更新公式，并说明实际训练中可直接用动量替代梯度。作者还分析了它与普通 Muon、Pion 的差异、计算量约翻倍的代价，以及从常规 Muon 中途切换到 MuonR 的做法。其主要边界在于初始奇异值需事先设定，适合需要维持矩阵谱性质和训练稳定性的场景。
文章直接给出 MuonR 的推导、更新规则和与 Pion 的对比，属于可复用的优化器研究笔记而非泛泛讨论。适合做深度学习优化、矩阵约束训练和谱性质控制的参考，但需注意它对初始奇异值设定和额外计算量有明确要求。
文章围绕 Muon 优化器官方版相较 MuP 版多出的 max(1,·) 截断项，解释它在特征增量尺度控制中的来源。作者从谱条件缩放、特征层更新幅度以及输入分布的各向同性/各向异性变化出发，分析了训练早期与中后期对缩放因子的不同需求，并给出了两种版本各自更合理的适用阶段。全文的核心结论是：官方版的截断更贴合早期各向同性假设，而 MuP 版在训练中后期可能更符合特征分布逐渐各向异性的现实。
推荐收录，因为文章不是简单介绍优化器名词，而是从特征更新机制和分布假设出发，解释了一个看似细小但会影响训练行为的实现差异。它对理解深度学习优化器、MuP 缩放和训练阶段性策略都有可迁移价值，适合关注模型训练稳定性与尺度设计的读者。
文章围绕“矩阵参数的奇异值熵是否越高越好”展开，把这个经验问题转化为一个可计算的数学命题：在给定奇异值熵约束时，哪一类奇异值分布对应更大的“自由度/表达能力”。作者先回顾奇异值熵、有效秩与Rényi熵的关系，再通过“在单纯形上均匀采样”的几何视角、指数分布重参数化以及中心极限定理/平均场近似，推导出熵密度的峰值并不在最大熵处，而是在比最大熵略低的某个位置附近。文章最后指出，这个结论更重要的意义是提供一种分析框架：对模型参数施加奇异值熵约束时，不应简单追求越高越好，且结论依赖于大维度、近似均匀采样等假设边界。
推荐收录，因为文章不是停留在“奇异值熵更高更好”的直觉判断，而是把它形式化成可分析问题，并给出带有数学推导的参考答案。它对做模型训练、参数约束和表示能力分析的读者都有迁移价值，尤其适合作为理解“熵指标并非单调越大越优”的方法论参考。
文章围绕 MoE 的序列级负载均衡问题，提出了从 QB 演化而来的 Moving Quantile Balancing（MQB）方案，目标是在不依赖 Aux Loss 的情况下实现更强的局部均衡。作者先回顾了全局均衡、局部均衡、测试时训练式更新和分位数最优解之间的关系，再通过分桶、EMA 和局部偏置项把分位数估计改造成可并行、可因果的路由机制。文末实验显示，MQB 能显著改善第一层 MoE 的不均衡，但过强的序列级约束会带来明显 loss 损失，因此更适合用于抑制极端不均衡，而不是无条件追求完美均衡。
推荐收录，因为文章不是单纯介绍 MoE 名词，而是沿着明确的问题定义、方法推导和实验验证，给出了一条可迁移的序列级均衡实现思路。它对做 MoE 路由、LLM 训练和负载均衡设计的读者都很有参考价值，尤其适合理解“局部均衡”和“全局均衡”的权衡边界。
文章围绕 DeepSeek V4 中前几层 MoE 采用的 hash routing 机制，解释了 tid2eid（Token Id 到 Expert Id 映射表）可能的构造思路。作者先分析了前层 MoE 负载不均衡的问题，说明仅依赖 token id 进行静态分配的动机，再把问题形式化为“按 token 频率分配专家负载尽量均衡”的优化目标，并给出一个按频率排序、贪心选择当前最轻负载专家的构造方法。文章进一步讨论了极端频率失衡时单 token hash 的局限，提出可扩展到 2-gram、3-gram 等依赖更多上下文的 hash 思路，以缓解单 token 分配无法均衡的问题。
推荐收录，因为它不是简单复述 MoE 术语，而是把一个工程上常见但容易被忽略的问题——前层专家负载不均衡——转化为可操作的分配与均衡问题。文章对路由表构造、贪心解法和 hash 扩展边界都有清晰分析，对做 MoE、LLM 路由和负载均衡设计的读者很有迁移价值。
文章围绕“能否直接把 FID 当作生成模型的损失函数”展开，先解释 FID/FD 的定义与可导性，再从均值、协方差和矩阵平方根的梯度推导出完整的反向传播形式。作者进一步指出真正的困难不在不可导，而在于 FID 需要跨样本统计、对 Batch Size 高度敏感，并由此引出等效损失、EMA 统计和队列近似等流式训练技巧。文章最后结合相关论文实验，说明这些方法可用于单步生成模型的微调，并在 FID 指标上取得显著提升，但也隐含对大批量统计稳定性的依赖。
推荐收录，因为它把一个常见评价指标 FID 的“可作为训练目标”问题讲清楚了，既有数学推导，也有训练系统层面的约束分析。对于做生成模型、损失设计或小批量训练近似的读者，这篇文章提供了可迁移的思路：跨样本统计如何求梯度、如何用历史信息模拟大批量效果。
文章围绕矩阵谱范数的估计问题，系统比较了幂迭代、Krylov 子空间加速、Schatten 范数上界以及多阶矩改进等思路。作者不仅解释了各方法的数学依据、复杂度和数值稳定性，还给出了 JAX 实现示例，并明确指出不同方案在“近似监控”和“严格上界”两类场景下的适用边界。文章还联系了深度学习中的 Lipschitz 约束、谱归一化和 Muon 优化器，说明谱范数估计在训练稳定性中的实际意义。
推荐收录，因为它把谱范数估计这一基础数学问题，和深度学习中的训练稳定性、约束优化等实践场景清晰地连接起来，具有较强的长期参考价值。文章兼顾公式推导、算法改进、复杂度分析和数值稳定性，适合希望把理论工具落到工程实现中的读者。
这篇文章延续 MuP 系列，聚焦“参数稳定性”在训练全过程中的维持问题，而不仅是初始化阶段的约束。作者从最小改动原则出发，系统提出了 Post Clip 和 Pre Decay 两类一般框架，并将其具体化到向量 RMS 范数、矩阵谱范数、Embedding/LM Head 的行列范数以及 RMSNorm 的 gamma 参数等场景。文章的核心结论是：与其用普通权重衰减粗暴限制参数，不如使用与目标范数匹配的裁剪/衰减算子，在保证理论有界性的同时尽量减少对训练动力学的干预。
推荐收录，因为它不是简单介绍“怎么做裁剪”，而是从稳定性目标、最小改动、约束形式到具体范数计算，给出了一套可迁移的理论框架。对于研究深度学习优化、MuP、谱范数控制和大模型训练稳定性的读者，这篇文章能提供长期有效的方法论与推导思路。
文章围绕“流式幂迭代”这一思想，讨论如何把原本需要完整迭代才能完成的矩阵运算，拆解为训练过程中每步只做少量修正的低成本方案。作者重点给出两个应用：一是每步更新后将参数重新投影回正交（Stiefel）流形，二是通过逐一裁剪主奇异值的方式近似实现谱范数约束，并解释了它们与 Newton-Schulz 迭代、主奇异向量幂迭代以及 Muon 优化器的关系。
推荐收录，因为文章不是简单介绍一个优化器技巧，而是抽象出“流式”这一可复用方法论，并把它具体落到正交约束、谱约束等训练场景中。对于关注深度学习优化、矩阵约束和高效近似算法的读者，这篇文章提供了可以迁移到其他迭代型计算的思考框架。
这篇文章继续讲解基于流式幂迭代的 Muon 实现原理，重点补充了幂迭代收敛性、QR 分解的共轴等价、SCQR 的误差边界，以及 Cholesky 分解在数值计算中的作用。作者从“右乘上三角矩阵不改变结果”的角度重新解释多次 QR、预处理器和若干变体为何在理论上等价，并说明这些变换在有限精度下的数值稳定性边界。文章适合想从线性代数与数值稳定性角度理解训练优化器实现的读者。
推荐收录，因为它不是单纯介绍一个实现技巧，而是把幂迭代、QR、Cholesky 和数值误差之间的关系讲清楚，能够帮助读者建立可迁移的数学直觉。对做深度学习优化器、训练加速或数值稳定性分析的人来说，这类“理论等价 + 工程稳定性”的框架很有长期参考价值。