9 篇内容
本文是腾讯工程师作者基于在 MacBook 上从零训练迷你 LLM 的实践，写给非技术背景读者的大语言模型原理通俗讲解的上篇。上篇从“计算机如何看文字”出发，依次解释分词与 BPE 算法、语言模型的自回归预测机制、Embedding 的语义坐标内涵以及位置编码的作用，并用城市坐标、钟摆、华强北装配线等类比帮助理解。文章还特别说明了正弦位置编码为何能处理任意长度、词向量运算的统计本质，以及 Transformer 作为通用模型骨架所处的位置。作者明确说明上篇只是铺垫，Attention、FFN 与训练过程留待中篇，因此本文不涉及模型内部的数学推导和训练细节，适合作为零基础读者建立全局概念的入门读物。
作者并非单纯转述概念，而是结合亲手跑通迷你训练实验来梳理原理，在分词、Embedding 和位置编码等关键环节都给出了通俗类比和边界说明，且预告了后续深度拆解。适合零基础但想建立 LLM 整体认知的读者，也适合作为教学讲解的参考框架；主要风险在于通俗化会牺牲部分技术严谨性，但文中已标注了统计规律与严格逻辑推理的区别。
本文以腾讯 AiSee 反馈分类平台为背景，讨论大模型分类系统的控制方式。作者指出，随着分类树、规则和例外增多，持续扩写 Prompt 和增加定制链路会使系统难以维护，模型也无法稳定执行复杂规则。为此提出 Harness 工程：业务定义分类树、归入/排除条件、关键词和优先规则，Harness 将业务定义组织成还原问题、执行规则、缩小范围、模型判断、复核记录的流程，模型只做语义理解。同时给出定向归类、范围限定、优先推荐、语义归类四种递进控制强度，并形成调整后先验证再发布的运营闭环。该方案适合业务方向明确的反馈分类场景，但文章以架构经验为主，缺少定量评测和普遍适用性验证。
推荐收录。文章以真实平台为案例，清楚展示了从 Prompt 工程到 Harness 工程的转变，既有问题诊断、职责划分、控制强度和验证闭环，也有可落地的设计选择。适合负责 LLM 分类、AI 应用链路或 Agent 控制框架的工程师阅读。其核心价值在于把业务规则从 Prompt 中抽离为可治理的配置流程，这种思路可以迁移到其他依赖模型判断且需要持续变化的业务场景；但需注意其结论缺少量化实验支撑。
文章是美团履约AI团队对 ACL 2026 前沿论文的专题分享，围绕大模型 Agent、推理、记忆管理与多模态交互梳理研究进展。GeoRA 通过 SVD 初始化低秩适配器并冻结残差，缓解 RLVR 中的谱塌缩和训练不稳定；CoT-Flow 将离散推理步建模为概率流，用“速度向量”刻画每步信息增益并压缩推理长度。UserLM-R1 与 Fine-Mem 分别从可进化用户模拟器和细粒度记忆奖励归因出发，提升对抗交互和长期任务表现；DuplexOmni 则用交互层/思考层异步协作实现低延迟全双工多模态对话。整体上，这组工作展示了 ACL 场景下“推理增强 + 交互环境 + 记忆系统 + 多模态系统”四条路线。文章更偏研究综述与方法介绍，适合关注 Agent 后训练和论文脉络的读者，但缺少完整实验细节与复现步骤。
收录依据很明确：正文不是泛泛介绍，而是逐篇给出问题定义、方法核心和基准结果，覆盖 RLVR、推理建模、用户模拟、记忆管理与全双工多模态等多个研究点。适合做论文选题、组会分享和技术路线扫描，但它更像论文专场综述，工程落地与复现细节相对有限。
文章介绍了 OpenAI 开源的 Privacy Filter，一款用于识别并脱敏文本中 PII 的小模型。作者将预训练自回归模型改造成双向 token 分类器，并结合受限 Viterbi 做 span 解码，使其能够在单次前向中处理长文本，最长支持 128k 上下文。模型采用自建隐私标签体系，覆盖私人姓名、地址、邮箱、电话、网址、日期、账号和 secret，并通过公开数据、合成数据与模型辅助标注共同训练。评测显示它在 PII-Masking-300k 上取得很高的精确率和召回率，且少量域内微调即可显著提升效果。文中同时明确了边界：它不是合规认证或匿名化的替代品，在多语言、短上下文和高敏场景仍需要人工复核与域内验证。
推荐收录，因为它不仅发布模型，还完整说明了隐私标签体系、架构改造、训练数据构成、评测结果与局限，能直接用于文本脱敏和安全流水线设计。适合做隐私过滤、日志处理、数据预处理与安全工程参考，但跨语言和高风险场景仍需进一步验证。
这篇文章讨论 word2vec 到底学到了什么，并给出一个可预测的理论解释。作者证明，在若干现实且实用的条件下，训练问题可近似化为无权最小二乘的矩阵分解，梯度流的终态可闭式求解，最终表示等价于对一个由共现概率与边际概率构造的矩阵做 PCA。文章进一步指出，word2vec 在小初始化下会按“离散、顺序”的步骤逐个学习新的正交概念，每一步都对应嵌入矩阵秩的提升。其推导依赖四个近似：原点附近四次展开、特定超参数约束、小初值和极小步长；但不对数据分布作假设，因此能直接由语料统计预测所学特征。作者还用类比题准确率和抽象线性概念的演化实验，说明该理论与真实训练过程吻合良好，但结论仍主要适用于小初始化、近似线性化的分析场景。
文中直接给出 word2vec 的闭式理论、PCA 等价关系和逐步学习动态，属于可复核的研究型解读而非泛泛科普。适合关注表示学习、语言模型理论和论文分析的读者，但需注意其结论依赖若干近似条件，不应直接外推到所有训练设置。
这篇文章发布了新的长上下文检索基准 LoCoV1，并同步推出更新版 M2-BERT 检索模型。LoCoV1 覆盖 12 个真实任务，来自法律、医学、科学、金融、公司治理、政府报告和编程等领域，数据源包括 Tau Scrolls、QASPER、LongBench、CourtListener 和 StackOverflow，重点考察长查询、长文档以及信息分散分布时的检索能力。作者基于原始 M2-BERT 预训练检查点，分别训练了支持 128、2k、8k、32k token 的检索编码器，并与 BM25、ColBERT、LongColBERT 及多种商用/开源嵌入模型对比。结果显示，BM25 在 LoCoV1 上出人意料地强，而 8k/32k 的 M2-BERT 能显著超过更大参数规模的神经检索器，说明长上下文任务上稀疏与稠密方法各有优势。文章也给出边界：在 MLDR 上直接做精确搜索时，嵌入式方法表现下降，但结合 BM25 召回再重排后可取得更高 nDCG@10，提示混合检索可能更稳健。
文章直接给出新基准、训练设置、对比结果和失效场景，证据链完整，适合关注检索评测、长上下文建模和 RAG 召回设计的读者。其可迁移价值在于说明长文检索不应只依赖稠密向量，稀疏召回与重排组合在真实任务中往往更可靠。
文章提出 TABi（Type-Aware Bi-encoders），用于解决开放域实体检索中的长尾实体召回问题。作者指出，传统基于 InfoNCE 的双编码器容易受到实体流行度偏置影响，即使查询里出现了“team”“play”等上下文线索，模型也可能优先返回更热门的歧义实体。TABi 的核心不是把知识图谱类型当作文本特征输入，而是在对比学习损失中加入类型约束：同类型查询彼此拉近、异类型查询拉远，同时保留原始实体监督并用权重平衡两类信号。实验在 AmbER 和 KILT 上表明，该方法能在维持整体检索性能的同时显著提升稀有实体 top-1 准确率，并且在类型稀疏和类型噪声较高时仍具备一定鲁棒性。文章也说明其边界在于依赖知识图谱类型信号，主要收益集中在实体歧义消解和长尾检索场景。
推荐收录，因为文章给出了从“流行度偏置”到“类型约束对比学习”的完整方法链，并用 AmbER/KILT 的结果证明了对长尾实体的真实增益。适合做开放域实体检索、对比学习和知识增强检索的研究参考，但前提是有可用的类型标注或可靠的类型推断。
文章讨论了一个数据中心的思路：在不改动语言模型架构的前提下，仅通过训练和测试时向样本中插入实体元数据，来增强模型对知识和长尾实体的表达能力。作者把这种方法称为 metadata shaping，核心做法是把实体类别、描述等外部信息显式编码进输入，让基础 LM 直接利用这些信息学习。文章用最大熵和特征选择的视角解释了为什么元数据会帮助模型在未见模式上泛化，并强调这比改造架构更便于分析和部署。实验主要覆盖 OpenEntity、TACRED 和 FewRel 等实体密集任务，结果显示仅使用 BERT-base 也能比强基线提升最多 5.3 F1，且可达到或接近多种知识增强模型。其局限在于依赖元数据质量，且受序列长度约束，但整体说明“改数据”在知识注入问题上可能比“改模型”更稳健。
推荐收录，因为文中不仅提出了明确方法，还给出了在 OpenEntity、TACRED、FewRel 上的对比实验，证明只改数据就能逼近或超过知识增强架构。适合做 NLP、LLM 知识注入和数据中心 AI 的参考，但前提是外部元数据可靠且输入长度允许。
文章介绍 Stanford Hazy Research 提出的 Bootleg，用于命名实体消歧（NED）中的长尾实体问题。作者指出，传统 BERT 类方法在常见实体上表现良好，但对稀有实体会显著退化，因此仅靠扩充文本语料很难根治长尾。Bootleg 的核心思路是模仿人类推理，把实体、类型和关系信息自动学习成候选表示，并通过 Transformer 组合这些信号完成消歧，而不是依赖人工规则。文章还给出四类推理模式的分析，并说明自监督与弱标注、正则化等设计如何提升尾部性能。实验显示它在三个 NED 基准上达到或超过 SOTA，对稀有实体提升尤为明显，并且学到的实体表示还能迁移到关系抽取和生产搜索/助手任务，但结论仍主要建立在特定知识图谱与评测集上。
推荐收录，因为文章明确给出了长尾 NED 的问题定义、Bootleg 的表示学习与推理机制，以及基准、尾部增益和迁移实验结果。适合做 NLP/实体链接/知识表示的研究阅读，尤其对关心长尾泛化与可迁移实体表示的读者有直接参考价值。