Marc Brooker

3 篇内容

工程实践Marc Brooker

Small Decisions: Engineering a Leading Model

文章记录作者用业余时间训练约 20 亿参数的校准分类模型 Hobson,目标是在低成本、低延迟下兼顾准确率与校准。方法以 Qwen3.5-2B 为躯干,去掉 LM head,换成百万参数级 pointer head,对选项隐藏状态与 <answer> 位置打分,并用 rank-16 LoRA 微调,训练结合交叉熵、自蒸馏 KL 和按题型校准温度。作者在 jevbench 公开集上取得同规模领先:easy 集 Brier 0.009、准确率 100%,RTX 3090 上 p50 约 100ms、p95 低于 300ms。文中也报告失败与边界:slot head 有位置偏差,更大或指令模型未达预期,泛化提升困难,测试集设计可能掩盖问题,作者自认并非模型训练专家。

推荐收录:文章不是产品宣传,而是完整展示了一个小模型从架构替换、LoRA/自蒸馏训练、数据合成到校准、评测和推理延迟优化的工程闭环,并诚实记录失败版本与基准局限。适合关注 LLM 工程化、小模型训练、校准分类和低延迟推理的读者,其中的 pointer head、自蒸馏、按题型温度校准和迭代复盘方法可迁移到类似模型或 agent 决策组件开发中。

工程实践Marc Brooker

Lorenz and Little: How Much Does Your Tail Cost?

本文从成本和容量角度切入尾部延迟分析,通过Lorenz曲线量化不同百分位延迟对平均延迟的贡献比例,并结合Little法则说明这一比例同时对应系统并发所占份额。作者提供了基于分位数向量的数值计算方法,并讨论了插值假设和尾部帕累托外推的局限性。文章指出,在许多服务中p99及以上延迟可能贡献超过一半的平均延迟和并发寸,因此优化尾部能显著降低容量需求、锁争用和成本,而不应简单截断。这一视角将延迟分析从用户体验延伸至系统经济性,适合拥有可观测性指标的工程团队。

推荐收录。文章不是泛泛谈论尾部延迟的重要性,而是引入了Lorenz曲线这一经济学工具提供量化框架,并通过Little法则建立延迟与并发成本的直接关联,给出了可复用的计算方法和工程洞察。对于需要平衡服务性能与基础设施成本的后端工程师、SRE和架构师来说,该思路可直接迁移到容量规划和瓶颈识别中,具有长期参考价值。

工程实践Marc Brooker

Aurora DSQL: Scalable, Multi-Region OLTP

Marc Brooker在这篇博客中介绍了Aurora DSQL论文,重点阐述了系统的整体目标:构建一个简化应用构建与运维、无需关心规模与可靠性的关系型数据库。文中强调了架构解耦的设计思想,将查询处理、事务、复制和控制面拆分为独立服务,并总结了来自Aurora与DynamoDB等系统的运营教训,如避免大缓存、提供强一致可扩展读、将昂贵操作下推到存储层。作者还讨论了乐观并发控制(OCC)在避免客户端阻塞和减少尾延迟方面的优势,以及多区域场景下的快速读写能力。博客最后指出,硬件与数据中心设计的进步使得强一致性成为更优选择,并提供了论文链接供进一步阅读。

作为Aurora DSQL系统的核心设计者之一,作者以第一视角提炼了论文的关键设计决策与运营经验,浓缩了现代分布式OLTP数据库的核心理念。文章对解耦架构、一致性选择、多区域扩展等问题的论述既权威又简明,适合分布式系统工程师、架构师及关注数据库技术演进的研究者快速获取全局认知,其总结的教训可迁移至其他大规模系统设计。