分享RWKV-7迄今的训练记录，从1B到13B
文章记录了RWKV-7系列六个dense模型（0.1B到13B）的训练过程，展示了所有模型的Loss曲线，强调训练稳定无spike，且曲线中的阶梯变化均源于有原因的操作。作者指出数据量从3T tokens增长到21T tokens，依赖开源数据、蒸馏和合成。训练由单人完成，体现了“One Person Train”模式。文中对比了不同规模模型的训练方法：1B和3B采用常规策略，而7B和13B采用了更高效的方法，收敛速度和数据效率显著更高，当前在各基准上已表现出竞争力。作者还认为数据效率仍有优化空间，提出即使现有架构，若使用最优策略，训练几T tokens即可达到充分效果，并展望了AI自动化训练的未来。文章以实际工程经验为主，提供了大模型训练中数据工程、训练策略选择和效率优化的直观案例。
文章提供了大规模语言模型训练的第一手工程记录，包含训练稳定性、数据规模扩展、不同训练策略的收敛效率对比，以及单人训练模式的可行性验证，对从事大模型训练的工程师和独立研究者具有直接参考价值。读者可从中获得关于训练效率优化、低成本训练路径和训练过程管理的启发，适合关注AI基础设施和训练实践的开发者。虽然细节有限，但经验和观点可迁移至类似项目。