Anthropic研究人员提出模型中期训练方法。该方法在预训练和微调之间增加了一个过渡阶段。过渡阶段专注于对齐训练以提升模型性能。研究表明中期训练能有效改善泛化能力。传统训练流程缺少预训练与微调间的过渡环节。直接微调可能导致模型过度拟合特定任务。中期训练通过额外训练阶段平衡模型能力。该方法针对大语言模型开发流程进行了优化。实验证明该方法能提升模型的多任务表现。研究为大语言模型训练提供了新的技术路径。