Intellect-2分布式强化学习训练

NTELLECT-2是一个分布式的大模型训练框架，采用了全球分布式异步强化学习的范式。通俗讲，INTELLECT-2就如同一个超大型的众包项目，任何拥有闲置算力资源的人都可以参与其中。“异步”则是指不同阶段可以独立、并行地进行，因此不同性能的设备可以同时参与，而不会相互影响。具体来说，系统会利用全球贡献者提供的异构算力在本地生成推理数据；这些数据经过验证后汇集到中心，用于更新模型策略；更新后的策略再分发到每个节点，开始新一轮迭代。