1113

彩云科技发布基于DCFormer架构通用大模型云锦天章。

彩云科技正式推出了首款基于DCFormer架构开发的通用大模型云锦天章,与此同时,彩云科技旗下AI RPG平台彩云小梦,也成为首款基于DCFormer架构开发的AI产品。

此前,彩云科技团队构建DCFormer框架,提出可动态组合的多头注意力(DCMHA),替换Transformer核心组件多头注意力模块(MHA),解除了MHA注意力头的查找选择回路和变换回路的固定绑定,让它们可以根据输入动态组合,由此实现了对Transformer架构1.7—2倍的性能提升。

2024-11-13
010
0/500虎嗅用户社区交流公约