16小时前
罗福莉宣布MiMo-V3采用新架构,HySparse 2发布
9月23日,小米宣布下一代大模型 MiMo‑V3 将全面采用全新 HySparse 2 混合稀疏注意力架构,并同步发布这一核心技术,瞄准 Agent 时代的超长上下文与多场景落地需求。HySparse 2 建立在今年已公布的 HySparse 架构基础上,通过在 800 亿参数级模型中验证的 11:1 稀疏比和近 10 倍 KV Cache 压缩,提高 MiMo 系列在手机、IoT 与企业云产品中的推理效率和成本优势。
13 来源
发布背景:罗福莉官宣 MiMo‑V3 采用 HySparse 2 架构
HySparse 2:混合稀疏注意力的技术升级
MiMo‑V3 与 HySparse 2:面向 Agent 时代的应用布局
行业影响与后续展望
本内容由AI生成