0121
谷歌公布Titans系列AI模型架构,融合长短期记忆与注意力机制。
谷歌研究院发文,公布了Titans系列模型架构,相应模型架构最大的特点是采用仿生设计,结合了短期记忆、长期记忆和注意力机制,支持超过200万个Token的上下文长度,目前相关论文已发布在arXiv上,谷歌计划未来将Titans相关技术开源。
2025-01-21
010
0/500虎嗅用户社区交流公约
谷歌公布Titans系列AI模型架构,融合长短期记忆与注意力机制。
谷歌研究院发文,公布了Titans系列模型架构,相应模型架构最大的特点是采用仿生设计,结合了短期记忆、长期记忆和注意力机制,支持超过200万个Token的上下文长度,目前相关论文已发布在arXiv上,谷歌计划未来将Titans相关技术开源。