Google Transformer V2：嵌套学习（Nested Learning）架构

Type: article
Author: Google Research
Primary Topic: 行业动态
Ingested: 2026-05-19

Summary

Google提出「嵌套学习（Nested Learning）」架构，被视为《Attention Is All You Need》的2.0版本。该架构将所有计算组件视为关联记忆模块，支持持续学习和自我参数修改，解决了传统Transformer静态权重、扩展边际递减等问题。基于此架构的Hope模块在持续学习任务和长文本推理（支持10M Token上下文）上显著优于现有架构。

Key Concepts

• 嵌套学习
• 持续学习
• 关联记忆模块
• 高低频双轨记忆
• 上下文学习
• 自修改参数
• 长文本推理

Entities

• Google
• Transformer V2
• Hope架构
• Titans

Source

• Raw: google-transformer-v2-nested-learning-architecture.md

Relations

• (none)

---

Auto-generated on 2026-05-19