
Universal Test-Time Training
* 共同第一作者
COLM 2026 Efficient Reasoning Workshop SpotlightNeurIPS 2026 审稿中
把测试时训练的快权重在整个网络深度上共享,而不是每层各存一份私有状态;模型因此成为一个跨(块,层)的单一递归,并在相同状态规模下提升长上下文检索能力。
我是上海交通大学计算机科学与技术专业的大四本科生(ACM 班,致远学院),目前在威斯康星大学麦迪逊分校 HuLab 做研究实习,导师是 Junjie Hu 教授。在交大,我在先进网络实验室由刘生钟教授和吴帆教授指导;此前我曾在 Audiocc 实习,由李晨达教授和钱彦旻教授指导。朋友们叫我 Hugo。
我的研究围绕大语言模型的测试时计算与高效推理:基于强化学习的后训练、推理时的推理过程控制、测试时训练与自适应。更长远地,我希望理解能带来高效、可泛化智能的计算与推断原理,并把它们推广到多种模态。
我计划申请 2027 年秋季入学的博士项目。

把测试时训练的快权重在整个网络深度上共享,而不是每层各存一份私有状态;模型因此成为一个跨(块,层)的单一递归,并在相同状态规模下提升长上下文检索能力。


基于 LaCT 式快权重记忆的测试时训练与高效长上下文建模,通过共享状态、稀疏路由和自适应更新让测试时记忆更可扩展。
面向高效大模型推理的强化学习与后训练,包括思维链压缩和在线策略蒸馏。
通过在时间帧和梅尔频带上稀疏路由的混合专家,在不缩减容量的前提下降低语音分离模型的运行成本。
课程笔记与研究笔记,中文写作。