胡钦哲

关于我

我是上海交通大学计算机科学与技术专业的大四本科生(ACM 班,致远学院),目前在威斯康星大学麦迪逊分校 HuLab 做研究实习,导师是 Junjie Hu 教授。在交大,我在先进网络实验室由刘生钟教授和吴帆教授指导;此前我曾在 Audiocc 实习,由李晨达教授和钱彦旻教授指导。朋友们叫我 Hugo。

我的研究方向是测试时训练与模型架构,尤其是模型如何在长上下文中存储和读取记忆。在存储上,大多数深层模型让每一层沿时间各存一份记忆,时间和深度彼此分开;我目前的工作把两者统一成一个递归:在 uTTT 中所有层共享一份快权重状态,在 LastKV 中所有层共享一份末层 KV 历史。在读取上,TTG 用生成代替回归来读取快权重记忆。此外,我也做过面向高效推理的强化学习后训练(SmartThinker,ICML 2026)和语音分离中的稀疏专家混合(TF-⁠MoE,INTERSPEECH 2026 Oral)。

我始终欢迎合作与学术讨论。欢迎通过邮件 hugo0713@sjtu.edu.cn 或 qhu99@wisc.edu 联系我,也可以加微信(ID:HUGO--2025)。

我计划申请 2027 年秋季入学的博士项目。

研究方向

  • 测试时训练与快权重记忆
  • 统一时间与深度的递归
  • 跨语言与视觉的长上下文建模

动态

论文 完整列表 →

Universal Test-Time Training 架构图:展开的 uTTT 块,以及跨块共享的快权重专家池(uTTT-MoE)或共享稠密快权重算子(uTTT-Dense)。

Universal Test-Time Training

Qinzhe Hu*,Zefan Cai*,Ziqiao Ma,Hao Tan,Junjie Hu
* 共同第一作者
COLM 2026 Efficient Reasoning Workshop SpotlightICLR 2027 审稿中

把测试时训练的快权重在所有层之间共享,而不是每层各存一份私有状态;模型因此把时间与深度统一成一个递归,并在相同状态规模下同时提升长上下文检索与新视角合成。

快权重记忆的确定性读取与生成式读取对比:平方损失下的读取返回条件均值,可能落在两个合理值之间;生成式读取则采样其中之一。

Test-Time Generation

Zefan Cai,Qinzhe Hu,Yuchen Zhu,Hao Tan,Tianyuan Zhang,Sai Bi,Haoyi Qiu,Yicong Hong,Haozhe Zhao,Jason Kuen,Haoliang Wang,Ruiyi Zhang,Ryan A. Rossi,Wanrong Zhu,Molei Tao,Wen Xiao,Junjie Hu,Jiuxiang Gu
ICLR 2027 审稿中

用生成而不是回归到单一答案的方式读取快权重记忆,使同一个 key 存过多个值时,记忆能分别召回它们而不是取平均,在相同状态规模下提升长上下文检索与新视角合成。

Transformer 与 LastKV 对比:标准 Transformer 每层保存各自的 KV 历史;LastKV 只保留已完成分块的最后一层 KV,并让后续分块的每一层读取它。

Last Layer KV Cache is All You Need

Zefan Cai,Sai Bi,Lin Zhang,…,Qinzhe Hu,…,Jiuxiang Gu,Junjie Hu,Hao Tan
ICLR 2027 审稿中

让每一层都读取之前分块的最后一层 KV cache,从而在注意力上把时间与深度统一成一个递归。长期 KV 存储压缩到大约一层的规模,却仍在语言建模、新视角合成和视频生成上持平或超过标准 Transformer,并在长上下文检索和大多数状态追踪任务上领先所比较的各类架构。

TF-MoE 总览:梅尔子带切分的 Conformer 骨干、交替的频率维与时间维 MoE Conformer 块,以及带时间/子带路由器的稀疏 MoE 前馈模块。

TF-MoE: Time-Frequency Mixture-of-Experts for Efficient Speech Separation

Qinzhe Hu,Chenda Li,Wangyou Zhang,Shujie Liu,Yan Lu,Yanmin Qian
INTERSPEECH 2026 Oral

在时间帧和梅尔频带两个维度上稀疏路由专家的混合专家框架,几乎不增加推理开销就能提升语音分离模型的容量,效果超过计算量大得多的模型。

SmartThinker 优势计算流程:轨迹采样、按估计的最优长度计算长度奖励,以及不惩罚正确轨迹的动态奖励系数。

SmartThinker: Progressive Chain-of-Thought Length Calibration for Efficient Large Language Model Reasoning

Chenzhi Hu,Qinzhe Hu,Yuhang Xu,Junyi Chen,Ruijie Wang,Shengzhong Liu,Jianxin Li,Fan Wu,Guihai Chen
ICML 2026

一种面向高效推理的强化学习方法,让模型对每道题只思考必要的长度:训练中为每道题估计最优推理长度,并把过长的回答拉向这个长度,在 AIME25 等基准上最多把推理长度减半,同时提升准确率。

研究经历

  • 研究实习生,导师 Junjie Hu 教授美国麦迪逊 · 2026 年 7 月起驻校

    三项关于长上下文记忆的工作,均在 ICLR 2027 审稿中。uTTT 共同一作:让所有层共享一份快权重记忆;TTG 二作:为快权重记忆设计生成式的读取方式;LastKV 合作者:让所有层共享一份末层 KV 历史,把长期 KV 存储压到大约一层的规模,同时提升状态追踪能力。

  • 上海交通大学 先进网络实验室2025 年 8 月至今
    研究实习生,导师刘生钟教授、吴帆教授中国上海

    面向高效大模型推理的强化学习与后训练,包括思维链压缩和在线策略蒸馏。

  • 新加坡国立大学计算机学院2025 年 5 月 – 7 月
    云计算方向暑期项目,导师 Richard T. B. Ma 教授新加坡

    共同构建 JEDI——能加入 Jitsi 会议并判断何时发言的 AI 参会者;负责其 Kubernetes 原生数据层。

  • 上海交通大学 Audiocc 实验室2024 年 10 月至 2026 年 6 月
    研究实习生,导师李晨达、钱彦旻教授中国上海

    通过在时间帧和梅尔频带上稀疏路由的混合专家,在不缩减容量的前提下降低语音分离模型的运行成本。

教育经历

  • 上海交通大学 (SJTU)2023 年 9 月 – 2027 年 6 月(预计)
    Shanghai Jiao Tong University · 致远学院 ACM 班
    计算机科学与技术 本科中国上海
  • 新加坡国立大学 (NUS)2025 年 5 月 – 7 月
    National University of Singapore · 计算机学院 · 2025 年暑期学校
    云计算方向,成绩 A+新加坡
    团队项目 JEDI 获课程一等奖
  • 湖南师大附中 (HNSDFZ)2020 年 9 月 – 2023 年 6 月
    The High School Attached to Hunan Normal University
    高中中国湖南长沙

荣誉

学术服务

  • 审稿人:COLM 2026、ICLR 2027

最近的笔记

课程笔记与研究笔记,中文写作。

全部文章 →