资讯AI 辅助草稿来源原文 ↗

热点Transformer 架构还能咋改?严骏驰团队提供两条思路 | CNCC 2026

leiphone.com · 发布于 2026-11-04 07:48

来源节选(非本站原创长文,完整内容请见来源)

训练算力节省1/3。 作者丨张璐 编辑丨张驰 增加参数、扩展专家数量、投入更多训练数据,是大模型提升能力的常见路径。但对于算力和数据资源有限的高校团队,沿着这些方向持续扩大规模并不容易。在现有 Transformer 架构之上寻找其他扩展维度,是上海交通大学人工智能学院教授严骏驰,在前不久的CNCC 2026演讲中分享的研究思路。在题为《大模型新架构探索:JTok & xHC》的报告中,严骏驰介绍了两项工作:JT…

来源:雷峰网