发布日期:2026-02-17 12:44点击次数:
“即使是如今强的语言模型,在上下文的利用面仍然做得不好,甚至可以说是还不会利用上下文,从上下文中学习。”日前,腾讯混元官网技术博客(Tencent HY Research)发表了篇名为《从上下文中学习伊春万能胶厂家,远比我们想象的要难》的文章,系统地介绍了腾讯混元团队联复旦大学的项新研究。
奥力斯 pvc管道管件胶批发 联系人:王经理 手机:15226765735(微信同号) 地址:河北省任丘市北辛庄乡南代河工业区
据南+记者了解到,这是姚顺雨加入腾讯担任席AI科学后团队次发布研究成果,也是腾讯混元技术博客次公开。这博客的出,旨在分享腾讯混元研究员在前沿技术研究和实践中的探索与经验,呈现创新思路与技术洞察。
资料显示伊春万能胶厂家,去年12月17日,腾讯姚顺雨出任公司“CEO/总裁办公室”席AI科学,直接向腾讯总裁刘炽平汇报。同时,他还兼任新成立的AI Infra部(AI基础设施部)和大语言模型部负责人,向技术工程事业群总裁卢山汇报。
腾讯面表示,这项重大的人事任命与组织架构调整旨在强化其大模型研发体系。在加入腾讯前,姚顺雨在普林斯顿获得计机博士(语言和强化学习向),毕业后就直接加入了OpenAI。
据新研究成果显示,过去几年,大语言模型快速进化,如今的前沿模型,已经是顶的“做题”:它们能解开奥数别的难题,能演复杂的编程逻辑,甚至能通过那些人类需要苦读数年才能拿下的业资格考试。然而,在面临真实世界的任务时,模型表现还有待提升。
回看人类的日常工作:开发者扫过从未见过的工具文档,就能立刻开始调试代码;玩拿起新游戏的规则书,在实战中边玩边学;科学从复杂的实验日志中筛选数据,出新的结论和定律。这些场景中,人类并不只依赖多年前学到的“死知识”,而是在实时地从眼前的上下文(Context)中学习。
在这篇论文里,腾讯混元和复旦大学联研究团队提到,要让大模型学会“从上下文中学习”,泡沫板橡塑板专用胶远比我们想象的要难。并且,即便抹平了上下文带来的信息差,模型也未能解决问题,这说明模型在上下文利用上,依然存在显著的能力短板。
为了衡量现有模型距离真正的“上下文学习者”还有多远,研究团队构建了CL-bench,这是个门评测语言模型能否从上下文中学习新知识并正确应用的基准。CL-bench 包含由资域精心制作的 500 个复杂上下文、1,899个任务和 31,607个验证标准。CL-bench只包含个简单但苛刻的要求:解决每个任务要求模型须从上下文中学习到模型预训练中不存在的新知识,并正确应用。
通过实验,论文发现,世界上排名前十的语言模型在CL-bench上的任务解决率平均只有17.2 ,也就是说即使是如今强的语言模型,在上下文的利用面仍然做得不好,甚至可以说是还不会利用上下文,从上下文中学习。
这也为大语言模型后续的迭代指出了个可能的向,强化模型从上下文中进行学习的能力。
在官技术博客中还提到,如果模型的上下文学习能力能像之前其他能力那样被提升上去,人类在AI系统中的角将发生转变:我们不再是主要的数据提供者(training data provider),而变成了上下文提供者(context provider),未来,竞争的焦点将从“谁能把模型训练得好”,转向“谁能为任务提供丰富、相关的上下文”。
研究团队也强调,模型如何记忆很可能成为2026年大模型发展的另个核心主题,并且,旦上下文学习与记忆变得可靠,模型或许就能实现自主学习,它们将自主准备上下文,从中学习并自我巩固。
在加入腾讯之前,姚顺雨曾经发布了篇名为《The Second Half》的博客,提到大模型下半场的重头戏是“评估”,此后在多次公开讲话中,他也提到了造实用模型的目标,这可以视为他在腾讯混元团队的研发思路之。本次CL-bench的出,将成为模型上下文学习能力评估的主要基准,为大模型学习多解决现实世界难题提供帮助。
南+记者 叶丹伊春万能胶厂家
相关词条:铁皮保温施工 隔热条设备 锚索 离心玻璃棉 万能胶生产厂家
18232851235