AI沟通难题破解:姚顺雨揭秘人话理解之道
19
腾讯与复旦联合发布《CL-bench》论文,揭示AI学习难题
近日,腾讯混元团队与复旦大学联合团队共同发布了一篇名为《CL-bench》的论文。值得注意的是,这是腾讯首席AI科学家姚顺雨入职后首次以作者身份发表的研究论文。 在论文中,姚顺雨指出,当前AI与真正智能之间的差距,并非在于知识的多少,而在于学习的能力。一个知识丰富却不会学习的AI,就像一个背了整本字典却不会写作的人,看似博学,实则僵化。 人类并不只是依赖多年前的死知识,而是在实时地从眼前的上下文中学习。研究团队发现,大模型在上下文利用上,依然存在显著的能力短板。 为了衡量现有模型距离真正的“上下文学习者”还有多远,研究团队构建了CL-bench。这是一个专门评测语言模型能否从上下文中学习新知识并正确应用的基准。 CL-bench包含由资深领域专家精心制作的500个复杂上下文、1899个任务和31607个验证标准。CL-bench的唯一要求是:“解决每个任务要求模型必须从上下文中学习到模型预训练中不存在的新知识,并正确应用。” 实验结果显示,世界上排名前十的语言模型在CL-bench上的任务解决率平均只有17.2%。这意味着即使是如今最强的语言模型,在上下文的利用方面仍然做得不好,甚至可以说是还不会利用上下文,从上下文中学习。 这也为大语言模型后续的迭代指出了一个可能的方向,即强化模型从上下文中进行学习的能力。CL-bench:评测AI上下文学习能力的基准
CL-bench作为一个专门评测语言模型上下文学习能力的基准,其重要性不言而喻。它包含的500个复杂上下文、1899个任务和31607个验证标准,为评估AI模型在上下文学习方面的能力提供了有力依据。 CL-bench的核心要求是,模型必须从上下文中学习到模型预训练中不存在的新知识,并正确应用。这一要求看似简单,实则苛刻,因为它要求模型具备真正的学习能力和理解能力。 实验结果显示,即使是排名前十的语言模型,在CL-bench上的任务解决率也仅有17.2%。这一结果揭示了AI在上下文学习方面的巨大挑战,同时也为后续的研究和改进提供了方向。AI上下文学习:未来发展的关键方向
CL-bench实验结果表明,AI在上下文学习方面还有很长的路要走。这也为大语言模型后续的迭代指出了一个可能的方向,即强化模型从上下文中进行学习的能力。 随着AI技术的不断发展,上下文学习将成为AI发展的重要方向。只有真正具备上下文学习能力的AI,才能更好地理解和应对复杂多变的环境,为人类提供更加智能的服务。 腾讯与复旦联合发布的《CL-bench》论文,为我们揭示了AI学习难题,同时也为AI未来的发展指明了方向。相信在不久的将来,随着技术的不断进步,AI将在上下文学习方面取得更大的突破。![]()
索尼克系列全军覆没! DenuvOwO攻破《索尼克 超级巨星》D加密
「喜加一」周报(3.27-4.2),Epic可免费领海港物语
天国,拯救2总监力挺DLSS5,玩家要的技术未来,黑子挡不住
DenuvOwO攻破F1 2025D加密保护,玩家关心的无加密有进展