‹ 返回列表
首页 · 问AI · 收藏 · 源管理 · 设置
8万条群聊消息做成考卷:腾讯元宝×KCL发布首个基于群聊构建的Agent记忆基准
量子位 · 2026-11-21 19:40
已读

8万条群聊消息做成考卷:腾讯元宝×KCL发布首个基于群聊构建的Agent记忆基准

腾讯元宝×伦敦国王学院NLP团队 投稿 量子位 | 公众号QbitAI

一个九人出行群,最初商定5月1日出发,后来又改为4月30日。等到有人请AI助手发 布购票提醒,它很可能还按旧日期通知。

虽然“记住”了历史,却没有真正服务好这个群。

在群聊的实际场景中,往往还有更隐蔽的要求:谁想坐靠窗位置,谁对预算有要求,哪些安 排只是提议,哪些已经成为共同决定。

一个AI助手要服务一群人,关键不只是找回记忆,更是判断此刻应该使用谁的哪条记忆。

针对这一问题,腾讯元宝与伦敦国王学院NLP团队联合推出GroupAssistBe nch。研究基于50个真实群聊、80,299条历史消息,构建2,395道评测题, 检查Agent记忆能否真正从“记得住”走向“用得好”。

研究团队比较了完整上下文、检索增强和外部记忆等14组配置。其中一个有代表性的反差 是:EverMemOS在L1记忆召回评测中得分为0.621,高于使用相同任务模型 的完整上下文0.570;但在L2开放式服务评测中,它的得分为0.247,低于完整 上下文的0.431。

更会回忆,并不必然更会服务。

论文已在arXiv公开,代码和数据集也已开放。

△14组配置的主实验结果:左侧为L1记忆召回,右侧为L2开放式服务。比较应在各自 指标内部进行。

从一段群聊到两种考验:记忆找得到,也要用得对

已有Agent Memory评测常通过事实问答检验历史回忆,近期也有工作开始关注下游记忆使用。但 真实群聊提出了更复杂的问题:同一条信息可能由不同成员补充,安排会随讨论更新,一项 回复还可能同时受到多个人的约束。