IT之家 11 月 21 日消息,当地时间 11 月 20 日,OpenAI 发布 MedChemBench 基准,用于评估 AI 模型在药物化学研究中的推理能力,包括识别分子结构、解读实验结果、比较化合物及预测 其性质等。OpenAI 表示,模型在重建分子结构和解释实验依据方面表现较强,但在化合物筛选和数值性质预测 方面仍有明显提升空间。
IT之家从官方介绍获悉,该基准包含 99 道题目,取自 117 篇论文与专利,涉及 761 个不同分子结构。多数题目向模型提供研究进行到某一节点时的上下文,包括生物靶点、研 究人员的目标、此前研究过的化合物与部分实验结果。
![[图]](/i/0111b4254dd5.png)
![[图]](/i/8ccb8d208717.png)
官方将评测分为四个部分,IT之家附具体内容如下:
分子结构:依据题目给出的结构图与化学基团组装分子,考察原子连接与立体化学是否正确 ;
科学解释:解释需由给定证据支撑,例如为何在若干化合物中选择某一个;
排序与选择:化合物排序与最终选择是否符合题目要求;
性质预测:与原始材料给出的数值、类别是否一致,涵盖实测与计算得到的分子性质。
据官方公布信息,在 xhigh 推理档下,GPT-6.2 Astra 获得 84.5% 的可用分数,GPT-6 Astra 为 83.3%,GPT-6.1 Sol 为 82.0%,GPT-5.6 Sol 为 58.2%。官方称,提高推理档位可带来分数提升,但模型之间的差距依然明显。
分项表现上,Astra 在 xhigh 档的分子结构部分拿到 95.4% 的可用分数,而在化合物选择与数值性质预测两项上仅获约一半分数。
官方举例称,一道题目要求模型以给定中心结构与两个侧基组装分子,并保留一个 18 原子环。