清华系团队 DeepSeek 版多模态生物医药大模型 BioMedGPT-R1 发布,后续计划开源
近日消息显示,清华大学人工智能产业研究院(AIR)及北京水木分子生物科技有限公司(水木分子)日前联合发布了升级版的生物医药多模态开源基础大模型 BioMedGPT-R1。
过去,双方曾于2023年合作发布了开源可商用的生物医药多模态百亿参数大模型BioMedGPT,水木分子推出了专为生物医药领域研发的自研千亿参数多模态生物医药专业大模型ChatDDFM 和新一代AI 驱动药物发现工具ChatDD。最新推出的DeepSeek版ChatDD-R1基座模型已同步上线ChatDD,可服务于生物医药企业的药物研发。
BioMedGPT是清华大学智能产业研究院(AIR)与水木分子联合开源的全球首个可商用多模态生物医药百亿参数大模型,该模型在生物医药领域的问答能力被誉为“媲美人类专家水平”,首次发布时在自然语言、分子、蛋白质跨模态问答任务上达到了SOTA水平。
在BioMedGPT的基础上,清华大学AIR联手水木分子推出了BioMedGPT-R1,利用DeepSeek R1蒸馏版本模型对BioMedGPT中当前文本基座模型进行了更新,从而提升了文本推理性能。
通过跨模态特征对齐,BioMedGPT-R1成功将生物模态和自然语言文本模态融合在同一特征空间内,探索了生物多模态场景下的深度推理能力。
通过对齐翻译层进行训练,BioMedGPT-R1能够将生物模态编码器(分子编码器和蛋白质编码器)的输出映射到自然语言表征空间,进一步提升了在DeepSeek R1基础上对生物模态数据的理解能力。
BioMedGPT-R1的训练分为两个主要步骤:
首先,只训练对齐翻译层Translator, 使其能够将编码后的生物模态表征映射到语义表征空间;
随后,同时微调对齐翻译层Translator和基座大语言模型,激发其在下游任务上的多模态深度推理能力。
清华大学AIR与水木分子研究团队表示,他们将不断努力地维护OpenBioMed开源平台,并计划将研究重点放在如何在强推理语言模型的基础上更好地实现跨模态对齐。目前,他们正在基于BioMedGPT-R1进行系统性研究与综合评估,已经观察到在化学分子理解任务方面表现有所提升,例如在CheBI-20 化学分子描述任务上与上一版本相比效果提升超过15%。未来,团队还将借助OpenBioMed平台开源BioMedGPT-R1模型及生物医药研发Agent系统框架。
IT之家提供了开源地址,但当前新版本尚未开源:
https://github.com/PharMolix/OpenBioMed
广告声明:本文中包含的外部链接用于提供更多信息,减少搜索时间,仅供参考。
1.本站遵循行业规范,任何转载的稿件都会明确标注作者和来源;2.本站的原创文章,请转载时务必注明文章作者和来源,不尊重原创的行为我们将追究责任;3.作者投稿可能会经我们编辑修改或补充。