【ChiCTR2600126004】DeepSeek医学能力评估

查看原文

立即下载

基本信息

登记号

ChiCTR2600126004

试验状态

结束

药物名称

药物类型

规范名称

首次公示信息日的期

2026-06-02

临床申请受理号

靶点

适应症

无

试验通俗题目

DeepSeek医学能力评估

试验专业题目

利用OSCE题库及本院真实病例跨学科评估DeepSeek等LLM真实医学能力及其在临床服务中的价值的研究

申办单位信息

申请人联系人

请登录查看

申请人名称

请登录查看

联系人邮箱

请登录查看

联系人邮编

联系人通讯地址

请登录查看

临床试验信息

试验目的

本研究旨在通过客观结构化临床考试（OSCE）题库及本院真实病例，跨学科评估DeepSeek等大型语言模型（LLMs）在医学推理、诊断、治疗方案推荐等方面的实际能力，评估其幻觉等风险，并分析其在临床服务中的潜在应用价值。

试验分类

请登录查看

试验类型

连续入组

试验分期

探索性研究/预试验

随机化

无

盲法

无

试验项目经费来源

自选课题（自筹）

试验范围

目标入组人数

600

实际入组人数

第一例入组时间

2025-01-01

试验终止时间

2025-12-31

是否属于一致性

入选标准

1. OSCE 题目入选标准 (1) 题目相关性：题目应与医学临床实践密切相关，能够有效评估 LLMs 的医学知识和临床技能。 (2) 题目多样性：题目应涵盖多个医学领域和临床场景，包括但不限于内科、外科、妇产科、儿科、急诊科等。 (3) 题目难度：题目难度应适中，能够区分不同水平的医学知识和临床技能。 (4) 题目质量：题目应经过专家审核，确保其科学性和合理性。 2. 实际病例入选标准 (1) 病例真实性：病例应为本院的真实病例，具有完整的病历记录和临床数据。 (2) 病例多样性：病例应涵盖多种疾病类型和临床场景，包括常见病、多发病和疑难病症。 (3) 病例完整性：病例应包括详细的病情描述、诊断结果、治疗方案和随访记录。 (4) 病例代表性：病例应具有代表性，能够反映临床实践中的常见问题和挑战。 (5) 病例时间范围：病例应涵盖过去 5 年内的数据，以确保其时效性和相关性。具体说明 OSCE 题目：将从现有的 OSCE 题库中筛选出 600 例题目，确保其涵盖广泛的医学领域和临床场景。题目将经过专家审核，确保其科学性和合理性。实际病例：将从本院的病例库中选取 600 例真实病例，涵盖多种疾病类型和临床场景。病例将经过严格筛选，确保其完整性和代表性。通过上述样本量和入选标准，本研究将确保样本的代表性和多样性，为全面评估 DeepSeek 等 LLMs 的真实医学能力及其在临床服务中的价值提供科学依据。 1. OSCE 题目入选标准 (1) 题目相关性：题目应与医学临床实践密切相关，能够有效评估 LLMs 的医学知识和临床技能。 (2) 题目多样性：题目应涵盖多个医学领域和临床场景，包括但不限于内科、外科、妇产科、儿科、急诊科等。 (3) 题目难度：题目难度应适中，能够区分不同水平的医学知识和临床技能。 (4) 题目质量：题目应经过专家审核，确保其科学性和合理性。2. 实际病例入选标准 (1) 病例真实性：病例应为本院的真实病例，具有完整的病历记录和临床数据。 (2) 病例多样性：病例应涵盖多种疾病类型和临床场景，包括常见病、多发病和疑难病症。 (3) 病例完整性：病例应包括详细的病情描述、诊断结果、治疗方案和随访记录。 (4) 病例代表性：病例应具有代表性，能够反映临床实践中的常见问题和挑战。 (5) 病例时间范围：病例应涵盖过去 5 年内的数据，以确保其时效性和相关性。具体说明 OSCE 题目：将从现有的 OSCE 题库中筛选出 600 例题目，确保其涵盖广泛的医学领域和临床场景。题目将经过专家审核，确保其科学性和合理性。实际病例：将从本院的病例库中选取 600 例真实病例，涵盖多种疾病类型和临床场景。病例将经过严格筛选，确保其完整性和代表性。通过上述样本量和入选标准，本研究将确保样本的代表性和多样性，为全面评估 DeepSeek 等 LLMs 的真实医学能力及其在临床服务中的价值提供科学依据。；

排除标准

无；

研究者信息

研究负责人姓名

请登录查看

试验机构

香港大学深圳医院

研究负责人电话

请登录查看

研究负责人邮箱

请登录查看

研究负责人邮编