循证医学是指“慎重、准确和明智的应用当前所能获得的最好的研究依据,同时结合医生的个人专业技能和多年的临床经验,并考虑患者的价值和愿望,将三者完美结合制定出患者的治疗措施”[1],其系列课程有助于培养医学生批判性思维能力、科学临床决策能力。《全球医学教育最低基本要求》、《医学教育国际标准与指南》、《中国本科医学教育标准——临床医学专业(2016 版)》等均强调开展循证医学教育的重要性[2-4]。目前,该课程以选修、必修、继续教育等多种形式开展,受众人群遍及临床医学、口腔医学、基础医学、护理学、内科学、外科学等不同专业领域的本科生、硕士及博士研究生,部分院校也相继应用信息技术实施混合式教学,其授课对象的差异化、教学模式的多样化、讲授内容的侧重性均给循证医学课程的教学评价带来了极大的挑战。
针对上述问题,部分研究者逐步关注循证医学学习评估工具的对比与筛选,或教学效果评价指标的构建和验证分析等,探讨了适用循证医学课程的评价工具或指标[5-7]。鉴于“互联网+”教育的热潮,该课程教学评估工具的设计与优化迫在眉睫。本文意在采用系统评价的方式,对近5年内可应用于循证医学教学的评估工具进行全面性对比、分析,明确其内在特点及优势;同时,结合本教研室多年来循证医学系列课程的授课经验,提出适用循证医学多样化培养目标的教学评估辅助工具设计与优化的着力点,为进一步完善循证医学课程评价体系提供可参考性建议。
1 资料与方法
1.1 纳入与排除标准
纳入标准:①近5年内公开发表的与医学领域循证医学教育评估工具相关的文献;②聚焦评估循证课程教学效果、医学生或临床医务人员循证实践认知、态度与技能水平等主题;③关注新型评估工具的研发或经典工具心理测量学特征的再验证等。
排除标准:①运用既往工具评估研究对象相关能力水平或教学效果的横断面调查或随机对照试验等;②无法获取全文的文献,如会议摘要;③无法获取相关评估工具重要信息(如全部条目含义、使用方法)的文献;④非中、英文文献或评估工具;⑤述评、社论、计划书等。
1.2 文献检索策略
以“循证医学、工具/问卷/量表/评估”为中文关键词,以“evidence based medicine/evidence based practice、tool/ instrument/ test/ questionnaire/ scale/ assess*/ evaluat*”为英文关键词。
计算机检索PubMed、Web of Science、中国生物医学文献数据库(Chinese BioMedical Literature Database,CBM)、中国知网(China National Knowledge Infrastructure,CNKI)、万方(Wanfang Data)数据库。检索时限为2018年1月1日至2022年9月16日。以PubMed为例,详细检索策略见框1。
-
框图1 框1 PubMed文献检索策略
Box1.Box 1. Literature retrieval strategy of PubMed
1.3 文献筛选与资料提取
由2位研究人员按照纳入、排除标准筛选文献,意见冲突时,经与第3位研究人员讨论解决。
另由2名研究人员对纳入的文献进行信息提取,若存在争议,通过讨论达成一致建议。提取的内容包括:作者及发表时间、评估工具名称、应用对象、聚焦的主题、心理测量学指标主要结果、条目内容等。
1.4 内容分析
对比各类评估工具条目数量、聚焦的主题、评估标准、问题类型等差异性特点,结合教研室多年授课经验,分析其对循证医学课程教学评估的适用性。
2 结果
2.1 文献筛选流程及结果
检索各数据库后,共获得538篇相关文献,重复文献176篇,根据纳入排除标准,经初筛及全文复筛后,最终纳入16篇与研究主题相关的文献[8-23](见图1)。
-
图1 图1 文献筛选流程图
Figure1.Figure 1. Flowchart of literature screening
2.2 纳入文献的基本特征
2018年至2022年期间,共发布或再验证相关循证医学教学评估工具14个,均具有一定的可靠性。其中,4个工具的应用对象为医学生[8, 10, 13-15, 17],10个工具的应用对象主要为临床医务人员[9, 11-12, 16, 18-23];5个工具关注研究对象对循证医学相关知识的掌握水平[8, 11-14, 17, 22];3个工具聚焦相关技能[8, 13-14, 17, 23];3个工具聚焦研究对象对两者的综合性掌握水平[10, 15-16]; 7个工具聚焦调查对象对开展循证实践的态度[8-9, 11-14, 17-18, 21];4个工具了解循证实践关键环节的实施情况[8, 12, 14, 20, 22];2个工具意在调查开展循证实践的障碍或促进因素[11, 22]。部分工具也关注开展循证实践的行为、循证实践结果对患者的益处、实践循证医学的需求或对循证实践的信念等主题[11, 18, 20, 22],详细情况见表1。
-
表格1 表1 纳入文献的基本特征
Table1.Table 1. Basic characteristics of the included literature
2.3 循证医学教学评估工具的特点
针对“知识”这一主题,条目数在6~24之间,内容涉及对循证医学综合性认知(如循证医学涉及对临床决策的研究结果进行批判性过程、循证医学聚焦当前可获得的研究但不考虑临床经验)、常用术语的了解程度(如系统评价、Meta分析、病例对照研究、随机对照试验)、关键概念的判断(如随机对照试验和观察性研究在确定治疗效果方面同样有效、Meta分析中发表偏倚代表选择偏倚、临床试验中的随机化有助于减少样本量)、检索和审查证据相关知识的自我认识(如将信息需求转换为研究问题、了解主要信息类型及来源、如何检索证据、批判性分析)等,评估标准多以专业知识正确与否的是非判断、知识掌握水平的自我评价(如从“差”至“最佳”)、相关知识文本描述同意与否程度选择(如采用5分制评分标准,从强烈不同意至强烈同意)为主。在“技能”方面,条目数在5~9之间,内容包括共享和应用循证实践的相关技能(如识别专业实践差距的能力、将信息应用于个别案例的能力、与同事分享想法和信息)、循证实践关键环节技能(如明确问题、文献检索、批判性评估、综合与决策)等,评估标准多使用是非判断、同意与否的程度性主观选择、反馈内容的客观评估。针对“知识”和“技能”的综合性判断,条目数为9或15,多采用设置临床案例,调查对象针对拟设的问题提供答案,调查人员根据回答的内容水平给予不同的评分等级。
针对“态度”这一主题,条目数在3~21之间,对循证实践相关内容的整体性认识(如讨厌临床实践行为受到质疑、循证医学是对良好临床实践的威胁、循证医学可提高患者的健康结果)、具体环节的意向性态度(如涉及喜欢使用新型疗法/干预措施帮助我的客户/患者、比学术研究人员更懂得如何照顾我的客户/患者、愿意使用研究人员开发的新的和不同类型的疗法/干预措施)等,评估标准多为主观性态度选项,如从“消极”至“积极”(7分制Likert方法)、从“强烈不同意”至“强烈同意”(5分制评分方法)。
针对“实践情况”这一主题,条目数在6~18之间,内容包括循证实践关键步骤的开展情况(如明确问题、获取证据、设定严格的评估标准),部分也涉及时间分配、分享、应用情况(如在实践中应用循证医学、没有足够时间研究循证医学、向我的同事推广循证实践)及相关资源的使用等,评估标准多为频率程度的主观选择,如从“从不”至“频繁”或“总是(每周几次)、经常(每周一次)、有时(至少每月一次)、很少(几个月一次)、过去一年从未发生过”。
另外,部分关注循证实践的行为、循证实践结果对患者的益处、实践循证医学的需求等主题的工具也通过设置条目内容,评分方式采用等级评分标准,或设置开放性题目的方式实施调查,各工具详细特征见表2。
-
表格2 表2 循证医学教学评估工具的特点
Table2.Table 2. Characteristics of the teaching evaluation tools for evidence-based medicine
3 讨论
循证医学在在校教育、继续教育、毕业后教育、职业教育等各阶段发挥着重要作用,其在培养医学人才方面的实践过程指明了医学教学改革的方向[24]。相关课程体系的建设是循证医学教学人员关注的重点,尤其是优化教学评估工具,其有助于及时获取教师与学生参与课程活动的反馈信息,便于进一步提升课程教学质量。经系统性分析发现:近5年内,相继有14个可用于循证医学教学评估的辅助工具被开发和再验证,其侧重了解研究人群对相关知识和(或)技能的认知、态度及应用水平,少数也关注开展循证实践的影响因素等,评估方式大多采用意向性程度选择、是非判断或文本内容回答质量等方式,但尚无涉及循证医学课程教学活动监测的评估工具,另也未完全区分针对不同学历背景的授课对象,其教学目标对评估内容的影响。因此,循证医学教学评估工具亟待进一步完善。
我校自2004年首次开设循证医学课程以来,授课对象遍及本科生、硕士及博士研究生,建立了相应的课程体系,并提出了信息技术的“互联网+”新型教学模式形成性评价的建设构想[25-26],结合教研室多年授课经验,在现有文献分析的基础上,建议从以下三个方面设计与优化循证医学课程教学评估工具:
其一,在考核医学生对教学内容相关专业知识/技能的掌握情况时,现有评估方式主要以终结性评价(期末考试)为主,试卷题目多设置为单选题、多选题、名词解释、简答题及论述题。可参考本文提及的“知识/技能”主题相关问卷,制作实用的评估工具,作为辅助判断医学生对相关知识的理解和应用水平。在设计时,需首先明确授课对象的教学目标及授课内容,合理分配专业知识的占比,选择适宜的考核方式。譬如,希望本科生掌握查找、评价证据的方法,硕士生学会循证临床实践的方法[25]。那么,针对本科生的“知识/技能”问卷,可结合授课内容涉及的知识点筛选常用术语如循证医学、系统评价、临床实践指南、随机对照试验等,选用Likert等级评分标准判断其了解程度,另可设置关键概念的模糊性文本描述,如“队列研究的质量评价常用工具为Cochrane偏倚风险评估工具ROB 2.0”、“医学实践者和决策者查找证据时,可根据证据金字塔模型,从低级别向高级别证据检索”,通过医学生是非判断结果了解其对相关知识真实性的鉴别能力。针对硕士生的“知识/技能”问卷,可参考Cardoso D[15]和Rousselot N[23]等研究,结合循证实践的5个关键步骤(明确临床问题、检索证据、评价证据、应用证据、后效评价),提供临床情景案例(如诊断或治疗问题),要求调查对象按照上述环节逐项完成,每一环节均根据其特点设置不同的考量因素及评分标准,如针对“检索证据”,从检索关键词、检索方法、主题词字段等的是非判断、花费的时间、首次访问网站的关联度等综合考虑。
其二,强化课程对医学生开展循证医学态度及行为综合性影响的认识,设置合理的考核问卷,了解其课程前后相关指标的变化,将其作为教学评价的常态化评估内容。可参考本文提及的“态度/行为/实践”主题相关问卷,意在了解医学生对循证医学的认知、应用、分享3方面的真实想法与观点。设计问卷时,需注意结合不同年级医学生开展临床见习或实习的情况,充分考虑与临床实践相关条目设置的合理性。在“认知”方面,重在评估医学生对循证医学相关观点的态度,可设置中正向题目(如循证实践的应用提高了患者的医疗效果)或反向题目(讨厌临床实践行为受到质疑),选用Likert等级评分方式了解调查对象的真实态度;针对“应用”方面,主要了解医学生在日常生活中对循证医学相关知识或技能的运用情况,需结合不同学历背景医学生的教学内容进行合理的调整,一般情况下,针对本科生,可设置如访问Cochrane系统评价数据库、应用多个搜索引擎进行系统审查、没有足够时间研究循证医学等条目,针对硕士生,可涉及明确问题、获取证据、设定严格的评估标准、整合证据、评估实践效果等,评估标准可以获取调查对象的实践频率为主,另需合理选择考核的时间段如过去8周或一年;针对“分享”这一方面,意在考量医学生与其他同伴分享循证医学资源或知识的意愿,可采用Likert等级评分标准。
其三,过程监测是监督课程是否有效实施的重要手段,尤其是在“互联网+”教育应用的背景下,但现有工具尚未关注适用于循证医学课程教学活动监测的评估工具的开发与验证。若制作此类主题的评估工具,可考虑从教师、学生、教学活动组织3个方面进行设计。针对教师,主要考核其授课内容的完整度(如是否覆盖教学大纲中教学目标及教学内容及其覆盖程度)、教学方式的多样化(是否采用多媒体授课、实践演练、提问法等方式及其频次)、讲授过程的清晰化(如板书及PPT设计是否简洁化、重点内容是否清晰明了、讲授内容是否层次分明);针对学生,重点考核学生的到课率及听课状态(如记录到课人数、主动或被动询问/回答问题的次数、与同伴讨论次数、反馈信息的内容水平);针对教学活动的组织情况,涉及教学材料的准备度(如课前资料是否提前发放及其学习程度)、课堂教学的秩序性(如是否按照教学计划有序进行、有无特殊事例)、教学氛围的活跃性(如教师是否积极引导学生主动思考及发言、是否主动与学生展开交流与互动),评估方式可设置是非判断及频率程度选项,也可补充开放性题目。
本研究具有一定的科学价值:首先,对适用循证医学课程14个教学评估的辅助工具的应用对象、主题维度、条目数量、问题类型、工具内容、评估标准、心理测量学特征等进行了全面系统的分析,便于同行专家对现有工具进行选择和使用;其次,结合教研室对循证医学课程授课经验,指明了进一步设计和优化课程教学评估工具3方面的建议和示例,共同推动课程教学改革工作。但仍存在一定的局限性:①仅纳入近5年内公开发表的循证医学教学评估工具,可能遗漏部分文献;②由于大多数文献涉及的评估工具内容及使用方法不同,无法进行直接比较,且受限于纳入研究的类型,故本文仅进行定性描述。
4 小结
高质量的循证医学教学评估工具有助于及时、有效地获取课程教学的反馈信息,加速“教学-反馈-改进”过程。循证医学课程评估可考虑采用与教学内容相关专业知识/技能的掌握情况、对其态度和行为等问卷作为教学评估辅助工具。但仍需进一步完善,如根据授课对象的教学特点及目标,优化条目内容和比重;研发循证医学课程教学过程监测评估工具。
1. 曾宪涛. 再谈循证医学[J]. 武警医学, 2016, 27(7): 649-654. [Zeng XT. Re-discuss evidence-based medicine[J]. Medical Journal of the Chinese People's Armed Police Forces, 2016, 27(7): 649-654.] DOI: 10.14010/j.cnki.wjyx.2016.07.001.
2. Schwarz MR, Wojtczak A. Global minimum essential requirements: a road towards competence-oriented medical education[J]. Med Teach, 2002, 24(2): 125-129. DOI: 10.1080/01421590220120740.
3. World Federation for Medical Education Office (WFME). WFME task force on defining international standards in basic medical education. Report of the working party, Copenhagen, 14-16 October 1999[J]. Med Educ, 2000,34(8): 665-675. DOI: 10.1046/j.1365-2923.2000.00722.x.
4. 教育部临床医学专业认证工作委员会 . 中国本科医学教育标准 : 临床医学专业 (2016 版 )[M]. 北京:北京大学医学出版社, 2017. [Working Committee for the Accreditation of Medical Education, Ministry of Education, China. Accreditation standards for basic medical education in China (2016)[M]. Beijing: Peking University Medical Press, 2017.]
5. Kumaravel B, Hearn JH, Jahangiri L, et al. A systematic review and taxonomy of tools for evaluating evidence-based medicine teaching in medical education[J]. Syst Rev, 2020, 9(1): 91. DOI: 10.1186/s13643-020-01311-y.
6. 费娇娇, 李琰华, 李俊伟. 循证医学学习评估工具系统综述[J]. 中华全科医学, 2017, 15(7): 1217-1222.[Fei JJ, Li YH, Li JW. A systematic review on the instrument for evaluating evidence-based practice competency[J]. Chinese Journal of General Practice, 2017, 15(7): 1217-1222.] DOI: 10.16766 /j.cnki.issn.1674-4152.2017.07.038.
7. 耿劲松, 董建成, 蒋葵, 等. 循证医学教学效果评价指标的构建与实证分析[J]. 中国高等医学教育, 2011, (12): 9-10. [Geng JS, Dong JC, Jiang K, et al. Construction and empirical analysis of evaluation index of evidence-based medicine teaching effect[J].China Higher Medical Education, 2011, (12): 9-10. ] DOI: 10.3969/j.issn.1002-1701.2011.12.005.
8. Youssef N, Alharbi H. Validity and reliability of the English version of the Student Evidence-Based Practice Questionnaire among Arabic-speaking undergraduate students at health sciences colleges: A cross-sectional study[J]. Nurse Educ Today, 2022,118:105525. DOI: 10.1016/j.nedt.2022.105525.
9. Baumann AA, Vázquez AL, Macchione AC, et al. Translation and validation of the evidence-based practice attitude scale (EBPAS-15) to Brazilian Portuguese: Examining providers' perspective about evidence-based parent intervention[J]. Child Youth Serv Rev, 2022, 136:106421. DOI: 10.1016/j.childyouth.2022.106421.
10. Habibi MA, Amini M, Ostovarfar M, et al. Reliability and validity of the Persian version of the ACE tool: assessing medical trainees' competency in evidence-based medicine[J]. BMC Med Educ, 2022, 22(1):468. DOI: 10.1186/s12909-022-03540-2.
11. Ruano ASM, Motter FR, Lopes LC. Design and validity of an instrument to assess healthcare professionals' perceptions, behaviour, self-efficacy and attitudes towards evidence-based health practice: I-SABE[J]. BMJ Open, 2022, 12(4):e052767. DOI: 10.1136/bmjopen-2021-052767.
12. Norhayati MN, Nawi ZM. Validity and reliability of the Noor Evidence-Based Medicine Questionnaire: A cross-sectional study[J]. PLoS One, 2021,16(4): e0249660. DOI: 10.1371/journal.pone.0249660.
13. Patelarou A, Schetaki S, Giakoumidakis K, et al. Validation of the Evidence-Based Practice Competence Questionnaire for Nursing Students: A Cross-Sectional Study in Greece[J]. Nurs Rep, 2021,11(4): 765-774.DOI: 10.3390/nursrep11040073.
14. Park JE, Hwang JI. Psychometric Evaluation of the Korean Version of the Student Evidence-Based Practice Questionnaire (S-EBPQ)[J]. Asian Nurs Res (Korean Soc Nurs Sci), 2021,15(1): 47-52. DOI: 10.1016/j.anr.2020.10.003.
15. Cardoso D, Couto F, Cardoso AF, et al. Fresno test to measure evidence-based practice knowledge and skills for Portuguese undergraduate nursing students: A translation and adaptation study[J]. Nurse Educ Today, 2021, 97: 104671. DOI: 10.1016/j.nedt.2020.104671.
16. da Silva AM, Padula RS. Factor structure and short version of the modified Fresno test to assess the use of the evidence-based practice in physiotherapists[J]. BMC Med Educ, 2021, 21(1): 135. DOI: 10.1186/s12909-021-02535-9.
17. Jafari F, Azadi H, Abdi A, et al. Cultural validation of the competence in evidence-based practice questionnaire (EBP-COQ) for nursing students[J]. J Educ Health Promot, 2021, 10: 464. DOI: 10.4103/jehp.jehp_1534_20.
18. Van Giang N, Lin SY, Thai DH. A psychometric evaluation of the Vietnamese version of the Evidence-Based Practice Attitudes and Beliefs Scales[J]. Int J Nurs Pract, 2021, 27(6): e12896. DOI: 10.1111/ijn.12896.
19. Panczyk M, Iwanow L, Gaworska-Krzemińska A,et al. Validation study and setting norms of the evidence based practice competence questionnaire for nursing students: A cross-sectional study in Poland[J]. Nurse Educ Today, 2020, 88:104383. DOI: 10.1016/j.nedt.2020.104383.
20. Kerwien-Jacquier E, Verloo H, Pereira F, et al. Adaptation and validation of the evidence-based practice beliefs and implementation scales into German[J]. Nurs Open, 2020, 7(6): 1997-2008. DOI: 10.1002/nop2.593.
21. Skavberg Roaldsen K, Halvarsson A. Reliability of the Swedish version of the Evidence-Based Practice Attitude Scale assessing physiotherapist's attitudes to implementation of evidence-based practice[J]. PLoS One, 2019, 14(11): e0225467. DOI: 10.1371/journal.pone.0225467.
22. Hisham R, Ng CJ, Liew SM, et al. Development and validation of the Evidence Based Medicine Questionnaire (EBMQ) to assess doctors' knowledge, practice and barriers regarding the implementation of evidence-based medicine in primary care[J]. BMC Fam Pract, 2018, 19(1): 98. DOI: 10.1186/s12875-018-0779-5.
23. Rousselot N, Tombrey T, Zongo D, et al. Development and pilot testing of a tool to assess evidence-based practice skills among French general practitioners[J]. BMC Med Educ, 2018, 18(1): 254. DOI: 10.1186/s12909-018-1368-y. DOI: 10.1186/s12909-018-1368-y.
24. 黄进,赵宇亮,余钰,等.医学教育改革中的循证医学[J].中国循证医学杂志,2010,10(04):437-440.[Huang J, Zhao YL, Yu Y, et al. Evidence-Based Medicine in Medical Education Reform[J]. Chinese Journal of Evidence-Based Medicine, 2010,10(04):437-440. DOI: 10.7507/1672-2531.20100423.
25. 王云云, 王宇, 黄笛,等. 循证医学课程体系的建设与实践——以武汉大学为例 [J]. 医学新知, 2022, 32(1):74-80. [Wang YY, Wang Y, Huang D, et al. Construction and application of a curriculum system for evidencebased medicine: an example from Wuhan University[J].Yixue Xinzhi Zazhi, 2022, 32(1): 74-80.] DOI: 10.12173/j.issn.1004-5511.202111004.
26.王云云, 王宇, 黄笛, 等. “互联网+ ”新型教学模式形成性评价体系构建及其应用于循证医学课程的思考[J]. 医学新知, 2022, 32(3): 233-240. [Wang YY, Wang Y, Huang D, el al. Suggestions for formative assessment system construction of the "internet+" new teaching mode and its application in an evidence-based medicine course[J]. Yixue Xinzhi Zazhi, 2022, 32(3): 233-240.] DOI: 10.12173/j.issn.1004-5511.202201032.