目的 对临床教师进行迷你临床演练评估(Mini-CEX)及操作技能直接观察评估(DOPS)形成性评价培训,并分析培训效果。
方法 选取临床教师作为研究对象,试验组接受Mini-CEX及DOPS教学培训,对照组不接受师资培训。培训前后分别发放问卷调查试验组对培训内容的掌握情况,培训中收集试验组教师对教学视频的评分,培训后调查试验组教师对培训的满意度。培训结束一个月后,由督导专家对试验组与对照组教师进行形成性评价实施能力评分。
结果 纳入112名临床教师,其中试验组、对照组各56名。与培训前相比,培训后试验组56名教师对Mini-CEX和DOPS的认知自评分数显著提高(P <0.05),且试验组教师对Mini-CEX教学视频评分的Kendall's W系数增加,评分一致性提高。试验组教师形成性评价实施能力在Mini-CEX评分[(86.67±6.67) vs.(70.67±15.00)分]、DOPS评分[(89.41±5.97)vs.(77.39±5.50)分]方面均显著高于对照组。试验组教师对培训的总体满意度较高[(4.04±0.50)分]。
结论 形成性评价培训加深了临床教师对形成性评价的认识,可有效提高形成性评价的准确性与一致性,增强了其形成性评价实施能力,值得进一步推广。
形成性评价是教学过程中改进教与学的评价方式,《中国本科医学教育标准——临床医学专业(2022版)》在“考核评价与学习之间的关系”中指出,医学院校在做好终结性评价的同时,加强形成性评价的应用,并及时进行反馈,以便指导学生更好地学习[1]。其中,迷你临床演练评估(mini-clinical evaluation exercise,Mini-CEX)和操作技能直接观察评估(direct observation of procedural skills,DOPS)作为两种独特的形成性评价方式被广泛应用于临床实践教学过程[2]。形成性评价“促进教与学”的效果取决于其“评估与反馈”的质量。在临床实践教学中,临床教师作为形成性评价的评估者,对提高形成性评价质量起着关键作用[3-4]。如临床教师对形成性评价目的、实施步骤、评分标准等的掌握情况会影响形成性评价的准确性、一致性,进而影响临床实践教学效果。目前,虽然形成性评价在临床实践教学中得到了一定程度的推广,但临床教师对其的认识与重视不够,导致临床实践教学中形成性评价并未有效实施,评价质量参差不齐[5]。为促使临床教师规范地将Mini-CEX与DOPS用于临床教学评估与考核,促进医学生岗位胜任力发展,武汉大学第二临床学院开展了基于Mini-CEX与DOPS的形成性评价专项师资培训,并对培训方法及培训效果进行了研究,现报道如下。
1 资料与方法
1.1 研究对象
选取武汉大学中南医院56名临床教师作为试验组,并在相同“二级学科”(内科或外科)的科室内选取56名与试验组教师职称及带教年限相近的临床教师作为对照组。对试验组开展形成性评价师资培训并在培训结束一个月后,通过简单随机的方法选取28名试验组及28名对照组教师进行Mini-CEX实施能力评价,余下教师参加DOPS实施能力评价。本研究已获得武汉大学中南医院医学伦理委员会审核批准(批号:2025038K)
1.2 培训方法
试验组教师于2023年10月参加线下形成性评价师资培训,此次培训共4学时,采用参照系培训法进行[6]。在此期间,对照组教师进行正常临床教学活动。
1.2.1 培训前评分
试验组教师现场观看Mini-CEX及DOPS的教学视频,观看时对视频中学生的行为进行即时记录、总结,参照评分标准在Mini-CEX及DOPS评分表的相应项目上进行评分。培训时长1学时。
1.2.2 教学培训
培训内容包括形成性评价的概念、形成性评价体系建设的意义、形成性评价的工具及应用、Mini-CEX及DOPS评价量表各项目的意义、各级评分标准、实施方法与步骤。培训时长1.5学时。
1.2.3 讨论
试验组教师被随机划分为若干个小组,对培训前观看的Mini-CEX及DOPS教学视频中学生及带教老师的行为进行讨论,共同探讨各级评分标准的适用性、潜在的评分误差、实施形成性评价的注意事项及改进方向,最后,专家引导组间讨论,并进行点评总结。培训时长0.5学时。
1.2.4 培训后评分
试验组教师再次分别观看Mini-CEX及DOPS的教学视频(与培训前观看视频相同),参照评分标准在Mini-CEX及DOPS评分表的相应项目上进行评分。培训时长1学时。
1.3 培训效果调查方法
1.3.1 培训前后教师对Mini-CEX及DOPS教学视频的评分
Mini-CEX、DOPS评分表分别为中国医师协会制定的《住院医师规范化培训教学活动指南(2022年版)》[7]中的《迷你临床评估演练量表》和《操作技能直接观察评估量表》。《迷你临床评估演练量表》包括7个评分项目,分别为医疗面谈、体格检查、沟通技能、临床判断、人文关怀、组织效能、整体表现。《操作技能直接观察评估量表》包括11个评分项目,分别为操作适应证及相关解剖和操作技术的理解、知情同意、操作前准备、镇痛镇静、技术能力、无菌技术、根据需要寻求帮助、操作后处理、沟通技能、人文关怀/职业素养、整体表现。教师需根据评估量表逐一评估住院医师(学生)的操作,并对各项目进行评分,评分越高,该项目表现越优秀。取2位形成性评价督导教师对Mini-CEX及DOPS教学视频评分的平均分为标准评分。
1.3.2 培训内容掌握情况和培训满意度调 查
自行设计“临床教师形成性评价认知情况调查问卷”,问卷内容包括教师基本情况(性别、职称、带教年限)、对4项培训内容(形成性评价的目的、对象、评分标准、实施步骤)的掌握情况,掌握情况按照Likert量表5级评分法,“差”“较差”“一般”“较好”“好”依次赋值1~5分。
设计“培训满意度调查问卷”,问卷内容包括对培训时长、培训课程设计、培训氛围、培训效果的满意度及总体满意度。按照Likert量表5级评分法,“非常不满意”“不满意”“一般”“满意”“非常满意”依次赋值1~5分。
问卷均采用问卷星发放。培训前,向教师发放“临床教师形成性评价认知情况调查问卷”56份。培训后,再次发放该问卷和“培训满意度调查问卷”各56份,有效问卷回收率均为100%。培训前后“临床教师形成性评价认知情况调查问卷”的Cronbach's α系数分别为0.973和0.948,“培训满意度调查问卷”的Cronbach's α系数为0.717,信度良好。
1.3.3 形成性评价实施能力评价
培训结束一个月后,试验组和对照组教师需提交一份完整的在临床场景下对学生进行Mini- CEX或DOPS评价的视频,由4位形成性评价督导对视频中教师的教学评价实施情况进行评分,4位督导均未参加此次教学培训,不知晓研究分组情况。督导评分的平均分为该教师教学评价实施情况的最终得分。评分表依照《住院医师规范化培训教学活动指南(2022 年版)》要求制定,包括病例选择、教师准备、观察、评估和反馈五部分内容。
1.4 统计学分析
采用SPSS 22.0软件进行数据分析。计数资料以例数和百分比(n,%)表示,组间比较采用χ2检验。符合正态分布的计量资料以均数和标准差(
)表示,培训前后教师对教学视频的评分比较及自评分比较采用配对t检验,教师评分与标准分的比较采用单样本t检验,评分一致性采用Kendal's W系数评估,两组间比较采用独立样本t检验。以P<0.05为差异有统计学意义。
2 结果
2.1 一般情况
共纳入112名临床带教教师,试验组和对照组各有28人分别参加了Mini-CEX、DOPS实施能力评价。两组教师在性别、职称、带教年限方面的差异无统计学意义(P>0.05),具有可比性,见表1。
-
表格1 分别接受Mini-CEX及DOPS评价的两组教师基本资料(n,%)
Table1.Basic information of two groups of teachers who received Mini CEX and DOPS evaluations respectively (n,%)
2.2 培训前后教师对Mini-CEX及DOPS的掌握情况自评分
培训后试验组临床教师对Mini-CEX及DOPS的目的、对象、评分标准、实施步骤的自评分均高于培训前,其差异具有统计学意义(P<0.001),见表2。
-
表格2 培训前后教师对Mini-CEX及DOPS掌握情况自评分比较(x ± s)
Table2.Comparison of self-rating scores of mastery of Mini-CEX and DOPS before and after training (x ± s)
2.3 培训前后教师对教学视频的评分变化
Mini-CEX教学视频评分方面,培训前,试验组教师在体格检查、沟通技能、临床判断、人文关怀、组织效能、整体表现、总分7个项目评分上均与标准分有显著差异(P<0.05);培训后,仅沟通技能、人文关怀、整体表现3个项目的评分与标准分有显著差异(P<0.05)。试验组教师在体格检查、沟通技能、临床判断、人文关怀、整体表现、总分6个项目上培训后评分均低于培训前评分,差异有统计学意义(P<0.05),见表3。
-
表格3 培训前后教师对Mini-CEX教学视频的评分比较(x ± s)
Table3.Comparison of teacher rating of Mini-CEX teaching videos before and after training (x ± s)
注:a.培训前评分与标准评分比较;b.培训后评分与标准评分比较;c.培训前评分与培训后评分比较。
DOPS教学视频评分方面,培训前,试验组教师在操作适应证等知识的理解、知情同意、操作前准备、技术能力、无菌技术、操作后处理、沟通技能、人文关怀、总分9个项目评分上均与标准分有显著差异(P<0.05);培训后,仅整体表现的评分与标准分有显著差异(P <0.05)。试验组教师培训前后除在止痛镇静、根据需要寻求帮助评分方面差异无统计学意义外,其余9项差异均有统计学意义(P<0.05),其中仅在操作前准备该项上培训后评分显著高于培训前,其余均为培训后评分较低,见表4。
-
表格4 培训前后教师对DOPS教学视频的评分比较(x ± s)
Table4.Comparison of teacher rating of DOPS teaching videos before and after training (x ± s)
注:a.培训前评分与标准评分比较;b.培训后评分与标准评分比较;c.培训前评分与培训后评分比较。
对培训前后教师的评分一致性进行检验,结果显示,培训后Mini-CEX教学视频评分的Kendall's W系数高于培训前,说明培训提高了教师对Mini-CEX教学视频评分的一致性;但培训后DOPS教学视频评分的Kendall's W系数却低于培训前,见表5。
-
表格5 培训前后教师对视频的评分一致性检验结果
Table5.Consistency test results of teachers' rating of videos before and after training
2.4 两组教师的Mini-CEX及DOPS实施能力评价得分
试验组教师Mini-CEX及DOPS的实施能力总分,以及评估、反馈2个具体项目的评分显著高于对照组教师,差异具有统计学意义(P <0.05),见表6。
-
表格6 两组教师Mini-CEX及DOPS实施能力评价分数比较(x ± s)
Table6.Comparison of scores for Mini-CEX and DOPS implementation ability evaluation between two groups of teachers (x ± s)
2.5 培训满意度调查结果
试验组教师对培训的总体满意度较高,为(4.04±0.50)分。其中,对培训效果的满意度最高,为(4.14±0.35)分,对培训时长的满意度最低,为(3.43±0.49)分,对课程设计的满意度为(3.64±0.48)分,对培训氛围的满意度为(3.68±0.47)分。
3 讨论
本研究结果显示,培训后试验组教师对Mini-CEX及DOPS的目的、对象、评分标准和实施步骤四项内容的认知评分均提高,师资培训加深了教师对形成性评价的认识。目前,国内大部分医学院校的临床实践教学评价仍以终结性评价为主,形成性评价还未得到充分应用,形成性评价师资培训缺乏,教师对形成性评价的认知力不足[8-9]。
本研究培训前通过问卷调查了试验组教师在临床教学中Mini-CEX和DOPS的开展情况、对两个评价量表的认识程度以及对本次培训期望,发现55.56%的临床教师在临床实习教学中运用了Mini-CEX及DOPS量表,而仅有25.97%的教师熟悉量表各项指标的具体内涵,81.01%的临床教师希望了解形成性评价评分标准,这揭示了在临床教师中开展形成性评价评分培训的必要性。对培训前后同一份教学视频的评分结果比较发现,对于Mini-CEX教学视频,培训前6项(共7项)评分与标准分有统计学差异,对于DOPS教学视频,培训前8项(共11项)评分与标准评分有统计学差异,而培训后教师对大部分项目的评分与标准评分均无统计学差异,说明参照系培训法通过对教学视频进行模拟评分和小组互动讨论增进了临床教师对各项评分项目的考核内涵以及各级评分对应的学生操作表现的理解和认识 [10-11]。但在Mini-CEX和DOPS中,分别有3个和1个项目的培训后评分与标准评分仍存在显著差异,提示后续培训需针对这些项目(如沟通技能、人文关怀)进行细致讲解,通过案例演练等方式提升教师评分准确性。此外,无论是对于Mini-CEX还是DOPS教学视频,培训前后评分具有统计学差异的项目几乎均为培训后评分低于培训前,这提示培训前教师存在对评分标准的认知偏差(以过度宽松为主),而培训通过强化客观评价标准,增加了评分的严谨性。
本研究显示,Mini-CEX教学视频培训后评分的Kendall's W系数高于培训前。培训前,由于自身专业差异及对评分标准的认知不同,临床教师对同一学生的评分参差不齐,评分离散度较大,而此次培训通过组内讨论、组间讨论的方式促进了临床教师观点的碰撞与融合,最终实现评分标准的理解趋同,评分偏倚减少,评分一致性提高。但DOPS教学视频的评分一致性在培训后下降,这一现象可能与DOPS评价维度聚焦于临床技术操作的特点相关,不同教师对同一技能操作的规范性认可度存在差异(如一些小的出错点会被操作规范性强的老师发现,却被规范性不强的老师忽略)。其次,不同教师对教学的重视程度有差异,培训进一步加强了重视教学的部分老师对于教学评价的严谨性认识,进而导致评分分歧扩大。
研究结果还显示,试验组教师的Mini-CEX及DOPS实施能力总分及评估、反馈项目的分数均高于对照组教师,说明培训提高了临床教师的教学评价能力与组织能力。区别于终结性评价,形成性评价的特点是及时反馈性,教师对学生能力的评价能反馈教学效果,是教师调整教学计划、学生制定学习计划的依据,因此教师的教学评价能力在很大程度上影响着形成性评价的效果 [12- 13]。本次培训以教学视频为参照,通过讲座和讨论的方式促进了教师对评估方法、步骤、评分标准的认识。同时,在反馈方法方面,培训上引入了三明治式反馈模式,保证反馈内容具体、客观,强化正向反馈,体现以学生发展为中心的反馈目标,提高了反馈的有效性[14]。此外,培训为临床教师明确了在有限的临床带教时间内有效规划和实施教学评价的关键点,即目标明确、精准定位、即时反馈、螺旋上升,有效提高了临床教师的教学组织能力[15]。通过培训结束后开展的Mini-CEX与DOPS实施能力评价可以看出,试验组教师在实施形成性评价时依然有提升和改进的空间,主要表现在评价实施前临床教师告知评价目标不够明确和充分、整个评价实施过程中教师对学生的临床思维分析能力的评估和引导不足,以及反馈方法和技巧运用不熟练。
本研究尚存一定局限性。一方面,本研究样本量相对较小,可能无法全面地涵盖临床教师的多样性特征。另一方面,未实地调研培训后临床教师的形成性评价质量,比如未收集培训前后学生对教师该方面评价反馈的感受。
综上,基于Mini-CEX与DOPS的师资培训有效地提高了临床教师形成性评价的理论知识和实践能力,未来,需进一步探索师资培训的新方法、新模式、新路径,增强师资培训的针对性和有效性。同时,合理设计阶段性师资培训考核评价体系,打造规范化、同质化、高素质的临床带教师资队 伍。
伦理声明:本研究已获得武汉大学中南医院医学伦理委员会审核批准(批号:2025038K)
作者贡献:研究设计:熊荣红、杨杪、雷红;数据采集:熊荣红、谭雨霜;数据分析与论文撰写:熊荣红、谭雨霜;论文审定:熊荣红、谭雨霜、雷红;经费支持:熊荣红、雷红
数据获取:本研究中使用和(或)分析的数据可联系通信作者获取
利益冲突声明:无
致谢:不适用
1.教育部临床医学专业认证工作委员会. 《中国本科医学教育标准——临床医学专业》(2022版)[EB/OL]. (2022-12-30) [2025-05-22]. https://wcame.meduc.cn/show.php?cid=20&id=505.html
2.Lörwald AC, Lehner FM, Nouns ZM, et al. The educational impact of mini-clinical evaluation exercise (Mini-CEX) and direct observation of procedural skills (DOPS) and its association with implementation: a systematic review and Meta-analysis [J]. PLoS One, 2018, 13(6): e0198009. DOI: 10.1371/journal.pone.0198009.
3.Norcini J, Burch V. Workplace-based assessment as an educational tool: AMEE Guide No. 31[J]. Med Teach, 2007, 29(9): 855-871. DOI: 10.1080/01421590701775453.
4.Liao KC, Pu SJ, Liu MS, et al. Development and implementation of a mini-clinical evaluation exercise (mini-CEX) program to assess the clinical competencies of internal medicine residents: from faculty development to curriculum evaluation[J]. BMC Med Educ, 2013, 13: 31. DOI: 10.1186/1472-6920-13-31.
5.张进, 杨立斌, 郭庆峰, 等. 形成性评价在本科临床医学教育中的应用研究综述[J]. 中华医学教育杂志, 2020, (9): 731-735. [Zhang J, Yang LB, Guo QF, et al. Application of formative assessment in undergraduate clinical medicine education[J]. Chinese Journal of Medical Education, 2020, (9): 731-735.] DOI: 10.3760/cma.j.cn115259-20190926-00808.
6.郭中献, 沙丽艳, 伊静, 等. 参照系培训法在护理迷你临床演练评估评分者培训中的应用[J]. 中国护理管理, 2016, 16(9): 1225-1229. [Guo ZX, Sha LY, Yi J, et al. The application of frame-of-reference training on nursing-Mini-CEX rater training[J]. Chinese Nursing Management, 2016, 16(9): 1225-1229.] DOI: 10.3969/j.issn.1672-1756.2016.09.017.
7.中国医师协会.《住院医师规范化培训教学活动指南》(2022 年版)[EB/OL]. (2022-07-31)[2025-05-22]. https://www.ccgme-cmda.cn/pole-portal/#/detail?id=1729133572504781122&columnId=1751623757524193281.html
8.张进, 杨立斌, 张淑娥, 等. 形成性评价在本科临床医学教育中的实施现状与提升策略[J]. 中华医学教育杂志, 2021, 41(4): 372-375. [Zhang J, Yang LB, Zhang SE, et al. Implementation status and promotion strategy of formative assessment in undergraduate clinical medical education[J]. Chinese Journal of Medical Education, 2021, 41(4): 372-375.] DOI: 10.3760/cma.j.cn115259-20201014-01469.
9.宫月荣, 胡营滨. 形成性评价在临床医学教学中的应用[J]. 中国继续医学教育, 2019, 11(19): 32-34. [Gong YR, Hu YB. Application of formative evaluation in clinical medicine teaching[J]. China Continuing Medical Education, 2019, 11(19): 32-34.] DOI: 10.3969/j.issn.1674-9308.2019.19.014.
10.陈建松, 叶碧瑜, 蔡骏逸, 等. Mini-CEX和DOPS在精神医学临床教学中应用的一致性分析[J]. 现代医药卫生, 2021, 37(16): 2831-2834. [Chen JS, Ye BY, Cai JY, et al. Consistency analysis on the application of Mini-CEX and DOPS in clinical teaching of psychiatry[J]. Journal of Modern Medicine & Health, 2021, 37(16): 2831-2834.] DOI: 10.3969/j.issn.1009-5519.2021.16.038.
11.张文艳, 刘于, 于明峰. 综合培训法在迷你临床演练评估同质化评分培训中的应用[J]. 全科护理, 2022, 20(24): 3453-3456. [Zhang WY, Liu Y, Yu MF. Application of the comprehensive training method in the homogenization scoring training of mini-clinical evaluation exercise[J]. Chinese General Practice Nursing, 2022, 20(24): 3453-3456.] DOI: 10.12104/j.issn.1674-4748.2022.24.037.
12.Rauf A, Shamim MS, Aly SM, et al. Formative assessment in undergraduate medical education: concept, implementation and hurdles[J]. J Pak Med Assoc, 2014, 64(1): 72-75. https://pubmed.ncbi.nlm.nih.gov/24605718/
13.徐米清, 曹梅, 范嘉铨, 等. 住院医师规范化培训师资形成性评价能力的培训体会[J]. 中国毕业后医学教育, 2019, 3(5): 405-407, 465. [Xu MQ, Cao M, Fan JQ, et al. Training experience on the formative evaluation of faculty' teaching abilities in standardized residency training[J]. Chinese Journal of Graduate Medical Education, 2019, 3(5): 405-407, 465.] DOI: 10.3969/j.issn.2096-4293.2019.05.011.
14.Weallans J, Roberts C, Hamilton S, et al. Guidance for providing effective feedback in clinical supervision in postgraduate medical education: a systematic review[J]. Postgrad Med J, 2022, 98(1156): 138-149. DOI: 10.1136/postgradmedj-2020-139566.
15.Walsh E, Foley T, Sinnott C, et al. Developing and piloting a resource for training assessors in use of the Mini-CEX (mini clinical evaluation exercise)[J]. Educ Prim Care, 2017, 28(4): 243-245. DOI: 10.1080/14739879.2017.1280694.