摘 要：全球范围内灾害类型及发生频率日益增加，备灾培训在提高公众灾害应对能力方面扮演了重要角色。为了解近年来医学备灾培训项目评估研究现状，本研究对PubMed和Web of Science数据库进行了系统检索，最终得到发表于2017-2021年间与备灾培训项目评估主题相关的文献17篇。综合分析后得出以下结论：（1）近五年医学备灾培训研究的关注对象多为医学相关专业大学生或医务工作人员，其次是中小学生或学校教师；（2）备灾培训多采用讲授式教学与学习者主动学习相结合的方法实现以能力培养为导向的培训；（3）研究通常选取学习者、培训者、项目本身作为评估对象；（4）研究多使用定性和定量结合的评价方式或借助评价模型对参与者和项目本身实施评估；（5）评估维度包括参与者的知识、能力、态度的发展变化及培训项目设计、实施及成果的合理性和有效性；（6）大多研究采用即时评估法确定备灾培训项目的短期效果，少部分研究对学习者进行了长期的追踪评估。最后，对医学备灾培训评估研究的未来发展趋势进行了分析。
关键词:备灾培训;项目评估;综述;
Overview of medical preparedness training program evaluation studies
YUAN Huanhuan QUAN Zhiyue HU Hai
Department of Academic Afars, West China School of Medicine/West China Hospial, Sichuan University Medical Branch of Center for TeachingAdvancement,Sichuan University Emergency Ofice, west China Hospital Sichuan University China lntemational Emergency Medical Team(Sichuan)
Abstract：
Disaster preparedness training plays an important role in improving the public response to disasters as the types and frequency of disasters are increasing worldwide. In order to understand the current status of medical disaster preparedness training project evaluation studies in recent years, the PubMed and Web of Science databases were systematically searched in this study, and finally 17 articles published in 2017-2021 were related to the topic of evaluation of medical disaster preparedness training project. After comprehensive analysis, the following conclusions were drawn:(1) The subjects of medical disaster preparedness training in the last five years were mostly medical college students or medical staff, followed by primary and secondary school students or school teachers;(2) Competence development training is mostly carried out by combining lecture-based teaching with learner active learning;(3) The study usually selects learners, trainers and the project itself as evaluation subjects;(4) The study mostly uses qualitative and quantitative evaluation methods or evaluates participants and the project itself with the aid of evaluation models;(5) Assessment dimensions include the development of knowledge, ability and attitude of participants, and the rationality and effectiveness of training project design,implementation and results;(6) Most of the studies used an immediate assessment approach to determine the short-term effects of the disaster preparedness training program, and a few conducted long-term follow-up assessments on learners. Finally, the future trends of medical disaster preparedness training assessment studies are analyzed.
Keyword：
preparedness training; project evaluation; overview;
地震、洪水、海啸、风暴、火灾等自然灾害通常会对人的身心健康产生重大影响，近年来灾害事件发生频率不断增加，人们对这一领域的知识、技能学习需求也有所提高[1]。备灾培训在提高公众的灾害事件应对能力和职业工作者的灾害救援能力等方面发挥着重要作用[21]。多年来，研究者和备灾培训实践者在帮助公众和相关领域从业者增加灾害相关知识、提高灾害应对能力方面做出了诸多探索，并运用多种方法对项目设计和实施的有效性进行了评估[2]。培训评估是验证培训项目有效性的重要手段，同时评估过程和结果也在一定程度上促进了培训项目朝着更有益于学习者发展的方向转变[22]。因此，关注备灾培训项目和项目评估对更好的开展备灾培训研究和实践就显得十分重要。当前备灾培训领域的研究重点集中于课程设计、培训及演练方法创新等方面，旨在发展参训者的灾害应对能力，对备灾教育项目的评估方法关注相对较少[23,24]。近年来有研究者对备灾培训项目评估研究进行了综述，主要集中于儿童灾害教育[25]及护理学备灾培训领域[26]，缺乏对备灾培训领域研究现状的全面系统分析。了解备灾培训项目的发展现状，并对备灾培训项目评估方法和体系进行系统的了解分析，不仅有助于研究者和实践者了解项目参与者的知识水平、行为能力、情感态度的发展变化，评估过程和结果也能为备灾培训项目的实施改进提供有益反馈。为了解近五年医学备灾培训评估研究的发展现状，本研究以2017-2021年发表的与医学备灾培训项目评估主题相关的文献为重点分析对象，明确探讨以下问题：（1)2017-2021年间医学备灾培训项目的研究对象有哪些？（2)2017-2021年间医学备灾培训项目使用的培训方法呈现怎样的特点？（3)2017-2021年间医学备灾培训研究的评估对象、方式、维度有哪些？（4）医学备灾培训项目评估的未来研究趋势是怎样的？
1 研究方法
1.1 文献检索与筛选
本研究聚焦PubMed和Web of Science数据库，使用关键词Disaster preparedness training和Evaluation对两个数据库中的文献进行了检索，分别得到了1287和384篇相关文献；通过阅读标题、摘要，筛除与医学备灾培训评估无关的文献及两个数据库中的重复文献，最终得到2017-2021年间与本文主题高度相关的文献17篇。文献筛选的标准如下：（1）所选文献是在2017-2021年间发表的；（2）文献主题应该与“医学备灾培训项目评估”主题高度相关，即必须在研究中对备灾培训项目的某一方面进行了评估，或者研究备灾培训项目评估理论、方法、模式等；（3）本研究筛选时考虑与主题相关的所有类型的文献，主要包括准实验研究、案例研究、文献综述、会议报告、编辑评论等。
1.2 分析框架
本研究的分析框架主要包括两大部分：备灾培训项目和备灾培训项目评估。备灾培训项目类别下主要分析纳入本研究分析的17篇文献所涉及的项目参与者（包括参与者类型和数量）和培训方法等；备灾培训项目评估类别下主要分析这些研究中备灾培训项目的评估对象、评估方式、评估维度和评估历时等。表1对备灾培训项目和备灾培训项目评估的子类目进行了详细介绍。
2 结果和讨论
2.1 医学备灾培训项目
2.1.1 研究对象
在本研究分析的文献中，医学备灾培训研究的对象包括学生和职业工作者两大类，其中高校医学生和医务工作者的灾害应对能力最受关注，其目标是培养应对灾害事件的专业人士[3,4]；中小学生及其教师对常见自然灾害（如地震、暴风雨、洪水等）的应对和培训能力也是这些研究的主要关注点，其目的在于直接或间接增加未成年人应对常见自然灾害的知识和基本技能[5,6]，见表2。
此外，通过对文献中备灾培训研究对象数量的统计分析发现，大多备灾培训项目的学习者数量集中在15～200人之间，该类研究以及部分更大样本的研究多采用定量或混合（即定性与定量相结合的研究方法）的方法开展研究[7,8,9]。少部分研究仅选取几位研究者进行长期的质性追踪研究，如Nakano等人选取了4位学习者作为研究对象，对其参加学校备灾培训及毕业后的职业发展和救灾活动参与情况进行了为期14年的追踪评估，明确了研究对象在此期间的灾害应对态度及行动力的发展变化轨迹[5]。
2.1.2 培训方法
本研究所选取的文献中，绝大多数研究使用了讲授式教学与学习者主动学习相结合的培训方法。如将课程讲座与模拟演练相结合，帮助学习者完成知识习得、应用和内化的学习目标[10]；培训前学习者在线远程学习与备灾有关的概念型知识，线下面对面时则进行积极主动的体验式、探究式小组学习[7,11]；还有研究为学习者设计了从基于讨论到基于操作的系列学习活动，从讲座、工作坊到各个层次的模拟演练，在这一过程中学习活动的复杂性逐渐增加，学习者应对灾害的各项能力相应的得到训练[3,8,12]。总体来看，近五年备灾培训项目所使用的培训方法已逐渐由此前的培训者积极/学习者被动的知识传递式教学，转向了培训者与学习者共同参与、互融互助的学习共同体能力成长实践，在这一过程中备灾培训项目的目标也逐渐由知识习得转变为能力培养，从而增加学习者后期参与和应对救灾实践的主动性和行动力[13]。
2.2 医学备灾培训项目评估
2.2.1 评估对象
本研究所选取的文献中，绝大多数研究选择了参与备灾培训的学习者（N=16,94.12%）作为主要评估对象，这与备灾培训旨在增加学习者应对灾害的知识、能力和行动力的教学目标有关。少部分研究将学习者以外的对象（其他项目参与者、整个项目等）也纳入了评估范围，如Gokmenoglu等人对项目培训者、培训者指导教师在培训过程中的表现进行了评估，同时对备灾培训项目的培训情境、培训投入、培训过程、项目成果进行阶段性全程化的评估[7];Ikeda等人对备灾培训项目的分析、设计、开发、实施过程进行了过程性评估，并在评估中不断改进培训方案，形成了设计、评估、改进的动态闭环[11]。
2.2.2 评估方式
本研究所涉及的文献中，对备灾培训项目参与者和项目整体的评估所采用的方式略有不同。对参与者的评估多采用定性、定量或两者相结合的方式进行。在评估参与者学习表现时，定性评估的常用方法是对参与者的访谈内容、学习档案、反思日记、模拟演练观察记录等进行文本分析[7,8,14]，从而了解参与者在学习过程中存在的问题和成果成效。定量评估常用的方法是问卷调查，通过这一方式可了解项目中多个参与者的整体表现[6,10]。定性与定量相结合的评估方式有助于对备灾培训项目参与者实施更为全面和深入的评估，挖掘参与者不同表现背后的原因。
对备灾培训项目实施整体性评估时，研究者通常借助相关评价模型将不同的评估方法有机结合，项目参与者仅作为其评估对象的一部分。如Gokmenoglu等人借助美国学者丹尼尔·勒罗伊·斯塔弗尔比姆（Daniel Leroy Stufflebeam）于1967年提出的CIPP评价模式开展备灾培训项目评价，该模式由背景评价（Context Evaluation）、输入评价（Input Evaluation）、过程评价（Process Evaluation）和结果评价（Product Evaluation)4项评价活动组成，充分体现了评价的过程性、反馈性和全覆盖的发展性功能[15]。Noh等人的研究中使用了由柯克帕特里克（Kirkpatrick）于2016年提出的课程评估四步法，首先测试学习者对课程设计的满意度，其次测量备灾培训项目结束后学习者的灾害应对知识、技能、态度是否有所发展，然后评估学习者在应对未来灾害时行为发生改变的可能性，最后评估备灾培训项目的合理性和有效性并对培训项目作出调整[3]。
2.2.3 评估维度
备灾培训研究的评估维度分为对项目本身的评估和对项目参与者的评估。评估项目本身时关注的维度有项目计划、课程体系、实施策略、教学方法、培训教材等的合理性和有效性，以及该项目最初设定的培训目的是否达成[7]。备灾培训项目旨在改变学习者应对灾害的能力和行动力，因此对项目是否成功达成目标的评估就与对参与者的评价紧密相关。
在本研究分析的文献中，绝大多数研究对学习者的评估都从知识、行为和情感态度三方面展开。这些研究关注培训前后学习者对与灾害有关知识的掌握程度是否发生变化，应对灾害的能力和行动力倾向是否发生改变，面对灾害的自信心和积极性是否有所增强等[9,16]。部分备灾培训研究旨在培养灾害救援的专业从业者[3,8,17]，因此对这部分学习者的评估不仅关注他们应对灾害的基本知识和能力，还评估他们的问题解决、沟通交流、团队协作与管理、政策制定与规划、信息挖掘与共享、项目实施与评估等各方面的能力，以便在灾害事件中更好的开展救援工作[8]。
2.2.4 评估历时
本研究关注的大多文献均采用即时评估的方法（即在培训过程中或结束后就进行评估，不追踪评估培训项目对学习者的长期影响）来评价备灾培训项目成效及其对学习者的影响（N=13,76.47%）。少部分研究对培训项目的长期影响进行了评估，如Gokmenoglu等人在备灾培训项目结束两个月之后对项目培训者进行了访谈，同时对学习者进行了知识保持和灾害应对行为倾向测试，以明确培训项目对学习者的长期影响[7]。Nakano等人在研究中指出当前备灾培训目的与评估呈现一种不匹配的关系，即备灾培训的目的在于改变学习者的行为，评估却指向学习者的知识习得，而知识与行为之间并不存在强有力的驱动关系，于是该研究团队提出应该对备灾培训的长期影响开展评估，因为在较长的时间范围内才能明确培训对学习者灾害应对行为和行动力的影响[18]。在另一项研究中，Nakano等人对接受备灾培训的4位学习者进行了长达14年的追踪评估，明确了备灾培训后学习者的积极态度养成和灾害应对行动力的发展轨迹[5]。
2.3 备灾培训评估未来研究趋势
Nakano等人的研究指出，备灾培训研究的知识传播范式包括主动型培训者/被动型学习者、知识传播、短期知识评估三个要素，在这一范式中，三要素相互影响，最终指向学习者的知识习得[18]。对近五年备灾培训相关研究的分析显示，当前备灾培训研究项目的设计、实施和评估依旧在一定程度上遵循知识传递范式，即进行备灾培训的基本前提是学习者由于缺乏相关知识而没有产生积极应对备灾事件的准备行动，因此备灾培训专家需要向学习者传授适当的与备灾相关的知识[19]。这一范式对备灾培训评估产生的影响表现在：（1）研究者倾向于使用问卷调查法，比较项目实施前后学习者的相关知识是否有所增加；（2）通常在备灾培训项目结束后立即对学习者进行学习效果的评估。这样的评估方法难以了解培训中习得的知识、技能对学习者后期职业发展和灾害应对行为、意愿的长期影响。在这一评估过程中，知识与行动之间的影响关系未能被挖掘，培训项目的真正效果没有得到有效的评估[5,20]。
当前备灾培训研究已经在教师与学习者关系、培训方法等方面进行了转变和创新，更多的转向以学习者为中心，以能力培养为目标的培训，采用小组学习、模拟演练、基于项目的学习等多种方法帮助学习者在主动实践中培养灾害应对能力。但是备灾培训评估依然重点关注学习者的短期知识习得，评估结果难以体现师生角色转变和教学方法创新的优势所在，由此凸显了对学习者进行长期追踪评估的重要性。
备灾培训研究应在知识传播范式的基础上，更多的转向主动态度范式，即由培训专家主动教授、学习者被动接受知识转向专家与学习者组成学习共同体参与社区实践促进能力培养，由短期知识评估转向长期能力和行动力评估。备灾培训研究的主动态度范式要求教师和学习者的角色定位、课程设置、培训策略、评估方式均发生变化，未来的研究应更多关注这一点。在此过程中，备灾培训的知识传递范式也不应被忽视，研究者应当根据不同的培训目的选择适当的教学和评估方法，以达到最终的培训目的。
3 结论
本研究对发表于2017-2021年间与医学备灾培训评估研究相关的17篇文献进行了系统梳理和分析，明确了近五年医学备灾培训评估研究的发展现状。本研究从医学备灾培训项目和医学备灾培训评估两方面进行了分析综述，得到如下发现：（1）近五年医学备灾培训研究的对象多为医学相关专业大学生或医学领域从业者，其次为中小学生或学校教师，前者意在培养备灾救援专业从业者，而后者旨在提高公众的灾害应对能力；（2）医学备灾培训项目多采用讲授式教学与学习者主动学习相结合的培训方法实现以能力培养为导向的备灾培训，培训方式逐渐由此前的培训者积极/学习者被动的知识传递式教学，转向培训者与学习者共同参与的灾害应对能力成长实践，以此提高学习者后期应对灾害事件的主动性和行动力；（3）在医学备灾培训评估方面，近五年的研究通常选取备灾培训项目中的学习者、培训者、项目本身作为评估对象，多使用定性和定量结合的评价方式对项目参与者在灾害应对知识、能力、行为、态度等方面的发展变化进行评估，并借助部分较为成熟的评价模型对备灾培训项目设计、实施及成果的合理性和有效性实施评估。大多研究采用即时评估法确定备灾培训对学习者的短期影响，少部分研究对学习者进行了长期的追踪评估，以明确备灾培训项目对学习者灾害应对行为和能力发展变化的影响。
结合已有文献，本研究提出未来的医学备灾培训应该由知识传播范式转向知识传播范式与主动态度范式相结合，在保证学习者备灾知识习得的基础上关注能力培养，注重培养学习者主动参与学习实践的积极性和能力，通过长期的追踪评估明确备灾培训项目对学习者灾害应对知识、行为、态度变化的影响。本研究还存在以下几点不足：（1）选取的数据库及文献数量有限；（2）对所选的文献仅做了部分量化分析；（3）备灾培训研究发展现状部分缺乏对近年来备灾培训课程体系的分析介绍。未来的研究应在这几方面加以关注，以期更深入全面的揭示备灾培训项目评估研究的发展现状。
参考文献
[1] Peek L, Tobin J, Adams R M, et al. A Framework for Convergence Research in the Hazards and Disaster Field:The Natural Hazards Engineering Research Infrastructure CONVERGE Facility[J].Frontiers in Built Environment, 2020, 6, 110. DOI:10.3389/fbuil.2020.00110.
[2] Peek L, Champeau H, Austin J, et al. What Methods Do Social Scientists Use to Study Disasters? An Analysis of the Social Science Extreme Events Research Network[J]. American Behavioral Scientist, 2020, 64(8):1066-1094. DOI:10.1177/0002764220938105.
[3] Noh J, Oh E G, Kim S S, et al. Development and evaluation of a multimodality simulation disaster education and training program for hospital nurses[J]. International Journal of Nursing Practice,2020, 26(3). DOI:10.1111/ijn.12810.
[4] Sarin R R, Biddinger P, Brown J, et al. Core Disaster Medicine Education(CDME)for Emergency Medicine Residents in the United States[J]. Prehospital and disaster medicine:the official journal of the National Association of EMS Physicians and the World Association for Emergency and Disaster Medicine in association with the Acute Care Foundation, 2019, 34(5):1-8.DOI:10.1017/S1049023X19004746.
[5] Nakano G, Suwa S, Gautam A, et al. Long-term evaluation of proactive attitudes toward disaster education in Nepal[J].International Journal of Disaster Risk Reduction, 2020, 50. DOI:10.1016/j.ijdrr.2020.101866.
[6] Evans C M, Adams R M, Peek L. Incorporating Mental Health Research into Disaster Risk Reduction:An Online Training Module for the Hazards and Disaster Workforce[J]. International Journal of Environmental Research and Public Health, 2021, 18(3):1244. DOI:10.3390/ijerph18031244.
[7] Gokmenoglu T, Sonmez E D, Yavuz I, et al. Turkish Ministry of National Education school-based disaster education program:A preliminary results of the program evaluation[J]. International Journal of Disaster Risk Reduction, 2020, 52:101943. DOI:10.1016/j.ijdrr.2020.101943.
[8] Levoy K, DeBastiani S D, McCabe B E. Evaluation of a Novel Disaster Nursing Education Method. Disaster Med Public Health Prep, 2018, 12(6):703-710. DOI:10.1017/dmp.2017.150.
[9] Xia R, Li S, Chen B, et al. Evaluating the effectiveness of a disaster preparedness nursing education program in Chengdu,China[J]. Public Health Nursing, 2020, 37(2), 287-294. DOI:10.1111/phn.12685.
[10] Grock A, Aluisio A R, Abram E, et al. Evaluation of the association between disaster training and confidence in disaster response among graduate medical trainees:A cross-sectional study[J]. Am J Disaster Med, 2017, 12(1):5-9. DOI:10.5055/ajdm.2017.0253.
[11] Ikeda, M, Nagata, et al. Development of Disaster Management Education Program to Enhance Disaster Response Capabilities of Schoolchildren During Heavy Rainfall–Implementation at Elementary School in Nagaoka City, Niigata Prefecture, a DisasterStricken Area[J]. Journal of Disaster Research, 16(7), 1121-1136.
[12] Tang J S, Chen C L, Chuang C C, et al. A Study of Learning Effectiveness in Disaster Nursing Course Based on Kirkpatrick's Evaluation Model[J]. 2019. DOI:10.1007/978-3-319-93882-0_36.
[13] Uemura N, Miyazaki M, Okuda H, et al. Competency framework,methods, evaluation, and outcomes of disaster preparedness and response training:a systematic scoping review protocol[J]. JBI Evidence Synthesis, 2020, 19(1), 208-214. DOI:10.11124/JBISRIR-D-19-00380.
[14] Pujianto, Prabowo, Wasis. Profile of elementary school science teacher instruction in disaster risk reduction:case study of volcano disaster[J]. Journal of Physics Conference Series, 2018, 1006(1):012013. DOI:10.1088/1742-6596/1006/1/012013.
[15] 许祥云,王佳佳.高校课程思政综合评价指标体系构建——基于CIPP评价模式的理论框架[J].高校培训管理, 2022, 16(1):47-60. DOI:10.13316/j.cnki.jhem.20211224.005.
[16] Smith S, Farra S L, Hodgson E. Evaluation of two simulation methods for teaching a disaster skill[J]. BMJ Simulation and Technology Enhanced Learning, 2020, 7(2):bmjstel-2019-000572. DOI:10.1136/bmjstel-2019-000572.
[17] Siemon M, Hackwith J, Monson K. Development of a Disaster Nursing Competencies Assessment Instrument for Baccalaureate Nursing Education[J]. Journal of Nursing Education, 2019, 58(4):229-233. DOI:10.3928/01484834-20190321-08.
[18] Gn A, Ky A. Disaster risk reduction education that enhances the proactive attitudes of learners:A bridge between knowledge and behavior[J]. 2021.
[19] Aghaei N, Seyedin H, Sanaeinasab H. Strategies for disaster risk reduction education:A systematic review[J]. J Educ Health Promot, 2018, 2; 7:98. DOI:10.4103/jehp.jehp_31_18.
[20] Chou J S, Yang K H, Ren T C. Ex-post evaluation of preparedness education in disaster prevention, mitigation and response[J].International Journal of Disaster Risk Reduction, 2015, 12:188-201.
[21] Zhong S, Cheng Q, Zhang S, et al. An impact assessment of disaster education on children's flood risk perceptions in China:Policy implications for adaptation to climate extremes[J].Science of The Total Environment, 2020, 757. DOI:10.1016/j.scitotenv.2020.143761.
[22] Lemes M A, Marin M, Lazarini C A, et al. Evaluation strategies in active learning in higher education in health:integrative review[J].Revista Brasileira de Enfermagem, 2021, 74(2). DOI:10.1590/0034-7167-2020-1055.
[23] Uemura N, Miyazaki M, Okuda H, et al. Competency framework,methods, evaluation, and outcomes of natural disaster preparedness and response training:a scoping review protocol[J]. JBI Evidence Synthesis, 2021, 19(1):208-214. DOI:10.11124/JBISRIR-D-19-00380.
[24] Jung Y. Virtual Reality Simulation for Disaster Preparedness Training in Hospitals:Integrated Review[J]. Journal of Medical Internet Research, 2022, 24(1):e30600. DOI:10.2196/30600.
[25] Johnson V A, Ronan K R, Johnston D M, et al. Evaluations of disaster education programs for children:A methodological review[J]. International journal of disaster risk reduction, 2014, 9:107-123. DOI:10.1016/j.ijdrr.2014.04.001
[26]LokeA , Guo Moassois A Development of Disater Nursing Education and Tranig Prorams in the Past 20 Years/20-2019)A Systematic Review(lJ.Nurse Education Today,2021.DOI:10.1016/j.nedt.2021.104809.