儿科专科护士考核试卷的设计与应用(4)

3.3.2 难度系数 考生自身水平可能造成难度系数对区分度的影响。难度系数高的试题对水平高来说，区分度有可能会相对较高；而对水平低的考生来说，如果大家都答不对，那区分度就可能比较低甚至为零。难度系数低的试题对水平低的考生来说，区分度可能会相对较高；而对水平高的考生来说，由于可能出现都答对的情况，这时区分度就会比较低甚至为零。所以，在设计考核试题时应依据考核的目的综合地考虑统计难度和区分度。本研究以测试护理人员是否达到相关标准为目的，因此对试题统计难度要求应当适中，且对区分度的要求并不高。

专科护士[1]的培养给临床护理人员在专业发展上提供了一个全新的平台。系统规范的专科护士培养体系的建立需要依赖多种手段，其中最重要的就是对专科护士进行专业的培训与考核[2]。培训是促进受训对象达到所要求的规范标准的途径，考核则是检验培训效果和筛选培训合格的专科护士的主要手段。专科护士培养体系的建立对专科护士能力的提升和价值的实现具有重要意义。专科护士考核一般分为实验考核与理论考核，目前，我国对于专科护士培训的相关研究较多，但是对于专科护士考核的研究相对较少。为此，本研究以教育学理论为指导设计了儿科专科护士理论考核试卷，现报道如下。1 对象与方法1.1 研究对象 选择2010－2011年参加儿科专科护士培训的护士共32名，均为女性，年龄23～48岁，平均（30.）岁；儿科工作年限：3～5年12名，5～7年5名，8～10年8名，＞10年7名；学历：中专3名，大专22名，本科7名；职称：护师21名，主管护师8名，副主任护师3名 方法1.2.1 组建考核试卷设计小组 遵从教考分离原则，考核试卷设计小组成员不与培训教师重复。考核试卷设计小组共包括11名成员，其中主任医生1名、副主任医师2名、副主任护师2名、主管护师2名、儿科教研室教学人员5名和护理研究生1名 考核试卷的设计1.2.2.1 设计依据 （1）考核的类型 为了能更科学有效地设计考核试卷，设计前应先确定考核的目的与类型，并依据不同考核目的采用不同的考核设计标准和考核方案。①确定考核的测试性质：考核分为总结性测试和诊断性测试2种类型[3]。总结性测试的目的是为了了解培训对象所掌握知识、技能的程度，确定培训对象在后续教学过程中的学习起点及预知其在后续教程中成功的可能性，并为重新制订新的教学目标而提供依据。诊断性测试的目的是为了在教学启动前，了解培训对象已经掌握的知识和技能水平，在此基础上合理调整教学内容，从而更有效地适应培训对象的学习需要。本研究中，理论考核的目是为了了解并判断参训人员知识与技能的掌握程度是否达到要求，因此本研究中的理论考核就应兼具总结性和诊断性测试的性能。②确定考核类型：在教育学中，考核类型包括标准参照考核和常模参照考核2种。标准参照考核[4]又被称为目标参照考核，用于评定受试人员对所要求内容的掌握水平是否已经达到某一标准，是一种参照一组明确设定的目标或能力而编制的考题，反映的是考生对知识掌握的弱点和欠缺，例如自学考试和高中毕业会考等。常模参照考核[3]又被称为选拔性考核，是依照常模来解释考生的成绩、比较考生成绩高低的考核。其方式为预先确定考核所需要选拔的人数，在考核后确定标准标准分数线，符合此标准线的受试人员则被选拔，如高考和研究生入学考试等。本研究中的理论考核是为了了解参加培训的儿科护理人员是否达到儿科专科护士的基本要求，并通过考核发现其存在的不足，以便为后续的培训提供参照，故属于标准参照考核。③依据考核类型实施命题设计：标准参照考核和常模参照考核在命题设计上有很大区别[5]。标准参照考核只要求把达标与未达标的考生严格区分开，难度分布应较广，能反映不同内容，不过分追求每道试题的区分度。常模参照考核要求把不同水平的考生尽可能地区分开，一般试题难度中等，但区分度要大。本研究中的理论考核是为了区分参考人员中达标者与不达标者，如在考核中有一部分考点应该是参考人员需掌握的基本内容，可能大部分甚至全部参考人员都能回答，无需过分追求该类试题的区分度，因此在命题设计时应重点考虑标准参照考核的需要和特点。（2）认知的不同层次 Blom等[6]将教育的目标分为3个领域，即认知、情感和运动技能目标领域。理论考核主要考查的是认知目标领域，该领域是由识记、领会、应用、分析、综合和评价共6个层次构成的一个完整体系。在该体系中，低层次是高层次的基础，高层次是在低层次要求上的提高和发展，由简单到复杂。本研究依据儿科的专科特点，在试题设计时归纳出了4个认知层次，其所占的比重分别为：①20%识记层次，指能够正确表述和认识科学事实、原理、规律和术语，知道课程的基础知识，并能正确地进行判断和选择；②30%理解层次，指能将所学知识加以归纳和解释，能领悟某一原理或概念与其他原理或概念之间的联系与区别，并能做出正确的解释和表述；③35%简单应用层次，指能用所学的概念、方法和原理正确地分析和解决较为简单的问题；④15%综合应用层次，指能够运用所学知识，灵活分析和解决较为复杂的问题。（3）培训内容 依照理论知识培训的内容和要求设计考核试卷：65%的护理理论知识，其中5%为相关护理学基础理论、10%为护理专业基本操作理论、20%为儿科专科疾病护理理论、20%为儿科专科特殊护理技术理论、10%为儿科专科护理进展；35%的儿科疾病理论知识，其中10%为相关儿科专业基础知识、20%为儿科专科疾病知识、5%为儿科专科疾病知识进?试题难度的预设 在教育学的经典测量理论（classical measurement theory，CTT）[7]中，难度为考生答题时所感受出的困难程度，反映在数值上就是考生在该试题上的得分率或通过率，通常又被称为统计难度，统计难度不是试题本身的属性，而是试题对于一组特定考生的适应性，其数值会随着受测群体的变化而发生改变，常常被用于测试后的评价。而在项目反应理论（item response theory，IRT）中[8]，难度则被定义为试题本身固有的一种特性，试题的难易程度取决于刚好能够答对的那一部分人自身水平的高低，水平高的刚好能够答对该测试题，而水平低的可能不能答对，该题则难；水平低的刚好也能答对该测试题，该题则易。这种难度与考生的能力建立在同一水平上，其设定往往来源于试卷设计人员对考核对象水平的主观估计，但又不因设计人员主观估计的变化而改变。依据儿科专科特点及专家函询结果的综合分析，设计小组选择采用IRT理论来预设试题难度，很难、较难、一般和较易难度试题的比例分别为5∶30∶45∶20；考核后采用CTT理论对试题进行分析 试卷题型、题量、分值分布和完卷时间的预设 试卷总分100分，共有单项选择题（包括A1、A2、A3和A4型4种）、填空题、名词解释、简答题和论述题5种题型。其中选择题共40题，每题1分；填空题5题共14空，每空0.5分；名词解释共9题，每题2分；简答题共6题，可选做5题，每题4分；论述题1个，包括3小问题，每个小问题的分值分别为3、3、9分。客观性与主观性试题的分值比例接近1∶1，完卷时间?试卷的修改和生成 （1）试卷的修改 通过专家函询法，试卷设计小组对试卷的版面、试题表述的准确性和简洁性、试题与教学大纲内容的相符性、命题方案与认知层次的一致性、考点内容的必要性和重要性、标准答案的准确性、评分标准的合理性等都进一步加以修正。设计小组对试卷共进行了5次修改，对论述题的设计和修改进行了3次专题讨论。（2）试卷的生成 使用《试卷管理和试卷自动生成系统V 1.0.0版》软件，将试题逐题输入软件内，自动生成A、B、C共3套理论考核试卷。随机抽取其中2套试卷作为考核试卷，其中被抽取的A卷为培训前考核试卷，C卷为培训后考核试卷，B卷则作为备用试卷（故以下仅分析A、C卷）。试卷统一由专人印刷、封存、保管，遵循教考分离的原则 考核试卷的评价指标 （1）信度：反应试卷成绩的可靠程度，用Cronbachα系数反映，要求＞0.7。（2）效度：由12位相关专家根据试题表述的准确性与简洁性、试题设置与教学大纲内容的相符性、命题方案与认知层次的一致性、考试内容的必要性和重要性、标准答案的准确性及评分标准的合理性等评价每道试题的内容效度CVI值，要求＞0.8。采用Likert 5级计分法，“非常同意”为5分、“比较同意”为4分、“一般”为3分、“比较不同意”为2分、“不同意”为1分。（3）难度的评价：用“统计难度”即以答对试题的考生人数与总考生人数的比（用P表示）来反映试题的难易程度。卫生部国家考试中心规定，难度值＜0.4为“难”、0.4～0.8为“中”、＞0.8为“易”。（4）区分度：反映了考核试题对不同水平考生的区分程度和辨别能力。区分度≥0.4，试题很好；0.30～0.39，试题良好；0.20～0.29，试题尚可，仍需改进；≤0.19，试题应考虑修改或放弃 统计学处理 采用SPSS 14.0统计软件及重庆医科大学统计学教研室提供的试卷定量分析系统2.0版本作试卷及数据分析，难度评价采用正态性检验（W检验），以P＜0.05或P＜0.01表示差异有统计学意义。2 结果结果显示，本研究设计的儿科专科护士考核试卷内容效度均＞0.8，说明试卷版面形式设计较合适，表述也比较准确、清晰、简洁，对知识体系的代表性较好，能体现考核的目的和要求；试卷的信度、效度、难度及区分度的情况见表2、3、4。表1 试卷的总体分析注：A卷中1人缺考，但不影响试卷整体分析试卷参加人数成绩（±s，分）正态性检验CVI Cronbachα系数A卷 31 54. 符合正态分布0.91 0.7072 C卷 32 64. 符合正态分布0.92 0.7327表2 试卷及各类题型的难度系数a：P＜0.05试卷 单选题 填空题 名词解释 简答题 问答题 全卷难度系数A卷0.64 0.59 0.38 0.59 0.54 0.55 C 卷 表3 试卷及各类题型的区分度试卷 单选题 填空题 名词解释 简答题 问答题 全卷区分度A卷0.19 0.09 0.30 0.35 0.43 0.33 C卷0.21 0.12 0.25 0.40 0.41 0.27表4 试卷难度与区分度的综合分析类型 P值和D值 评价结果题量A卷 C卷所占比例（%）A卷 C卷一类 P＝0.4～0.8 理想试题4 5 6.45 8.06 D≥0.4二类 P＝0.4～0.8 较理想试题，难度适中 14 17 22.58 27.42 D＝0.2～0.39三类 P＞0.8 试题容易，但有区别性 3 4 4.84 6.45 D＝0.2～0.39四类 P＜0.4 试题较难，但区别性较好 1 3 1.61 4.84 D≥0.4五类 P＝0.4～0.8 试题区别性较差，需要调整 6 8 9.68 12.90 0＜D＜0.2六类 P＜0.4 不可接受的试题 6 6 9.68 9.68 D＜0七类 P＞0.8 试题较容易，需查找原因，视情况保留或删除 12 12 19.35 19.35 0＜D＜0.23 讨论3.1 考核试卷题型分配和形式符合儿科专科护士的考核需要3.1.1 考核试卷题型分配合理 考核试卷中的客观性试题为单选题和填空题，主观性题为名词解释、简答和问答题，客观题和主观题的分值分别设定为47、53分，比例接近1∶1。对于以衡量被测者是否达到要求标准为目的的标准参照考试类型，题型分配比较合理 考核试卷形式符合要求 理论考核中，应保证试卷的组织形式或试题的呈现形式不影响考生的答题质量。因此，试题在表述上应保证意思表达清晰且准确，试卷在组织形式上应简洁有条理。如果考生需花费大量时间才能读懂试题题干或对试题在表述上就产生了主观理解偏差，这都可能影响考生答题的速度和效果。此外，试题内容能否很好地代表所考核的知识体系也可能影响考生的答题质量。表1中，试卷的内容效度均高于0.8，说明了试卷版面形式上设计较合理，表述也比较准确、清晰和简洁，试卷对知识体系的代表性较好，能体现考核的目的和要求 进一步提高试卷信度、难度系数3.2.1 控制随机误差，提高试卷信度 试卷的信度Cronbachα系数均高于0.7，说明试卷在对考生成绩的检测上比较可靠，此试卷可以考虑采用。可以通过提高试卷设计的信度来提高试卷的可靠度，而Cronbachα系数的大小主要受随机误差的影响，而影响随机误差的因素又比较复杂，如试题的难度、命题质量、试题的题量、考试的时间设置、评分中的主观性，甚至考场的纪律都可能是影响Cronbachα系数的因素。为了减少这些随机误差，本研究遵循“五严”原则，具体为：（1）严格的教考分离制度：试卷设计人员与实施培训的教师为2套，禁止互相交流试卷内容，以免授课内容可能存在的倾向性。（2）严格的命题制度：由具有丰富教学和命题经验的教师进行命题，出题范围严格依照教学大纲的要求，多次讨论、审核并修改试题的形式与内容，以保证命题质量。（3）严格的试卷管理和保密制度：试卷从命题、印刷、分装和保管都必须由专员管理，贴上封条并仅能在考试当场开封，考试完毕后即由监考人员将答卷密封上交。（4）严格的监考制度：严肃考场纪律，使考试的结果能真实客观地反映出每一位考生的能力和水平。（5）严格的试卷批阅制度：制订标准答案并给出明确的得分点，在阅卷前对改卷人员实施统一培训以保证评分标准的一致性。实施封闭阅卷，进行2次评分，取2次分数的平均值，以减少试卷评分过程中产生的主观误差 筛选合适的试题区分度和难度系数 试卷质量的整体评价由区分度和难度系数，构成。表2显示，两套试卷的整体难度系数均在0.4～0.8，说明本研究设计的试卷难度较适中。在试卷的5类题型中，A卷名词解释的难度比较大，A、C卷中其他题型的难度较适中，符合试卷设计的预设要求。本研究依照Seyer理论，综合分析了试题的难度和区分度，将不同质量的试题人为地划分为7大类，所占比例如表4所示，一类、二类理想试题为35.48%，六类不可接受试题为9.68%，七类试题为19.35%（这类试题为视情况保留或删除试题）。因此如果需要进一步完善试卷，则应适当修改第六类试题，使其更能符合考核的要求，而对于一类及二类等较为理想的试题则加以保留 需要注意的问题3.3.1 区分度 区分度作为筛选和完善试题的主要依据，受到多种因素的影响，如试题太难或太易等。太难的试题所有人都可能答错，太容易的试题所有人都可能答对，这都会使试题区分度为零。此外，由于理论知识中某些非常重要且必须掌握的内容，可能大多数人通过培训后也都能掌握，因此在标准参照考核类型的考核中，这类试题的区分度也可能会为零。这都是需要在删除无区分度或区分度小的试题时综合考虑的因素，这类试题需要依据考核的实际情况而作适当删除或保留 难度系数 考生自身水平可能造成难度系数对区分度的影响。难度系数高的试题对水平高来说，区分度有可能会相对较高；而对水平低的考生来说，如果大家都答不对，那区分度就可能比较低甚至为零。难度系数低的试题对水平低的考生来说，区分度可能会相对较高；而对水平高的考生来说，由于可能出现都答对的情况，这时区分度就会比较低甚至为零。所以，在设计考核试题时应依据考核的目的综合地考虑统计难度和区分度。本研究以测试护理人员是否达到相关标准为目的，因此对试题统计难度要求应当适中，且对区分度的要求并不高。【参考文献】[1]梁玉华.澳门护理发展：回顾与前瞻[J].中国护理管理.2004，4（6）：60－62.[2]Lyon B L，Minarik P and regulatory issues for clinical nurse specialist practice：Ensuring the public’s access to CNS service[J].Clin Nurse Specialist，2001，15（3）：108－114.[3]佟庆伟.常模参照考试与目标参照考试[J].教育理论与实践，1990，10（1）：28－30.[4]许华琳.常模参照性测试与尺度参照性测试比较[J].宁波大学学报：教育科学版.2004，26（3）：79－81.[5]刘景轩，赵世明.标准参照考试的概念与理论问题[M].中国高等医学教育，1998，（2）：39－41.[6]李建新.布鲁姆的“目标教学”理论及在教学实践中的应用[J].楚雄师专学报，2000，15（4）：92－94.[7]沐守宽.CTT与IRT测量原理之比较[J].上海师范大学学报：基础教育版，2010，35（4）：6－9.[8]赵守盈，石艳梅，朱丹.项目反应理论在大规模选拔性考试试题质量评价中的应用[J].教育学报，2013（1）：71－77.

文章来源：《延边教育学院学报》 网址: http://www.ybjyxyxb.cn/qikandaodu/2021/0128/598.html