第二单元 员工培训的有效性评估
【学习目标】
通过学习,了解培训有效性评估的含义、作用和内容;掌握培训效果评估的一般程序,培训有效性评估的方法和技术,培训效果评估方案的设计,培训评估效果信息的收集,培训效果的跟踪与监控,以及培训效果评估实施的程序和方法。
【知识要求】
一、培训有效性评估的含义和作用
(一)培训有效性评估的含义
培训有效性指的是培训为什么发挥作用及培训实现其目标的程度。对组织而言,培训有效性意味着组织利润的增加、成本的下降、市场占有率的扩大;对个人而言,培训有效性指的是专业素质的提升、知识的增长和技能的提高。而对培训有效性的评估是指系统地收集必要的描述性和判断性信息,以帮助作出选择、使用和修改培训项目的决策。
培训有效性评估应该始于培训目标。根据培训目标,可以确定预期的培训结果,为了衡量预期的培训结果,就需要建立培训有效性的评估指标。
培训评估是一个完整的培训流程的最后环节,既是对整个培训活动实施成效的评价与总结,同时评估结果又为以后培训活动的培训需求提供了重要信息。在管理实践中,不少管理者在信念上认识到培训具有一定的价值,但是却不认为培训会带来组织的绩效的提高,或者认为培训后的效果无法进行相应的正确评估,因此,培训通常被认为是一种耗费金钱却无法感知效果的活动。要让人们认识到培训的重要性,就要正确地在企业内部进行培训有效性的评估。
(二)培训有效性评估的作用
1.从企业培训的一般角度看培训评估。随着培训费用的不断增加,人们更加关注巨大的预算对组织的贡献是什么,此时培训评估更显重要。培训评估可以对当年的培训效果进行一个反馈,它是衡量企业培训效果的重要手段。而培训活动的有效性对增强企业的竞争力,实现企业的战略目标都有重要意义。培训评估的作用主要体现在以下几个方面。
(1)对培训效果进行正确合理的判断,以便了解某一项目是否达到原定的目标和要求。
(2)考察受训人知识技术能力的提高或行为表现的改变是否直接来自培训本身。
(3)找出培训的不足,归纳出教训,以便改进今后的培训。
(4)发现新的培训需要,从而为下一轮的培训提供重要依据。而且通过对成功的培训作出的肯定性评价,也往往能提高受训者对培训活动的兴趣,激发他们参加培训活动的积极性和创造性。
(5)检查出培训的费用效益。评估培训活动的支出与收入的效益如何,有助于使资金得到更加合理的配置。
(6)客观地评价培训者的工作。一般来说,培训的效果反映了培训者的水平和对待培训的态度。对培训效果的检测评估,有助于培训人员进行自我检查,进一步端正态度,从而不断提高培训的质量。同时也可以正确地对培训者进行绩效评估。
(7)为管理者决策提供所需的信息。管理者(主要是)对培训结果的重视,往往也会引起企业其他人员对培训结果的重视,从而促进了对培训的积极性。
2.从企业的战略角度看培训有效性评估。仅从培训活动本身出发的评估,从表面上看是因为培训工作的各方的利益可以进行协调,而从全局看是没有将公司战略落实到培训之中。当公司把培训作为实现公司目标和员工目标的战略工具时,培训和目标之间的联系似乎很明显,但在日常实施培训计划时,联系经常中断。这时,培训成为一种活动而非一项战略。把培训作为一种活动和把培训作为一项战略是有很大区别的。用作战略的培训要有细致的目标定位、可选方案的系统评价、成效的严格评价等,它是一种分析方法。
培训目标与组织战略目标之间的关系应该是对组织战略管理形成过程的理解以及与人力资源活动的良好配合,避免在培训流程中出现不支持、不合作的组织管理者之间的群体行为,避免影响到培训利益的合理分配以及培训目标的实现程度。所以,一个置于企业战略角度下的有效培训应该是不仅要知道对培训人员有多少好处,还要了解能为组织及其成员带来什么好处和多少好处。
从企业战略角度看培训有效性评估,就是要用更高的、统一的、具有战略意义的培训目标来对培训有效性评估进行指导,同时也是对组织和部门行为进行约束和激励,此时的培训目标已经成为组织目标的一部分,而不再仅是培训部门的部门目标。只有这样才能驱使组织、部门共建和共享培训利益而不是割裂争夺培训利益,此时应该是站在同组织战略相互联结和整合的、系统的、持续改进的过程的角度进行评估。同时由于培训投资环境中存在诸多不确定和不可控因素,企业获得培训投资收益的迟滞性和间接性,以及培训投资在数量、内容和结构上的模糊性,容易使得在进行有效性评估时陷入进退维谷的境地。只有在企业战略角度下,才能使内部不同的成员看到目标的一致性,才能共享资源和信息,才能够克服在进行培训有效性评估中的障碍。
二、培训有效性评估的内容
(一)培训的有效性内容培训成果是培训有效性评估的主要内容。培训成果包含五种类型:认知成果、技能成果、情感成果、效果性成果和投资净收益,培训评估要始终围绕这五个部分开展。
1.认知成果。认知成果被用来判断受训者对于培训项目所强调的原则、事实、技术、程序和流程的熟悉程度。它可以衡量受训者在培训项目中学到了哪些知识。
2.技能成果。技能成果包括技能的获得或学习与技能的应用(技能转化)两个方面的内容。它用来评估受训者的技术和运动技能水平及其行为。
3.情感成果。情感成果包括受训者的态度和动机两个方面的内容。情感成果的一种类型是受训者对培训项目的反应,其他一些类型还包括对多元化的容忍度、学习的动机、对安全的态度以及在客户服务中的定向。
4.效果性成果。效果性成果用来判断培训项目给企业带来的回报。
5.投资净收益。投资净收益是指对培训所产生的货币收益与培训成本进行比较之后,企业从培训项目中所获得的价值。
(二)培训的有效性信息类型分析培训的有效性信息类型是确定培训效果信息的前提条件,不了解培训效果信息的种类或培训效果信息的集存点,就无法全面、准确地收集信息,自然也就导致最终分析的偏差。
1.培训的及时性。培训及时性信息是指培训的实施与需求在时间上是否相对应。培训的实施必须有前瞻性,不能何时需要何时再培训,应当在岗位工作需要前就做好培训,以适应新工作的需要。同时,培训也不能太提前,这样有可能在工作需要时再进行补充培训或强化培训,否则会因为受训人忘记培训内容而失去或者削弱培训作用,使培训效果大打折扣。
2.培训目标设定的合理性。培训目标来源于培训需求分析。在设定培训目标时,是否真正全面、细致地对培训需求进行研究,也就是说培训目标设定是否能真正满足培训需求。这包括有形的需求和无形的需求、长期需求和短期需求。
3.培训课程设置与培训内容安排的适用性。培训课程及其内容的设置是否合理适用,是达到培训目的关键环节,是保障培训有效性的基础。
4.培训教材的选用与开发。教材选用与开发方面的信息是指所选用和开发的教材是否符合培训的需求,运用这些教材进行培训能否达到培训目的。它的深度及细致程度是否能被受训人员接受,会不会过于简单或者过于烦琐,而导致受培训人员收获不大或难有收获。
5.培训教师的选派。教师选派方面的信息是指所选定的教师是否有能力做好这方面的培训,是否了解受训人员,是否有良好的教学水平,是否掌握受训人员能接受的教学方法,是否能让受训人员全部或者部分地接受培训内容。
6.培训时间的安排。培训时间安排包括三个方面的内容:一是培训时机的选择是否得当,二是具体培训时间的确定,三是培训时限的设定。这些因素影响受训人员的培训参与率及学员的学习情绪,也直接决定着培训效果。
7.培训场地的选定。培训场地要根据培训的具体内容而定,不同的培训内容要选择不同的培训场所。理论或操作性不强的培训可以选择在教室进行,实际操作课程选择在操作现场或者能实施操作的地方进行。
8.受训群体的选择。受训群体的选择是指根据受训人员在素质、知识水平、经验上的不同,选择相应的教材和适宜的授课方式。这主要从培训效果和受训人员的接受能力来考虑。
9.培训形式的选择。培训形式选择方面的信息,是指所选择的培训方式是否有助于受培训人员接受培训的内容,是否还有更好的方法。
10.培训组织与管理状况。培训的组织与管理是对培训活动顺利开展的后勤保证,直接影响参训人员对培训活动安排的满意度。
【能力要求】
一、培训效果评估的一般程序评估是为了检验培训管理体系的有效性,衡量培训管理工作所取得的成绩,找出培训管理中存在的问题。所以,为了确保评估工作的顺利开展和客观公正,还必须规范评估的流程,科学地计算其经济收益,做好评估后的反馈工作。
科学的评估程序是正确评估的基本保证,培训管理体系的测评由四个步骤组成。
1.第一步:评估目标确定。主要内容包括确定培训评估是否开展;进行培训评估的可行性分析;确定培训评估的项目;确定培训评估的目标。
2.第二步:评估方案制订。培训评估方案一般包括培训测评的价值分析,培训评估的项目及目的,培训评估的时间、地点和人员,培训评估的方法、标准及步骤,培训评估的分工与合作,培训评估的报告撰写与反馈等。
制订培训评估方案时,要征求培训项目实施人员及外部培训专家顾问的意见,确保培训评估方案的科学性和可操作性。
3.第三步:评估方案实施。包括培训信息的收集和整理分析。不同的培训评估信息收集的渠道和收集的方法有所不同。常用的收集方法主要有原始资料收集法、观察活动收集法、访谈活动收集法和调查问卷收集法。由于培训评估需要的信息来自不同的渠道,信息的形式也各不相同。因此,有必要对收集到的信息进行分类,并根据不同的培训评估内容的需要进行信息归档,通过表格及图形将信息所表现的趋势和分布状况予以形象的处理。
4.第四步:评估工作总结。对培训效果评估工作的整体进展情况进行总结和评价,指出评估方案实施过程中的收获和不足,为下一次开展评估活动提出建议。对培训项目的实施效果撰写培训评估报告。撰写培训评估报告是整个评估的最后工作环节,同时也是影响评估结果的重要一环。因此,撰写评估报告时要在充分的信息收集的基础上,征求多方面意见和观点,提高培训结果测评的价值。
二、培训有效性评估的方法
在制订培训规划时,应该对本次培训实施中所采用的评估手段进行挑选,包括如何考核培训的成败,如何进行中间效果的评估,如何评估培训结束时受训者的学习效果,如何考察在工作中的运用情况等,需要注意的是选择合适的方法并且实施培训效果评估。
培训评估的方法一般有观察法、问卷调查法、测试法、情境模拟测试、绩效考核法、360度考核、前后对照法、时间序列法和收益评价法等。
1.观察法。一般由培训管理者担任观察者。按照事先拟定的提纲对观察对象实施观察。
2.问卷调查法。是评估中最常用到的方法,问卷设计要根据使用的范围和时机加以调整,是开放式问题和封闭式问题相结合。
3.测试法。主要用于对知识性和技能型内容的测试。
4.情境模拟测试。包括角色扮演和公文筐测试等多种方法,通过在最接近实际工作环境的情境下进行测试而了解受训者的真实水平。
5.绩效考核法。收集受训者的绩效资料,对其在受训前后的一段时间内绩效的变化进行考察。
6.360度考核。通过被考核人的上级、同级、下级和服务的客户对他进行评价,从而使被考核人知晓各方面的意见,清楚自己的所长所短,以达到提高自身能力的目的。
7.前后对照法。选取两个条件相似的小组,在培训前,对两个小组进行测验,分别得到两组成绩。一个小组施加培训,一个小组不进行培训,在培训结束后,再对两个小组进行测验,比较每个小组的测验成绩,看培训是否对小组起作用。
8.时间序列法。在培训后定期作几次测量,通过数据对比分析以准确分析培训效果的转移程度。
9.收益评价法。从经济角度综合评价培训项目的好坏,计算出培训为企业带来的经济收益。
三、培训有效性评估的技术
培训效果评估根据评估方法、内容和形式的不同分为以下几种。
(一)泰勒模式泰勒模式诞生于20世纪30年代,泰勒评估模式与现代学生评估的关系最为密切。这一模式的基本观点集中体现在所谓的“泰勒原理”中。“泰勒原理”是由两个密切相关的基本原理组成的:一个是评价活动的原理,另一个是课程编制的原理。泰勒模式对培训评估的理论指导在于:培训评估的首要任务就是确定培训是否达到培训目标,其理论依据就是泰勒的目标评估模式。
泰勒模式的评价步骤如下。
1.确定教育方案的目标。
2.根据行为和内容对每个目标加以定义。
3.确定应用目标的情景。
4.确定应用目标情景的途径。
5.设计取得记录的途径。
6.决定评定方式。
7.决定获取代表性样本的方法。
泰勒模式的特点是以目标为中心,结构紧密,具有计划性。它从目标出发指导实施,以目标为依据,找出实际活动与目标的偏离,根据反馈信息修改目标,比较简单易行。泰勒模式在教育评估理论中占有重要的地位,主要用于学生评估。其缺点,一是没有对目标本身进行评估;二是注重预期效果的评估,忽略非预期目标的评估;三是重视结果评估,忽视过程评估,不能得到及时的反馈;四是目标的制定大多是教育者的意见,较少注意学生的意见。
(二)层次评估法层次评估法是国外企业培训效果评估方法中发展最为完善的一种评估方法,也是运用得最为广泛的一种评估方法,它的着重点在于通过把培训效果分层次进行评估,层层递进。柯克帕特里克四级评估模式、菲利普斯五层评估模式、考夫曼五层评估模式等都属于这种方法。
层次评估法的主要特点在于:①层次分明,对培训效果的评估由易到难,循序渐进;②定性和定量分析方法相结合;③其中的多层次评估法把对培训效果的评估逐步由对个人素质能力提高的评估转移到整个组织绩效提高的评估上来。
层次评估法的主要贡献在于:①把培训效果具体化、形象化,分为若干层次,使对培训效果进行有效评估成为可能;②菲利普斯五层评估模式与Kenney和Re1d的五层评估模式在柯氏四级评估模式的基础上不断完善,使评估的层次更加全面,更具说服力。
层次评估法的不足之处在于:①评估体系中考虑的因素不够全面,因素的确定带有一定的主观性;②数据的取得是根据单个人的描述取得的,但是每个人的理解又有不同,容易造成混乱;③不能把各个层次形成一个有机的整体。
1.柯克帕特里克四级评估模式。柯克帕特里克四层次培训评估模式是目前国内外运用得最为广泛的培训评估方法,柯氏四级评估模式将评估活动分为四个级别,对培训效果进行评估。柯克帕特里克从评估的深度和难度角度将培训效果分为四个递进的层次——反应层面、学习层面、行为层面、结果层面,见表3一5。
(1)一级评估:反应评估。所谓反应评估,是指评估学员对课程的满意程度。通常邀请学员填写课后问卷以了解学员对课程的满意程度,并将搜集的意见作为未来举办同样课程之改善参考。问卷项目通常包括课程实用性、深浅难易度、时间长短、讲师讲授技巧等。
反应是评估的最低级别,柯克帕特里克将反应定义为受训者对培训的感受和看法。包括:①对培训者的满意;②对培训管理过程的满意;③对测试过程的满意;④培训项目的效用;⑤对课程材料的满意;⑥对课程结构的满意。一般由学习者的直接反馈得到评估数据,通过培训后的学员填写评估调查表。
该层次的评估时间,通常是培训当场或课程一结束就进行。评估内容包括组织安排、场地、讲师、课程内容等。评估方式一般都是使用问卷调查的手法搜集满意度,有时也会进行抽样访谈。
(2)二级评估:学习评估。学习反映受训者对培训内容的掌握程度。它主要测定学员对培训的知识、态度与技能方面的了解与吸收程度。学习评估结果表明了培训的质量,在一定程度上表明培训的实际效果,且可用来预测培训的最终效果。
根据课程类型不同,有以下几种不同的评估方式。
①书面测验。用来了解学员对专业知识的理解程度。书面测验常于课后一周内举行,包括是非题、选择题、填充题和实作,及格分数大多设定为70分。测验的目的是为了让学员能于课后温习,以便对于最根本而重要的观念能牢记在心。
②模拟情境。即在课后设计一些工作中的模拟情境,以观察学员是否能正确应用所学的相关知识与技巧。这种情境模拟评估方式,通常在管理技能训练与顾客服务训练课程中较常被用来评估学习成效。
③操作测验。例如电脑操作训练,应设计实作题,以便评估学员是否已会操作使用。
④学前、学后比较(pretest-posttest)。即在课前先自我测试对于授课内容的了解程度,然后在上完课后再做一次测试,课前、课后差异的比较,能看出学习的成果。这种比较法通常是在管理技能训练中使用。
上述前三种学习评估方式,亦常被企业作为员工能力评估的方法。
本层次的评估时间,一般是在培训现场或培训结束之后。评估内容包括培训课程中所涉及的知识、技能和态度。评估方式主要有课堂现场测试(提问、展示等)、笔试、对比测评、设定基准分的测评、能力测评、情境模拟等。
(3)三级评估:行为评估。反映受训者将培训所学运用到工作中并改变工作行为的程度,是学习在工作中的转化。行为指标水平可以由内部人员测定,也可由外部人员测定。内部人员指受训者的直接管理者,外部人员指人力资源专家和顾客。
本层次的评估时间,通常在培训结束后3个月进行。评估内容包括测评其工作行为是否因培训而有所改变。评估方法主要有问卷调查法(主要通过同事、上下级来收集数据)、面谈法、观察法(一般技术操作类培训可以采用这种方式)、行动计划法(这是在培训追踪中较多使用的一种方法,要求学员列出培训后需改进的地方并形成计划,定期按计划保持追踪)。
(4)四级评估:结果评估。柯氏使用结果来描述培训项目导致的组织目标的实现,反映培训的最终结果。主要是测定学员对组织经营成果有何直接且正面具体的贡献,并且还要确定这些变化是否是培训的效果。例如,产量增加、效率的改进、不良率的减少、成本费用的减少、抱怨的减少、意外事故的降低以及离职率的降低等。
柯氏评估模式认为,对各种评估来说都有一个基本的学习分级,或叫作学习的层次、步骤。培训之后的问题首先是受训者的反应问题。如果这种反应效果很差,受训者就不大可能会学到知识,因而工作表现的改进也就谈不上了;如果反应良好,受训者可能学到知识,也有可能没有学到知识;如果他们确实学到了知识,接下来是能否将知识运用到工作中,并且确实提高了工作绩效。但同时,个人绩效的提高并不意味着整体绩效的提高。
该层次的评估时间,一般是在培训后半年或一年。评估内容主要是与该培训内容直接相关的绩效指标。评估方式主要采用培训前后绩效周期的绩效结果对比。这是建立在行为评估基础上的,只有行为的改变,才有可能将绩效结果的改变与培训挂钩。
柯氏模型具有两个鲜明的特点:一是评估是分级进行的,并且是按照一、二、三、四的级别进行的。级别越高,对培训项目的评估就越深入。二是如果某个分级评估的思想被接受,那么前一级别的评估信息可以作为下一级别的基础数据。
柯氏模型的优势在于,其简单且实用的分级评估策略适用于不同培训项目的不同层次的培训评估要求。但是,它在效果评估级别上缺少有效衡量的价值体系。
柯氏模型是目前应用最广泛的评估模型,它简单、全面、具体,从反应、学习、行为、结果四个层面上进行了论述,有很强的系统性和操作性。
实际上,这个模型确实能解释有关培训计划的大多数资料,同时为以后评估模型的发展研究奠定了基础。但是,柯氏四层次模型中的反应仅仅是从情感上进行评估的,而缺乏对培训效用程度的深入分析。
2.菲利普斯五层评估模式。菲利普斯五级投资回报率模式,是在柯克帕特里克四级评估体系的基础上增加了一个第五级评估,见表3—6。
投资回报率是一个较为宽泛的概念,可以包含培训项目的全部效益,有多种定义和计算公式。这里将投资回报率看作将培训项目的成本和效益进行比较后所得出的实际价值。最适合用于对培训项目进行评估的公式是采用培训项目净效益除以成本,即投资回报率=(项目净效益/项目成本)×100%五级投资回报率模式也是一个分级评估的模式,它弥补了柯克帕特里克的四级评估不对培训效益进行定量计算的不足,是目前比较常用的一种评估方法。但是由于对培训进行定量分析时变量很多,又很难区分工作改进到底是由什么因素带来的,因此具体的运用存在很大的困难。
3.柯氏改良法。柯氏改良法是在柯氏四层次评估法的基础上,针对四层次评估法的不足而形成的一种培训整体效果评估的模式。培训是一个完整连续的过程,培训效果的评估不应该只是作为一个提高组织绩效的方法,它还是完整培训过程重要的组成部分。柯氏改良法把四个层次连接成为一个有机的整体,把培训效果评估看作是培训的一个重要部分,没有把评估和培训分割开。这样一来可以有效地把培训计划和培训内容以及培训评估结合起来,使培训评估对培训计划具有导向作用,使培训计划更加适合员工以及企业的培训需求。它的不足之处在于把四个层次有机联系的同时容易造成层次的混乱,使各个层次本来的评估内容不够明晰。
(三)目标导向模型法
目标导向模型(Object1ve-or1ented Tra1n1ng Eva1uat1on Mode1)是由Jackson根据英国曼彻斯特机场的执行方案进行改进而提出的。它的精髓在于:①关注的是受训者而非培训者的动机;②评估受训者个人素质能力的提高;③把培训效果的测量和确定作为优先考虑的因素;④培训者和公司的其他人员是培训的执行者和评估者。
目标导向模型法的评估重点是受训者个人能力和素质的提高程度,重视的是受训者的培训需求而不是公司或者培训者的培训需求。它的贡献在于它的弹性和适应性,它可以根据评估者的要求设计成定量和定性相结合的评估方式,可以把落脚点放在受训者的能力或者行为等方面,并且适用各种类型的组织,包括一些私营性质的企业。
不足之处在于:该评估方法在时间上要求是一个完整的过程,比如从调查、会见记录、数据收集等都必须包括在内,而且要求是显著的可信性,特别是第一次采用这种评估方法的企业必须花费很长的时间和精力。
四、培训效果评估方案的设计
培训效果评估方案的设计是一个运用科学的理论、方法和程序,从培训项目中收集数据,并将其与整个组织的需求和目标联系起来,以确定培训项目的优势、价值和质量的过程。培训效果评估的开展必须要遵循科学的程序,否则得出的培训评估结果很可能失去客观性。一般包括以下五个基本步骤。
(一)明确培训评估的目的
培训评估主要解决三个问题:一是评估的可行性分析,通过收集的相关资料确定评估有无价值以及评估有无必要进行;二是明确评估的目的,这是一个决策者和培训项目管理者向评估者表达评估意图的过程;三是明确评估的操作者和参与者,评估操作者可分为外部评估操作者和内部评估操作者,决策者应当充分考虑其优缺点进行选择。另外,还要明确评估的参与者,评估过程并非只是评估者的事情,它涉及培训对象、培训的、培训管理人员及外部参与者。
(二)培训评估方案的制订
在制订评估方案中,最核心的工作内容包括评估方法选择、评估设计方案和评估策略选择。在制订评估方案时能够由培训项目的实施人员、培训管理人员、培训评估人员和培训评估应用人员共同进行,如有可能,邀请外部培训顾问参与,以保证评估方案的科学性和切实可行性。
(三)培训评估信息的收集
培训评估数据的收集主要是注意数据的有效性、可靠性、简单易行性和经济的特点。培训评估数据收集有许多方法,常见的有通过资料收集、通过观察收集、通过访问收集、通过参与收集、通过培训调查收集等。值得注意的是,在数据收集过程中,为了防止数据的错漏,重新设计一个数据收集计划,对数据收集做好事前安排。
(四)培训评估信息的整理与分析
数据收集完毕后,要对收集到的信息进行分类,并根据不同的培训评估内容的需要进行归档,还要应用相应的统计方法进行整理分析。如利用一些直方图、分布曲线等工具将信息所表现的趋势和分布状况予以形象的处理,对培训效果作出科学的、客观的量化分析;并在数据分析的基础上,对培训成效作出判断和评价。
(五)撰写培训评估报告
撰写培训评估报告是整个培训评估的最后工作环节,同时也是影响培训评估结果的重要环节。培训评估报告应当客观、公正,要综合所有评估意见和观点,在最后上报之前一定要召开评估小组成员会议,反复修改,以确保其真正发挥培训评估对领导决策、培训工作者工作改善的重要作用。
培训评估报告一般包含培训背景说明与培训概况、培训评估的过程说明、培训评估信息的总结与分析、培训评估结果与培训目标的比较、关于培训项目计划调整的建议等内容。培训评估报告在定稿和呈报上级之前,要尽量召集培训评估项目小组、培训项目的管理者和实施者、项目实施顾问、学员代表等相关人员共同参加评估会议,共同讨论评估报告的真实性和合理性,以确保培训评估的客观公正,真正发挥评估对领导决策、培训管理者及培训师等工作改善方面的重要作用。
五、培训评估效果信息的收集
(一)收集培训效果信息的目的
所谓培训效果的信息收集,是指企业在培训活动开始后对整个培训过程进行的总结和反馈。这种反馈的形式应该是多种的,而且涉及的方面是多样的,这样才可以避免因为片面之词而影响对整个培训的评估。要做到有效的评估,对整个培训过程中的培训信息收集是必不可少的。
完善的培训效果信息收集体系,一方面验证了培训结果是否达到了企业及员工个人的培训期望;另一方面也为将来的培训需求分析、课程设计、实施与管理提供了有科学价值的反馈信息,为改进培训系统与效果提供了可靠的依据。
(二)不同类型培训效果信息的采集
培训效果信息的类型对于评估培训效果的优劣是非常重要的。要保证评估的准确性,就必须多方面收集信息,不能单一地就某一类型或渠道进行信息收集。依据单一的信息类型或渠道就会片面地作出评估结果,使评估结果不准确,最终导致整个培训评估计划的失效。
全面的信息采集是做好培训评估的保证。
1.主观信息的采集。在确定信息采集主体后,结合调查问卷等信息采集方式,正面采集个体对培训的反馈。在培训过程中贯穿非正式的信息调查采集,如小范围的座谈、餐歇时的交流和倾听培训主体之间小群体的交流等。非正式渠道的信息采集要以确认正式渠道所采集的信息准确度为目的,注意形式的多样和气氛的控制。
2.客观信息的采集。客观信息的采集包括一切可用数据衡量的信息,如员工知识水平的提升、操作水平的改变等。在正式采集信息的前后可进行多次非正式的测试或评分模拟,以确认在正式采集时信息的准确性,排除偶然因素的干扰。但不能忽视时间作用对正式采集信息结果的影响,应在不同时间间隔时期进行多重检测,确定信息的稳定性。
3.信息之间的对比分析。在正式采集各主体的信息后,应对同一问题的不同主体之间的信息进行对比分析,这也是非正式信息采集的一种方式。
例如,同一问题不同主体之间的信息偏差过大,则存在进一步确认的必要,找到分歧所在,是信息技术处理问题还是主体理解程度问题等,从而保证信息的准确性。
(三)培训效果信息的收集
渠道信息的准确性是保证培训评估结果准确性的基础所在。多样的信息采集方式、全面的信息采集渠道、客观而合理的信息收集技术等方面能正常地发挥作用并有机地结合在一起时,才能真正确保信息的准确性。人们在不同时期和不同情境下会出于本能进行有利于自己的信息整合,通过多渠道的信息检测和采集才能真正地把握主体所提供的信息,并排除一些偶然因素的干扰。因此,多渠道、全面的信息采集是必不可少的。只有在培训效果的信息收集十分全面、数据十分完整的情况下,才能有效开展对培训的评估。培训效果信息的收集方法主要有以下四种。
1.通过资料收集。收集的资料来源可以是各种各样的。上课的教程、受训员工的总结报告、培训师的课堂总结等这些资料可以是对课程文字性质的描述,也可以通过数理的统计办法反映到直观的数字上。收集的资料也可以是其他收集办法的书面体现,如运用问卷调查法得到的调查问卷。
通过资料,可收集以下信息:①培训方案的资料;②有关培训方案的领导批示;③有关培训的录音;④有关培训的调查问卷原始资料和统计分析资料;⑤有关培训的录像资料;⑥有关培训实施人员写的会议纪要、现场记录;⑦编写的培训教程等。
2.通过观察收集。这个方法是通过对员工上课的表现、课下员工的反应来体现的。在上课的过程中。员工的状态可以反映出课程对他们的吸引力;课下员工的反应可以体现员工对于课程的认识深度等问题。
通过观察,可收集以下信息:①培训组织准备工作情况;②培训实施现场情况;③培训对象参加情况;④培训对象反应情况;⑤观察培训后一段时间内培训对象的变化。
3.通过访问收集。访问收集是一种成本较低也便于实现的方法,可以通过受训员工的上级来实现。在课程结束后,上级应当了解员工对于此次培训的看法及收益,还可以通过观察员工培训前后工作的变化来及时与受训人员联系和沟通。在上级主管日常的工作中就可以完成这项工作。在某种意义上,这种方法是与观察法相结合进行的。
通过访问,可收集以下信息:①培训对象;②培训实施者;③培训组织者;④培训学员领导和下属。
4.通过调查收集。这种方法十分普遍,也比较容易得到结果。在培训后及时填写一份调查问卷,可以保证调查结果的时效性,而且便于收集。但在使用这种方法的时候要注意避免主观因素的影响。调查对象不应只是员工或培训师,而是对受训员工、培训师、上级领导甚至是未能参加培训的员工的全面调查。只有客观的调查结果才是后期统计和效果评估的客观依据。由此可见,多种多样的收集办法是对后续工作客观性和真实性的有力保障。
通过调查,可收集以下信息:①培训需求调查;②培训组织调查;③培训内容及形式调查;④培训师调查;⑤培训效果综合调查。
(四)培训评估信息的处理
不同的培训评估信息收集的渠道和收集的方法是有所不同的。例如,培训计划评估与培训最终效果效益评估的信息收集渠道和收集方法就有所不同,前者的信息收集渠道主要是培训计划制订的参与者,收集方法是与参与制订培训计划的相关人员进行沟通面谈,并争取得到与培训计划相关的所有资料和培训计划本身,而后者的信息收集渠道和信息收集方法则涉及的更加广泛。
培训评估需要的信息来自于不同的渠道,信息形式有所不同,因此有必要对收集到的信息进行分类。并根据不同的培训评估内容的需要进行信息归档,同时要制作专用表格对信息进行统计,并利用直方图、分布曲线等工具.以生动的图像显示出各种统计指标的变化趋势和分布状况。
(五)信息收集过程中的沟通技巧
收集信息的访谈过程是一个耗费时间的过程,如果时间短暂,设计、准备不充分则会导致不能全面、深入地了解被访谈者对于主题的看法,致使访谈达不到预期的效果。在效果信息访谈中,匆忙地进行访谈,除了达不到目的之外,还很可能使被访谈者感到自己不受重视,自己的意见没有得到充分的尊重,对于访谈的积极性降低。久而久之,被访谈者势必会对访谈产生抵触心理,敷衍了事。因此,在访谈前做好充足的准备,包括了解被访淡者相关信息、设计访谈方案、合理安排时间和地点等,绝对不打“无准备之战”。
一般来说,可根据访谈对象的实际情况,进行有针对性的访谈。
1.培训结束回到工作岗位后的访谈。
首先,培训结束后一段时期,需要通过调查参训者的工作效益来评定培训成效。如培训后每隔6个月,以实地访问的方式了解受训者受训后在工作上的获益情况。
其次,受训员工回到工作岗位一段时间后,访问受训者主管或下属,了解他们对受训员工工作表现的看法,如人事主管人员是否认为受过培训的员工的工作有进步,根据所得意见来评定培训的成效。无论是主管还是下属的意见,均为评定受训者培训成效的重要依据。
最后,根据受过培训与未受培训的员工工作效率的比较来评定培训成效。
2.培训结束时的个人访谈和集体会谈。
首先,了解受训者在接受培训后的个人收获,以及对培训效果的满意度等。
其次,了解员工关于培训的改进建议。培训结束时把调查表发给受训员工,征求他们对培训的意见,如员工确能提出有价值的改进建议或其他意见,则表示培训已获得应有的重视,并且受训者具有更深的认识,可断定培训已有成效。
最后,了解培训期间出席人员的变动情况。在培训期间,应随时了解询问培训的进行情况及受训人员对培训教学效果的反应并收集相关信息,根据主持培训及协助培训的人员的总结报告等来评定培训成效。
六、培训效果的跟踪与监控
为了保证培训取得预期的效果,就必须对培训进行全程监控和评估。对培训进行全程监控,可以保证培训活动按照规划进行,保证及时解决培训过程中出现的问题,还能够将各种影响培训效果的因素记录下来,以便在以后的培训中加以改进和提高。
由于培训监控牵涉面广、影响因素多,所以对培训效果的跟踪与反馈应从以下几个方面进行。
(一)培训前对预期培训效果的分析对受训者进行培训前的状况摸底,了解受训者在与自己的实际工作高度相关的方面的知识、技能和能力水平,目的是为了与培训后的状况进行比较以测定培训的效果。如果培训的内容比较单一,摸底也没有必要在很大的范围内进行,只需在与培训内容相关的方面进行即可。
(二)培训中对培训效果的监控与评估
1.受训者与培训内容的相关性。培训要取得预期的效果,就必须保证培训内容与受训者实际需求的合理衔接,即把培训提供给那些真正需要这些培训的人员。实际运作中的衔接方式有两种:一是先定培训内容,再根据培训内容选择受训者,如财会培训班;二是先定受训者再定培训内容,如经理培训班。对前者就要审视受训者的选择是否合理,对后者就要根据培训前的摸底情况审视培训内容的设计是否恰当。
2.受训者对培训项目的认知程度。根据成人教育理论。只有当受训者对培训项目的内容有了充分的了解,他才可能对培训产生兴趣.具有参与培训的积极性。因此,为了提高受训者的参与意识,培训的组织者就应该采取适当的措施,向受训者宣传此次培训活动的目的、内容、进程和方式方法,让受训者相应调整自己的态度和行为。此时要监测受训者对培训的参与热情和持久性,在培训过程中的出勤率和教学合作态度等诸多方面的表现。
3.培训内容。监控的目的是及时发现实际提供的培训内容与计划的培训内容之间的差异,保证实际提供的培训与计划高度一致。差异主要表现为内容缺失或不完整、培训内容错位或非标准化等。导致出现这种差异的原因可能是:培训项目的管理机构或人员没有严格按照计划实施培训;计划中的培训内容没有得到受训者的认同,从而在执行中走了样;不同项目之间的交叉或相互影响,从而对培训内容作了调整;外部环境的干扰。一般情况下,应该保证培训按照计划进行,除非有充分的理由证明调整和改变的必要性。
4.培训进度和中间效果。监控培训进度能够保证培训项目在时间进度和资源投入进度方面与计划保持一致。监控中间效果能够评估受训者在不同培训阶段的提高和进步幅度。及时发现受训者取得的进步以及与计划预期的差距并采取补救措施。如果只是在培训结束后才来检查,即使发现问题也为时已晚。这种监控在大型培训项目中,特别是那些连续性很强的培训项目中非常重要。
5.培训环境。根据学习转换理论,规划时一般都会使培训的实施环境与受训者的工作环境尽量相似,以保证培训效果得到的转换,因此,在具体培训实施过程中,就需要及时分析受训者的实际工作环境的变化,调整培训的实施环境,以保证培训适应新环境下的新需求。
6.培训机构和培训人员。包括培训的管理人员和培训教师。培训的管理人员和培训教师都是培训的具体执行者,培训最终效果的好坏与他们的工作密切相关。评估的内容主要是他们的行为表现,如管理人员的工作积极性、合作精神、领导能力和沟通能力,教师的教学经验、能力、方法等。评估主要是为了保证培训机构和培训人员有能力做好培训,使其满足真正的需要。
(三)培训后的效果评估
在培训结束后评估培训究竟发挥了多大效果.培训使企业和受训者的行为发生了多大程度的改变。效果评估是培训评估的重点,主要包含以下几个层次。
1.评估受训者究竟学习或掌握了哪些东西。可以以考卷形式或实地操作来测试。这时就需要把测试结果与培训前对受训者的摸底情况进行对比分析。
2.评估受训者的工作行为有了多大程度的改变。即受训者把在培训中学到的知识技能是否有效地运用到工作中去。如果受训者在培训中学到的知识技能未能有效地运用到工作中去,培训也就没有发挥作用。
3.评估企业的经营绩效有了多大程度的改进。如果一项培训达到了改进受训者工作行为的目的,那么这种改进是否有助于提高企业的经营业绩呢?提高企业的经营业绩是企业投资培训的真正目的。
(四)培训后的管理效率
评估培训需要高层领导的大力支持,而取得高层领导支持的最有效的方式就是提供一份详细的培训项目评估报告,让他们知道自己的投资得到了什么样的回报。只有当他们获知培训收益后,他们才会给予有力的行政支持和资金保证。效率评估除了向高层管理人员汇报外,也是对培训部工作的一个很好的总结,有助于提高培训效率。通过效率评估,可以与以前的培训效率进行纵向对比,与不同企业之间的培训效率进行横向对比,与企业实际达到的效率和应该达到的效率进行基准对比,从而找出差距和改进措施,进一步提高培训质量。
七、培训效果评估的实施
(一)培训效果综合评估要求
通过一个有效的测评,可以对培训效果进行正确合理的判断,以便了解某一项目是否达到原定的目标和要求,判断受训者知识、技能的提高或行为表现的改变是否直接来自培训的本身,可以找出培训的不足,归纳、总结出教训,以便改进今后的培训,通过评估能发现新的培训需求,从而为下一轮的培训提供重要依据。同时还能培养受训者对培训活动的兴趣,提高他们参加培训活动的积极性和创造性。通过评估可以较客观地评价培训者的工作,培训的效果反映了培训者的水平和对待培训的态度。也可以正确地对培训者进行绩效评估,会引起企业其他人员对培训结果的重视,从而激发了对培训积极投入的热情。
通过对培训效果的综合评估,可以给出整个培训工作开展的尺度。其恰当与否,对某一培训活动的成败乃至整个培训工作都有极大的影响。由于测评目的和测评时间不同,测评的标准和办法也会有相应的变化,但必须以培训目标为基础,与培训计划相匹配,可操作性强,并在一定时期保持稳定。
培训有效性的要求至少应包括以下几个方面。
1.明确评估目的。评估是为了检验培训方案的有效性,一般需要测评以下几个问题。
(1)培训目标定得合理吗?
(2)培训是否达到了预期目标?
(3)哪些目标没有达到?需要采取什么样的补救措施?
2.确定评估项目及评估内容。对培训效果的评估可以概括为以下四个方面。
(1)受训者对培训计划的满意度。例如,受训者是否喜欢这次培训,他们是否认为培训师很出色,是否认为这次培训对自己很有帮助,认为这次培训有哪些地方需要改进等。
(2)受训者的知识收获。判断他们与未受训者相比,受训后是否掌握了较多的知识,学到了预期应学到的原理、技能。
(3)受训者个人工作绩效的改善。可以通过上级、下级、同事、客户等相关人员对受训者的业绩进行评估测定,主要测定受训者在受训后工作行为是否有改善,是否运用了培训中的知识、技能,是否在交往中态度更加友善。例如,商店投诉部门的雇员对待投诉顾客的态度是否有所转变等。
(4)受训者对组织绩效的贡献。可以通过事故率、产品合格率、产量、销售量、成本、利润等指标以及顾客抱怨投诉的数目文件等,借以确定培训结果是否已经对组织绩效产生了有利的影响。
3.培训评估方式的设计。的设计一般有以下三种方式。
(1)前测试:表明受训者的知识、技能或绩效的培训前水平。
(2)后测试:表明受训者的知识、技能或绩效的培训后水平。
(3)控制群体:控制群体中除了人员没有经过该培训以外,构成上与经过培训的群体是完全相同的。
在设计培训工作和考虑评估细节时应注意以下两点:一是把尽可能多的评估放到培训过程中去进行,这样可适当降低事后评估重要性(对回到岗位后的学员进行跟踪调查除外)。在培训过程中进行几次业绩测评常能取得满意的结果,这比培训结束后对学员进行考试要省时得多。二是在决定实施培训时就确定评估方法,这样培训结束后就能较快地完成评估工作。
(二)培训效果的评估工具
1.问卷评估法。一份优秀的问卷通常具备以下特点:以工作目标为基础;与培训目标紧密相连;与受训者的培训内容有关;关注培训中的主要因素,如培训师、培训场地、培训教材等和培训主要环节;评价结果容易数量化;能鼓励受训者真实反映结果。
评价问卷没有统一的格式,题目也不固定。评估人员可根据评估目的、评估要求和评估重点自行设计。
2.360度评估。360度评估的核心特征:一是全方位、多角度,评估者由上级、同事、下级、客户以及被评估者本人共同构成;二是可以动态地检查发展效果;三是重视信息反馈和双向交流的理念;四是减少误差,实事求是。360度评估的理论基础是真分数理论,目的就是为了追求“真分”,追求最小的误差,追求实事求是。
在培训前使用360度评估工具,可以评估工作者的行为胜任素质,确定行为素质上需要弥补和提升的方面,诊断发展需要,作出正确的培训选员决策,有效降低培训风险;在培训后可以动态地检查受训者培训,成果的转化与应用状况,以便后续及时调整发展目标及规划,提升培训管理工作的质量。
3.访谈法。采取访谈方式或者集体讨论方式,通过面对面的交流分享、互相启发,往往能够达到意想不到的效果。可以询问的问题有“本次培训有什么收获?”“培训过程中有什么困难?”“现在工作有什么障碍?”“对今后可能的培训有什么需求?”等。应以明确、细致的问题为主,不可以问太抽象的问题,这样会使员工感到无所适从。具体包括以下程序。
(1)明确需要采集的信息。进行访谈前要有明确的目的。通过确定目标,然后将其层层分解,利用思维导图或其他方式确定要采集的信息,一定是关键且具有影响力的。其他的相关信息,或许与目标有一定程度的联系,只要不是重要的信息,可以不进行采集。
(2)设计访谈方案。明确需要采集的信息之后,就可以根据这些信息的种类选择适当的访谈方案。对于基本信息,可以采取问卷调查方式;对于开放式的问题,则进行面对面的交流,这样获得的信息更准确、更有价值。面对面交流时,也要考虑被访谈者的反应情况,确定哪些问题是可以当众询问,哪些应该私下进行的。这时,公司应该尽量扩展沟通的渠道,增强访谈方案的可选择性。
(3)测试访谈方案。确定访谈方案后,要尽可能地找出时间先在小范围内对访谈方案进行测试,对测试效果进行评估。如果基本符合事先预想的访谈效果,就可以在适当改进之后推广而行;如果效果与预期差距较大,就需要大篇幅地改动,必要时甚至要重新设计访谈方案,避免真正的访谈无果而终。
(4)全面实施。实施阶段是整个访谈过程中至关重要的一环,如果出现差错就可能将之前反复精心准备的访谈毁于一旦。在实施过程中要注意两点:一是时刻按照计划,全面地展开访谈,不能脱离计划夸夸其谈,不要哕唆;二是要随时注意被访谈者的反馈信息,善于引导,调动其积极性,掌握访谈的主导地位。
(5)进行资料分析。至此,访谈工作进入最后一个环节——分析。分析过程需要放弃前文提到的“多因多果”思维方式。另外,还需要注意的是,对于每个接受访谈的人都应该给予的尊重,最基本的尊重就是保密原则,尤其是一些个人敏感信息,不仅要做到不对外泄密,在内部也要对无关的人进行保密。一旦这些信息不慎泄露,不论是否造成恶劣影响,对于被访谈者的访谈积极性都会造成打击。
4.测验法。培训过程中,受训员工在参加培训前后各进行一次测验,可根据测评的结果进行对比分析。信度高的测试是指受训者对测试题目的理解和解答在经过一段时间后并没有发生改变。它可以使受训者相信,相对于培训前,培训后测试分数上的提高是由于在培训项目中进行了学习,而不是因为测试特点(如第二遍看题时更易理解)或测试环境(如受训者之所以能在培训后的测试中表现得更好,是由于教室更舒适、更安静)等其他因素。
由于受训者培训前后的行为和态度的变化,不仅仅取决于培训过程和本身,还取决于组织环境的变化、培训期间个体的成熟程度、受训者对培训的认知等多种因素的复合作用。因此,必须设法从诸多变量中区分出培训本身的影响,主要方法有以下两种。
(1)前测与后测。提高培训信度的一个方法是首先建立培训成果的基准线或进行培训前测量,培训后,在相同的环境下进行有关成果的另外一次测量,能够说明受训者由于参加培训而改变的程度。如果后测的环境显然优于前测的环境,则测试结果的信度必然会低。
(2)利用对照组,避免霍桑效应。霍桑效应指在评估中,雇员仅仅因为受到关注而表现出高绩效的现象。对照组是指不参加培训项目的一组员工,但是他们会受到相同的对待,前测与后测使用的仪器相同,经历时间相同。
而且他们具有与受训者相似的条件,如性别、年龄、受教育程度、在职年限、技能水平等,因此。他们在企业受到的关注度差别不大。在培训评估中,运用对照组有助于排除培训之外的因素对成果衡量尺度的影响。运用对照组,能够确认观察到的雇员的成效是由培训引起的,而不是因为受到了关注。如果被测者的前后测试环境相同,就有可能出现霍桑效应。
测评时,对受训组和对照组在培训前后分别进行安全行为测量,并且给予对照组和受训组同样的领导关注度,如果受训者的安全行为水平较培训前有所提高,而对照组在培训前后没有什么变化,或者变化程度明显弱于受训组,那么合理的结论就是:培训导致了员工的行为发生了好的变化,而不是受训组受到领导的关注导致了这一变化。
附加一个对照组,会给培训增加成本,而且还需要考虑将哪些雇员归入受训组和对照组,一个途径是在明确受训者之后,对他们的特点进行描述,确保对照组中的成员有相同类型的特征;另一个途径是可以采用随机抽样法,由于一般不太容易衡量所有能够影响培训成果尺度的个性特征,只能通过随机抽样,确保这些特征均匀分布在受训组和对照组。
正在阅读:
2016年企业人力资源管理师三级教材:员工培训的有效性评估05-15
小学六年级毕业典礼主持词_六年级毕业典礼主持词3篇07-17
公司员工个人述职报告范文3篇,单位员工个人述职报告范文10-18
[2017年11月青海省海南藏族自治州美食大赛]2017年11月青海秘书资格成绩查询时间03-12
小学信访工作计划格式04-13
2019年新疆中考查分入口:2019年重庆中考查分时间11-11
我的奋斗目标初一作文500字三篇10-06
2019上半年吉林幼儿教师资格证准考证打印入口:中国教育考试网09-30
初一英语作文:Lifeinthedormitory07-02