基于层次分析法的三创赛综合评价模型研究
国琪红 孙国栋
摘要：三创赛等科技创新类竞赛是培养大学生创新创意能力的最有效途径之一，但由于创新评价的主观性和不确定性，建立科学、公平和综合的评价指标体系尤为重要。本文以科技创新类比赛的评价指标为依据，从评价三创赛参赛作品的三大因素，即方案内容、项目创新和答辩表现入手，总结出三创赛综合指标评价体系，并运用层次分析法（简称“AI-IP法”），对三创赛综合评价模型进行了说明，最后通过三个三创赛参赛作品实例对模型的有效性进行阐述和评价。
关键词：三创赛 评价模型 层次分析法 科技创新
中图分类号：G40-01 文献标志码：A
随着高新技术的不断发展，社会对创新型人才的需求越来越迫切。国内外学者一致认为参加大学生科技创新类竞赛，如“三创赛”“互联网+”“挑战杯”等，是培养大学生创新创意能力的有效的途径之一，此类创新类竞赛也越来越受到高校和企业的重视。
此类科技创新比赛参与人数多、涉及范围广、影响作用大，评价指标的好坏直接影响到评比的客观性、公平性和综合性。因此，竞赛的评价指标建立及优化問题引起了国内外研究学者和研究机构的广泛关注。
李是良等通过调查分析在校大学生对学科竞赛的了解，从学习分析、批判创造、综合实践3个方面构建学科竞赛对大学生创新能力培养作用的指标体系，并对各指标进行云模型的定量和定性评价。林晓等就创新竞赛和大学生创新能力培养的关联关系进行了研究。刘丽等提出了学科竞赛创新创业能力培养的基本思路。孙涛等使用逼近理想点法对学科竞赛的重要性评价进行研究。刘卫锋等通过建立建立了大学数学建模竞赛论文评价的AHP群决策数学模型，为评价大学数学建模竞赛论文提供一种科学、有效、实用的方法。李吉庆等运用模糊层次分析法来对创业项目的评价选择做出分析，为大学生更为科学地选择创业项目，为创业计划书的撰写、评审和运作提供一种新方法。
全国大学生电子商务“创新、创意及创业”挑战赛是激发大学生兴趣与潜能，培养大学生创新意识、创意思维、创业能力以及团队协同实战精神的学科性竞赛。三创赛有利于教学与科研的有效结合。虽然三创赛官方已发布竞赛评分细则，但各评价指标具有模糊性和主观性且针对此类科技创新类竞赛的评价指标体系研究较少。为了促进选拔的公正性，本文采用管理决策层次分析法建立三创赛综合指标评价体系，使得基于三创赛等科技创新类竞赛作品的评审更加科学、客观、合理。
1构建三创赛综合指标评价体系
通过对三创赛官方的评分细则与其他相关科技类创新竞赛的评价指标体系的分析，结合层析分析法的原理，遵循重点突出、定性与定量结合、科学性与可行性的原则，建立了三创赛综合指标评价体系模型（如图1）。
该模型从上到下共分为三层，最上层是目标层，只有一个元素即要分析的预定目标和理想结果（三创赛综合指标评价体系）。中间层为准则层，在这里为三层，分别为方案内容（B1）、项目创新（B2）和答辩表现（B3）。最底层为方案层，这一层包括了为实现最高层而做出的具体措施，有整体结构层次性与科学性（C1）、数据、例证真实性（C2）、内容实用性（C3）、方案可行性（C4）、选题创新性（C5）、营销策略创新性（C6）、技术创新性（C7）、创新的商业成熟度（C8）、陈述思路明确、重点突出（C9）、语言简洁性、流畅性（C10）、回答问题针对性、准确性（C11）和团队配合默契程度（C12）。各个指标含义，见表1。
2三创赛综合评价指标权重的确定
2.1构造判断矩阵
根据AHP打分规则，针对上一层的一元素，进行两两比较。例：B1方案内容（纵向因素）与B2项目创新（横向因素）相比，相同重要，则打分为1；若绝对重要则打分9；反之B2项目创新与B1方案内容相比绝对重要，则打分为1/9。由来自企业、高校、三创赛承办方的三名专家进行评分，可以得到三名专家的判断矩阵。判断矩阵1-9比较尺度，见表2。
随机选择一名专家基于总目标A的三项指标B1、B2、B3的判断矩阵如下：
2.2计算判断矩阵的权重
首先将判断矩阵P进行归一化处理。得到归一后的矩阵p
再将归一化的矩阵按行相加，再用所求得的和除以3，得到权重向量w
2.3进行一致性检验
已经n=3，查找平均一致性指标表，得出RJ=0.52。由公式CR=C.I/R.I=0.038<0.1.因此该矩阵通过一致性检验，可以达到满意效果。若未通过一致性检验，则对矩阵进行调整。
为提高数据的准确性、全面性，减少由打分主观性造成的误差。采取由企业、高校、三创赛承办方各一名权威专家进行打分，并算出三名专家所构造的判断矩阵的权重和进行一致性检验。
2.4层次总排序及一致性检验
随机抽取一个专家，以专家1为例，采取由上至下的方式，计算出总的权向量，如表3、4、5、6所示。
通过上述计算后，对三位专家的评价指标的权重求加权平均数，得到权重集如表7。
由表7可以看出，方案内容、项目创新、答辩表现三部分中，方案内容在整个评价指标体系中占比最大，高达64.5%。在方案内容部分中，最重要的是整体结构层次性与科学性占比26.6%，方案可行性占比23.7%。说明在三创赛的选拔中，选手必须充分重视计划书的编写，尤其是计划书是否完整、框架是否合理以及方案的应用前景、可操作性与合理性。项目创新所占比重为25.4%。说明一个项目若想获奖，必须满足大赛的要求即“创新、创意及创业”，其中方案所使用的技术创新占比7.3%是评委最为看重的因素之一，要求参赛团队关注时事热点，挖掘细节中好的创意，并采用一些创新的技术手段进行分析。最后是答辩表现，在方案内容、项目创新的前提下，答辩者语言的简洁性、流畅性占比4.7%也十分重要。
3实例分析
本文以3个三创赛参赛作品为例，利用三创赛综合指标评价体系进行综合测评。评价小组成员由企业高层、三创赛评审成员和高校三创赛专家等五人组成。采用专家评价小组对参赛作品各评价指标进行打分，并求出综合分数。作品1评分，如表8所示；作品2、作品3同上。
根据计算作品1的平均分数为8.4324，作品2平均分为9.041，作品3平均分为8.1906。最终，根据综合评价模型，三个参赛作品的综合指标排序为.作品2>作品1>作品3。
随着科学技术的发展和社会对大学生创新能力的需要，三创赛等科技创新类竞赛越来越受到社会、企业和高校的重视。本文首先使用层析分析法建立了三创赛综合指标评价体系并进行求解，其次给出模型建立的具体步骤，建立判断矩阵并确定了各指标的权重w，最后采用三个三创赛参赛作品为实例进行专家打分，验证了评价指标体系的客观性和准确性。本文提出的三创赛综合指标评价体系，对三创赛及高校创新创意类项目的评审具有一定的借鉴意义。
摘要：三创赛等科技创新类竞赛是培养大学生创新创意能力的最有效途径之一，但由于创新评价的主观性和不确定性，建立科学、公平和综合的评价指标体系尤为重要。本文以科技创新类比赛的评价指标为依据，从评价三创赛参赛作品的三大因素，即方案内容、项目创新和答辩表现入手，总结出三创赛综合指标评价体系，并运用层次分析法（简称“AI-IP法”），对三创赛综合评价模型进行了说明，最后通过三个三创赛参赛作品实例对模型的有效性进行阐述和评价。
关键词：三创赛 评价模型 层次分析法 科技创新
中图分类号：G40-01 文献标志码：A
随着高新技术的不断发展，社会对创新型人才的需求越来越迫切。国内外学者一致认为参加大学生科技创新类竞赛，如“三创赛”“互联网+”“挑战杯”等，是培养大学生创新创意能力的有效的途径之一，此类创新类竞赛也越来越受到高校和企业的重视。
此类科技创新比赛参与人数多、涉及范围广、影响作用大，评价指标的好坏直接影响到评比的客观性、公平性和综合性。因此，竞赛的评价指标建立及优化問题引起了国内外研究学者和研究机构的广泛关注。
李是良等通过调查分析在校大学生对学科竞赛的了解，从学习分析、批判创造、综合实践3个方面构建学科竞赛对大学生创新能力培养作用的指标体系，并对各指标进行云模型的定量和定性评价。林晓等就创新竞赛和大学生创新能力培养的关联关系进行了研究。刘丽等提出了学科竞赛创新创业能力培养的基本思路。孙涛等使用逼近理想点法对学科竞赛的重要性评价进行研究。刘卫锋等通过建立建立了大学数学建模竞赛论文评价的AHP群决策数学模型，为评价大学数学建模竞赛论文提供一种科学、有效、实用的方法。李吉庆等运用模糊层次分析法来对创业项目的评价选择做出分析，为大学生更为科学地选择创业项目，为创业计划书的撰写、评审和运作提供一种新方法。
全国大学生电子商务“创新、创意及创业”挑战赛是激发大学生兴趣与潜能，培养大学生创新意识、创意思维、创业能力以及团队协同实战精神的学科性竞赛。三创赛有利于教学与科研的有效结合。虽然三创赛官方已发布竞赛评分细则，但各评价指标具有模糊性和主观性且针对此类科技创新类竞赛的评价指标体系研究较少。为了促进选拔的公正性，本文采用管理决策层次分析法建立三创赛综合指标评价体系，使得基于三创赛等科技创新类竞赛作品的评审更加科学、客观、合理。
1构建三创赛综合指标评价体系
通过对三创赛官方的评分细则与其他相关科技类创新竞赛的评价指标体系的分析，结合层析分析法的原理，遵循重点突出、定性与定量结合、科学性与可行性的原则，建立了三创赛综合指标评价体系模型（如图1）。
该模型从上到下共分为三层，最上层是目标层，只有一个元素即要分析的预定目标和理想结果（三创赛综合指标评价体系）。中间层为准则层，在这里为三层，分别为方案内容（B1）、项目创新（B2）和答辩表现（B3）。最底层为方案层，这一层包括了为实现最高层而做出的具体措施，有整体结构层次性与科学性（C1）、数据、例证真实性（C2）、内容实用性（C3）、方案可行性（C4）、选题创新性（C5）、营销策略创新性（C6）、技术创新性（C7）、创新的商业成熟度（C8）、陈述思路明确、重点突出（C9）、语言简洁性、流畅性（C10）、回答问题针对性、准确性（C11）和团队配合默契程度（C12）。各个指标含义，见表1。
2三创赛综合评价指标权重的确定
2.1构造判断矩阵
根据AHP打分规则，针对上一层的一元素，进行两两比较。例：B1方案内容（纵向因素）与B2项目创新（横向因素）相比，相同重要，则打分为1；若绝对重要则打分9；反之B2项目创新与B1方案内容相比绝对重要，则打分为1/9。由来自企业、高校、三创赛承办方的三名专家进行评分，可以得到三名专家的判断矩阵。判断矩阵1-9比较尺度，见表2。
随机选择一名专家基于总目标A的三项指标B1、B2、B3的判断矩阵如下：
2.2计算判断矩阵的权重
首先将判断矩阵P进行归一化处理。得到归一后的矩阵p
再将归一化的矩阵按行相加，再用所求得的和除以3，得到权重向量w
2.3进行一致性检验
已经n=3，查找平均一致性指标表，得出RJ=0.52。由公式CR=C.I/R.I=0.038<0.1.因此该矩阵通过一致性检验，可以达到满意效果。若未通过一致性检验，则对矩阵进行调整。
为提高数据的准确性、全面性，减少由打分主观性造成的误差。采取由企业、高校、三创赛承办方各一名权威专家进行打分，并算出三名专家所构造的判断矩阵的权重和进行一致性检验。
2.4层次总排序及一致性检验
随机抽取一个专家，以专家1为例，采取由上至下的方式，计算出总的权向量，如表3、4、5、6所示。
通过上述计算后，对三位专家的评价指标的权重求加权平均数，得到权重集如表7。
由表7可以看出，方案内容、项目创新、答辩表现三部分中，方案内容在整个评价指标体系中占比最大，高达64.5%。在方案内容部分中，最重要的是整体结构层次性与科学性占比26.6%，方案可行性占比23.7%。说明在三创赛的选拔中，选手必须充分重视计划书的编写，尤其是计划书是否完整、框架是否合理以及方案的应用前景、可操作性与合理性。项目创新所占比重为25.4%。说明一个项目若想获奖，必须满足大赛的要求即“创新、创意及创业”，其中方案所使用的技术创新占比7.3%是评委最为看重的因素之一，要求参赛团队关注时事热点，挖掘细节中好的创意，并采用一些创新的技术手段进行分析。最后是答辩表现，在方案内容、项目创新的前提下，答辩者语言的简洁性、流畅性占比4.7%也十分重要。
3实例分析
本文以3个三创赛参赛作品为例，利用三创赛综合指标评价体系进行综合测评。评价小组成员由企业高层、三创赛评审成员和高校三创赛专家等五人组成。采用专家评价小组对参赛作品各评价指标进行打分，并求出综合分数。作品1评分，如表8所示；作品2、作品3同上。
根据计算作品1的平均分数为8.4324，作品2平均分为9.041，作品3平均分为8.1906。最终，根据综合评价模型，三个参赛作品的综合指标排序为.作品2>作品1>作品3。
随着科学技术的发展和社会对大学生创新能力的需要，三创赛等科技创新类竞赛越来越受到社会、企业和高校的重视。本文首先使用层析分析法建立了三创赛综合指标评价体系并进行求解，其次给出模型建立的具体步骤，建立判断矩阵并确定了各指标的权重w，最后采用三个三创赛参赛作品为实例进行专家打分，验证了评价指标体系的客观性和准确性。本文提出的三创赛综合指标评价体系，对三创赛及高校创新创意类项目的评审具有一定的借鉴意义。
