| 标题 | 组合评价和复合评价模型在学术期刊评价优越性的实证研究 |
| 范文 | 熊国经+熊玲玲+陈小山 〔摘要〕[目的/意义]由于传统的单一评价方法弊端愈加明显，笔者将通过实证研究证明组合评价及复合评价模型在学术期刊评价中相对于单一评价模型的优越性，为学术期刊评价提供更合理的评价视角。[方法/过程]单一评价方法是选择运用熵值法、因子分析法和TOPSIS法对学术期刊进行学术影响力评价，提出的组合评价模型原理是通过对这3种单一评价方法的结果进行Kendall检验，在具有显著性一致性的基础上建立模糊Borda组合评价模型进行组合评价，提出的复合评价模型的原理是通过熵值法的差异系数对因子分析的主因子方差贡献率和因子得分系数的修正，确定各指标的权重、构造加权规范矩阵，运用TOPSIS法进行综合评价。[结果/结论]实证研究表明，组合评价模型和复合评价模型与单一评价模型评价结果一致性较好，且组合评价模型和复合评价模型具有更好的区分度，相对于单一评价具有一定的优越性。 〔关键词〕学术期刊；单一评价模型；模糊Borda法；Kendall；组合评价模型；复合评价模型 DOI：10.3969/j.issn.1008-0821.2017.01.015 〔中图分类号〕G255.2；G644.4〔文献标识码〕A〔文章编号〕1008-0821（2017）01-0081-08 〔Abstract〕[Purpose/Significance]Because of the drawbacks of traditional single evaluation method becomes more obvious，it would prove through a combination of empirical research and evaluation of complex evaluation model in the academic journal evaluation with respect to the evaluation of the advantages of a single model，provide a more rational assessment perspective academic journal evaluation.[Method/Process]Single evaluation method was to choose to use entropy method，factor analysis and TOPSIS method to influence academic journal for academic evaluation，the combination of the principles of evaluation model proposed by these three single evaluation method Kendall test results in significant consistency on the basis of fuzzy Borda combination evaluation model combined evaluation，the principles of composite evaluation model proposed amendments was the main factor variance contribution rate and factor score coefficient by the coefficient of variation of entropy method of factor analysis to determine the index of weights，weighted normal matrix structure，using TOPSIS comprehensive evaluation method.[Result/Conclusion]Empirical studies had shown that a combination of complex evaluation model and evaluation model and a single evaluation model results were in good agreement，and the combination of complex evaluation model and evaluation model had better discrimination with respect to the single evaluation has certain advantages. 〔Key words〕academic journals；single evaluation model；based on fuzzy Borda method；Kendall；combination evaluation model；complex evaluation model 期刊評价一直以来都广受关注，其评价结果对于期刊的健康发展以及在学界影响力的导向都值得关注，重视期刊评价有助于进一步提高期刊学术影响力和期刊质量。从现有研究成果来看，期刊评价主要从评价指标和评价方法两个维度展开：①评价指标：单一指标、多项指标；②评价方法：单一、组合或复合。然而，由于期刊评价的复杂性，单一指标包含信息量的有限性，单一指标评价视角的单一性，易造成评价结果的片面性；因此多属性评价方法越来越广泛地应用于期刊评价[1-5]。王一华[6]和孙跃鑫等[7]以熵值法客观确定权重对期刊加权求和进行综合评价。辛督强等[8]、俞立平等[9]和吴涛等[10]对期刊进行综合评价发现因子分析可有效消除指标多重共线性问题。俞立平等[11-12]运用TOPSIS法对期刊影响力进行多属性评价。然而由于各种单一评价方法的机理不同，评价结果往往存在着差异，可信度、区分度不高等问题。对单一评价模型进行恰当组合或复合，取长补短，就可最大限度地运用更多的有效信息，使得评价结果更为合理，具有一定的实用性。“组合评价”，对几种评价方法的评价结果进行适当组合，得到最终评价结果。“复合评价”，对几种评价方法综合运用进行评价，得到惟一的评价结果。与组合评价相比，复合评价只有惟一评价结果，而组合评价是采取适当方法将几种评价结果变成惟一评价结果[13]。现有的组合评价模型有俞立平等[13]提出的基于结果一致度的组合评价。程慧平[14]在用Spearman方法验证了主成分分析与熵权TOPSIS法评价结果具有显著一致性的基础上，建立了模糊Borda组合评价模型，得到更具稳健性的评价结果。曾伟等[15]将均方根法、熵值法、主成分分析法和因子分析法4种单一评价模型通过Kendall检验建立了模糊Borda组合评价模型，得到更为科学可信的评价结果，且该组合模型具有较强的适用性。唐俊等[16]从概率的角度分析得出在适合的条件下Borda法的有效性优于Copeland法和平均值法。现有的复合评价模型有靖飞等[17]提出的因子理想解法，就是运用因子分析确定关键成分及其权重，再采取加权TOPSIS法进行评价。李创新等[18]用改进的熵值法修正由AHP得到的指标权重，并对各省旅游竞争力进行评价。吕红平等[19]运用灰色关联法确定关联度，并用熵值法对AHP确定权重进行改进，对城市竞争力进行实证分析。王道平等[20]针对AHP法权重确定存在的缺陷，结合熵值法进行了改进，改善了指标的鉴别效果。 基于此，文章通过建立学术期刊学术影响力综合评价指标体系，分别采用熵值法、因子分析法和TOPSIS法对35种自动化技术、计算机技术期刊进行单一评价，然后对其评价结果进行Kendall检验，在具有显著性一致性的前提下建立模糊Borda组合评价模型进行综合评价；另外提出一种新的复合评价模型，其原理是首先对原始数据进行标准化无量纲化处理，为使求熵值时对数有意义进行坐标平移正向化处理，其次通过熵值法的差异系数对因子分析的主因子方差贡献率和因子得分系数的修正，确定各指标的权重、构造加权规范矩阵，运用TOPSIS法进行评价。最后探讨组合评价模型、复合评价模型与单一评价模型评价结果的一致性以及区分度是否存在差异。 2实证分析 2.1评价指标的选取及数据来源 依据2015年《中国学术期刊影响因子年报（自然科学与工程技术）》及《中国科技期刊引证报告》系列标准，按照客观、全面、规范、准确性的原则，选取了影响力指数（CI）—X1、总被引频次—X2、影响因子—X3、他引影响因子—X4、5年影响因子—X5、即年指标—X6、可被引文献比—X7、被引期刊数—X8、互引指数—X9、引用期刊数—X10、可被引文献量—X11、基金论文比—X12、平均引文数—X13、Web即年下载率—X14、总下载量—X15共15个评价指标。其中“影响力指数（CI）”是2015年《年报》提出的由总被引频次和影响因子两个最具影响力的期刊评价指标，投射到“期刊影响力排序空间”，用向量平权的方法计算得到的综合指标。该评价指标同时考虑了期刊质量、历史、规模等因素，是反映期刊学术影响力状况的一个有效指标[21]。样本数据来源于2015年《年报》，剔除有缺失值的样本，按影响力指数从大到小选取了35种自动化技术、计算机技术期刊进行深入评价。 2.2单一评价模型分析 2.2.1熵值法评价模型 采用SPSS17.0软件，对数据进行规范化处理，按熵值法的原理计算可得各项指标的熵值ei、差异系数gi及权重ωi。结果如表1所示，计算各期刊综合得分及排序如表9所示。 2.2.2因子分析法评价模型 利用规范化处理的数据建立各指标相关系数矩阵，其中总被引频次与被引期刊数、总下载量的相关系数分别为0.954、0.962，影响因子与5年影响因子、他引影响因子的相关系数分别为0.971、0.936，被引期刊数与总下载量的相关系数为0.972，可得各指标间存在一定的共线性。进而对样本数据的样本充足性检验如表2所示： 由KMO和Bartlett检验结果知，Bartlett的球形度检验的P值为0.000，且KMO值为0.774，大于0.5，表明样本容量合符要求且樣本数据适合因子分析。求得特征值及方差累积解释率如表3所示，前3个成份的特征值分别为6.324、5.103、1.183，且解释了原始数据的84.061%变差。 而成份矩阵可反映各指标与主成份之间关系的密切程度，但由于主成份对某些指标的解释能力较弱，因此，我们对成份矩阵实施最大方差法旋转得到旋转成份矩阵，使得各指标在各主成份上有更大的载荷，以便于主成份的命名以及对指标的解释，如表4。 由表4可知总被引频次、可被引文献量、引用期刊数、被引期刊数、互引指数、总下载量在主成份2（F2）有较大的载荷；影响力指数、影响因子、他引影响因子、5年影响因子、平均引文数、即年指标和Web即年下载率在主成份1（F1）上有较大的载荷；虽然基金论文比在第一个主成分上的载荷略大于在第三个主成分上的载荷，但是将其和可被引文献比归为一类命名为比例指标较为合适。可被引文献比、基金论文比在主成份3（F3）上有较大的载荷。按算法特征对期刊指标进行分类，我们将主成份F2命名为累积规模指标，将主成份F1命名为篇均指标，将主成份F3命名为比例指标[22]。 依据表4可得各期刊成份得分的表达式： F1=0.159x1+0.056x2+0.156x3+0.153x4+0.152x5+0.145x6-0.044x7-0.039x8+0.053x9+0.117x10-0.069x11+0.026x12+0.0711x13+0.135x14+0.033x15 F2=0.120x1+0.196x2+0.014x3+0.026x4+0.015x5+0.028x6+0.155x7+0.046x8-0.080x9-0.049x10+0.131x11+0.195x12+0.136x13+0.028x14+0.198x15 F3=-0.318x1-0.017x2-0.082x3+0.049x4+0.008x5-0.183x6-0.080x7+0.676x8+0.433x9-0.064x10-0.084x11+0.029x12+0.212x13+0.117x14-0.021x15 再由旋转后的3个主成份的方差解释率（见表3）为权重加权求和，得出各期刊的综合成份值F： F=（0.42160F1+0.34017F2+0.07884F3）/0.84061 各期刊的成份综合得分计算结果及35种自动化技术、计算机技术期刊的排序，如表9所示。 2.2.3TOPSIS法评价模型 由规范化矩阵R=（rji）35×15计算最优解与最劣解（见表5）。再计算备选期刊与最优解和最劣解的距离及相对贴近度，并按Dj从大到小对样本期刊进行排序，如表9所示： 2.3组合评价模型分析 由表9可看出运用熵值法、因子分析法、TOPSIS法对35种自动化技术、计算机技术期刊的评价结果存在着一定的差异。若对单一评价模型进行恰当组合，取长补短，就可最大限度地使用更多的有用信息，使得评价结果更为合理。首先用Kendall法对这3种单一评价模型的评价结果进行一致性检验，检验结果如表6所示。 由表6可知Kendall Wa的值为0.992，卡方值为101.213，P值为0.000，表明3种方法的评价结果具有显著性一致性，则可运用模糊Borda法进行组合评价。按照模糊Borda法的基本步骤可算得35种自动化技术、计算机技术期刊的评价结果如表9所示。 2.4复合评价模型分析 由表1、表3及表4按复合评价模型构建原理可得复合评价模型的权重系数表如表7所示： 由表7所得各指复合标权重及规范化矩阵R=（rji）35×15构造加权规范矩阵并确定其最优解与最劣解如表8所示。再算备选期刊与加权最优解、最劣解的距离及相对贴近度，并按Dj从大到小对样本期刊进行排序，如表9所示： 由表9可知，组合评价模型、复合评价模型与单一评价模型评价结果存在一定程度的差异，但具有显著性一致性（见表10），组合评价模型与熵值法、因子分析法、TOPSIS法评价结果的相关性分别为0.997、0.995、0.993；复合评价模型与熵值法、因子分析法、TOPSIS法评价结果的相关性分别为0.988、0.979、0.986。从区分度（见表11）来看，模糊组合评价法的评价结果的离散系数为0.8963明显大于3种单一评价方法的离散系数，表明模糊组合评价模型的区分度更好；复合评价法的评价结果的离散系数为0.2238显大于熵值法与因子分析法的离散系数，略小于TOPSIS法的离散系数，相比而言复合评价的区分度偏高。对于极小值与极大值之比，模糊组合评价与复合评价模型的值分别为0、0.3028，均小于3种单一评价方法，表明模糊组合评价与复合评价模型的区分度更高。总体看来，组合评价模型、复合评价模型在与3种单一评价模型评价结果保持显著性一致性的基础上，区分度相对偏高。说明这两种模型的评价结果更具说服力，组合评价及复合评价模型在学术期刊评价中相对于单一评价模型具有优越性。 3结论与思考 文章运用熵值法、因子分析与TOPSIS 3種单一评价模型对35种自动化技术、计算机技术期刊进行综合评价，其评价结果存在一定的差异性，3种单一评价模型评价结果通过了Kendall检验，显示具有显著性一致性，在此基础上建立模糊Borda组合评价模型，该组合模型综合考虑了单一评价模型的评价结果的差异，取长补短，充分利用更多的有效信息，具有较高区分度，使得评价结果更为合理。另外提出了一种新的复合评价模型，其原理是通过熵值法的差异系数对因子分析的主因子方差贡献率和因子得分系数的修正，确定各指标的权重、构造加权规范矩阵，运用TOPSIS法进行综合评价。最终发现组合评价模型、复合评价模型与单一评价模型得到的期刊排序结果具有较高的一致性、且组合评价模型和复合评价模型比单一评价模型有更高的区分度，其评价结果更具合理性。 基于多项指标体系及部分样本数据的分析，运用复合评价模型和组合评价模型得出的结论还有待进一步的检验。选择合适的期刊指标、建立科学的评价模型对期刊学术影响力进行综合评价，仍然是一个值得深入研究的课题，只有不断完善评价指标体系和评价模型，在数据获取方面更好地避免主观性，采取科学取样的方法，方可使得评价更加有效，更加便于推广与应用期刊综合评价的科学方法。 参考文献 [1]邱均平，张荣，赵蓉英.期刊评价指标体系及定量方法研究[J].现代图书情报技术，2004，（7）：23-26. [2]俞立平，潘云涛，武夷山.学术期刊评价方法体系构建及相关问题研究[J].编辑学报，2009，21（3）：189-192. [3]Weingart P，Schwechheimer H.Conceptualizing and measuring excellence in the social sciences and humanities[C]∥United Nations Educational，Scientific and Cultural Organization，International Social Science Council.The 2010 World Social Science Report，France，2010：250. [4]Rousseau R，Leydesdorff L.Simple arithmetic versus intuitive understanding：The case of the impact fact[J].ISSI Newsletter，2011，7（1）：10-14. [5]Leydesdorff L，Bornmann L.Integrated impact indicators compared with impact factors：An alternative research design with policy implications[J].Journal of the American Society for Information Science and Technology，2011，62（11）：2133-2146. [6]王一华.中国大陆图书情报专业期刊的综合评价——基于熵权法、主成分分析法和简单线性加权法的比较研究[J].情报科学，2011，29（6）：943-947. [7]孙跃鑫，张全.基于网络出版的电子期刊的客观评价研究[J].现代情报，2013，33（1）：145-146，150. [8]辛督强，韩国秀.因子分析法在科技期刊综合评价中的应用[J].数理统计与管理，2014，33（1）：116-121. [9]俞立平，刘爱军.主成分与因子分析在期刊评价中的改进研究[J].情报杂志，2014，33（12）：94-98. [10]吴涛，杨筠，陈晨，等.基于因子分析法的科技期刊引文综合评价指标研究[J].中国科技期刊研究，2015，26（2）：205-209. [11]俞立平，潘云涛，武夷山.TOPSIS在期刊评价中的应用及在高次幂下的推广[J].统计研究，2012，29（12）：96-101. [12]俞立平，潘云涛，武夷山.修正TOPSIS及其在科技评价中的应用研究[J].情报杂志，2012，31（6）：103-107. [13]俞立平，潘云涛，武夷山.基于结果一致度的学术期刊组合评价研究[J].中国科技期刊研究，2011，22（1）：59-64. [14]程慧平.基于主成分分析与熵权TOPSIS方法的期刊学术影响力研究[J].情报科学，2015，33（12）：77-82. [15]曾伟，田时中，田家华.科技期刊学术影响力综合评价模型与实证[J].中国科技期刊研究，2016，27（3）：316-323. [16]唐俊，张明清.三种组合评价方法的有效性分析[J].计算机工程与设计，2009，（15）：3568-3572. [17]靖飞，俞立平.一种新的学术期刊评价方法——因子理想解法[J].情报杂志，2012，31（10）：22-26. [18]李创新，马耀峰，李振亭，基于改进熵值法的旅游竞争力模型与聚类分析[J].软科学，2007，21（6）：28-33. [19]吕红平，董正信，吴伟，等.河北省各城市竞争力研究[J].人口与发展，2008，14（4）：63-72. [20]王道平，王煦.基于AHP/熵值法的钢铁企业绿色供应商选择指标权重研究[J].软科学，2010，24（8）：117-122. [21]中国科学文献计量评价研究中心，清华大学图书馆.中国学术期刊影响因子年报（自然科学与工程技术）[M].北京：中国学术期刊（光盘版）电子杂志社，2015：1-94，105-194. [22]黄贺方，孙建军，李江.期刊影响力评价指标之间的相关性研究[J].情报科学，2011，29（9）：1322-1326. （本文责任编辑：马卓） |
| 随便看 |
|
科学优质学术资源、百科知识分享平台，免费提供知识科普、生活经验分享、中外学术论文、各类范文、学术文献、教学资料、学术期刊、会议、报纸、杂志、工具书等各类资源检索、在线阅读和软件app下载服务。