学术图书评价实证研究

    张艳丽+蔡继辉

    

    【摘要】对人文社会科学类学术图书的评价因其学科及成果形式的多样性、差异性造成评价对象具有较强的复杂性，从而受到国内外学界的广泛关注。本文以社会科学文献出版社应用性研究成果皮书的内容评价为案例，对皮书的评价指标、评价方法进行分析，提出可依据学术图书的表现形式进行分类评价、对专家的信度进行实证评估、学术出版社可作为第三方评价机构等建议。

    【关键词】学术图书；学术评价；同行评议；皮书；应用性研究成果

    【作者单位】张艳丽，社会科学文献出版社；蔡继辉，社会科学文献出版社。

    对人文社会科学类学术图书的质量进行评价一直是国家行政主管部门、出版机构以及学者关注的焦点，采用完善的学术图书质量评价指标、方法和流程，对人文社会科学类学术图书的学术价值进行综合评判，对提升学术成果的影响力、促进学术繁荣、推动学术研究的健康发展具有重要作用。根据学术图书的功能，人文社会科学类学术图书可以分为基础性研究和应用性研究两类。

    社会科学文献出版社出版的系列研究成果皮书是典型的人文社会科学领域的应用性研究成果。在新的时代下，皮书被赋予了新的功能定位。目前，我国出版的人文社会科学类学术图书总量在逐年增加，但总体水平不高几乎是公认的事实[1]。在此大环境下，社会科学文献出版社通过对皮书评价指标、评价方法和评价程序的实践，对我国人文社会科学领域应用性研究成果评价进行了积极的探索。

    皮书评价从2009年开始，参评皮书的数量逐年递增，在这个过程中，社会科学文献出版社对皮书的评价工作不断摸索，得到了课题组和社会各界的认可。目前，皮书评价已经成为某些科研机构进行资助与人员考核的重要标准。

    一、人文社会科学类学术图书评价方法综述

    1.国外人文社会科学类学术图书评价方法综述

    同行评议法是国外对人文社会科学类图书广泛采用的评价方法，在17世纪中叶英国皇家学会刊物的创刊时期开始使用，随即在其他国家的出版社也得到了广泛的应用。牛津、剑桥等大学出版社都有一套匿名评审、同行评议的规范流程对图书的准入进行评价。

    同行评议本是国外一种被普遍采用，并获得广泛认可的方法，但在实际操作中，往往因为多种原因导致过多的人为干扰使评审失去公允，很难保证评价的客观性。因此，国外人文社会科学界普遍呼吁更为客观的评价标准。科学计量学是19世纪60年代开始兴起的，普赖斯在其发表的学术专著中首次提出“引文分析”，学术图书评价也逐渐开始采用引文评价。随着引文评价被广泛采用，学者对引文评价提出了质疑，Mohammadi和Thelwall认为引文评价受读者人数的影响[2]。

    同行评议存在结果差异大、缺乏公平性等问题，引文评价在全面判定一个学术成果的品质时也存在一定的局限。因此，国外一些学者认为可以采用引文评价与同行评议相结合的评价方式。Kousha和Thelwall对人文社会科学类的图书评价进行了专业性的研究，认为可以采用引文指标和通常的学术评价指标同时对人文社会科学类图书进行评价[3]。Kayvan等强调了引文评价方式可以为同行评议提供更多的参考信息[4]。

    2.国内人文社会科学类学术图书评价方法综述

    国内人文社会科学类成果评价的发展，经历了从较为单一的同行评议到同行评议与文献计量分析相互补充的综合评价演变过程。20世纪80年代，同行评议机制被正式引入国内，此后，同行评议被大量应用到人文社会科学成果的评价中，国内一些著名的图书评奖，如中国出版政府奖的“图书奖”、“五个一工程”奖的“一部好书”奖、中华优秀出版物奖的“图书奖”均采用了同行评议的方式。

    我国自20世纪80年代引入引文分析并开始用于期刊评价，随后引文评价期刊的方式逐渐被引入对学术图书的评价中[5]。苏新宁等运用引文分析对中国人文社会科学图书的学术影响力进行了分析[6]。

    国内学者认为，不论是引文分析还是同行评议，均不能够客观、公正地对学术图书进行评价[7]，引文分析与同行评议的有效结合才是最佳的评价方式。刘建辉认为，对学术成果评价的方法可以采用多种方式，既要完善引文分析法的应用，又要巩固同行专家评价方法的主体地位[8]。在面对复杂的评价对象和评价问题时，既需要定性评价，又需要定量评价，因此综合评价成为科学评价的首要选择。

    二、皮书作为智库报告在当下中国被赋予新的功能定位

    1.皮书的起源与发展

    皮书最早是以白皮书的形式出现在18世纪的英国，而皮书作为一种出版形态，最早是由社会科学文献出版社社长、中国社会学会秘书长谢寿光提出并践行的，是从该社出版的蓝皮书、黄皮书、绿皮书综合演化而来的，由一系列权威研究报告组成。1991年，国内经济蓝皮书作为正式出版物公开出版发行[9]。随着皮书在国际、国内影响力的日益增大，皮书这一称谓在社会上得到广泛流传，分为蓝皮书、绿皮书、黄皮书系列，内容涉及经济、社会、文化、行业、国际问题、地方发展等多个领域。

    2.新时代赋予皮书新的功能定位

    智库是国家软实力的重要组成部分，随着社会形势的演变，智库在政府决策、引导理论、传递中国话语等方面发挥着重要的作用。皮书作为一种专题性研究报告，以定期连续发布的方式，通过媒体的话语转换和传播引导社会舆论，引起决策者的关注和吸纳，最终影响决策，基本上涵盖了智库的主要功能和作用方式。目前，皮书研创出版已经成为中国特色新型智库建设的重要抓手和智库成果重要的发布平台。

    三、皮书发展回顾及评价作用凸显

    1.皮书发展回顾

    1996年11月，社会科学文献出版社出版了第一本经济蓝皮书，即《1997年：中国经济形势分析与预测》。近20年来，皮书的社会知名度不断提升，皮书的种类也不断增加，从原来的几种发展到目前的300余种。目前，皮书系列不仅发展成为社会科学文献出版社的核心品牌，更是中国社会科学界的知名品牌。

    2.皮书评价的作用愈发凸显

    随着皮书作为社会科学研究成果权威出版平台地位的凸显，越来越多的科研团队加入皮书的研创与编撰。皮书是应用对策类研究报告中影响力比较大、出版数量比较多的年度性研究报告。然而，皮书并非一般的应用型研究成果，它对时效性、前沿性、实证性的要求很高，这种出版周期短的特点对研创团队提出了更高的要求。随着出版周期逐渐缩短，少数皮书的学术图书质量逐渐出现了一系列的问题，包括内容质量不高、主题与上年重复、学术规范有待加强、重复率过高等，有价值的研究报告所占比重不断下降。皮书存在的质量问题，也是大背景下人文社会科学类学术图书存在的普遍问题，对皮书进行评价对提升皮书质量具有重要的促进作用。

    鉴于大环境下人文社会科学类学术图书的学术质量以及皮书的出版状况，对皮书内容质量进行系统评价的作用进一步凸显。皮书评价工作自2008年开始，至今已连续开展了10年。为了更加专业、持续地对皮书进行评价，社会科学文献出版社于2009年成立了皮书评价研究中心，于2014年更名为皮书研究院。皮书评价得分及排名在2008年“第九次全国皮书工作会议”上首次发布以来，参评的皮书数量逐年递增，截至2015年，皮书参评数量达308种。一方面，皮书评价通过找出问题供课题组参考，为下一年度的皮书研创提供改进思路；另一方面，皮书的评价结果得到了广泛的应用。目前，不仅皮书评价是皮书能否进入中国社会科学院创新工程的关键指标，皮书分级资助的最主要标准也是皮书评奖与淘汰的重要衡量依据。

    四、评价指标的演变发展

    皮书的评价指标体系从最初的设立，到经过多年的摸索和修正，目前已经形成一套比较完整的评价指标体系。如图1所示。

    五、皮书内容评价的特点

    一个成熟的评价体系不是理论思辨的结果，而是在实践互动中逐渐摸索、修正形成的。社会科学文献出版社的皮书评价正是在多年不断对人文社会科学类应用性研究成果评价的探索中形成一套比较完善的指标体系。

    1.依据皮书特点分类设置皮书的评价指标

    在皮书内容评价指标的设置中，依据皮书学科领域的特征进行了分类设置。皮书按照学科领域分为经济、社会政法、文化传媒、行业、地方发展、国际问题等类别，依据皮书的不同类别，在指标设置时也有所差异。例如，对原创性指标的设置在地方发展类皮书中进行了弱化，对实证性指标在国际问题类皮书中进行了弱化。

    自2015年起，皮书的评价做了两个方面的调整：第一，考虑不同的学科特点，加分项部分设置了评价评级、社会调查以及模型分析与预测三项内容；第二，将科学计量方法引入皮书的评价中（科学计量包括多种指标，其中引文是最常用的一种），计算引文量的前提是在时间上有一定的积累，评价的是当年度的皮书，采用引文的方式显然不够合理，因此采用皮书数据库的下载率作为科学计量的指标。同行评议能充分发挥专家的特长和优势，文献计量则给专家评议的主观判断提供了客观数据参考，皮书的内容评价将同行评议与文献计量进行了比较好的结合。

    2.依据皮书的特色更加注重同行评议的细节设计

    皮书的主观评价指标采用同行评议的方式完成，在现实中很容易失去公正性和客观性，且评审结果不易被量化和比较。因此，对评价皮书的同行专家，社会科学文献出版社更加注意细节设计，具体包括：第一，成立皮书学术评审委员会保证同行专家的延续性。在组织专家对皮书内容进行评价的同时，针对皮书具有连续性的特征，自2010年起，设立了皮书学术评审委员会，每两年一届，这样确保同行专家对皮书的研创特点比较熟悉；第二，依据专家的学科进行分组评价，保证评价的专业性；第三，同行评议专家包括相关学科学者、学术期刊资深编辑、资深媒体人等，不同领域的专家对皮书的认知、掌握的信息量不同，对皮书的评价视角亦不同，保证了评价结果的客观性。

    六、皮书评价实践中对人文社会科学类学术图书评价的思考

    1.学术图书按照表现形式进行分类评价

    对图书进行分类的《中国图书馆图书分类法》是我国目前通用的图书分类工具，主要是依据学科的内容对图书进行划分，但此种分法并不适合对人文社会科学类学术图书的评价。评介人文社会科学类学术图书，建议依据表现形式对其进行划分。任全娥将人文社会科学研究成果分为论文类、研究报告类和著作类，并依据不同类型的研究成果设计了评价指标[10]。叶继元按照成果形式对学术图书进行了划分，包括学术著作、学术专著、学术论文汇编/论文集、某学科百科全书等工具书和学术随笔等[11]。

    2.对专家的信度可进行实证评估

    同行评议容易受到各种非学术因素的影响，进而影响评价信度。卜卫等认为评估者的信度包括整体信度和评委个人信度。其中评估者整体信度可以采用肯德尔系数来估计，测试评委的态度是否一致。对评委个人信度分析方法比较多，包括计算同质性系数、相关系数、建立回归方程以及因子分析法[12]。皮书评价不仅对评价指标进行不断的完善，在多年的探索中，对同行专家的评价方式、评价流程也在不断摸索和改进，以期能够提升同行专家的评价信度。从实证的角度对同行专家的信度进行评价，也是今后努力的方向。

    3.出版社作为第三方评价机构更具客观性

    皮书评价结果目前得到了课题组普遍的认可，一些课题组把评价结果作为当年度考核的依据，也有课题组对社会科学文献出版社的皮书评价指标和方法进行适当调整，运用到本单位的科研评价中。在目前的学术评价中，中介机构作为专业的独立评价机构，其最大的优势在于专业性和独立性，而学术出版机构更具有第三方评价机构的特征：第一，数据资源基础。在学术产品生产过程中，学术出版机构积累了大量的内容资源，这些数据构成了学术出版机构建立学术评价体系的基础资源；第二，学术出版机构是学术作品加工者（编辑）的组织者，创作者、消费者和加工者的集合使得出版机构拥有了坚实的同行专家基础。

    [1] 谢寿光.中国学术出版：现状、问题与机遇[J].出版发行研究，2013（5）.

    [2] Mohammadi E.， Thelwall M. Mendeley readership altmetrics for the social sciences and humanities： research evaluation and knowledge flows[J]. Journal Of The Association For Information Science And Technology，2014（8）.

    [3] Kousha K.，Thelwall M. The web impact of open-accesssocial science research[J]. Library and Information Science Research，2007（4）.

    [4] Kayvan K.， Mike T.，Somayeh R. Assessing the citation impact of books： The role of Google Books， Google Scholar， and Scopus[J]. Journal of the American Society for Information Science and Technology， 2011（11）.

    [5] 邱均平，王菲菲.社会科学研究成果综合评价方法研究[J] .重庆大学学报（社会科学版），2010（1）.

    [6] 苏新宁等.中国人文社会科学图书学术影响力报告[M] .北京：中国社会科学出版社，2011.

    [7] 叶继元，袁曦临.中国学术评价的反思与展望[J].中国社会科学评价，2015（1）.

    [8] 刘建辉.社会科学学术成果评价方法探析[J] .湖南大学学报（社会科学版）（3）.

    [9] 蔡继辉，张静鸥.皮书2012：价值与评价望[J] .中国图书评论，2013（2）.

    [10] 任全娥.文社会科学研究成果评价指标体系研究[J] .大学图书馆学报，2009（5）.

    [11] 叶继元 .学术图书、学术著作、学术专著概念辨析[J] .中国图书馆学报，2016（1）.

    [12] 卜卫，周海宏，刘晓红.社会科学成果价值评估[M] .北京：社会科学文献出版社，1998.