科协系统改革监测平台指标设计和软件平台建设
张昊东 陈锐 郑凯 吴善超 薛静 李兴川 武虹
[摘 要]为了深入贯彻党的十九大精神，根据《科协系统深化改革实施方案》和中国科协党组深化改革工作的安排，中國科协调宣部、创新战略研究院课题组设计建设了科协系统改革监测平台。该平台旨在建立推行关键绩效指标制度，引导培育用户导向、绩效评估的执行力文化。本文着重研究全国学会改革动态监测指标体系和平台建设等问题。
[关键词]科协系统改革 学会监测指标 监测平台
一、背景
习近平同志在中央党的群团工作会议[1]上的讲话阐述了群团组织“切实保持和增强政治性、先进性和群众性”的人民团体本质属性[3]，是指导新形势下党的群团工作的纲领性文献[2]。
为深入贯彻习近平总书记有关重要讲话精神，进一步密切与科技工作者联系，更好地发挥党和政府与广大科技工作者的桥梁纽带作用，根据中央全面深化改革的总体部署和《中共中央关于加强和改进党的群团工作的意见》要求，中共中央办公厅印发《科协系统深化改革实施方案》，中国科协印发了《关于深入贯彻落实〈科协系统深化改革实施方案〉的通知》[4]和《〈科协系统深化改革实施方案〉任务分解表》[5]。《〈科协系统深化改革实施方案〉任务分解表》共分为70项改革任务，每项改革任务都列出了具体举措、进度计划、分管领导、牵头部门和参与部门。
中国共产党第十九次全国代表大会是在全面建成小康社会决胜阶段、中国特色社会主义进入新时代的关键时期召开的一次十分重要的大会。为进一步掀起全国广大科技工作者深入学习宣传贯彻党的十九大精神热潮，更加自觉地把思想和行动统一到习近平新时代中国特色社会主义思想上来，结合《科协系统深化改革实施方案》、《中国科协2017年学会改革工作要点》[6]的工作部署，中国科协会同有关部门制定了一系列落实方案的具体举措，明确了时间表和路线图，选择了约50家全国学会进行治理结构和治理方式改革试点[7]，开展世界一流学会建设。在上海、重庆作为中央第一批改革试点的基础上，中国科协改革工作办公室评选出2017年地方科协深化改革工作试点单位，其中包括3家省级试点，13家地市级试点，15家县级试点[8]。
但是，在科协系统改革中，无论是全国学会，还是科协基层组织，在深改工作上还存在着突出的结构性问题，如“倒三角”的结构性矛盾突出、末端循环不畅、学会改革缺实招、改革措施上下一般粗、缺乏行之有效的工作平台和载体、改革进展不平衡[9]等。中国科协深化改革工作迫切需要构建一套深化改革动态监测体系。
二、研究思路
中国科协印发的《关于认真学习宣传贯彻党的十九大精神的实施方案》指出，在工作中要严督实导，确保实效，建立监测考核机制，总结推广典型经验，并将评估结果纳入关键绩效指标考核[10]。
为了建立推行关键绩效指标制度，引导培育用户导向、绩效评估的执行力文化，中国科协调宣部、创新战略研究院课题组以“改革导向、系统工程、数据驱动”为设计理念，设计和建设了科协系统改革监测平台。力争为科协深化改革构建独具特色的工作4.0体系，并着力体现三大突破，即体系突破、流程突破和应用突破，努力形成中国科协系统创新争先、主动作为的良性发展格局。
科协改革监测平台指标，坚持创新驱动的理念，具备前沿性、系统性和战略性，站在全球信息化进入全面渗透、跨界融合、加速创新、引领发展的新阶段，加强对大数据、人工智能、深度学习的应用，全面梳理当前相关国内外政策、技术、人才和资本等关键创新要素的新特征和新内涵。指标研究设计工作以实施创新驱动发展为战略导向，将技术创新、模式创新和体制机制创新紧密结合，同时还将科协系统深化改革工作与“大众产业，万众创新”、“中国制造2025”、大数据规划纲要等国家战略部署深度融合，从战略性全局考虑科协系统深化改革监测体系研究。
三、指标设计
（一）任务分解与指标凝练
依据《科协系统深化改革实施方案》、《2017年科协工作要点》任务做工作分解结构（WBS Work Breakdown Structure），逐条分解至一级、二级、三级任务层面。
以改革产品为导向将三级指标凝练为可量化、可操作、可交付的信息采集点，构建全国学会监测指标体系，并逐一标记“量、质、效”、数据采集来源、评价方式等属性标记。
监测指标分为全国学会改革动态监测指标体系（图1）、地方科协改革动态监测指标体系。以全国学会改革监测指标体系为例，一级指标共分为12大类（表1）。每个一级指标下包含若干个二级指标类别，二级指标中包含三级指标。比如，“科技期刊”为一级指标，它包含二级指标“期刊数量”，期刊数量中包含三级指标“主办英文科技期刊数量”。主办英文科技期刊数量属于“量、质、效”中衡量“量”的指标。
（二）评价方法研究
评价方法采用排名分值法、专家定性评价定量化、量质效的分级评价法、学会改革雷达图分析等手段，实现可统一、可量化、可考核、可追溯的评价体系应用，最大限度地集成科研活动中形成的数据、成果、经验和知识，实现全国学会、科协基层组织改革动态绩效评价的标准化、数据化、可视化。
（三）改革成熟度方案设计
提出以0～5级的改革成熟度为标尺，以“跑道外”“刚起步”“常态化”“经验丰富”“专家”“顶尖”为表述的动态改革评价体系，用以评价科协系统改革状态与成效的成熟度。
四、软件平台建设
（一）平台总体设计
面向全国学会（图2）、省级科协、中国科协机关部门三类主体，采用开放式、可配置、模块化理念，监测对象、监测指标、权重、信息采集点等指标体系可随着改革深入进行动态调整。主要从量、质、效三个方面进行评价，通过“改革成熟度”（即多个维度指标的加权总值）反映每个学会的改革绩效。具体评价方式包括量质效评价、排名分值法、定性判断量化，有的指标仅用于统计，不用于动态排名，在单个学会监测评估基础上，生成整体情况报告。
以省级学会改革、科协基层组织建设为重点，全面覆盖领导机构改革、助力创新发展、智库建设、科学文化公共服务、学术交流、联系和服务科技工作者等改革任务。每个省级学会的改革绩效由省级科协参照全国学会“改革成熟度”评价方法执行。省级科协推动学会改革的成效，将通过选取一部分整体指标进行横向比较。
（二）平台数据采集方式
1.动态设置。平台改革监测指标及问题全部采取动态设置，可随改革工作不断深入进行调整（图3）。
2.动态采集。支持对“可更新的日常动态数据”随时填报，各单位可根据工作实际随时填报相应内容。
3.多重校验。凡要求提供附件或链接的材料必须提供，否则视为无效；通过指标内置数据逻辑设置预警机制，防止不负责任乱填乱改；按季度、年度填报数据进行比对验证；关键指标数据通过大数据校验。
4.多角度评估。评估采取平台数据统计、有关部门根据日常工作掌握情况及各单位通过系统提交的材料进行“优、良、中、差”打分以及第三方机构评价等方式多角度综合评价。
（三）成果展示
系统可根据采集到的数据进行各类展示，支持排名、指标对比、分类对比等展示方式。
软件可以将演算出的指标通过雷达图的可视化形态（图4），展现学会自身长短板，学会之间能力对标，并可追溯至各指标的量、质、效方面的可视化呈现。
（四）保障支撑
中国科协创新战略研究院数据中心负责软件平台的保障与支撑工作。为了保障软件平台运行安全，采取“双机热备”构架。研究院机房配置应用服务器1台，数据库服务器1台，文件服务器1台（共享）。阿里云部署应用服务器1台（处理器4核，内存8G，系统盘100G），数据库服务器1台（数据盘500G），租用阿里云带宽10M。
五、数据初步分析
改革监测平台已于2017年12月15日正式上线，32家省级科协和209家全国学会完成了第一轮填报。我们对部分数据进行了初步计算和分析，得到了部分可视化展示结果（图5）。
通过对其中的部分全国学会数据进行比较分析，大部分的学会治理结构正在趋于合理，但是各学会的发展存在一定的差异。比如，一级指标科技期刊中，“目前SCI收录学会主办的期刊数量（刊）”这一项（图6），很多学会的期刊已经被SCI收录，说明全国学会的期刊取得了很大的进步，特别是中国化学会，有15本期刊被SCI收录。但是仍有一些全国学会还没有期刊被SCI收录，说明这些学会的期刊质量还不够高，需要中国科协会同有关学会形成协同，建立行之有效的激励机制，建设世界一流期刊。
六、结论和展望
我们希望构建一套具有战略性、前瞻性、系统性的科协深化改革动态监测体系，以综合考核评价深化改革成果产品为导向，形成一个增强改革主体科技创新溢出的政策支持框架，帮助改革主体明确功能定位、特色优势和发展目标，为科协系统有序承接政府转移职能提供有力抓手，通过指标设计和绩效考核，引领和敦促地方科協和全国学会的改革发展，加强智库体系建设[11]，融入国家“一带一路”等重大政策倡议和战略[12]。
科协改革监测平台将在第一阶段的基础上，加强数据自动抓取，进行文本分析的研究[13-14]，结合网上科技工作者之家平台[15]，融入智慧科协体系，实现国际化、信息化、协同化“三化”联动，开拓智能科协的新境界。
在科协系统改革监测平台的建设中，我们要把着眼点放在用习近平新时代中国特色社会主义思想指导改革实践上，发挥系统优势，凝聚智慧力量，以与时俱进的创新精神，全面谋划科协事业全面转型升级的新任务新目标新机制，夯实党在科技界的执政基础。面对新时代、新思想、新矛盾，自觉转变思想观念、转变措施方法、转变目标标准，主动识变、应变、求变，重塑工作格局，突出“顾客”需求和改革监测平台的绩效导向，不忘初心、牢记使命，传承发展，创新争先，广泛开展“新时代创新先锋”主题实践活动，做改革创新的先锋、规范高效的先锋、品牌创造的先锋。
参考文献
[1]习近平出席中央党的群团工作会议[EB/OL].http：//www.
xinhuanet.com/politics/2015-07/07/c_1115847839.htm
[2]吕其庆.学习宣传贯彻中央党的群团工作会议精神[J].思想政治工作研究， 2015（9）：8-9.
[3]胡祥明.略论科协组织的政治性、先进性、群众性——以习近平总书记在中央党的群团工作会议上的讲话为基本遵循[J].学会，2016（8）：26-33.
[4]中国科学技术协会.中国科协关于深入贯彻落实《科协系统深化改革实施方案》的通知（科协发厅字〔2016〕22号）
[5]中国科协办公厅.中国科协办公厅关于印发《〈科协系统深化改革实施方案〉任务分解表》的通知（科协办发厅字〔2016〕9号）
[6]中国科协. 中国科协2017年学会改革工作要点[J]. 科协论坛， 2017（5）：18-20.
[7]中国科协.关于开展2017年学会能力提升与改革工程世界一流学会建设工程项目（原优秀科技社团建设项目）的通知（科协学函改字〔2017〕47号）
[8]中国科协.中国科协办公厅关于确定2017年地方科协深化改革工作试点单位的通知（科协办函调字〔2017〕210号）
[9]王春法.在2017年地方科协改革工作交流会上的讲话[Z].2017-04-26.
[10]中国科协调宣部. 中国科协印发《关于认真学习宣传贯彻党的十九大精神的实施方案》[J]. 科协论坛， 2017（11）：59.
[11]王寅秋，王珊珊，张丹娜. 关于科协系统智库建设的几点思考[M].重庆：重庆出版社， 2017.
[12]李政，王宏伟，罗晖，等.质性数据分析视域下的科技学会服务“一带一路”——中国科协所属学会服务“一带一路”建设的规划方案分析[C]. 第十三届中国软科学学术年会，2017.
[13]Zhang H， Xu S， Wang Z， et al. Text and Data Mining of Social Media in Science and Technology Publicity[C]// Portland International Conference on Management of Engineering and Technology. 2017：1-7.
[14]Zhang H.， Zhu L.， Xu S.， et al. XML-Based Document Retrieval in Chinese Diseases Question Answering System[A]//Park J.H.，Adeli H.， Park N.， et al.Mobile， Ubiquitous， and Intelligent Computing[M]. Springer， Berlin， Heidelberg， 2014：211-217.
[15]张昊东，杨宝龙.用互联网思维建设网上科技工作者之家[M].重庆：重庆出版社， 2016.
[摘 要]为了深入贯彻党的十九大精神，根据《科协系统深化改革实施方案》和中国科协党组深化改革工作的安排，中國科协调宣部、创新战略研究院课题组设计建设了科协系统改革监测平台。该平台旨在建立推行关键绩效指标制度，引导培育用户导向、绩效评估的执行力文化。本文着重研究全国学会改革动态监测指标体系和平台建设等问题。
[关键词]科协系统改革 学会监测指标 监测平台
一、背景
习近平同志在中央党的群团工作会议[1]上的讲话阐述了群团组织“切实保持和增强政治性、先进性和群众性”的人民团体本质属性[3]，是指导新形势下党的群团工作的纲领性文献[2]。
为深入贯彻习近平总书记有关重要讲话精神，进一步密切与科技工作者联系，更好地发挥党和政府与广大科技工作者的桥梁纽带作用，根据中央全面深化改革的总体部署和《中共中央关于加强和改进党的群团工作的意见》要求，中共中央办公厅印发《科协系统深化改革实施方案》，中国科协印发了《关于深入贯彻落实〈科协系统深化改革实施方案〉的通知》[4]和《〈科协系统深化改革实施方案〉任务分解表》[5]。《〈科协系统深化改革实施方案〉任务分解表》共分为70项改革任务，每项改革任务都列出了具体举措、进度计划、分管领导、牵头部门和参与部门。
中国共产党第十九次全国代表大会是在全面建成小康社会决胜阶段、中国特色社会主义进入新时代的关键时期召开的一次十分重要的大会。为进一步掀起全国广大科技工作者深入学习宣传贯彻党的十九大精神热潮，更加自觉地把思想和行动统一到习近平新时代中国特色社会主义思想上来，结合《科协系统深化改革实施方案》、《中国科协2017年学会改革工作要点》[6]的工作部署，中国科协会同有关部门制定了一系列落实方案的具体举措，明确了时间表和路线图，选择了约50家全国学会进行治理结构和治理方式改革试点[7]，开展世界一流学会建设。在上海、重庆作为中央第一批改革试点的基础上，中国科协改革工作办公室评选出2017年地方科协深化改革工作试点单位，其中包括3家省级试点，13家地市级试点，15家县级试点[8]。
但是，在科协系统改革中，无论是全国学会，还是科协基层组织，在深改工作上还存在着突出的结构性问题，如“倒三角”的结构性矛盾突出、末端循环不畅、学会改革缺实招、改革措施上下一般粗、缺乏行之有效的工作平台和载体、改革进展不平衡[9]等。中国科协深化改革工作迫切需要构建一套深化改革动态监测体系。
二、研究思路
中国科协印发的《关于认真学习宣传贯彻党的十九大精神的实施方案》指出，在工作中要严督实导，确保实效，建立监测考核机制，总结推广典型经验，并将评估结果纳入关键绩效指标考核[10]。
为了建立推行关键绩效指标制度，引导培育用户导向、绩效评估的执行力文化，中国科协调宣部、创新战略研究院课题组以“改革导向、系统工程、数据驱动”为设计理念，设计和建设了科协系统改革监测平台。力争为科协深化改革构建独具特色的工作4.0体系，并着力体现三大突破，即体系突破、流程突破和应用突破，努力形成中国科协系统创新争先、主动作为的良性发展格局。
科协改革监测平台指标，坚持创新驱动的理念，具备前沿性、系统性和战略性，站在全球信息化进入全面渗透、跨界融合、加速创新、引领发展的新阶段，加强对大数据、人工智能、深度学习的应用，全面梳理当前相关国内外政策、技术、人才和资本等关键创新要素的新特征和新内涵。指标研究设计工作以实施创新驱动发展为战略导向，将技术创新、模式创新和体制机制创新紧密结合，同时还将科协系统深化改革工作与“大众产业，万众创新”、“中国制造2025”、大数据规划纲要等国家战略部署深度融合，从战略性全局考虑科协系统深化改革监测体系研究。
三、指标设计
（一）任务分解与指标凝练
依据《科协系统深化改革实施方案》、《2017年科协工作要点》任务做工作分解结构（WBS Work Breakdown Structure），逐条分解至一级、二级、三级任务层面。
以改革产品为导向将三级指标凝练为可量化、可操作、可交付的信息采集点，构建全国学会监测指标体系，并逐一标记“量、质、效”、数据采集来源、评价方式等属性标记。
监测指标分为全国学会改革动态监测指标体系（图1）、地方科协改革动态监测指标体系。以全国学会改革监测指标体系为例，一级指标共分为12大类（表1）。每个一级指标下包含若干个二级指标类别，二级指标中包含三级指标。比如，“科技期刊”为一级指标，它包含二级指标“期刊数量”，期刊数量中包含三级指标“主办英文科技期刊数量”。主办英文科技期刊数量属于“量、质、效”中衡量“量”的指标。
（二）评价方法研究
评价方法采用排名分值法、专家定性评价定量化、量质效的分级评价法、学会改革雷达图分析等手段，实现可统一、可量化、可考核、可追溯的评价体系应用，最大限度地集成科研活动中形成的数据、成果、经验和知识，实现全国学会、科协基层组织改革动态绩效评价的标准化、数据化、可视化。
（三）改革成熟度方案设计
提出以0～5级的改革成熟度为标尺，以“跑道外”“刚起步”“常态化”“经验丰富”“专家”“顶尖”为表述的动态改革评价体系，用以评价科协系统改革状态与成效的成熟度。
四、软件平台建设
（一）平台总体设计
面向全国学会（图2）、省级科协、中国科协机关部门三类主体，采用开放式、可配置、模块化理念，监测对象、监测指标、权重、信息采集点等指标体系可随着改革深入进行动态调整。主要从量、质、效三个方面进行评价，通过“改革成熟度”（即多个维度指标的加权总值）反映每个学会的改革绩效。具体评价方式包括量质效评价、排名分值法、定性判断量化，有的指标仅用于统计，不用于动态排名，在单个学会监测评估基础上，生成整体情况报告。
以省级学会改革、科协基层组织建设为重点，全面覆盖领导机构改革、助力创新发展、智库建设、科学文化公共服务、学术交流、联系和服务科技工作者等改革任务。每个省级学会的改革绩效由省级科协参照全国学会“改革成熟度”评价方法执行。省级科协推动学会改革的成效，将通过选取一部分整体指标进行横向比较。
（二）平台数据采集方式
1.动态设置。平台改革监测指标及问题全部采取动态设置，可随改革工作不断深入进行调整（图3）。
2.动态采集。支持对“可更新的日常动态数据”随时填报，各单位可根据工作实际随时填报相应内容。
3.多重校验。凡要求提供附件或链接的材料必须提供，否则视为无效；通过指标内置数据逻辑设置预警机制，防止不负责任乱填乱改；按季度、年度填报数据进行比对验证；关键指标数据通过大数据校验。
4.多角度评估。评估采取平台数据统计、有关部门根据日常工作掌握情况及各单位通过系统提交的材料进行“优、良、中、差”打分以及第三方机构评价等方式多角度综合评价。
（三）成果展示
系统可根据采集到的数据进行各类展示，支持排名、指标对比、分类对比等展示方式。
软件可以将演算出的指标通过雷达图的可视化形态（图4），展现学会自身长短板，学会之间能力对标，并可追溯至各指标的量、质、效方面的可视化呈现。
（四）保障支撑
中国科协创新战略研究院数据中心负责软件平台的保障与支撑工作。为了保障软件平台运行安全，采取“双机热备”构架。研究院机房配置应用服务器1台，数据库服务器1台，文件服务器1台（共享）。阿里云部署应用服务器1台（处理器4核，内存8G，系统盘100G），数据库服务器1台（数据盘500G），租用阿里云带宽10M。
五、数据初步分析
改革监测平台已于2017年12月15日正式上线，32家省级科协和209家全国学会完成了第一轮填报。我们对部分数据进行了初步计算和分析，得到了部分可视化展示结果（图5）。
通过对其中的部分全国学会数据进行比较分析，大部分的学会治理结构正在趋于合理，但是各学会的发展存在一定的差异。比如，一级指标科技期刊中，“目前SCI收录学会主办的期刊数量（刊）”这一项（图6），很多学会的期刊已经被SCI收录，说明全国学会的期刊取得了很大的进步，特别是中国化学会，有15本期刊被SCI收录。但是仍有一些全国学会还没有期刊被SCI收录，说明这些学会的期刊质量还不够高，需要中国科协会同有关学会形成协同，建立行之有效的激励机制，建设世界一流期刊。
六、结论和展望
我们希望构建一套具有战略性、前瞻性、系统性的科协深化改革动态监测体系，以综合考核评价深化改革成果产品为导向，形成一个增强改革主体科技创新溢出的政策支持框架，帮助改革主体明确功能定位、特色优势和发展目标，为科协系统有序承接政府转移职能提供有力抓手，通过指标设计和绩效考核，引领和敦促地方科協和全国学会的改革发展，加强智库体系建设[11]，融入国家“一带一路”等重大政策倡议和战略[12]。
科协改革监测平台将在第一阶段的基础上，加强数据自动抓取，进行文本分析的研究[13-14]，结合网上科技工作者之家平台[15]，融入智慧科协体系，实现国际化、信息化、协同化“三化”联动，开拓智能科协的新境界。
在科协系统改革监测平台的建设中，我们要把着眼点放在用习近平新时代中国特色社会主义思想指导改革实践上，发挥系统优势，凝聚智慧力量，以与时俱进的创新精神，全面谋划科协事业全面转型升级的新任务新目标新机制，夯实党在科技界的执政基础。面对新时代、新思想、新矛盾，自觉转变思想观念、转变措施方法、转变目标标准，主动识变、应变、求变，重塑工作格局，突出“顾客”需求和改革监测平台的绩效导向，不忘初心、牢记使命，传承发展，创新争先，广泛开展“新时代创新先锋”主题实践活动，做改革创新的先锋、规范高效的先锋、品牌创造的先锋。
参考文献
[1]习近平出席中央党的群团工作会议[EB/OL].http：//www.
xinhuanet.com/politics/2015-07/07/c_1115847839.htm
[2]吕其庆.学习宣传贯彻中央党的群团工作会议精神[J].思想政治工作研究， 2015（9）：8-9.
[3]胡祥明.略论科协组织的政治性、先进性、群众性——以习近平总书记在中央党的群团工作会议上的讲话为基本遵循[J].学会，2016（8）：26-33.
[4]中国科学技术协会.中国科协关于深入贯彻落实《科协系统深化改革实施方案》的通知（科协发厅字〔2016〕22号）
[5]中国科协办公厅.中国科协办公厅关于印发《〈科协系统深化改革实施方案〉任务分解表》的通知（科协办发厅字〔2016〕9号）
[6]中国科协. 中国科协2017年学会改革工作要点[J]. 科协论坛， 2017（5）：18-20.
[7]中国科协.关于开展2017年学会能力提升与改革工程世界一流学会建设工程项目（原优秀科技社团建设项目）的通知（科协学函改字〔2017〕47号）
[8]中国科协.中国科协办公厅关于确定2017年地方科协深化改革工作试点单位的通知（科协办函调字〔2017〕210号）
[9]王春法.在2017年地方科协改革工作交流会上的讲话[Z].2017-04-26.
[10]中国科协调宣部. 中国科协印发《关于认真学习宣传贯彻党的十九大精神的实施方案》[J]. 科协论坛， 2017（11）：59.
[11]王寅秋，王珊珊，张丹娜. 关于科协系统智库建设的几点思考[M].重庆：重庆出版社， 2017.
[12]李政，王宏伟，罗晖，等.质性数据分析视域下的科技学会服务“一带一路”——中国科协所属学会服务“一带一路”建设的规划方案分析[C]. 第十三届中国软科学学术年会，2017.
[13]Zhang H， Xu S， Wang Z， et al. Text and Data Mining of Social Media in Science and Technology Publicity[C]// Portland International Conference on Management of Engineering and Technology. 2017：1-7.
[14]Zhang H.， Zhu L.， Xu S.， et al. XML-Based Document Retrieval in Chinese Diseases Question Answering System[A]//Park J.H.，Adeli H.， Park N.， et al.Mobile， Ubiquitous， and Intelligent Computing[M]. Springer， Berlin， Heidelberg， 2014：211-217.
[15]张昊东，杨宝龙.用互联网思维建设网上科技工作者之家[M].重庆：重庆出版社， 2016.
