关于函评的过程和函评专家的情况,是很多申请人非常关心的问题。之前有一篇刊登在中国科学基金上的文章写得非常详细,尽管基金委近年来有所改革,但这篇文章仍可以为大家了解国自然评审模式提供参考。
摘要:同行评议是国家自然科学基金制度的重点所在,同行评议质量事关申请项目的命运。同行专家在同行评议中具有重要的作用,客观、公正地选择具有较高学术水平的同行专家评审项目是确保同行评议质量的重要前提。国家自然科学基金项目受理量不断增加给在短时间内完成同行专家指派带来越来越大的压力,分析专家指派的状况是了解基金项目同行评议质量现状的重要方面。本文分析了2014—2021年期间国家自然科学基金委员会同行评议专家的指派状况,发现基金项目的同行评议专家指派虽总体上符合要求但依然有较大的提升空间。加强专家库的更新与维护、改进遴选函评专家的方式、减轻函评专家的评审负荷、完善基金制度,将有助于进一步提高基金项目同行评议的公正性、科学性和权威性。
同行评议质量是国家自然科学基金项目(以下称“基金项目”)评审的生命线,事关申请项目的命运,事关我国基础科学研究的健康发展。对于所有通过同行评议制度进行科学决策的管理部门,确保同行评议质量是其信誉和声誉的基本保证。因此,同行评议质量一直是基金项目管理者最关心的事,也是基金项目申请者最关心的事。
在基金项目受理量快速增加情况下,项目管理者工作量越来越繁重,如何确保基金项目的同行评议质量便成为一项非常紧要的事情。我们希望通过对基金项目同行专家指派情况的分析,评价目前基金项目同行评议的质量,进而探讨进一步提高同行评议质量的可能措施。
1 基金项目同行评议质量及现状
1.1 关于基金项目同行评议质量
同行评议主要包括四个要素,分别是评审对象、评审标准、评审专家及遴选评审专家的方式。对同行评议质量具有关键作用的无疑是评审专家,选择什么样的评审专家直接关系到评审对象的命运。评审专家是否是所评议项目的小同行、是否是评审对象所处领域的优秀专家、评审专家是否与被评议对象之间存在利益相关或利益冲突、甚至评审专家是否有充裕的时间用来评审,这些因素均直接影响项目的评审质量。
选择小同行评审基金项目主要是因为项目的研究内容具有高度的专业性,唯有具有相同专业知识背景的专家才能理解项目的研究内容,并在此基础上给出科学的评价。大同行专家只部分熟悉项目的研究内容,因此可能给不出一针见血的评审意见,容易落入套话式评审,甚至难免给出带有偏见的评审意见,这势必误导项目管理者遴选项目,或对于项目管理者遴选项目的参考价值有限。
选择优秀专家评审基金项目则是在小同行评审基础上的进一步要求。国家自然科学基金主要资助基础和应用基础研究,此类研究的进展迅速因而在国际同行间竞争激烈。因此,评审专家必须掌握该领域的最新研究进展,熟知所在领域的研究动态,清楚领域内的科学问题。具有较高学术水平的优秀专家才清楚评议项目所具有的科学意义和创新价值在其所在领域中的份量,给出的评审意见才具有权威性和说服力,才能使项目申请者从反馈的评审意见中受益。
同行评议的公正性是保障同行评议质量的前提,回避评审专家与所评审项目申请人之间可能存在的利益相关或利益冲突,以及确保评审专家具有充裕的时间用来评审项目,其目的就是为了维护项目评审的公正性,减少由此所导致的非科学评审影响。同行评议的公正性由同行评议制度所决定,主要是尽可能减少参与同行评议的相关人员的人为因素影响。
1.2 基金项目同行评议质量情况
国家自然科学基金委员会(以下简称“自然科学基金委”)针对项目申请虽提出了多种限项措施,但依然难抑制项目受理数量快速增长的趋势,由此带来的问题是如何保质保量地对大量的基金项目进行公正、科学的评审。在有限的时间内,项目管理者完成大量基金项目的同行评议送审以及同行专家完成所指派项目的同行评议,工作量已变得越来越繁重,工作强度也远远超过国际同行,这无疑将影响基金项目的同行评议质量。我们统计分析了2019年反映基金项目同行评议质量的相关数据(表1),发现虽多数项目申请人认可反馈的评审意见,但不认可的比例依然较高,尤其在面上项目中,34.1%的申请人不认可项目的评审意见,说明基金项目的同行评议质量不容乐观。与2011年的《国家自然科学基金资助与管理绩效国际评估报告》中提供的数据
相比较,发现目前的基金项目同行评议质量甚至有下降趋势。
2 基金项目同行专家指派现状分析

专家对所评项目研究内容熟悉程度、专家评议项目数分布、评议专家年龄分布以及评审专家的评审项目数等情况进行统计分析,旨在通过分析这些指标在2014—2021年的变化来了解科学基金项目的同行评议质量,进而探索提高基金项目同行评议质量的可能措施。
2.1 函评专家为所评议项目小同行情况
选择小同行专家评审基金项目的目的就在于确保同行评审意见的专业性和权威性,以利于项目管理者开展科学的遴选。项目管理者在短时间内为大量基金项目遴选同行专家,因受到项目管理者的专业知识、对同行专家熟知程度、专家库质量、指派专家过程中各种政策要求、遴选专家的标准等多因素影响,难以保证所指派的函评专家均为所评议项目的小同行专家。
我们对2014—2021年期间参与函评国家自然科学基金面上项目、青年科学基金项目和地区科学基金项目三类项目的专家是否是所评议项目的小同行进行统计分析。通过统计函评专家对所评项目的熟悉程度指标发现(图1),约63%~66%的专家自认为熟悉所评议的项目研究内容,即属于所评项目的小同行专家,约34%~37%的专家自认为部分熟悉或不熟悉所评议的项目研究内容,这表明参与面上项目、青年科学基金项目和地区科学基金项目三类项目函评的专家中,超过1/3的函评专家不是所评项目的小同行专家,随着年份递增非小同行占比呈整体下降趋势,但这种下降幅度很小,不同年份之间没有显著差异。在2014—2018年间,甚至有4%~5%的函评专家明确表示不熟悉所评议项目研究内容。
2.2 函评专家评审项目数分布情况
给函评专家指派过多的基金项目且要求在规定的时间内完成函评,往往会因为专家的评审负荷过重而影响同行评议的质量。对2014—2021年期间每位函评专家参与评审所有基金项目数量进行统计分析,发现函评专家之间评审项目的数量存在不均衡现象(图2)。
评审项目数在5份及以下的专家百分率虽呈现下降趋势,但依然高达9%以上;评审项目数在6~10份之间的专家占比也呈现下降趋势,从2014年的26.6%下降为2021年的9.7%;评审项目数在11~15份之间的专家占比,虽有起伏但仍维持在45%以上,是评审专家占比最多的一部分;评审项目数在16~20份之间的专家占比呈现快速增加趋势,2020、2021年分别达到53%和28%,这或许与自然科学基金委将评审专家评审面上类项目数上限由原来的15项调整为20项有关;评审项目数在21~30份之间的专家占比呈稳步增加趋势,2021年已增加到6%以上,评审项目数在31份以上的专家占比大致维持在1%~2%之间,其中评审项目数在50项以上的占比约在0.5%左右。上述情况说明,有相当一部分专家因评审项目数在5项之内,评审任务偏轻,同时又有相当一部分专家的评审项目数在20项以上,导致评审任务偏重。

2.3 函评专家的年龄分布
对2014—2021年期间参与面上项目、青年科学基金项目和地区科学基金项目三类项目函评的专家年龄分布进行统计分析(图3),发现35岁及以下专家占比较低,大致在0.25%~2.44%之间;36—45岁专家占比从2014年的30.22%下降至2020年的20.21%,2021年又回升至26.8%;46~55岁专家占比为所有年龄段中最高,但呈现下降趋势,从2014年的50.89%下降至2021年的39.06%;56~65岁专家占比则呈现上升趋势,从2014年的15.56%上升至2021年的31.61%,而且66岁以上专家的占比也呈现上升趋势,2021年已达到1.52%。总体上,45岁以下专家占比在显著下降,45岁以上专家占比在显著上升。

3 函评专家合理的评审负荷调研
对每位函评专家所能评审面上项目数量进行问卷调研(表2),若评审时间为1个月,76.5%的专家认为评审项目数应在20项之内,24.5%专家认为可在20项以上,每位专家评审项目的平均值为17项。同时对评审专家评审一份面上项目所需要的时间进行问卷调研(表3),9.3%的专家认为在1小时以内,40%的专家认为在1~2小时之间,24.3%的专家认为在2~3小时之间,26.4%的专家认为在3小时以上,完成1份面上项目评审的平均时间约为2小时。在一个月内若评审20份面上项目,每位函评专家需要约34小时,这对于利用工作之余来评审基金项目的专家来说依然是一项繁重的任务。
上面图2中数据显示,2020、2021年被指派的项目数在15项以上的函评专家占总数的百分比分别为60%和35.21%,指派20项以上的函评专家百分率约为6%。与2014—2019年比较,相对应的数据发生了较大的变化,这主要是由于自然科学基金委对单个函评专家所能评审项目数量由原先的15项调整为20项。但是,从调研数据看,函评专家评审的负荷正变得越来越重。


4 讨论与建议
国家自然科学基金项目的同行评议质量面临挑战,特别是基金项目数量的持续大幅增加以及基金项目管理者的不足双重加剧了这种挑战。我们对2014至2021的八年间全委的指派专家数据进行统计分析发现,被指派的1/3以上的评审专家不是所评议项目的小同行,1/3以上的评审专家的评审任务偏重,大于45岁的评审专家的占比在显著上升。
虽然上述八年间全委的指派专家数据显示,被指派的1/3以上的评审专家不是所评议项目的小同行,且在不同年份之间的差别并不显著,大致维持在34%~37%之间。导致这种现象的原因必然与专家指派中三个因素,即参与指派的人、专家库及遴选专家的方式有关。由于轮岗、流动项目主任更替等因素带来参与指派的人的变化,却没有给小同行占比带来原本以为的较大的影响,或许指派人的作用在完成大量项目的同行专家指派过程中对小同行占比影响不大,因此,这暗示专家库和遴选专家的方式可能是造成上述现象的主要原因。2013年我们探索智能指派函评专家,发现非小同行占比由传统方式的41%下降为32%,说明遴选专家的方式的确发挥了重要作用。自然科学基金委自2014年在项目评审系统中,增加智能推送函评专家供项目管理者选择功能,此后对遴选专家方式几乎没有改进,而且在专家库维护与更新方面虽每年都呼吁予以重视,但由于限于多种条件而导致实际上重视程度仍有待提高,这说明专家库及遴选专家的方式对专家指派后的小同行占比具有较大的影响。
因此,加强专家库的维护与更新以及改进遴选专家的方式,应是解决上述问题的两个重要切入点。一方面在保证指派专家的科学性的同时要提高指派专家的效率;另一方面在保证指派专家有较高学术水平外,还要充分利用专家库资源,合理分配评审任务。因此,高效率指派专家手段的发展和高质量专家库的建设与维护是进一步降低指派专家非小同行占比的有效手段。
4.1 加强专家库的更新与维护
专家库是同行评议的基础,高质量的专家库是获取高质量同行评议的基础。因此,建立高质量的专家库具有十分重要的科学意义。所有通过同行评议机制进行科学决策的机构,都需要建设一个高质量的专家库,否则同行评议只能停留在某种形式,而无法达到利用同行评议机制进行科学决策的目的。高质量专家库的标准是:(1)新涌现的优秀专家能及时入库并被遴选参与评审;(2)库中专家的专业信息必须准确、科学、规范;(3)建立能科学反映专家学术影响力的客观标准。
统计分析2014—2021年间指派的函评专家的年龄发现年龄偏高函评专家的占比在增加,而年轻函评专家的占比在下降,说明由于项目受理数量增加而导致评审系统中可供遴选的专家数量不足,同时也说明有待加强专家库的维护与更新,特别是将优秀的年轻专家补充进专家库,既能提高函评质量又能促进其成长。自然科学基金委始终在呼吁重视专家库的维护与更新,之所以依然存在上述问题,关键在于专家库维护与更新的方式尚未改进,即专家库维护与更新的效率比较低。逐个判断专家是否可以胜任基金项目的评审并逐个录入专家信息,无疑是限制专家库维护与更新的瓶颈。
库中专家的个人专业信息不规范、不专业是影响专家库质量的另一重要因素,这主要与专家库结构设置有关。改进专家库中关于专业信息的结构设置,可以规范专家填写个人专业信息,实现专家个人维护与自然科学基金委管理专家维护之间的统一。目前,系统中专家个人维护与自然科学基金委管理专家维护互不关联,指派专家时究竟以哪一个为判断是否是同行专家的标准,是一个有待明确的重要问题,若采用智能指派,这个问题尤为突出。
提高同行评议质量既要降低指派专家的非小同行占比,也要确保指派专家是所在研究领域中的佼佼者,应避免评审专家的学术水平低于所评议对象现象的发生,维护更新专家库就是要将优秀的专家纳入专家库中,这充分说明建设高质量专家库非常重要。
4.2 改进遴选函评专家的方式
目前主要依靠项目管理者遴选项目的函评专家,但存在如下问题:首先,项目管理者习惯使用熟悉的专家,容易固化项目函评专家范围,形成评审圈子;其次,项目数量增加提高了遴选到合适函评专家的难度,增加了项目管理者指派专家的随意性,也容易导致指派同一专家过多的项目。
国家自然科学基金评审系统虽能为项目管理者智能推送候选的函评专家,但推送的专家是否是所评议项目的小同行,或者学术水平如何,依然依赖于参与专家指派人的判断,智能推送函评专家只是辅助项目管理者遴选专家的一种手段,依然受到项目管理者人为因素的干扰,如果参与专家指派的人越多,这种影响便越大。评审系统智能推送专家功能不理想以及项目管理者完成数量众多项目同行专家遴选困难,这些必然导致参与专家指派人的疲劳状态,还将增加专家指派中的随意性。我们以往的探索证明,智能指派是确保完成大量项目同行专家指派公正性和科学性的理想手段,当然,进一步探索确保智能指派的科学性和公正性,应是今后智能指派的重要研究内容。
4.3 减轻函评专家的评审负荷
评审负荷过重无法保证评议人有足够的时间阅读申请书并给出科学而具体的评审意见,这已成为影响同行评议质量的一个重要方面。导致函评专家的评审负荷过重的原因如下:一是由于项目管理者熟悉的专家有限,愿意使用熟悉的专家,二是手工遴选函评专家方式无法实施精准回避,更不能做到科学遴选专家和均衡分配评审任务。如何科学、合理地利用专家库中已有的专家资源,特别是那些具有较高学术水平的专家,实现精准回避,需要发展新的遴选函评专家手段,才能真正达到充分、科学利用专家资源目的。通过减少评审专家的评审任务将有助于提高同行评议质量,甚至可以避免同行评议中的代评现象。
国家自然科学基金项目的同行评议制度已在我国实施整整40年,树立了自然科学基金公正、合理的声誉,赢得了申请者信赖,但评议制度中存在的问题仍然突出。如何维护甚至进一步提高基金项目评审的公正性、科学性和权威性,除改进上述问题外,有必要对科学基金制度进行完善。设置独立于科学部的同行评议中心既可使同行评议走向专业化从而提高同行评议质量,又可实现同行评议制度中的权力约束而有助于提高科学基金项目的公正性,随着自然科学基金委受理的项目数量的不断增加,采用这种制度的必要性正变得越来越明显。
2025海外优青申请人可以添加时代学者小编微信:shidaixuezhe2,申请加入微信交流群,一起准备申请事宜。