专栏名称: 邃瞳科学云
邃瞳科学云是一个百家争鸣的个性化学术传播平台。依托新媒体矩阵,小程序及APP等完整产品线,在开展专业性的学术活动的同时,还致力于科普教育和科学传播,更自由、重分享。 格物致知,光被遐荒。Meet Your Science!
目录
相关文章推荐
清晨朗读会  ·  清晨朗读3194:Dance! ·  4 天前  
清晨朗读会  ·  清晨朗读3195:Create a ... ·  3 天前  
恶魔奶爸  ·  怎么感觉春节后裁员越来越严重了。。。 ·  3 天前  
51好读  ›  专栏  ›  邃瞳科学云

国自然函评专家现状:小同行占2/3,一半专家2小时内完成审核

邃瞳科学云  · 公众号  ·  · 2024-07-03 09:58

正文

摘自中国科学基金,国家自然科学基金项目函评专家指派现状及其分析 江虎军等。

一、基金项目同行专家指派现状分析

2014—2021 年期间参与基金项目函评的同行专家对所评项目研究内容熟悉程度、专家评议项目数分布、评议专家年龄分布以及评审专家的评审项目数等情况进行统计分析,旨在通过分析这些指标在 2014—2021 年的变化来了解科学基金项目的同行评议质量,进而探索提高基金项目同行评议质量的可能措施。

1.函评专家为所评议项目小同行情况

选择小同行专家评审基金项目的目的就在于确保同行评审意见的专业性和权威性,以利于项目管理者开展科学的遴选。项目管理者在短时间内为大量基金项目遴选同行专家,因受到项目管理者的专业知识、对同行专家熟知程度、专家库质量、指派专家过程中各种政策要求、遴选专家的标准等多因素影响,难以保证所指派的函评专家均为所评议项目的小同行专家。

我们对 2014—2021 年期间参与函评国家自然科学基金面上项目、青年科学基金项目和地区科学基金项目三类项目的专家是否是所评议项目的小同行进行统计分析。

通过统计函评专家对所评项目的熟悉程度指标发现 ( 1) 约63%~66%的专家自认为熟悉所评议的项目研究内容,即属于所评项目的小同行专家 34% ~37% 的专家自认为 部分熟悉或不熟悉 所评议的项目研究内容 这表明参与 面上项目、青年科学基金项目 地区科学基金项目 三类项目函评的专家中,超过1 /3 的函评专家不是所评项目的小同行专家,随着年份递增非小同行占比呈整体下降趋势,但这种 下降幅度很小,不同年份之间没有显著差异 。在 2014—2018 年间,甚至有 4%~5% 的函评专家明确表示不熟悉所评议项目研究内容。

2.函评专家评审项目数分布情况

给函评专家指派过多的基金项目且要求在规定的时间内完成函评,往往会因为专家的评审负荷过重而影响同行评议的质量。对 2014—2021 年期间每位函评专家参与评审所有基金项目数量进行统计分析,发现函评专家之间评审项目的数量存在不均衡现象 ( 2)

评审项目数在 5 份及以下的专家百分率虽呈现下降趋势,但依然高达 9% 以上 ; 评审项目数在 6~10 份之间的专家占比也呈现下降趋势,从 2014 年的 26.6% 下降为 2021 年的 9.7%; 评审项目数在 11~15 份之间的专家占比,虽有起伏但仍维持在 45% 以上,是评审专家占比最多的一部分 ; 评审项目数在 16~20 之间的专家占比呈现快速增加趋势, 2020 2021 年分别达到 53% 28% ,这或许与自然科学基金委将评审专家评审面上类项目数上限由原来的 15 项调整为 20 项有关 ; 评审项目数在 21~30份 之间的专家占比 呈稳步增加 趋势,2021年已增加到 6% 以上, 评审项目数在31份以上的专家占比大致维持在1%~2%之间,其中评审项目数在50项以上的占比约在0.5%左右。 上述情况说明,有相当一部分专家因评审项目数在 5 项之内,评审任务偏轻,同时又有相当一部分专家的评审项目数在 20 项以上,导致评审任务偏重。

3.函评专家的年龄分布

2014—2021 年期间参与面上项目、青年科学基金项目和地区科学基金项目三类项目函评的专家年龄分布进行统计分析 ( 3) ,发现 35 岁及以下专家占比较低,大致在 0.25%~2.44% 之间 ;36—45 岁专家占比从 2014 年的 30.22% 下降至 2020 年的 20.21% 2021 年又回升至 26.8%;46~55 岁专家占比为所有年龄段中最高,但呈现下降趋势,从 2014 年的 50.89% 下降至 2021 年的 39.06%;56~65 岁专家占比则呈现上升趋势,从 2014 年的 15.56% 上升至 2021 年的 31.61% ,而且 66 岁以上专家的占比也呈现上升趋势, 2021 年已达到 1.52% 。总体上, 45岁以下专家占比在显著下降,45岁以上专家占比在显著上升。

二、函评专家合理的评审负荷调研

对每位函评专家所能评审面上项目数量进行问卷调研 ( 2) ,若评审时间为 1 个月, 76.5% 的专家认为评审项目数应在 20 项之内, 24.5% 专家认为可在 20 项以上,每位专家评审项目的平均值为 17 项。同时对评审专家评审 一份面上项目 所需要的时间进行问卷调研 ( 3) 9.3% 的专家认为在 1小时以内 40% 的专家认为在 1~2小时 之间, 24.3% 的专家认为在 2~3 小时 之间, 26.4% 的专家认为在 3 小时以上 ,完成 1 份面上项目评审的平均时间约为 2 小时。在一个月内若评审 20 份面上项目,每位函评专家需要约 34 小时,这对于利用工作之余来评审基金项目的专家来说依然是一项繁重的任务。上面图 2 中数据显示, 2020 2021 年被指派的项目数在 15项以上 的函评专家占总数的百分比分别为 60%和35.21% ,指派 20 项以上的函评专家百分率约为 6% 。与 2014—2019 年比较,相对应的数据发生了较大的变化,这主要是由于自然科学基金委对单个函评专家所能评审项目数量由原先的 15 项调整为 20 项。但是,从调研数据看,函评专家评审的负荷正变得越来越重。

三、讨论与建议

国家自然科学基金项目的同行评议质量面临挑战,特别是基金项目数量的持续大幅增加以及基金项目管理者的不足双重加剧了这种挑战。我们对 2014 2021 的八年间全委的指派专家数据进行统计分析发现,被指派的 1/3 以上的评审专家不是所评议项目的小同行, 1/3 以上的评审专家的评审任务偏重,大于 45 岁的评审专家的占比在显著上升

虽然上述八年间全委的指派专家数据显示,被指派的 1/3 以上的评审专家不是所评议项目的小同行,且在不同年份之间的差别并不显著,大致维持在 34%~37% 之间。导致这种现象的原因必然与专家指派中三个因素,即参与指派的人、专家库及遴选专家的方式有关。由于轮岗、流动项目主任更替等因素带来参与指派的人的变化,却没有给小同行占比带来原本以为的较大的影响,或许指派人的作用在完成大量项目的同行专家指派过程中对小同行占比影响不大,因此,这暗示 专家库和遴选专家的方式可能是造成上述现象的主要原因 2013 年我们探索智能指派函评专家,发现非小同行占比由传统方式的 41% 下降为 32% ,说明遴选专家的方式的确发挥了重要作用。 自然科学基金委自 2014 年在项目评审系统中,增加智能推送函评专家供项目管理者选择功能,此后对遴选专家方式几乎没有改进, 而且在专家库维护与更新方面虽每年都呼吁予以重视,但由于限于多种条件而导致实际上重视程度仍有待提高,这说明专家库及遴选专家的方式对专家指派后的小同行占比具有较大的影响。

因此,加强专家库的维护与更新以及改进遴选专家的方式,应是解决上述问题的两个重要切入点。 一方面 在保证指派专家的科学性的同时要提高指派专家的效率 ; 另一方面 在保证指派专家有较高学术水平外,还要充分利用专家库资源,合理分配评审任务。因此, 高效率指派专家手段的发展和高质量专家库的建设与维护是进一步降低指派专家非小同行占比的有效手段

1.加强专家库的更新与维护

2.改进遴选函评专家的方式

3.减轻函评专家的评审负荷

评审负荷过重无法保证评议人有足够的时间阅读申请书并给出科学而具体的评审意见,这已成为影响同行评议质量的一个重要方面。导致函评专家的评审负荷过重的原因如下 : 一是由于项目管理者熟悉的专家有限,愿意使用熟悉的专家,二是手工遴选函评专家方式无法实施精准回避,更不能做到科学遴选专家和均衡分配评审任务。如何科学、合理地利用专家库中已有的专家资源,特别是那些具有较高学术水平的专家,实现精准回避,需要发展新的遴选函评专家手段,才能真正达到充分、科学利用专家资源目的。通过减少评审专家的评审任务将有助于提高同行评议质量,甚至可以避免同行评议中的代评现象。

国家自然科学基金项目的同行评议制度已在我国实施整整 40 年,树立了自然科学基金公正、合理的声誉,赢得了申请者信赖,但评议制度中存在的问题仍然突出。如何维护甚至进一步提高基金项目评审的公正性、科学性和权威性,除改进上述问题外,有必要对科学基金制度进行完善。设置独立于科学部的同行评议中心既可使同行评议走向专业化从而提高同行评议质量,又可实现同行评议制度中的权力约束而有助于提高科学基金项目的公正性,随着自然科学基金委受理的项目数量的不断增加,采用这种制度的必要性正变得越来越明显。

声明

文来源:中国科学基金,自科在线等,仅用于 学术分享,如有侵权,请联系后台小编删除
欢迎关注我们,订阅更多最新消息






请到「今天看啥」查看全文