20年前，为了解决“唯SCI”学术评价痼疾，时任CCF理事长李国杰在YOCSEF论坛“从SCI反思中国学术评价体制”发出倡议：“我觉得应该按二级或三级学科，把最好的几种期刊和最好的几个国际会议列出来，用它们来取代现在的SCI作为考核我们个人和单位水平的参考。”随后，时任YOCSEF主席胡事民推动YOCSEF启动CCF 推荐国际学术会议和期刊目录（以下简称推荐目录）的制订工作。后来，CCF学术工委在胡事民、金芝、陈熙霖等工委主任的带领下，逐步完善和发布推荐目录。时至今日，CCF推荐目录早已成功打破了计算机领域顶级会议在学术评价上不被承认的窘境，已成为各高校和科研单位学术评价的重要参考。
随着新一轮科技革命和产业变革时代的来临，学术评价面临着新的挑战：如何破除束缚创新驱动发展的“五唯”现象，建立一个更加健全、面向科技创新高质量发展的学术评价体系？纸上得来终觉浅，绝知此事要躬行。开源实践作为一种新型的考核评价维度，被认为具有重塑学术评价体系的潜力。它不仅能引入社会评价机制，确保评价过程的公平性和公开性，而且还能有效地推动科技创新与学术合作，实现学术价值观回正。
如果说CCF推荐目录是以开放姿态主动拥抱国际同行会议期刊评价标准，那么开源则是在开放姿态基础上进一步探索学术评价的深水区。在CCF YOCSEF西安观点论坛“YOCSEF开源星火何以燎动学术评价体系之‘原’？”、CNCC2023技术论坛“开源指数OSIDX——探索学术评价体系改革新途径”、大湾区计算机大会特别技术论坛“开源能否成为重塑学术评价体系的利器？”这三场思辨活动中，来自开源领域的专家学者，就开源如何激活学术评价体系、开源在学术评价中扮演的角色、开源评价的客观性与主观性以及开源革新学术评价体系的影响等议题进行了深度思辨。
本文基于以上论坛的典型观点，探讨开源与学术评价相结合的可能性，分析开源赋能学术评价体系的潜在挑战以及应对策略，旨在以开源作为“小切口”革新学术评价体系“大未来”，助力我国学术评价体系发展得更加科学、成熟。
作为一种以社区协作方式开发软件的模式，开源代表先进的协作生产关系，是促进合作与创新的重要驱动力。不论是openHarmony开源社区吸引了全球开发者贡献力量，极大提高了鸿蒙生态形成的速度，还是TensorFlow开源框架大幅降低了人工智能技术应用的门槛，加速了“1到N”的创新进程，无不说明开源对资源分享、科技创新具有积极的推动作用。特别是在国家大力资助科研项目的背景下，成果开源已经成为促进持续、协同创新的必然要求。成果开源不仅加速了科研资源的共享和技术的迭代，更在无形中塑造了科研合作的新模式。同时，学术评价也在与开源的结合中找到了新的方向，由传统的注重论文发表和引用转向注重实际应用和社会价值，不仅让学术评价更加贴近科技发展的实际需求，也让更多的科研工作者看到成果转化的可能性。
这构成了开源与学术评价相结合的基本逻辑。
然而，在推动开源与学术评价相结合的实践之前，需要明确回答以下问题。
第一，开源在学术评价中的角色如何界定？
部分学者认为开源并非是一种单纯的宣传噱头，而是具有真正变革评价体系的潜力。开源相关实践可以促进开放科学多元评价标准的确立，提升学术成果的可靠性、公正性和透明度，激发科研人员的社会互动与创新精神，从而有效弥补当前仅侧重最终结果的评价体系的不足。然而，还有部分学者担忧开源纳入学术评价后可能引发表面宣传（如引流刷星）、动机偏差（如技术剽窃）、评价失衡（如“一刀切”）等问题，并担心其被滥用的潜在风险。
第二，开源对学术评价是客观还是主观？
开源带来的透明度、事实标准和公开审查等形式特性使评价具备了客观性；另外，社会互动也被视为群体共识下的“有目共睹”，是开源为学术评价赋能的内生客观特质。然而，学者研究背景、学科领域特点、社交圈层文化以及参与者动机等因素又使其带有主观色彩。
第三，开源革新学术评价产生的影响如何，这种变革是一个渐进的过程，还是一场革命性的突破？
支持渐进的观点强调，质量把控、研究适配性、贡献映射、领域差异性以及隐私与安全等问题，都是开源评价体系面临的重大挑战。学术研究往往涉及敏感数据和知识产权，贸然开源可能带来风险。不同学科领域对开源的需求和接受程度也不尽相同，需要审慎考虑。因此，在现有的评价体系基础上逐步融入开源元素，或许是一种较为可行的方式。主张彻底革新的观点认为，开源不仅能带来新的评价维度，引入社会公众的评价视角，更有助于促进公平、公开和创新。传统的学术评价过于封闭，开源有利于加强学界与社会的互动，有助于推动跨领域合作。从长远来看，开源或将成为学术评价的重要组成部分，驱动整个学术评价体系的变革。综合来看，开源对学术评价的影响既是渐进的跬步，也是跨越式的千里。
开源与学术评价的结合具有明显的协同效应。
开源不仅可以扩展学术评价的维度，引入社会公众的参与，使评价体系更加公平、公开，还能通过激发创新活力、提升教育质量以及展现学术自信，推动学术评价体系朝着更加多元、包容的方向发展。尤其是，开源为年轻学者的成长提供了难得的机会和平台，有助于他们在学术生涯早期积累宝贵的实践经验和影响力。学术评价作为学术界的重要机制，对引导学者的研究方向和兴趣具有显著的影响。以学术评价牵引广大学者关注开源、参与开源、实践开源，是推动开源发展、形成社会创新氛围的重要举措。然而，在实际操作层面，也要面对质量控制、适配研究、贡献映射、领域差异性、隐私保护和安全性等方面的挑战。总之，改变现有评价体系是一个复杂而渐进的过程，将开源纳入学术评价体系还需要在多个层面进行系统性的思考。
将开源纳入学术评价体系并非易事，需要审慎对待时机与范围的选择。
一方面，尽管开源的时代意义和现实需求强烈，但在实际操作层面，由于开源涵盖的范围广泛，包括但不限于代码、数据集、算法和软件，且涉及跨国合作、知识产权保护等一系列复杂问题，标准化的开源贡献评定体系仍在构建之中，尚未达成共识。另一方面，对于不同的评价对象，例如基础研究、职称评审、人才选拔等，开源的适用性各不相同，需要有针对性地设计和实施相应的评价机制。
为了将开源切实融入学术评价体系，结合论坛专家学者观点，我们初步提出了如下实施路径和策略。可以从资助机构支持的科研项目着手，
明确要求成果开源共享，
并据此进一步探索设立开源指数评价体系，这一体系将综合理论研究、评估工具开发和实践活动，逐步把开源元素融入到学术评价的全流程中。此外，我们也要
树立开源生态建设的理念
，通过自上而下的政策引导和自下而上的指标设计，逐步构建一个科学、客观的开源贡献量化评价体系。这样，不仅能够促进开源文化在学术界的传播与发展，还能有效激励学者积极参与开源项目，推动学术研究的创新与进步。
在实操方面，需要细致而审慎地处理知识产权、差异化评价以及开源贡献认定等难点问题。
为此，专家提倡设立与开源贡献紧密相关的奖项，并将其作为学术评价体系中的一种补充途径。在初期阶段，这些奖项可以是非强制性的“敲门砖”，用以鼓励和引导学者关注并参与开源活动。随着社会各界对开源价值的共识不断加深，以及参与人数的日益增多，这些奖项将逐渐升级为评价体系中的必备要素，从而更有效地推动开源文化在学术界的普及与发展。这样的做法不仅有助于保护知识产权，实现差异化评价，更能准确认定开源贡献，促进学术研究的繁荣与进步。
在研究对象和范围方面，倡导将学术创新的载体从传统的论文成果扩展到更广泛的成果形式，包括数据集、算法和软件等。
值得一提的是，开源社区的过程开源价值应得到充分的重视和挖掘。对于不同类型的评价场景，如基础研究、职称评审、人才评审以及学生学术能力评价等，应当因地制宜地引入开源元素，充分考虑各种场景的特点和需求。此外，非信息学科领域的公益事业评价也可以借鉴开源评价模式，从中汲取有益的启示和经验。通过这样的扩展和引入，有望更全面地评价学术创新的成果和价值，推动学术研究的深入发展。
开源指数评价体系的建设是一项系统工程，面临的主要挑战包括但不限于知识产权保护、评价指标设计、量化难度大、多学科贡献度存在差异、评价公平性维护以及数据来源问题。
尤其在评价实施过程中，如何确保评价的客观性和公正性，如何量化评价个人在开源项目中的贡献，以及如何将项目贡献有效地映射到个人学术评价上，都是亟待解决的关键问题。针对上述问题，专家初步提出如下对策及建议：
创建开源项目指数：
编制一个开源项目推荐目录，类似于CCF推荐国际学术会议和期刊目录，以便更好地评估和认可学术成果对开源项目的贡献。
构建多维开源指标
：探索构建由资助来源性质驱动的“科研成果开源”、群智创新范式驱动的“开源项目参与”、学术评价本质驱动的“开源人才培养”、产学研落地驱动的“开源成果转化”等多个维度组成的多元统一评价指标。
数据来源多样化
：除了开源平台提供的数据外，还可以考虑引入企业等来源的第三方数据，以更全面地评估开源项目的使用情况和影响力。
过程性评价与结果评价相统一
：在评价过程中，不仅要考虑最终的成果，还要考虑个人在开源项目中的贡献过程，如代码提交、问题解决等。
制定动态更新机制
：开源项目的状态是动态变化的，评价体系应能够适应这种变化，定期更新项目列表和评价指标。
引入第三方中立机构
：建议由中立的第三方机构负责开源评价体系的建设和维护，以确保评价的客观性和公正性。
优化激励机制：
通过设立奖项、学分兑换、保研加分等方式，鼓励学生和教师参与开源项目，并将其作为对个人学术评价的一部分。
跨学科合作
：鼓励不同学科的专家共同参与开源项目的评价工作，以确保评价的多样性和全面性。
政策支持与推动
：需要自上而下的政策支持，推动开源评价体系的建立和实施，同时需要行业内的共识和协作。
重视教育与培训
：加强对开源文化和贡献的宣传教育，提高学术界对开源项目重要性的认识，培养更多的开源贡献者。
通过上述对策和建议，可以逐步构建起一个科学、合理、公正的可用于学术评价的开源指标，促进开源项目的健康发展，同时也为学术评价体系的创新和完善提供新的思路和方法。
