作者:王美力 杨 洋 刘玉花 蔡文东
通讯作者:赵 洋
(中国科技馆)
【摘要】
本研究通过对国内外科技馆评估理论与实践进行梳理,从评估范围、评估对象、评估内容、评估指标等角度对科技馆评估进行分类,从实践的角度出发,研究并提出科技馆评估定级、卓越科技馆评估、免费开放科技馆绩效评价、省级科技馆体系评估等全面性评估的评估指标、评估办法等。之后,首次从顶层设计的角度,构建科技馆评估体系,明确各项评估工作的区别与联系,提升各评估之间的衔接度,降低评估成本、提高评估效率,助力打造科技馆体系科普资源生产、使用、评价、反馈、提升的闭环工作模式,为在科技馆行业凝聚共识,形成科技馆评估长效机制,推动科技馆体系高质量发展作出有益尝试。
【关键词】
科技馆;评估;现代科技馆体系
党的二十大报告指出“健全基本公共服务体系,提高公共服务水平”,中共中央办公厅、国务院办公厅2022年9月印发的《关于新时代进一步加强科学技术普及工作的意见》提出“加强科普规范化建设,完善科普工作标准和评估评价体系”,将评估评价作为科普工作制度保障之一。科技馆是重要的科普阵地,以上文件进一步凸显了科技馆评估体系建设和创新的必要性与迫切性。
《现代科技馆体系发展“十四五”规划(2021—2025年)》(以下简称《规划》)中明确提出,要“构建省级科技馆体系”“实施卓越科技馆培育计划”“实施中小科技馆能力提升计划”。2023年8月30日,财政部、中国科协印发了《科技馆免费开放补助资金管理办法》,拟对纳入免费开放范围、符合一定条件的科技馆进行资金补助,免费开放科技馆绩效评价是科学分配科技馆补助资金的重要依据。因此,有必要探索系统构建包括全国科技馆评估定级、卓越科技馆评估、免费开放科技馆绩效评价、省级科技馆体系评估等全面性评估在内的整体评价策略,协调各类评估之间的关系,及时总结提炼评估原则和指标要素,以满足不同评估目标的要求,更好地为各级主管部门实施评估提供重要参考依据。
我国科技馆评估研究尚处于起步阶段,在中国知网上同时以“科技馆”“评估/评价”为题对篇名进行搜索,得到的学术论文并不多(含学位论文,以及对数字科技馆、流动科技馆的评估、评价),其中大多数研究属于理论研究。
(一)从评估范围来看,可以将评估分为整体评估与专项评估
整体评估侧重将科技馆整体的业务或表现进行统筹考量,如中国自然科学博物馆学会开展的“全国科技馆评价指标体系研究”,建立了以基础设施与综合管理、展览及教育、展品研发及维修、学术研究、公共关系与服务五大方面为主的评级指标体系,共计158个采分点,同时研究形成了《全国科技馆评估办法(试行)》《全国甲级科技馆评估暂行标准》《全国甲级科技馆评分细则表》,是典型的整体评估。蔡文东等开展的“科技馆运行评估研究”及“科技馆等级划分与评定研究”,从各级科技馆在现代科技馆体系中的定位和职责出发,提出了以展览教育、科研产出、服务效能三个方面为主的评估指标体系,也是对科技馆整体运行水平的评估。
专项评估则更聚焦于科技馆的某一项业务。如2004—2005年,中国科普研究所与中国科技馆的有关专家对科技馆常设展览的科普教育效果展开了评估,围绕科技馆常设展览的功能和作用,提出了常设展览效果的评估指标,包括教育效果(功能指标)、吸引力(管理指标)和社会效果(影响指标),并对每个维度的指标进行细化,形成了三级指标,为展览展品评估提供了重要的依据。2017年,中国科技馆展教中心开展了“基于展厅的教育活动评估研究”项目,该项目着眼于如何评价科技馆基于展厅的教育活动,分析了各类经典教育评估模型的特点,设计出评价教育活动的三级指标体系,一级指标包括活动设计、活动实施、活动效果三个部分,为教育活动的评估提供了有价值的方法和依据
。韩育蕾围绕科技馆的展项评价设计了评价流程,列举了科技馆展品的七大特点,教育性、参与性、趣味性、安全性、唯一性、易用性、科学性,可以作为展览展品的评估指标使用。张志敏和郑念设计了针对大型科普活动效果评估体系,包括了策划与设计、宣传与知晓、组织与实施、影响与效果四项一级指标。该研究涉及了不同评估角度(评价主体),如专家、公众,以及不同评估方法,如问卷调查法、访谈法,大大提高了该评估体系的可执行性。基于张志敏的研究,张楠楠通过对科技馆科普活动中受众行为进行观察以及对科学知识获取展开研究,提出了针对科技馆科普活动效果评价的DPI评估体系。该体系覆盖了科普活动策划、组织管理、制作、宣传、呈现、效果评估的完整流程,包括设计与制作、科普过程、科普影响三个一级指标。
(二)从评估对象来看,可以根据现代科技馆体系的组成部分,将评估分为对实体科技馆、流动科技馆、科普大篷车、数字科技馆等的评估
除上述对实体科技馆的评估外,2016—2018年,北京大学与中国科技馆联合开展“中国流动科技馆科普效果评估”,之后,从可持续发展维度对中国流动科技馆进行评估,通过分析知识助力、宣传满意程度、组织有序度、讲解满意度、服务态度满意度等变量,探究人们的持续采纳的意愿。陕西科技馆李文军针对科普大篷车教育活动特点设计科学的指标体系,系统全面地对其基本情况、工作能力、工作效果进行统计评估,以方便实施、便于操作的考评统计表为工具,为收集、统计、评估、考核科普大篷车工作成绩及科技馆整体业务工作提供基础资料。华中师范大学等以中国数字科技馆为实证研究对象,基于SERVQUAL等理论构建以用户体验为核心、突出教育性意义的数字科技馆服务质量评价概念模型,发现服务效果、教育作用、情感性(移情性)和环境特征这四个潜变量对用户的主观体验有显著影响。
(三)从评估内容及构建的指标体系框架来看,评估可以分为效果评估、绩效评估、组织管理评估三大类
效果评估侧重于科技馆作为公共文化基础设施,从公众视角考察各项服务的产出,包括科普服务能力、观众满意度、社会影响力等方面。例如,澳大利亚国家科学技术中心(National Science and Technology Centre)于2001年展开了科学中心的影响力评价研究。澳大利亚学者Garnett收集了180多份关于科学中心在社区影响力的研究文献,并在芬兰学者Persson的研究基础上,将科学中心的影响力分为个人影响、社会影响、政治影响、经济影响四个类别。科学中心产生社会效应的模型可以分为输入、输出、影响三阶段。资金和人力的输入,在科学中心内部文化和使命的作用下,产出了诸如展览、展品、项目、网站、软件、出版物、商业活动、媒体等产出物,这些产出物所形成的社会效应可以由个人影响、社会影响、政治影响、经济影响四个类别来进行评价(见图1)。该模型侧重于科学中心对外产生的社会效应,而没有关注内部的组织、运行、环境等因素。
图1 澳大利亚科学中心影响力模型
绩效评估侧重于科技馆作为运营主体,在财政资金、基础建设、人才投入等方面与服务产出效果方面对比的评估。如张楠楠等分析了科技馆绩效评价所考虑的因素及评价原则,从科技馆展品及展陈效果绩效考核体系和科技馆员工的绩效考核体系两个层面探讨科技馆绩效考核体系的构建问题。佟贺丰在构建科技馆评价体系时,也重点考虑了运营绩效与投入产出,包括设施绩效、经费绩效、人员绩效等。
组织管理评估侧重于科技馆作为管理单位,在制度建设、政策落实、组织程序等方面的规范性与完善度,一般用于科技馆的自我评估。任福君曾针对免费开放科技馆自评估设计指标体系及考察要点,其中就包含了制度建设、运营服务、经费管理、经验及特色四个方面,同时对各级免费开放主管部门设计了评估指标体系,其一级指标包括体制机制建设、组织开展情况、经验总结三个方面,都是从组织管理层面对科技馆及上级主管部门进行评估。这种评估方法及内容设定为开展省级科技馆体系建设评估提供了很好的思路。综上所述,本研究整理分析了科技馆评估类型(见图2)。
图2 科技馆评估类型
通过梳理党中央、国务院、中国科协、中国科技馆对科普工作及科技馆的相关要求,对比博物馆及其他公共文化设施评估工作发展趋势,明确了近期科技馆评估工作的重点与要点集中在科技馆评估定级研究、卓越科技馆评估研究、免费开放科技馆绩效评价研究、省级科技馆体系评估研究四个方面。因为四项评估工作均为开创性、实践性工作,在此特将各项工作的研究进展进行梳理。
(一)科技馆评估定级研究
我国博物馆的评估定级开始于2008年,国家文物局先后发布了《博物馆定级评估办法》《博物馆定级评估标准》《评分细则计分表》《国家一级博物馆定级评估申请书》《国家二、三级博物馆定级评估复核申请书》等文件。近年来平均每三年开展一次评估工作。2023年12月,中国博协启动了第五批全国博物馆定级评估工作,我国博物馆的评估标准不断完善、评估过程日趋科学和专业,已成为引导、展现博物馆高质量发展的重要抓手。我国自1994年首次开展县以上公共图书馆评估定级工作。2023年12月28日,文化和旅游部公布了第七次全国县级以上公共图书馆评估定级的上等级馆名单,图书馆评估定级已成为平均四年一次的常态化工作,并在评估过程中不断更新、完善公共图书馆评估标准。我国科技馆一直未能开展全国范围的评估定级工作。2021年,《规划》中明确提出,要“制定以科普展教效果为核心的科技馆评估办法和指标体系,逐步建立科技馆定期评估制度”。对此,本研究在原有研究的基础上,依托2021—2023年科技馆运行数据,开展科技馆定级试评估,并根据各地意见反馈及专家咨询情况,起草《科技馆评估定级办法》《科技馆评估定级标准》,为开展科技馆定级正式评估奠定基础,为全国科技馆高质量发展树立鲜明导向。
目前,已研究设立科技馆评估定级指标体系(见表1),共分为三级,其中一级指标主要包括:基本保障、展览教育、研发产出和服务效能,另外设置若干附加项。评估的方式包括:定性评估和定量评估两类。评估采取百分制计分,满分为100分。评估方法包括定量评估、定性评估和综合评议。根据评估需要可选择开展现场考察。
(二)卓越科技馆评估研究
“卓越科技馆”在我国的研究与实践尚处于起步阶段。2021年5月,国家文物局等9部门发布《关于推进博物馆改革发展的指导意见》,提出“实施卓越博物馆发展计划,因地制宜支持省级、重要地市级博物馆特色化发展”。国内业界及学界已从不同侧面探讨了卓越博物馆的相关问题,但到目前为止,还没有形成卓越博物馆的专门评价标准。2021年,《规划》中明确提出,要“实施卓越科技馆培育计划”,建立相应考核评价机制,选拔并重点培育5至10家科技馆,在展览展品研发、教育活动实施等方面加大支持力度,提升科普服务水平、增强自主创新能力,发挥引领示范作用,为建设世界一流科技馆打牢基础。
参考国内外相关研究与实践经验,明确了卓越科技馆的定位,是要在贯彻科技馆的建馆理念和宗旨、追求优秀的过程中,具备较高的展览教育、研究和服务水平,及时体现世界科技发展前沿和我国科技成就及其对世界的贡献,成为展览教育资源研发与集成共享中心,在现代科技馆体系中发挥示范引领作用。本研究认为,卓越绝不是简单地要求统一标准,而是倡导百花齐放、各具特色,注重“特色即一流”。首先,卓越不是“建成的卓越”,而是“建设中的卓越”。其次,卓越不单是“个体的卓越”,还应是“群体的卓越”。再次,卓越不单是“外在表现”的卓越,还应是“价值引领”的卓越。
基于此,卓越科技馆的指标体系拟分为三级指标。一级指标包括良好的社会反馈评价、合理的组织管理制度、优良的展览与教育内容、深厚的发展潜能等二级指标。其中,良好的社会反馈评价包括知名度、认可度、访问量;合理的组织管理制度包括资金使用效能、信息化程度;优良的展览与教育内容包括展品质量、教育活动、网络科普、科普影视、展览特色;深厚的发展潜能包括创新发展、对外合作、人才培养。在二级指标下设立三级指标。
(三)免费开放科技馆绩效评价研究
全国科技馆免费开放(简称“免费开放”)是贯彻落实中央精神,面向公众提供公平普惠科普公共服务的重要内容,是服务人民日益增长的美好生活需要的一项重要惠民举措。根据《科技馆免费开放资金管理暂行办法》,中国科协需对各省补助资金配置效率和使用效果进行绩效评价,评价结果作为预算安排、改进管理、完善政策的重要依据。相关评价结果可作为《全国科技馆免费开放补助资金测算方案》中的测算因素之一进行使用。目前,拟考虑将信息管理、资金使用、财力支持、运行效率作为免费开放科技馆绩效评价的4个一级指标,下设具体测算指标。
(四)省级科技馆体系评估研究
《规划》中提出“推动构建省级科技馆体系”,要求进一步发挥省级科技馆的能动性,统筹省内科技馆联动共享,扶持中小科技馆建设发展,协调推进各省科技馆体系建设。各地响应规划要求,统筹省内各类科普资源,在规划统筹、组织机制、资源共建共享等方面形成具有各省特色的省级科技馆体系建设路径。
根据《规划》对省级科技馆体系建设的要求,结合前期对各省科技馆体系建设情况的梳理,省级科技馆体系评估指标重点考虑以下方面:一是场馆建设方面,省内各场馆(包括实体馆、流动科普设施、数字科技馆等)资源建设是省级科技馆体系建设的基础。二是开放融合方面,需统筹省内各类科普资源共建共享工作,促进科普资源优化配置。三是联动协作方面,省级科技馆体系内各要素要联动共享,包括组织建设、资源共建共享、联合活动等。四是服务大局方面,要落实国家和有关部门的政策和任务、积极服务现代科技馆体系建设与发展等。
后续,将进一步明确省级科技馆体系评估目标,以目标为导向逐步构建省级科技馆体系评估指标体系和评估办法,统筹省级科技馆体系建设同步发展,形成科技馆体系发展合力,共促全民科学素质提升。
科技馆评估定级、卓越科技馆评估、免费开放科技馆绩效评价、省级科技馆体系评估这4项评估既有差别,又有内在联系,构成了科技馆评估体系(见表2)。建立科技馆评估体系,可以发挥体系的系统功能,提升各评估之间的衔接度,降低评估成本、提高评估效率、助力各项评估工作更好更快开展,推动科技馆事业以及科技馆体系高质量发展。