但是,通过智库问卷来邀请智库报告影响力和活动数据的策略,仍然存在方法论缺陷。
一方面是因为,智库评价者们做的所有努力,都是将“智库影响力”的概念退化为“有助于智库实现影响力的行为”。英国智库问题专家戴安·斯通就曾评价道,即便我们能够证实撒切尔夫人经常向亚当·斯密研究所咨询,布莱尔首相也听得进费边研究所和公共政策研究所的建议,我们也不能证明英国首相们确实是因为听了智库的建议而做了某个决定。当我们从反馈的问卷中得到了智库参加国会咨询或提交报告的数据后,我们并不知道这些智库活动是否最终真的影响了政策。在笔者2004年设计的指标体系里,第一次采用了“领导批示”这样的指标来识别中国智库的决策影响。近年来,大学和研究机构也普遍采用领导批示作为考核学者政策影响绩效的指标。领导批示是中国政府正式的行政程序之一,这样一个标志性行政事件或许确实记载了智库报告造成了某种行政后果,但批示是否真的实现了对决策的影响仍然是一个未知数。因此,一些学者仍然质疑批示能不能真的代表政策影响力,进而有些学者也担心如果将领导批示作为学者考核指标是否会造成某种误导。
另一方面,虽然问卷调查是被普遍采用的智库评价基本方法,但仍然存在无法避免的数据偏差。一些智库经常有意识或无意识地夸大它们的影响力,这就使我们不可过分相信智库问卷的自我评价和统计数据。例如,里根总统仅当选几个月后,传统基金会主席艾德温·福尔纳就曾声称他们60%的政策建议已经被里根政府采纳。但是,在他所说的建议中,有许多早已由别的研究机构在几年前就提出过。又如亚当·斯密研究所声称20世纪80年代有超过100个它们关于自由市场的思想成为政策。但谁也不知道撒切尔夫人是否真的认可这样的说法。同时,笔者在访谈时,也注意到有些智库由于某些原因刻意保持低调,隐藏部分决策影响贡献的信息,特别是有时候智库和决策部门签署了保密协议,不得对外公开参与决策的情况。更值得注意的是,由于最近国内各种智库评价研究层出不穷,一些智库已经开始抱怨,他们经常疲于应付各种调查问卷。所以,调查问卷反馈的数据全面与否,很可能和这家智库是否认真对待这份调查问卷密切相关。