■这份报告的最可贵之处，是提供了大量原始数据。如果你不同意报告所采用的赋权方法，则完全可以利用这些数据，按照你自己确定的权重来重新评价。
2010年9月28日，美国国家科学院、国家工程院和国家医学研究院共同发布了一份研究报告：A Data-Based Assessment of Research-Doctorate Programs in the United States（基于数据对美国科研与博士培养计划之评估）。报告总共用20项指标对212所大学的5000多项计划进行了评估。
这次的定量评估，在方法上有两个特点。
首先，不搞确定的排序，而对每一评估对象估计一个名次区间。例如，杜克大学在“生态学与进化生物学”领域处于约1至4位，普林斯顿大学在“天体物理学与天文学”领域处于1至10位，等等。由于被评价事物的复杂性，由于指标的波动性和不确定性，大家普遍认为，区间式的评估比给出一个确定位次更合理。
其次，赋权方法的探索。这次采用了两种赋权方法。一种是最传统的，请专家们给不同指标（例如，科研计划及博士生培养计划每位教师的平均发文量和被引量）赋权。第二种方法是请专家们对不同大学的各种计划排出具体的序来，哪家第一，哪家第二，再用统计方法进行权重拟合，看看什么样的权重分配方案能够产生最接近专家排序的序列。顺便说一句，第二种方法也是科学网博主俞立平教授所倡导并尝试过的。两种赋权方式产生的评价结果当然有差异，但是一般说，优秀的大学，无论用哪种赋权方式来评价，都会名列前茅，只是具体的位次区间有差异而已。另外，两种赋权方法的共同倾向是：重视科研产出指标，重视博士生培养规模指标，而“对学生的关照程度”和“学生毕业后的表现”之类指标都被给了较低权重。笔者猜测，这些专家们都是在重视科研产出指标的氛围里成长起来的，自然也不假思索地强调这些指标。
这次评价的两大缺点，一是太不及时。上一次类似评价是1995年做的。这一次，由于经费资助方面的问题，工作耽误了下来。该报告公布的数据中，最新的数据是2005年的，这当然解不了渴。不过，该报告的委员会主席、普林斯顿大学天文学家Jeremiah Ostriker认为，“做得对”比“做得快”更重要。
第二个缺点是对交叉学科计划评价不当。交叉学科计划不好评价，是个老大难问题（可参见陈立和武夷山的《〈促进交叉学科研究〉述评》一文，http://www.sciencenet.cn/m/user_content.aspx?id=12097）。这次评价，是看某计划当中有多少其他专业的老师兼职，兼职的人多，就认为该计划的跨学科性强。可是，某些计划彻头彻尾就是跨学科性的，所有教师都是全职人员，按照现在的评价方法，反而在“跨学科性”上得了零分。
这份报告的最可贵之处，是提供了大量原始数据。如果你不同意报告所采用的赋权方法，则完全可以利用这些数据，按照你自己确定的权重来重新评价。事实上，中国科学技术信息研究所“中国科技论文统计分析课题组”多年来的工作思路正是这样的：提供经过清洗的可靠数据，也提供一套供您参考的评价指标权重。至少第一方面的工作对您有帮助。
我曾经说过：“无论在我国还是其他国家，基于科学计量学的评估活动和评估结果总是引起很多争议。可以看出，尽管存在着争论，但美国联邦政府对于这类研究的支持是扎扎实实的。他们希望通过切实可信的研究成果来推进基于科学计量学的科研绩效评估，而不是一碰到争议就退缩，因噎废食。”（武夷山，《改善科学测度学之科学性》，http://www.sciencenet.cn/m/user_content.aspx?id=330790）。
美国三院这份报告的出台，再次证实了我的看法。
（作者为中国科学技术信息研究所研究员。本文参考文献：Emma Marris，US school ranking names no winners, Nature, 30 Sept. 2010 I 467: 510——作者注）
《科学时报》 (2010-12-31 A3 周末评论)
