本文来自微信公众号：Nature自然科研（ID：Nature-Research），原文作者：Elizabeth Gadd，头图来自：unsplash
研究人员常常抱怨招聘和资助委员会用于评估他们的指标。过去10年里，诸如《旧金山科研评估宣言》和《莱顿宣言》等倡议的诞生，促使大学重新思考应该如何通过学术著作和引用量来评估研究成果和研究人员，以及何时使用这类指标。
用排名来评估大学的做法也需要重新思考。由“世界大学学术排名”（ARWU）和《泰晤士高等教育》“世界大学排名”（THE WUR）等机构发布的这些排行榜，决定了奖学金和其他收入的资格，还会影响学术人员去哪里工作和深造的决定。各国政府通过各种政策和经费，帮助他们的大学提高排名。许多大学（如笔者所在的机构）的研究人员因为学校排名不高错失了很多机会。
来源：pixabay
两年前，国际研究管理学会网络（INORMS，一个由研究管理机构组成的学会）邀请我主持一个关于研究评估的新工作组，工作组成员来自十几个不同国家。在第一次会议上，我们就最关心的问题达成了一致：更公平可靠的大学排名。当我们开始起草排名的标准并进行评级时，它们的缺点也清晰起来。
全球研究委员会（Global Research Council）包括了各个科学和工程资助机构的负责人。不久前，全球研究委员会在网上召集专家，探讨如何通过研究评估改善研究文化——这应当包括大学排名的构建和使用。
关于研究管理的文献尽是对排名的批评。排名在方法论上备受质疑——经常使用不恰当的指标，比如以获得诺贝尔奖的校友数量评判教育优质与否。它们还更偏爱英文著作以及之前排名高的大学。这样一来，欧洲和北美的老牌富裕大学始终霸占榜首。大学排名所采用的一系列指标可能无法反应大学的特定使命，还常常忽视它们的社会影响和教学质量。
然而，大学排名早已深入人心，每年新的排名层出不穷。和期刊影响因子一样，无论有多少问题，学生、教职人员和资助者都贪图一劳永逸，将排名与质量划上等号。后果是显而易见的：人才缺失，大学收入减少，不平等快速萌芽。
我们工作组在梳理了有关文献后制定了一套标准，并通过讨论向学术人员、支持科研的人士，以及其他相关群体征求意见。我们将这些意见整理成20条原则，包括有效管理（如声明财务利益冲突）、透明度（目标、方法、数据）、测量重点（是否符合大学的使命）、严谨性（指标能清晰呈现它的测量内容）。
之后，我们将这些原则开发成一个工具，对排名进行定性和定量评估（参见go.nature.com/2ioxhhoq）。我们召集了国际专家评估全球最知名的6个排名机构，并邀请这些机构展开自评（只有CWTS莱顿愿意照做）。大学排名观察（University Ranking Watch）博客编辑Richard Holmes负责结果校准，我们将这些结果以描述的形式呈现，而不是排名。
结果显示，最受关注的排名（ARWU、QS世界大学排名、THE WUR和《美国新闻和世界报道》全球排名）问题最多，尤其是在“测量重点”和“严谨性”方面。这些“标杆”排名均未考虑开放获取、平等、多样性、可持续性和其他社会议题，也不提供指标来反应一所大学的使命。尽管如此，它们依然声称自己评出了全世界最好的大学。
排名机构可能会说我们的原则不切实际，强调评估不可能滴水不漏，而且简单、一刀切的指标有其合理性。笔者的反驳是，我们从各界呼声最高的意见中总结出这些原则，如果排名机构做不到，也许应该停止排名，或者至少开诚布公地承认他们的排名本身具有不确定性（在我们的评估中，只有CWTS莱顿愿意尝试）。
归根结底，排名机构需要承担更多责任。对研究人员评估方式的新期望让笔者深受鼓舞。从2021年1月起，英国研究资助机构惠康（Wellcome）只资助那些能够证明对研究人员开展过公平产出评估的机构。同样，欧盟委员会在其“迈向2030”（Towards 2030）计划中号召高等教育抛弃当前的排名系统，因为它们存在局限且“过于简单”。
我们希望通过暴露排名系统的缺陷所在，吸引更多伙伴来推动这场变革，比如实行更中性、独立的监管，以及可用于其他学术评价的伦理和严谨性标准。
这种压力或能倒逼全球排名机构使用的排名方法更贴近高等教育界对公平可靠排名的期望，或是帮助用户了解排名的局限性，在参考这类排名时多一分谨慎。不管怎样，都是进步。
原文以University rankings need a rethink标题发表在 2020年11月25日的《自然》的World View版块上
本文来自微信公众号：Nature自然科研（ID：Nature-Research），原文作者：Elizabeth Gadd