| 借鉴/启示/前瞻/趋势 | 演讲全文 | 著名签名档 | 思考平台 | 全排行榜 | 求同存异 | 现象/性质/特征/效应 | 名言名句 | 打破惯例/改变认识/观念更新 |
您当前的位置:首页 > 启迪思维 > 演讲全文

张春霆:学术评价的评价

时间:2010-12-23 17:09:22  来源:  作者:


1 引言

学术评价者学术界之大事也,事关国家科技的良性发展和原始创新能力的提高;也关乎科研人员的入职、职称的提升、资助和奖励的获取等切身利益,不可不察也。2010年6月17日,英国著名刊物《自然》(Nature)以《评价的评价》为题发表了一篇社论,对本期中发表的三篇有关学术评价的文章加以介绍和评论。其中一篇介绍了形形色色的学术评价指标及在世界各地的使用情况。Nature杂志曾就评价指标的实际使用程度以及与同行评议的关系向世界各地的许多学者和管理者发去了问卷调查。结果有150位研究人员和近30位大学教务长、系主任或其它管理人员反馈了调查问卷,综合后加以公布。Nature杂志还邀请包括著名的文献(科学)计量学家在内的6名专家就如何改进学术评价指标的使用等学术评价问题发表了看法。受这些文章的启发,笔者产生了借题发挥的想法,就是用同一个题目结合中国的实际情况,写一篇新的文章,这正是本文的由来,希望对于改进我国学术评价的现状有所参考。本文由两大部分组成:一部分用大量的篇幅介绍各种各样国际通用的学术评价指标,包括适用于研究群体(大学或研究所等)、刊物和个人的评价指标,并讨论如何克服其缺点;另一部分则探讨同行评议与使用学术指标评价进行评议之间的关系。

2 基于科研产出的评价指标

科学研究,尤其是基础研究其产出的主要形式就是发表学术研究论文。在一般情况下发表论文的数量就成为一项主要的评价指标。当然不排除历史上或现实中某些杰出的学者只发表了极少数的论文却取得了极高的学术成就,在这种情况下再数其发表了几篇论文就变得毫无意义。但是在一般情况下这个数字还是有意义的。论文总数这个评价指标在实际计算时存在着一个用什么样的论文来统计的问题。目前国际上存在三大文献检索数据库:Web of Science 或 WoS (Thomson-Reuters集团);Scopus (Elsevier集团)和Google Scholar (Google集团)。前者从11500种杂志收录论文;中者从16500种刊物收录论文;而后者则包括了比前两者更多的工程学、社会科学和人文科学刊物所发表的论文以及专利。其中WoS又包括SCIE、SSCI等7个子库。对于一个给定的研究人员或一所大学(研究所或部门)统计出的论文总数取决于采用哪个数据库。对于自然科学方面的基础研究宜用SCIE 数据库(约7000种刊物);对于工程技术研究除了用SCIE 数据库以外,还应参考Scopus数据库加以补充;而Google Scholar数据库对于两者都有参考价值,而且它是免费的。

3 基于论文引用次数的评价指标

3.1 篇均引用次数与影响因子

论文的引用具有重要的参考价值,因为它体现了在世界范围内的小同行的署名评议,具有广泛性、公开性、公平性和客观性等优点,历来受到国内外学术界的普遍认可。其中,篇均引用次数是一个极其重要的学术评价指标。统计在一个时间窗口中所发表论文的总数(分母),以及这些论文在另一个后续的时间窗口中所获得的引用次数(分子),两者之比即为篇均引用次数。若把前时间窗口取为前两年,而把后时间窗口取为今年,则一刊物所发表论文的篇均引用次数又称为该刊物在今年的影响因子。显然,某刊物的影响因子,即其篇均引用次数,与在该刊物所发表的某特定论文所获引用次数属于两个不同的概念,两者没有可比性。例如,据Nature统计,在2005年Nature的25%的论文获得的引用次数占总引用次数的89%。换言之,另外75%的论文只获得了11%的引用次数。也就是说即使在Nature这样的刊物上发表的论文,其中大部分所获得的引用次数相当有限。笔者遗憾地指出,在我国教育界和学术界有一种用刊物影响因子来评价在该刊物所发表论文及其作者学术水平的倾向。如有的管理者甚至要求其属下必须在影响因子多少点以上的刊物上发表论文。这种倾向不仅是十分错误的,因为它背离了科学研究的宗旨;而且也是十分荒唐的,因为它误用了刊物的评价指标。著名文献计量学家A.van Raan指出:“如果有一个观点每一位文献计量学家都同意的话,那就是:你们永远不要用刊物的影响因子来评价一篇论文或某个研究人员的学术表现——因为那是一种不可饶恕的大罪(That is a mortal sin)”。但愿文献计量学家的忠告能引起我国教育界和学术界的警觉。

3.2 考虑作者贡献之不同的权重引用次数

无论是总引用次数或篇均引用次数都是针对论文而言的。如果该论文只有一位作者,那么全部引用次数理应归于作者本人。但是如果有多位作者(这是当前发表论文的普遍形式),国际上三大文献检索数据库的现行做法是把论文的引用次数归于每一位作者,导致了一篇论文的引用次被反复计数,这是十分错误的。为了解决这一问题,笔者定义了两个概念:针对论文的引用次数和针对作者的引用次数,而后者等于前者乘以作者的贡献权重系数。权重系数是介于0和1之间的一个实数,可以根据该作者在论文中的排名计算出来。为了计算权重系数,笔者提出了一个论文荣誉的三分原则:将一篇论文由引用次数获得的荣誉等分为三份:第一作者和通讯作者各得1份(他们的权重系数均为1),其他作者的权重系数之和等于1。而他们的权重系数原则上按作者排名的先后顺序递减,详情可参见文献,在这里不再介绍。为了给权重系数的计算提供方便,笔者建立了一个网站,免费提供权重系数和权重引用次数的在线计算,详见:http://www.wcitation.org/。

3.3 按学科归一化的引用分数和皇冠指标(Crown indicator)

用引用次数作为评价指标的另一个大缺点是不具有学科可比性。例如,生物医学的引用次相对较多;而数学力学的相对较少。解决这一问题的方法之一是引入按学科归一化的引用分数。假设一个研究群体在某一学科领域发表了一批论文。首先计算其篇均引用次数;其次再计算世界范围内在同一学科领域和相同情况下的篇均引用次数,两者之比则成为按该学科归一化的引用分数。其值为1表示达到了世界平均水平;其值大于1(小于1)表示比世界平均水平高(低)。于是归一化的引用分数在不同学科间就有了可比性。若一研究群体同时从事多学科研究,则还要对所涉及学科求平均。在计算过程中可有不同的变化,于是就有多种不同的归一化方案。其中荷兰Leiden大学《科学与技术研究中心》(CWTS)所提出的皇冠指标就是其中的一种,被做为世界大学排行榜的评价指标使用,详见http://www.cwts.nl/ranking/。但是仔细一想这种做法也有问题。把科学划分为各种领域是一种粗粒化的做法。问题是,粗到多粗为宜?细到多细为好?“如果划分过宽就会抹刹细节;如果划分过细,就会导致毫无用处的结果” ,最终使人处于两难的境地。到目前为止,这种指标只应用于对研究群体(大学或研究所等)的评价。

来顶一下
返回首页
返回首页
发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表
推荐资讯
相关文章
栏目更新
栏目热门