2.3 引證法作為科學評價局限性的實證研究

引證法被引入作為科研評價方法，就是為了避免單純用數量方式作為評價標準難以充分體現“質量”（Quality）和“影響力”（Influence）[24]的弊端。為了更好地理解“質量”和“影響力”這兩個概念，我們首先要明確引文索引的產生背景。引文索引的產生是為了克服主題索引存在的標引人員主觀性引發的錯誤。因為標引人員要通過判斷文獻之間的相關性來提高檢索效果。眾所周知，檢索效果涉及檢全率和檢準率兩個方面，而質量和影響力分別代表了檢全率和檢準率。但引證法在有效克服主題索引存在的問題時，也產生了本身體制所引發的檢全率和檢準率缺失的局限。引證法主要采用文章所引參考文獻之間的關系來建立引文耦合和同被引聚類，而引證系統的數據選取和參考文獻引用中存在的問題，導致作為科學評價標準的質量和影響力的缺失。本書將在分析引證法導致質量和影響力缺失的具體原因的基礎上，揭示質量和影響力缺失之間的內在聯系，以期探求解決引證法存在的質量和影響力缺失的對策。

引證研究中最主要的就是考察期刊影響因子（Impact Factors）的大小，而非考察其中某篇文章的影響因子。高影響因子期刊的大多數文章質量都高，但也存在低質量的文章；同時發表在低影響因子期刊上的也有高質量文章。所以按照這種對期刊排序的方法，難以準確反映單篇文章的質量。這就造成影響因子的影響不過是“源期刊”的影響；并且影響因子只取兩年為峰值，而期刊的質量是一個累積的發展過程，所以用于學術評價存在問題。以發表在1997年第3期《高分子通報》上的一篇文章《聚酰胺/粘土納米復合材料的制備、結構表征及性能研究》為例，依據CNKI科學引文數據庫，其影響因子是0.438[25]，作為目前國內被引率較高的文章之一，按照引證評價，這篇文章的質量應該較高，因為其被引頻率為177，那么如果文章質量和期刊質量具有絕對的正相關關系的話，那么其所屬期刊的影響因子應該較高，實際上，由表2-1和圖2-1可以看出，引用該文章的1/10的文章所屬期刊的影響因子高于該期刊。語種等因素造成的未被收錄期刊導致的低影響因子現象，使載于其上的文章質量無法被正當評價，進而導致對人才、機構的科學評價不實現象。

不可忽視的是，一方面，引證索引系統雖然可以用引證率評價文章的質量高低，但這種質量評價都是源期刊內的評價，無法得知未被收錄的期刊的引證率，更無法從中探知其文章質量，將直接導致科學評價的質量缺失；另一方面，僅僅考慮源期刊內的引證率，不考慮其收錄的不全問題，也會產生自引、轉引、漏引和重引導致的質量缺失。

事實上，有些期刊的影響因子和論文的被引頻次中有90%以上都是由期刊和作者的自引所貢獻的[26]。對于這類期刊的影響因子和論文的被引頻次，不能絕對否定或盲目接受，而需要做出具體分析：一種情況是某些研究屬于學術前沿，只有很少的人進行研究，接連發表高質量的文章；另一種情況是某些研究人員為了凸顯自己的研究成果，獲得較高的引用率，人為操縱“引用”的現象，形成期刊和作者的自引在期刊和論文的被引頻次中占有極高的比例，但這種情況在JCR中所給出的引證指標中是無法反映的；還有一種情況是多作者合作引發的高自引現象，主要存在于交叉學科領域。這是為了迎合目前的評價體系，為獲得后續研究資源奠定基礎而采用的措施，在評價中顯然不能認為該文章的學術水平高，被較多自引的文章也不一定真正具有高質量。當然，也有引證評價體系催生的轉引、重引、漏引等現象。在引證體系中出現的以上種種現象，都導致在利用引文評價方法時輸出大量非密切相關的文獻，以致產生質量缺失的問題。

加菲爾德在舉例證明引文方法的效用時，談到了這種方法有效檢索出了主題法無法查出的相關文獻，從而更準確地評價了文章的影響力，進而更好地評價了作者的影響力[27]。但事實上，引證法也不可避免地存在著影響力缺失的問題。主要有以下四個方面的原因。

2.3.1 來源文獻收錄范圍有限

主要包括收錄的期刊數量不全和文種不全兩個方面。無論是哪種引證系統，它所收錄的文章都不可能是無所不包的，肯定會有一些期刊以各種原因被排除在外。

例如：目前SCI收錄全世界150個學科領域的將近3500種核心學術刊物，其擴展部分（SCI Search和Web of Science）還收錄了5600多種刊物。由于技術上的原因，一些高水平的非國際性刊物不能被SCI收錄。SCI每年選用不同國家的學術核心期刊的數目是不一樣的，變化每年都會發生。而對于中國大陸核心期刊的選用，是非常少的。根據1997年的情況，科學引文索引（SCI）當年選用44個國家（地區）3453種期刊，其中中國大陸（不含港、澳、臺）被選用9種，它們是：《中國科學》A、B、C、D、E輯（英文版）, 1998年，又增加了《化學學報》（中文版）、《科學通報》（英文版）兩種中國期刊；1999年，中國科學期刊被SCI最新收錄為13種，增加了《力學學報》、《高等學校化學學報》（中文版）[28]。

類似SCI的這種收錄范圍雖然涵蓋了絕大多數高質量文章，但某些高質量的文章因為所屬期刊的低影響因子和文種等因素未被包括。所以文獻收錄范圍有限是造成影響力較力的首要原因。

2.3.2 合著者的貢獻難以體現

早期的引文研究主要承認第一著者的貢獻，而忽略排名在后的作者，這種方式存在明顯的科研貢獻分配不合理問題。后續的研究為了彌補這種缺陷，對不同順序的著者增設了加權分配的研究，進而在一定程度上彌補了科研貢獻分配不合理現象，但也有特殊情況。

（1）導師和學生之間的合作研究，有時是學生做了大部分工作甚至全部工作，但如果學生署名在導師后面的話，按照上面的加權方式，就人為減小了學生的科研貢獻，所以無法完全展示署名非第一著者的貢獻程度，從而降低了此類研究合作者的學術影響力。

（2）多個研究人員的合作研究，排在后面的作者的貢獻并非一定小于前面的，但按照加權隨順序遞減的方式，就難以體現每個研究人員的實際貢獻，人為降低了排名在后的合作者的貢獻程度。

（3）單純的加權研究無法揭示合作研究成員內部的細微人際關系，而這種關系卻對科研成果的質量起著非常重要的作用。例如：性別、種族、文化等對科研貢獻程度的內在影響。

在這種情況下，雖然表面上文章的影響力得到實現，但在整個科研環節中，作者的科研貢獻難以真正得到體現，而作者的貢獻能否全面體現是科學體系中非常重要的方面，將直接影響作者的再創造動力。所以，既然引證法被應用到科學評價中，就不能單純考慮文章的影響力，而應該全面體現作者的影響力，以使整個科學系統均衡發展，從而避免人為加速科學研究的馬太效應。

2.3.3 引文研究存在即時效應

引文研究又被稱為即時效應（immediacy effect）[29]，一篇文章的被引用情況通常以非線性的方式發展，并趨向于以越來越高的速率衰減。不同學科的衰減速率也不同。例如有的學科的半衰期為5年，有的為3年。最近出版的文章比以前的文章更加容易被引用。即時效應代表著研究前沿。通常情況下，研究前沿是指近5年內發表的文章。隨著新的研究前沿出現，研究前沿不斷地向前推進，過去的研究淪為歷史。默頓（Robert King Merton, 1910-2003）和朱克曼（Harriet Zucherman）認為，過去的文章并沒有真正消失，而是并入了新近的研究，即組合進當前最新的研究前沿。但我們認為，“軟科學”（在這里，“軟科學”相對于理論性強的“硬科學”而言）方面的文章很難融入入新的研究前沿，而是真正的消失，這樣的文章就無法真正代表研究前沿。在“軟科學”中，引證研究中所謂的代表研究前沿的文章往往少于真正概括研究前沿的文章。

眾所周知，科學歷史中大多數文章都如流星一樣，轉瞬即逝，根本談不上成為經典。雖然默頓和朱克曼爭辯到，文章并沒有真正消失，而是轉入了后續研究，但他們也看到了“軟科學”的文章難以轉入后續研究，往往真正的消失；就算是“硬科學”的文章，也不一定全部轉入了后續的研究，除非是經典的文章。但事實上，只有方法論的文章才能更容易被引用，從而具有較高的影響力。科學史上非方法論文章 [如沃-克的DNA雙螺旋結構和愛因斯坦（Albert Einstein, 1879-1955）的E=MC2方程] 成為經典的文章，可以說是鳳毛麟角。

從表2-2和圖2-2可以看到，國內納米科學領域質量相對較高的文章的逐年引用情況也是M型，不具有“持久性”[30]的特點，根本不可能成為經典，恐怕也難以轉入后續研究，在擁有較高的被引率的輝煌之后，可能真正地“消失”。

由此可見，文章在很短的時間內加速消失是普遍現象，而具有較高引證率的文章往往是方法論的文章，文章的高引證率僅僅是研究方法新穎，并非內容價值較高，即這種引用并非為后續研究打理論基礎的引用，所以引證數高的文章并不一定具有奠定學科基礎的影響力。由此可見，引證法由于存在即時效應而難以具有較高的影響力。

事實上，質量和影響力是一個問題的兩個方面，相互影響，兩者具有正反饋的效應。引證研究中的“源期刊”的收錄范圍是所有問題的源頭。這里有一個悖論：只有盡可能全面搜集期刊才能使引證系統具有更大的影響力，但為了凸顯代表研究前沿的高質量文章就不可能包羅所有期刊，而只能按照期刊的質量（即期刊的影響因子）而非文章的“影響力”的大小來包含影響因子較大的期刊。不容忽視的是，影響因子的計算只取兩年的峰值，如果是“硬科學”的期刊，這種方式能夠體現當前學科的發展狀況，但作為“軟科學”方面的期刊，這樣的文章就很難融進具體學科的發展形勢，這就勢必造成一些具有指導意義的高質量文章因為所載期刊的問題而沒有體現其價值。引證研究孕育著研究前沿，所謂的“研究前沿”就是指近五年內發表的文章，但鑒于并非所有學科引證的半衰期都是五年，有些學科引證的半衰期低于或高于5年，這兩種情況下，代表研究前沿的文章就會存在不能代表真正的研究前沿的情況（見表2-3）。

我們看到，對半衰期小于5年的學科，其選出來的文章也包含研究前沿以外的文章；反之，選出來的文章沒有代表完整的研究前沿的文章。

引證研究作為評價體系會加速科學研究中的馬太效應（Matthew Effect）。首先，引證數量具有累積優勢的效應，先前的引證更會在一定程度上為后續的被引用創造更多的機會，隨著引證數量的增加，就會使作者具有更大的學術影響力，得到科研學術機構和同行的認可，為其以后能夠獲得更大的研究資源打下良好的基礎，充足的研究資源又為其更好地研究創造了優厚的條件，又為進一步擴大學術影響力創造了條件；相反，引證數量低或沒有引證數量的人，就很難擁有影響力和獲得更大的資源，這就加速了科學研究中的負反饋。同時，這種源期刊之外的文章質量無法得到正確評價，造成整個人才、機構等的評價失衡，以致科學評價系統產生失誤。單純的引證研究的評價體系容易造成政策的錯誤[31]。所以單純以引證法作為科學評價指標，將會人為加劇這種馬太效應，為了遏制這種異化現象，有必要引入其他評價指標。

本章參考文獻

[1] 王英．跨越學科的智慧——默頓科學社會學思想研究 [M]．合肥：安徽人民出版社，2007: 12.

[2]〔美〕喬納森·科爾，斯蒂芬·科爾．科學界的社會分層 [M]．趙佳苓，顧聽等，譯．北京：華夏出版社，1989: 6.

[3]〔蘇〕 И. В. Маршакова．科學引文索引與科學前沿預測 [M]．趙云龍等，譯．北京：兵器工業出版社，1992.

[4] 劉則淵．基于科學計量學的制度科學學科研評價與大學評價 [M]．北京：紅旗出版社，2001.

[5] 邱均平．信息計量學（四）第四講：文獻信息離散分布規律——布拉德福定律 [J]．情報理論與實踐，2000（4）: 315-320.

[6] 邱均平．信息計量學（六）第六講：文獻信息作者分布規律——洛特卡定律 [J]．情報理論與實踐，2000（6）: 475-480.

[7] 邱均平．信息計量學（五）第五講：文獻信息詞頻分布規律——齊普夫定律 [J]．情報理論與實踐，2000（5）: 396-397.

[8] 邱均平．信息計量學（一）第一講：信息計量學的興起和發展 [J]．情報理論與實踐，2000（1）: 75-80.

[9] Garfield E. Citation Analysis as a Tool in Journal Evaluation [J]. Science, 1972,178:471-479.

[10] Garfield E. The Impact Factor [EB/OL]. http://www.isinet.com/isi/hot/essays/journalcitationreports/7.html.

[11] 邱均平．大學評價與科學評價（國際學術研討會論文集）[C]．北京：華夏出版社，2005: 63-67.

[12] 喬迪．蘭德決策 [M]．北京：天地出版社，1998.

[13] 馬費成．CSSCI與社會科學評價 [J]．南京大學學報（哲學·人文科學·社會科學）, 2000（4）: 155-160.

[14] 文庭孝．科學評價對信息管理學科發展的意義 [J]．圖書情報知識，2005（2）: 9-10.

[15] 張洋，周黎明．論信息管理與科學評價的互動關系 [J]．圖書情報知識，2005（2）: 5-8.

[16] 張蕊．信息管理方法在科學評價中的應用 [J]．圖書情報知識，2005（2）: 11-13.

[17] Ellison G. , Glaeser E. Geographic Concentration in US Manufacturing Industries: a Dartboard Approach [J]. Journal of Political Economy, 1997, 105（5）:889-927.

[18] Martin Meyer. Tracing Knowledge Flows in Innovation Systems [J]. Scientometrics,2002,54（2）:193-212.

[19] 蔣國華等．同行評議之路：科學計量學指標的應用 [M]．北京：紅旗出版社，2000.

[20] 張其瑤．沒有科學評價就沒有科學管理：訪中國科學評價研究中心主任、武漢大學教授邱均平 [J]．評價與管理，2004（4）: 62-63.

[21] 邱均平．信息計量學（九）第九講：文獻信息引證規律和引文分析法[J]．情報理論與實踐，2001（3）: 236-240.

[22] 楊祖國，李文蘭．中國專利引文分析研究 [J]．情報科學，2005（5）:700-707.

[23]〔美〕 Eliezer Geisler．科學技術測度體系 [M]．周萍，譯．北京：科學技術文獻出版社，2004.

[24] Tantila Ahmed, Ben Johson, Charles Oppenheim, et al. Highly Cited Old Papers and the Reasons Why They Continue to be Cited. [J]. Scientometrics, 2004,61（2）:147-156.

[25] 中國科技論文統計源期刊 [EB/OL]. http://gs.tju.edu.cn/xw/ybkw2000.htm.

[26] Ren Shengli, Rousseau R. International Visibility of Chinese Scientific Journals [J]. Scientometrics,2002,53（3）:389-405.

[27]〔美〕尤金·加菲爾德．引文索引法的理論及應用 [M]．北京：北京圖書館出版社，2004.

[28] 杜寶榮．科學引文索引及其使用方法 [M]．北京：科學技術文獻出版社，1982.

[29]〔美〕尤金·加菲爾德．引文索引法的理論及應用 [M]．北京：北京圖書館出版社，2004.

[30] 袁培國．引文在評價研究工作上的作用和引文分析中應注意的問題[J]．中國圖書館學報（雙月刊）, 1998（1）: 75-79.

[31] 劉作儀，陳曉田．科學研究評價的性質、作用、方法及程序 [J]．科研管理，2002（2）: 33-40.