2.3 引證法作為科學(xué)評價局限性的實證研究

引證法被引入作為科研評價方法，就是為了避免單純用數(shù)量方式作為評價標(biāo)準(zhǔn)難以充分體現(xiàn)“質(zhì)量”（Quality）和“影響力”（Influence）[24]的弊端。為了更好地理解“質(zhì)量”和“影響力”這兩個概念，我們首先要明確引文索引的產(chǎn)生背景。引文索引的產(chǎn)生是為了克服主題索引存在的標(biāo)引人員主觀性引發(fā)的錯誤。因為標(biāo)引人員要通過判斷文獻(xiàn)之間的相關(guān)性來提高檢索效果。眾所周知，檢索效果涉及檢全率和檢準(zhǔn)率兩個方面，而質(zhì)量和影響力分別代表了檢全率和檢準(zhǔn)率。但引證法在有效克服主題索引存在的問題時，也產(chǎn)生了本身體制所引發(fā)的檢全率和檢準(zhǔn)率缺失的局限。引證法主要采用文章所引參考文獻(xiàn)之間的關(guān)系來建立引文耦合和同被引聚類，而引證系統(tǒng)的數(shù)據(jù)選取和參考文獻(xiàn)引用中存在的問題，導(dǎo)致作為科學(xué)評價標(biāo)準(zhǔn)的質(zhì)量和影響力的缺失。本書將在分析引證法導(dǎo)致質(zhì)量和影響力缺失的具體原因的基礎(chǔ)上，揭示質(zhì)量和影響力缺失之間的內(nèi)在聯(lián)系，以期探求解決引證法存在的質(zhì)量和影響力缺失的對策。

引證研究中最主要的就是考察期刊影響因子（Impact Factors）的大小，而非考察其中某篇文章的影響因子。高影響因子期刊的大多數(shù)文章質(zhì)量都高，但也存在低質(zhì)量的文章；同時發(fā)表在低影響因子期刊上的也有高質(zhì)量文章。所以按照這種對期刊排序的方法，難以準(zhǔn)確反映單篇文章的質(zhì)量。這就造成影響因子的影響不過是“源期刊”的影響；并且影響因子只取兩年為峰值，而期刊的質(zhì)量是一個累積的發(fā)展過程，所以用于學(xué)術(shù)評價存在問題。以發(fā)表在1997年第3期《高分子通報》上的一篇文章《聚酰胺/粘土納米復(fù)合材料的制備、結(jié)構(gòu)表征及性能研究》為例，依據(jù)CNKI科學(xué)引文數(shù)據(jù)庫，其影響因子是0.438[25]，作為目前國內(nèi)被引率較高的文章之一，按照引證評價，這篇文章的質(zhì)量應(yīng)該較高，因為其被引頻率為177，那么如果文章質(zhì)量和期刊質(zhì)量具有絕對的正相關(guān)關(guān)系的話，那么其所屬期刊的影響因子應(yīng)該較高，實際上，由表2-1和圖2-1可以看出，引用該文章的1/10的文章所屬期刊的影響因子高于該期刊。語種等因素造成的未被收錄期刊導(dǎo)致的低影響因子現(xiàn)象，使載于其上的文章質(zhì)量無法被正當(dāng)評價，進(jìn)而導(dǎo)致對人才、機構(gòu)的科學(xué)評價不實現(xiàn)象。

不可忽視的是，一方面，引證索引系統(tǒng)雖然可以用引證率評價文章的質(zhì)量高低，但這種質(zhì)量評價都是源期刊內(nèi)的評價，無法得知未被收錄的期刊的引證率，更無法從中探知其文章質(zhì)量，將直接導(dǎo)致科學(xué)評價的質(zhì)量缺失；另一方面，僅僅考慮源期刊內(nèi)的引證率，不考慮其收錄的不全問題，也會產(chǎn)生自引、轉(zhuǎn)引、漏引和重引導(dǎo)致的質(zhì)量缺失。

事實上，有些期刊的影響因子和論文的被引頻次中有90%以上都是由期刊和作者的自引所貢獻(xiàn)的[26]。對于這類期刊的影響因子和論文的被引頻次，不能絕對否定或盲目接受，而需要做出具體分析：一種情況是某些研究屬于學(xué)術(shù)前沿，只有很少的人進(jìn)行研究，接連發(fā)表高質(zhì)量的文章；另一種情況是某些研究人員為了凸顯自己的研究成果，獲得較高的引用率，人為操縱“引用”的現(xiàn)象，形成期刊和作者的自引在期刊和論文的被引頻次中占有極高的比例，但這種情況在JCR中所給出的引證指標(biāo)中是無法反映的；還有一種情況是多作者合作引發(fā)的高自引現(xiàn)象，主要存在于交叉學(xué)科領(lǐng)域。這是為了迎合目前的評價體系，為獲得后續(xù)研究資源奠定基礎(chǔ)而采用的措施，在評價中顯然不能認(rèn)為該文章的學(xué)術(shù)水平高，被較多自引的文章也不一定真正具有高質(zhì)量。當(dāng)然，也有引證評價體系催生的轉(zhuǎn)引、重引、漏引等現(xiàn)象。在引證體系中出現(xiàn)的以上種種現(xiàn)象，都導(dǎo)致在利用引文評價方法時輸出大量非密切相關(guān)的文獻(xiàn)，以致產(chǎn)生質(zhì)量缺失的問題。

加菲爾德在舉例證明引文方法的效用時，談到了這種方法有效檢索出了主題法無法查出的相關(guān)文獻(xiàn)，從而更準(zhǔn)確地評價了文章的影響力，進(jìn)而更好地評價了作者的影響力[27]。但事實上，引證法也不可避免地存在著影響力缺失的問題。主要有以下四個方面的原因。

2.3.1 來源文獻(xiàn)收錄范圍有限

主要包括收錄的期刊數(shù)量不全和文種不全兩個方面。無論是哪種引證系統(tǒng)，它所收錄的文章都不可能是無所不包的，肯定會有一些期刊以各種原因被排除在外。

例如：目前SCI收錄全世界150個學(xué)科領(lǐng)域的將近3500種核心學(xué)術(shù)刊物，其擴展部分（SCI Search和Web of Science）還收錄了5600多種刊物。由于技術(shù)上的原因，一些高水平的非國際性刊物不能被SCI收錄。SCI每年選用不同國家的學(xué)術(shù)核心期刊的數(shù)目是不一樣的，變化每年都會發(fā)生。而對于中國大陸核心期刊的選用，是非常少的。根據(jù)1997年的情況，科學(xué)引文索引（SCI）當(dāng)年選用44個國家（地區(qū)）3453種期刊，其中中國大陸（不含港、澳、臺）被選用9種，它們是：《中國科學(xué)》A、B、C、D、E輯（英文版）, 1998年，又增加了《化學(xué)學(xué)報》（中文版）、《科學(xué)通報》（英文版）兩種中國期刊；1999年，中國科學(xué)期刊被SCI最新收錄為13種，增加了《力學(xué)學(xué)報》、《高等學(xué)校化學(xué)學(xué)報》（中文版）[28]。

類似SCI的這種收錄范圍雖然涵蓋了絕大多數(shù)高質(zhì)量文章，但某些高質(zhì)量的文章因為所屬期刊的低影響因子和文種等因素未被包括。所以文獻(xiàn)收錄范圍有限是造成影響力較力的首要原因。

2.3.2 合著者的貢獻(xiàn)難以體現(xiàn)

早期的引文研究主要承認(rèn)第一著者的貢獻(xiàn)，而忽略排名在后的作者，這種方式存在明顯的科研貢獻(xiàn)分配不合理問題。后續(xù)的研究為了彌補這種缺陷，對不同順序的著者增設(shè)了加權(quán)分配的研究，進(jìn)而在一定程度上彌補了科研貢獻(xiàn)分配不合理現(xiàn)象，但也有特殊情況。

（1）導(dǎo)師和學(xué)生之間的合作研究，有時是學(xué)生做了大部分工作甚至全部工作，但如果學(xué)生署名在導(dǎo)師后面的話，按照上面的加權(quán)方式，就人為減小了學(xué)生的科研貢獻(xiàn)，所以無法完全展示署名非第一著者的貢獻(xiàn)程度，從而降低了此類研究合作者的學(xué)術(shù)影響力。

（2）多個研究人員的合作研究，排在后面的作者的貢獻(xiàn)并非一定小于前面的，但按照加權(quán)隨順序遞減的方式，就難以體現(xiàn)每個研究人員的實際貢獻(xiàn)，人為降低了排名在后的合作者的貢獻(xiàn)程度。

（3）單純的加權(quán)研究無法揭示合作研究成員內(nèi)部的細(xì)微人際關(guān)系，而這種關(guān)系卻對科研成果的質(zhì)量起著非常重要的作用。例如：性別、種族、文化等對科研貢獻(xiàn)程度的內(nèi)在影響。

在這種情況下，雖然表面上文章的影響力得到實現(xiàn)，但在整個科研環(huán)節(jié)中，作者的科研貢獻(xiàn)難以真正得到體現(xiàn)，而作者的貢獻(xiàn)能否全面體現(xiàn)是科學(xué)體系中非常重要的方面，將直接影響作者的再創(chuàng)造動力。所以，既然引證法被應(yīng)用到科學(xué)評價中，就不能單純考慮文章的影響力，而應(yīng)該全面體現(xiàn)作者的影響力，以使整個科學(xué)系統(tǒng)均衡發(fā)展，從而避免人為加速科學(xué)研究的馬太效應(yīng)。

2.3.3 引文研究存在即時效應(yīng)

引文研究又被稱為即時效應(yīng)（immediacy effect）[29]，一篇文章的被引用情況通常以非線性的方式發(fā)展，并趨向于以越來越高的速率衰減。不同學(xué)科的衰減速率也不同。例如有的學(xué)科的半衰期為5年，有的為3年。最近出版的文章比以前的文章更加容易被引用。即時效應(yīng)代表著研究前沿。通常情況下，研究前沿是指近5年內(nèi)發(fā)表的文章。隨著新的研究前沿出現(xiàn)，研究前沿不斷地向前推進(jìn)，過去的研究淪為歷史。默頓（Robert King Merton, 1910-2003）和朱克曼（Harriet Zucherman）認(rèn)為，過去的文章并沒有真正消失，而是并入了新近的研究，即組合進(jìn)當(dāng)前最新的研究前沿。但我們認(rèn)為，“軟科學(xué)”（在這里，“軟科學(xué)”相對于理論性強的“硬科學(xué)”而言）方面的文章很難融入入新的研究前沿，而是真正的消失，這樣的文章就無法真正代表研究前沿。在“軟科學(xué)”中，引證研究中所謂的代表研究前沿的文章往往少于真正概括研究前沿的文章。

眾所周知，科學(xué)歷史中大多數(shù)文章都如流星一樣，轉(zhuǎn)瞬即逝，根本談不上成為經(jīng)典。雖然默頓和朱克曼爭辯到，文章并沒有真正消失，而是轉(zhuǎn)入了后續(xù)研究，但他們也看到了“軟科學(xué)”的文章難以轉(zhuǎn)入后續(xù)研究，往往真正的消失；就算是“硬科學(xué)”的文章，也不一定全部轉(zhuǎn)入了后續(xù)的研究，除非是經(jīng)典的文章。但事實上，只有方法論的文章才能更容易被引用，從而具有較高的影響力。科學(xué)史上非方法論文章 [如沃-克的DNA雙螺旋結(jié)構(gòu)和愛因斯坦（Albert Einstein, 1879-1955）的E=MC2方程] 成為經(jīng)典的文章，可以說是鳳毛麟角。

從表2-2和圖2-2可以看到，國內(nèi)納米科學(xué)領(lǐng)域質(zhì)量相對較高的文章的逐年引用情況也是M型，不具有“持久性”[30]的特點，根本不可能成為經(jīng)典，恐怕也難以轉(zhuǎn)入后續(xù)研究，在擁有較高的被引率的輝煌之后，可能真正地“消失”。

由此可見，文章在很短的時間內(nèi)加速消失是普遍現(xiàn)象，而具有較高引證率的文章往往是方法論的文章，文章的高引證率僅僅是研究方法新穎，并非內(nèi)容價值較高，即這種引用并非為后續(xù)研究打理論基礎(chǔ)的引用，所以引證數(shù)高的文章并不一定具有奠定學(xué)科基礎(chǔ)的影響力。由此可見，引證法由于存在即時效應(yīng)而難以具有較高的影響力。

事實上，質(zhì)量和影響力是一個問題的兩個方面，相互影響，兩者具有正反饋的效應(yīng)。引證研究中的“源期刊”的收錄范圍是所有問題的源頭。這里有一個悖論：只有盡可能全面搜集期刊才能使引證系統(tǒng)具有更大的影響力，但為了凸顯代表研究前沿的高質(zhì)量文章就不可能包羅所有期刊，而只能按照期刊的質(zhì)量（即期刊的影響因子）而非文章的“影響力”的大小來包含影響因子較大的期刊。不容忽視的是，影響因子的計算只取兩年的峰值，如果是“硬科學(xué)”的期刊，這種方式能夠體現(xiàn)當(dāng)前學(xué)科的發(fā)展?fàn)顩r，但作為“軟科學(xué)”方面的期刊，這樣的文章就很難融進(jìn)具體學(xué)科的發(fā)展形勢，這就勢必造成一些具有指導(dǎo)意義的高質(zhì)量文章因為所載期刊的問題而沒有體現(xiàn)其價值。引證研究孕育著研究前沿，所謂的“研究前沿”就是指近五年內(nèi)發(fā)表的文章，但鑒于并非所有學(xué)科引證的半衰期都是五年，有些學(xué)科引證的半衰期低于或高于5年，這兩種情況下，代表研究前沿的文章就會存在不能代表真正的研究前沿的情況（見表2-3）。

我們看到，對半衰期小于5年的學(xué)科，其選出來的文章也包含研究前沿以外的文章；反之，選出來的文章沒有代表完整的研究前沿的文章。

引證研究作為評價體系會加速科學(xué)研究中的馬太效應(yīng)（Matthew Effect）。首先，引證數(shù)量具有累積優(yōu)勢的效應(yīng)，先前的引證更會在一定程度上為后續(xù)的被引用創(chuàng)造更多的機會，隨著引證數(shù)量的增加，就會使作者具有更大的學(xué)術(shù)影響力，得到科研學(xué)術(shù)機構(gòu)和同行的認(rèn)可，為其以后能夠獲得更大的研究資源打下良好的基礎(chǔ)，充足的研究資源又為其更好地研究創(chuàng)造了優(yōu)厚的條件，又為進(jìn)一步擴大學(xué)術(shù)影響力創(chuàng)造了條件；相反，引證數(shù)量低或沒有引證數(shù)量的人，就很難擁有影響力和獲得更大的資源，這就加速了科學(xué)研究中的負(fù)反饋。同時，這種源期刊之外的文章質(zhì)量無法得到正確評價，造成整個人才、機構(gòu)等的評價失衡，以致科學(xué)評價系統(tǒng)產(chǎn)生失誤。單純的引證研究的評價體系容易造成政策的錯誤[31]。所以單純以引證法作為科學(xué)評價指標(biāo)，將會人為加劇這種馬太效應(yīng)，為了遏制這種異化現(xiàn)象，有必要引入其他評價指標(biāo)。

本章參考文獻(xiàn)

[1] 王英．跨越學(xué)科的智慧——默頓科學(xué)社會學(xué)思想研究 [M]．合肥：安徽人民出版社，2007: 12.

[2]〔美〕喬納森·科爾，斯蒂芬·科爾．科學(xué)界的社會分層 [M]．趙佳苓，顧聽等，譯．北京：華夏出版社，1989: 6.

[3]〔蘇〕 И. В. Маршакова．科學(xué)引文索引與科學(xué)前沿預(yù)測 [M]．趙云龍等，譯．北京：兵器工業(yè)出版社，1992.

[4] 劉則淵．基于科學(xué)計量學(xué)的制度科學(xué)學(xué)科研評價與大學(xué)評價 [M]．北京：紅旗出版社，2001.

[5] 邱均平．信息計量學(xué)（四）第四講：文獻(xiàn)信息離散分布規(guī)律——布拉德福定律 [J]．情報理論與實踐，2000（4）: 315-320.

[6] 邱均平．信息計量學(xué)（六）第六講：文獻(xiàn)信息作者分布規(guī)律——洛特卡定律 [J]．情報理論與實踐，2000（6）: 475-480.

[7] 邱均平．信息計量學(xué)（五）第五講：文獻(xiàn)信息詞頻分布規(guī)律——齊普夫定律 [J]．情報理論與實踐，2000（5）: 396-397.

[8] 邱均平．信息計量學(xué)（一）第一講：信息計量學(xué)的興起和發(fā)展 [J]．情報理論與實踐，2000（1）: 75-80.

[9] Garfield E. Citation Analysis as a Tool in Journal Evaluation [J]. Science, 1972,178:471-479.

[10] Garfield E. The Impact Factor [EB/OL]. http://www.isinet.com/isi/hot/essays/journalcitationreports/7.html.

[11] 邱均平．大學(xué)評價與科學(xué)評價（國際學(xué)術(shù)研討會論文集）[C]．北京：華夏出版社，2005: 63-67.

[12] 喬迪．蘭德決策 [M]．北京：天地出版社，1998.

[13] 馬費成．CSSCI與社會科學(xué)評價 [J]．南京大學(xué)學(xué)報（哲學(xué)·人文科學(xué)·社會科學(xué)）, 2000（4）: 155-160.

[14] 文庭孝．科學(xué)評價對信息管理學(xué)科發(fā)展的意義 [J]．圖書情報知識，2005（2）: 9-10.

[15] 張洋，周黎明．論信息管理與科學(xué)評價的互動關(guān)系 [J]．圖書情報知識，2005（2）: 5-8.

[16] 張蕊．信息管理方法在科學(xué)評價中的應(yīng)用 [J]．圖書情報知識，2005（2）: 11-13.

[17] Ellison G. , Glaeser E. Geographic Concentration in US Manufacturing Industries: a Dartboard Approach [J]. Journal of Political Economy, 1997, 105（5）:889-927.

[18] Martin Meyer. Tracing Knowledge Flows in Innovation Systems [J]. Scientometrics,2002,54（2）:193-212.

[19] 蔣國華等．同行評議之路：科學(xué)計量學(xué)指標(biāo)的應(yīng)用 [M]．北京：紅旗出版社，2000.

[20] 張其瑤．沒有科學(xué)評價就沒有科學(xué)管理：訪中國科學(xué)評價研究中心主任、武漢大學(xué)教授邱均平 [J]．評價與管理，2004（4）: 62-63.

[21] 邱均平．信息計量學(xué)（九）第九講：文獻(xiàn)信息引證規(guī)律和引文分析法[J]．情報理論與實踐，2001（3）: 236-240.

[22] 楊祖國，李文蘭．中國專利引文分析研究 [J]．情報科學(xué)，2005（5）:700-707.

[23]〔美〕 Eliezer Geisler．科學(xué)技術(shù)測度體系 [M]．周萍，譯．北京：科學(xué)技術(shù)文獻(xiàn)出版社，2004.

[24] Tantila Ahmed, Ben Johson, Charles Oppenheim, et al. Highly Cited Old Papers and the Reasons Why They Continue to be Cited. [J]. Scientometrics, 2004,61（2）:147-156.

[25] 中國科技論文統(tǒng)計源期刊 [EB/OL]. http://gs.tju.edu.cn/xw/ybkw2000.htm.

[26] Ren Shengli, Rousseau R. International Visibility of Chinese Scientific Journals [J]. Scientometrics,2002,53（3）:389-405.

[27]〔美〕尤金·加菲爾德．引文索引法的理論及應(yīng)用 [M]．北京：北京圖書館出版社，2004.

[28] 杜寶榮．科學(xué)引文索引及其使用方法 [M]．北京：科學(xué)技術(shù)文獻(xiàn)出版社，1982.

[29]〔美〕尤金·加菲爾德．引文索引法的理論及應(yīng)用 [M]．北京：北京圖書館出版社，2004.

[30] 袁培國．引文在評價研究工作上的作用和引文分析中應(yīng)注意的問題[J]．中國圖書館學(xué)報（雙月刊）, 1998（1）: 75-79.

[31] 劉作儀，陳曉田．科學(xué)研究評價的性質(zhì)、作用、方法及程序 [J]．科研管理，2002（2）: 33-40.