官术网_书友最值得收藏!

前言 AI規(guī)模新經(jīng)濟

人工智能(AI)是一個與人類智能相對應的概念。自20世紀50年代這個概念出現(xiàn)以來,人類智能對人工智能的探索經(jīng)歷了不同的階段。從早期的符號主義到專家系統(tǒng),都是一種從上到下的設計,事先賦予機器以盡可能多的知識;過去20余年,AI發(fā)展的主流范式逐步轉(zhuǎn)換到了從下到上的模式,賦予機器以學習的能力,將智能視為一種通過學習而對環(huán)境展現(xiàn)適應性的機能。以2022年發(fā)布的ChatGPT大語言模型(LLM)為標志,AI神經(jīng)網(wǎng)絡的類人學習能力取得了里程碑式的進展,引發(fā)全球范圍的AI熱潮。

2024年《政府工作報告》首次提出了“人工智能+”行動[1],這不僅是順應全球人工智能發(fā)展的趨勢,而且與中國產(chǎn)業(yè)升級的大勢緊密相關,旨在推動AI技術與各行業(yè)的深度融合。這一行動體現(xiàn)了政府對AI的高度重視,可以說是推動中國從“互聯(lián)網(wǎng)時代”迭代升級至“人工智能時代”的政策設計和布局,是發(fā)展新質(zhì)生產(chǎn)力的一個重要方面。

AI的新突破影響經(jīng)濟社會發(fā)展,反過來,技術進步是人類經(jīng)濟活動的結果,AI未來的發(fā)展也取決于經(jīng)濟社會環(huán)境包括公共政策的演變。中金研究院和中金公司研究部聯(lián)合撰寫了這篇研究報告,力圖從經(jīng)濟視角探討本輪AI進步的生產(chǎn)力特點及其對生產(chǎn)關系的沖擊,圍繞宏觀含義、產(chǎn)業(yè)影響、治理挑戰(zhàn)等問題提供系統(tǒng)分析。

AI作為一項通用目的技術(GPT),規(guī)模定律(scaling law)[2]是本輪AI進步的突出特征,意味著在靜態(tài)上大國有優(yōu)勢,動態(tài)上先發(fā)者有優(yōu)勢。美國在大模型研發(fā)方面擁有先發(fā)優(yōu)勢,中國人口多、市場大,有利于加速追趕,尤其可能在應用層孕育出引領性的創(chuàng)新,為經(jīng)濟增長注入新動能。按照我們的估算,AI有望使得中國2035年的國內(nèi)生產(chǎn)總值(GDP)相較于基準情形提升9.8%,相當于未來10年的年化增長率額外增加0.8個百分點。科技革命不僅促進生產(chǎn)力,也重塑生產(chǎn)關系,AI作為“類人”技術,在數(shù)字治理、市場競爭、社會倫理、國際關系等方面將帶來深遠的影響。歷史經(jīng)驗顯示,科技進步在推動經(jīng)濟增長的同時,也加大了收入差距,促進社會保障既有物質(zhì)基礎也是可持續(xù)發(fā)展的必然要求。中國可在AI治理方面未雨綢繆,尤其需要著力完善社會保障體系,兼顧效率和公平,讓科技發(fā)展成果惠及全體人民。在當前總需求不足的背景之下,擴張性財政政策提振經(jīng)濟增長,也有助于中國在AI領域加速追趕。

一、通用目的技術與通用人工智能

為對AI進行經(jīng)濟分析,我們對AI的研究從何入手?直觀來講,一項技術的重要性和其影響經(jīng)濟社會的范圍有關。一個基本共識是AI符合經(jīng)濟學的通用目的技術的概念,具有廣泛的應用潛力,可以在多個領域和多種環(huán)境中發(fā)揮作用。技術進步是經(jīng)濟長期增長的源泉,而全社會的技術進步往往是由少數(shù)幾項關鍵的通用目的技術所推動的。[3]AI有潛力與電力、計算機、互聯(lián)網(wǎng)等相比擬,成為對人類發(fā)展進程有重要推動力的通用目的技術。

就AI的通用性而言,一個相關的概念是“通用人工智能”(artificial general intelligence,AGI)。計算機領域的“通用”強調(diào)的是機器在閱讀、語音、圖像等人的行為領域中具備與人類相近的能力。AI大模型初步展示了這些潛質(zhì),比如其核心算法和技術可以應用于各種不同的任務,包括數(shù)據(jù)分析、自動化控制等。但人們對于什么構成AGI有很多不同的觀點,對于人工智能是否能達到人類智能則有更大的爭議,樂觀者和悲觀者都有。[4]

通用目的技術和通用人工智能看似相近,但是兩個不同的概念,AI是通用目的技術,但不一定能實現(xiàn)AGI。經(jīng)濟學領域的“通用”強調(diào)普遍適用性(pervasiveness),但不一定要跟人的能力具有可比性,比如電力,沒有人也可以發(fā)電,然而當今人類的生產(chǎn)與生活離不開電力。普遍適用性不是一天達到的,通用目的技術發(fā)展是一個動態(tài)演進的過程,新技術及其應用推動經(jīng)濟社會發(fā)展,后者反過來也是創(chuàng)新和應用的驅(qū)動力,不同技術工具之間還有協(xié)同作用,賦能進一步創(chuàng)新。[5]AI進步與數(shù)字經(jīng)濟的發(fā)展緊密相關,可以說是數(shù)字技術本身作為通用目的技術動態(tài)演進和賦能創(chuàng)新的結果。

如何研判AI作為一項通用目的技術的發(fā)展?jié)摿吐窂剑恳话愣裕ㄓ媚康募夹g的發(fā)展遵循“萌芽—成長—成熟”的三階段S曲線的規(guī)律,[6]技術可行性、經(jīng)濟可行性是判斷其動態(tài)演進階段的兩個重要指標。從技術可行性看,普遍的觀點是,本輪AI大模型的技術突破標志著S曲線的第一拐點已被跨越,但在廣闊的消費和工業(yè)生產(chǎn)場景中,AI的滲透率仍有限,并未呈現(xiàn)出像互聯(lián)網(wǎng)技術那樣廣泛應用的情況。[7]這背后有經(jīng)濟可行性問題,當前AI的使用成本高,包括數(shù)據(jù)庫的建設、算法和人才的培養(yǎng)、算力消耗等的成本,同時大模型的應用還在發(fā)展初期,其產(chǎn)生經(jīng)濟效益的前景還有較大的不確定性。

AI的經(jīng)濟可行性不是靜態(tài)的,而是動態(tài)演進的。隨著技術迭代和應用規(guī)模擴大,AI技術的使用成本將呈現(xiàn)下降趨勢,商業(yè)盈利模式逐漸顯現(xiàn)。其他產(chǎn)業(yè)可借助AI實現(xiàn)賦能、改造與升級,推動自身的降本增效。例如,金融結合AI可助力智慧投研及風險防控,科研結合AI可實現(xiàn)自動文獻閱讀、研究方案設計乃至科研設備控制等科研助手功能。未來幾年,AI大模型在各行業(yè)的應用推廣將是AI促進經(jīng)濟增長的載體,可能帶來深遠的影響。

長遠來看,AI對經(jīng)濟社會的潛在影響也取決于S曲線的第二拐點在什么地方。一個爭議點是AGI能否實現(xiàn),什么時候?qū)崿F(xiàn)。語言是知識的載體和傳播途徑。一些觀點認為,大語言模型基于語言(現(xiàn)有知識)模擬智能,自然難以產(chǎn)生超越現(xiàn)有知識的智能。[8]基于歷史數(shù)據(jù)訓練的大模型如何理解并適應現(xiàn)實世界的動態(tài)變化,可能是一個挑戰(zhàn)。AI可能在某些方面超越人的能力,但在很多領域尤其是創(chuàng)新領域,無法代替人類的思考。

在討論AI作為一項通用目的技術對經(jīng)濟的影響時,無端的猜想和推測沒有現(xiàn)實意義,我們應當遵循科學的方法論,把理性分析建立在有邏輯的框架之上。無論是AI發(fā)展本身還是其對經(jīng)濟的影響,對它們分析邏輯的一個關鍵詞都是規(guī)模效應。

二、規(guī)模定律與規(guī)模經(jīng)濟效應

經(jīng)濟學的一個重要概念是規(guī)模經(jīng)濟效應,即生產(chǎn)規(guī)模的增加帶來單位成本下降,效率提升。本輪AI技術進步有一個類似的概念,就是規(guī)模定律,指的是隨著模型規(guī)模的增加,其性能出現(xiàn)系統(tǒng)性的改進。在算法優(yōu)化、數(shù)據(jù)增加、算力增長的支持下,大語言模型可以包含數(shù)千億甚至上萬億個參數(shù),幫助機器學習語言數(shù)據(jù)中的復雜模式。規(guī)模定律描述的是技術可行性,規(guī)模經(jīng)濟效應關乎經(jīng)濟可行性,兩者相互聯(lián)系,在一定意義上可以說前者是后者的基礎,后者是AI影響經(jīng)濟運行的載體,經(jīng)濟運行反過來也影響技術演進。

從未來發(fā)展來看,一個關鍵問題是規(guī)模增加帶來效率提升有沒有極限,邊界在哪兒。從模型技術層面看,有兩派觀點。樂觀一派認為,在跨越了S曲線的第一拐點后,AI的發(fā)展還遠沒有達到規(guī)模定律的極限,順著規(guī)模定律指明的方向,結合更高效的算法架構、更高性能的算力芯片、更多數(shù)據(jù)的應用,我們可以期待未來幾年AI的技術性能將持續(xù)突破。[9]謹慎一派則認為,算力、數(shù)據(jù)、參數(shù)增加的邊際產(chǎn)出已經(jīng)出現(xiàn)下降的跡象,同時數(shù)據(jù)量從存量的使用到依靠增量也面臨限制。[10]

大模型的應用不僅是技術問題,即使數(shù)據(jù)規(guī)模增加的邊際產(chǎn)出(模型預測的準確度)遞減,如果其應用產(chǎn)生的收益大于投入成本,經(jīng)濟可行性仍然成立。在AI應用和產(chǎn)業(yè)發(fā)展上規(guī)模經(jīng)濟效應是關鍵因素。經(jīng)濟學中的規(guī)模經(jīng)濟效應有內(nèi)部規(guī)模經(jīng)濟和外部規(guī)模經(jīng)濟兩個方面,前者是指單個企業(yè)做大生產(chǎn)和經(jīng)營規(guī)模而實現(xiàn)效率提升(單位成本下降),后者是指產(chǎn)業(yè)鏈上下游的企業(yè)通過協(xié)作,或者共享基礎設施與公共服務而提升效率。在數(shù)字經(jīng)濟時代,企業(yè)內(nèi)部效率提升不一定體現(xiàn)為單一產(chǎn)品量的增加,還可能通過經(jīng)營范圍擴大、產(chǎn)品種類增加來實現(xiàn),即范圍經(jīng)濟效應。

具體而言,AI的內(nèi)部規(guī)模經(jīng)濟體現(xiàn)在單個企業(yè)憑借大模型而享受運營規(guī)模增加帶來的效率提升。技術層面的規(guī)模定律隱含著經(jīng)濟層面的門檻要求。在算力、參數(shù)和數(shù)據(jù)量達到一定規(guī)模時,模型的準確性和能力出現(xiàn)跳躍式提升,即所謂的涌現(xiàn)。這種非線性效應使得AI大模型研發(fā)在資源投入上有一定的門檻要求,疊加應用層面的范圍經(jīng)濟效應,頭部大型科技公司更有能力實現(xiàn)內(nèi)部規(guī)模經(jīng)濟。

AI的外部規(guī)模經(jīng)濟可以體現(xiàn)在三個方面。首先,在大語言模型的推動下,市場對AI領域給予了前所未有的關注,越來越多的資本投向新算法架構的研發(fā)、數(shù)據(jù)庫和算力基礎設施的建設,這有助于降低整個市場的算法、數(shù)據(jù)、算力的平均成本,對所有市場主體都有利。中國的企業(yè)在算力方面的不足可能限制其內(nèi)部規(guī)模經(jīng)濟的發(fā)揮,但這可以在一定程度上通過基礎設施、公共服務(共享)等帶來的外部規(guī)模經(jīng)濟來彌補。

其次,外部規(guī)模經(jīng)濟體現(xiàn)在模型開發(fā)者與使用者之間互動和相互賦能上。比如,開源大模型可以吸引高校、企業(yè)和個人等各類開發(fā)者進行調(diào)用,他們在使用過程中發(fā)現(xiàn)問題,并通過網(wǎng)絡平臺提供使用反饋和修改意見,由此形成分工協(xié)作網(wǎng)絡,加快技術迭代和進步。

最后,隨著AI技術從科技企業(yè)擴散到其他類企業(yè),相關企業(yè)可將自身業(yè)務與AI相融合,形成產(chǎn)業(yè)鏈和生態(tài)系統(tǒng),實現(xiàn)產(chǎn)業(yè)內(nèi)和產(chǎn)業(yè)間分工協(xié)作,帶來外部規(guī)模經(jīng)濟。隨著大模型的迭代完善,科研、醫(yī)療、金融等行業(yè)將能夠開發(fā)定制小模型,運用于日常的業(yè)務活動,進一步豐富技術生態(tài)。不同行業(yè)的小模型可互相借鑒知識和經(jīng)驗,創(chuàng)造出新的公共數(shù)據(jù)反哺技術研發(fā),實現(xiàn)范圍經(jīng)濟效應。

人類的歷史顯示,一項技術進步帶來的規(guī)模經(jīng)濟效應并不是無限的,邊際收益遞增最終轉(zhuǎn)向邊際收益遞減。我們需要超越技術層面來思考AI的規(guī)模經(jīng)濟效應,這是因為技術進步是內(nèi)生的,即使第二拐點離我們還遠,規(guī)模擴大本身可能也面臨約束。經(jīng)濟社會資源是有限的,而人類的需求是多元的,人類不大可能把所有的資源投在某一個技術或者產(chǎn)業(yè)上。

從經(jīng)濟社會層面看,一種宏觀約束和應對氣候變化有關,能耗和碳排放問題已經(jīng)成為公眾關注本輪AI進步的焦點之一。一方面,AI處于訓練階段和推理階段等生命周期時需要消耗電力,增加碳排放。另一方面,AI可以助力能源轉(zhuǎn)型、降低碳排放,比如AI可以幫助開發(fā)新的清潔能源和技術材料,優(yōu)化太陽能和風力發(fā)電場的運行,等等。這兩股力量哪股作用更大?經(jīng)濟發(fā)展的歷史顯示,技術進步有助于降低單位能耗,但人類對美好生活的追求使得經(jīng)濟總量增長,帶來總能耗上升。[11]

應對AI進步對碳排放的影響需要加速綠色轉(zhuǎn)型,促進綠色能源替代化石能源。綠色能源的制造業(yè)屬性較強,具有規(guī)模經(jīng)濟效應,中國作為制造業(yè)大國和大市場可以為全球的綠色轉(zhuǎn)型做出重要貢獻。但中國綠色產(chǎn)業(yè)的發(fā)展已經(jīng)帶來保護主義壓力,背后是國家之間經(jīng)濟和地緣政治層面的競爭。

三、大收斂與大分流

科技進步對國家或地區(qū)之間的經(jīng)濟競爭力與發(fā)展差距有重要影響。工業(yè)革命時期,西方國家(如英國、德國、美國)的經(jīng)濟快速增長,而以中國為代表的東方國家則逐漸落后,導致了全球范圍內(nèi)的經(jīng)濟和政治格局的重大變化,這一現(xiàn)象在經(jīng)濟史領域被稱為“大分流”[12]。二戰(zhàn)后少數(shù)不發(fā)達經(jīng)濟體(主要在東亞)在工業(yè)化的過程中成功追趕發(fā)達經(jīng)濟體,中國改革開放以來經(jīng)濟快速增長,大大縮小了與發(fā)達國家的差距,這些被視為“大收斂”的例子。[13]在科技快速進步的今天,有觀點擔心,全球正在經(jīng)歷科技創(chuàng)新和產(chǎn)業(yè)化集中在少數(shù)國家導致的第二次大分流,拉大先進技術國家和傳統(tǒng)制造業(yè)國家之間的差距。[14]

本輪AI進步將導致分化還是收斂?經(jīng)濟學的兩派觀點有助于我們理解這個問題,關鍵在于它們對技術進步和規(guī)模經(jīng)濟的認知。按照新古典增長理論,技術進步是外生的,資本的邊際報酬遞減,給發(fā)展中國家?guī)砗蟀l(fā)優(yōu)勢。發(fā)展中國家的資本邊際收益高于發(fā)達國家,資本從高收入國家流向低收入國家,學習和模仿帶來技術的擴散,使得低收入國家的經(jīng)濟增長快于高收入國家,人均收入水平的差距趨于收斂。[15]

內(nèi)生增長理論則強調(diào)技術進步是內(nèi)生的,規(guī)模經(jīng)濟效應是一股重要力量。和農(nóng)業(yè)經(jīng)濟相比,工業(yè)經(jīng)濟具有規(guī)模經(jīng)濟效應,率先實現(xiàn)工業(yè)化的國家有更多資源投入研發(fā)和創(chuàng)新,在前沿技術進步上有先發(fā)優(yōu)勢,從而導致國家間收入水平差距不收斂。[16]

兩派差異的另一個含義是,在其他條件相同的情況下,內(nèi)生增長理論隱含大國比小國增長更快,大國比小國更富有,而新古典增長理論認為經(jīng)濟增速與規(guī)模無關。順著技術進步是內(nèi)生的邏輯,在供給端,大國有更多的資源可以投入研發(fā)和創(chuàng)新;在需求端,大市場意味著創(chuàng)新的利潤空間更大,同時技術進步在大國的溢出效應更強。[17]

AI大模型的規(guī)模定律對經(jīng)濟學意義上的規(guī)模效應在靜態(tài)(大國比小國有優(yōu)勢)和動態(tài)(先發(fā)者有優(yōu)勢)上的體現(xiàn)有什么含義?AI大模型的涌現(xiàn)性(非線性特征)或者投入門檻要求使得大國在AI發(fā)展過程中享有規(guī)模優(yōu)勢。大國擁有更多人口和企業(yè),有助于分攤高昂的固定(訓練)成本,更快突破AI技術的規(guī)模閾值。同時,大國使用AI的主體和場景更多,帶來龐大和豐富的本地數(shù)據(jù),以及更大規(guī)模和更多樣的應用市場,從而實現(xiàn)更強的干中學效應。大國也更容易建設有利于AI應用落地的基礎設施,助力產(chǎn)品和技術的擴散。

規(guī)模效應意味著本輪AI進步對中美這兩個全球最大的經(jīng)濟體更有利,美國的經(jīng)濟體量比中國大,但中國的人口比美國多,資本和勞動力在一定程度上相互替代但不能完全替代,由此從規(guī)模來看,中美各有優(yōu)劣勢。但就本輪AI進步而言,美國擁有先發(fā)優(yōu)勢。在傳統(tǒng)深度學習時代,中美AI發(fā)展雖略有差距,但基本處于并跑或者各有千秋的狀態(tài)。在過去幾年以大模型為標志的AI進步中,美國保持相對領先,而且中美差距有拉大的跡象。如何看待未來的發(fā)展?我們可以從算力層、模型層、應用層分別做些探討。

就算力層而言,有跡象顯示,傳統(tǒng)摩爾定律面臨極限,芯片制程進入規(guī)模報酬遞減階段,這意味著發(fā)達國家先發(fā)優(yōu)勢的重要性下降,為中國追趕先進水平提供了空間。同時,新計算架構、非硅基半導體等新技術路線尚處于研發(fā)初期,中國存在加速追趕的可能性。

從模型層看,在S曲線第一拐點后,大模型進入規(guī)模報酬遞增階段,意味著美國擁有先發(fā)優(yōu)勢。美國的先發(fā)優(yōu)勢有多大,部分取決于技術層面大模型的第二拐點還有多遠,或者說領先者本身面臨的技術極限在哪兒,這一點目前看還有較大的不確定性。同時,美國試圖在AI相關人才和基礎設施的自由流動方面出臺相關舉措來強化其先發(fā)優(yōu)勢。把AI大模型的通用性和規(guī)模定律蘊含的研發(fā)投入門檻結合起來看,后發(fā)劣勢可能導致中國的相關企業(yè)自發(fā)的追趕激勵不足。

在應用層面,包括美國在內(nèi)的很多國家均在探索大模型應用場景,成熟的成功案例尚少,美國的先發(fā)優(yōu)勢不明顯。在應用層的探索中,中國應用場景豐富、潛在需求多樣的市場規(guī)模優(yōu)勢明顯,不但有利于加速追趕,甚至有可能孕育出一些具有原創(chuàng)性、引領性的創(chuàng)新。

AI作為一項通用目的技術,在應用層通過外部規(guī)模經(jīng)濟提升整個經(jīng)濟的效率,體現(xiàn)在供給端與需求端,上下游鏈接協(xié)同,相互賦能,促進創(chuàng)新。AI大模型通過大數(shù)據(jù)來模擬和預測,有利于提高后發(fā)者的模仿能力,不僅賦能“知其所以然”的傳統(tǒng)仿制,也增加“只知其然”的新型仿制能力,這些都有助于追趕式創(chuàng)新。仿制能力增強對于依賴原創(chuàng)的引領式創(chuàng)新的意義并不清晰。一方面,仿制侵蝕引領式創(chuàng)新者的壟斷利潤,抑制創(chuàng)新意愿;另一方面,仿制加劇了市場競爭,由此導致的產(chǎn)業(yè)平均利潤率下降促使企業(yè)加強引領式創(chuàng)新,以維護超額利潤。這正反兩股力量哪股更強,規(guī)模效應也是關鍵因素,大市場提供的利潤空間激勵競爭環(huán)境中的創(chuàng)新投入。

就技術進步的主要驅(qū)動力來看,在S曲線第一拐點之前,AI技術發(fā)展更多體現(xiàn)為供給側推動創(chuàng)新,大語言模型是一個突出成果。在第一拐點被跨越之后,AI產(chǎn)業(yè)化是關鍵,是技術進步促進經(jīng)濟增長的載體,產(chǎn)業(yè)化所帶來的商業(yè)利潤反過來又促進AI技術迭代創(chuàng)新。因此,在當前階段,需求側的應用是關鍵。從應用的角度來看,中國具有規(guī)模優(yōu)勢。在面向普通用戶服務層面,中國人口數(shù)量多,AI產(chǎn)業(yè)化潛在需求廣闊。在面向企業(yè)用戶服務層面,中國的工業(yè)體系完整,可為產(chǎn)業(yè)AI化提供豐富的應用場景。發(fā)揮好中國的規(guī)模優(yōu)勢需要公共政策營造有利于創(chuàng)新的宏觀環(huán)境,包括強勁的消費需求、繁榮的資本市場、有效的數(shù)字經(jīng)濟治理機制和完善的公共基礎設施。

中國的規(guī)模優(yōu)勢有利于發(fā)揮AI進步對于經(jīng)濟體系內(nèi)創(chuàng)新的促進作用。單一產(chǎn)品大市場對于仿制者有激勵作用,而多樣化需求促進引領式創(chuàng)新。只有少數(shù)大型經(jīng)濟體有足夠大的市場,既容納多個細分賽道,同時每個細分賽道有足夠大的體量實現(xiàn)規(guī)模效應,從而兼顧追趕式和引領式創(chuàng)新。

發(fā)揮好中國的規(guī)模優(yōu)勢,一個關鍵問題是如何促進資源投入創(chuàng)新領域。對于追趕式創(chuàng)新,其技術路徑已較為清晰,應該發(fā)揮大企業(yè)在創(chuàng)新要素積累(知識產(chǎn)權、人力資本、研發(fā)投入等)方面的優(yōu)勢,由銀行提供長期、穩(wěn)定的資金支持。引領式創(chuàng)新通常沒有成熟的技術路徑可供參考,更加依賴眾多中小企業(yè)的創(chuàng)新試錯,資本市場能更有效地起到篩選創(chuàng)新技術路線、商業(yè)模式的作用。中國的規(guī)模優(yōu)勢在制造業(yè)領域尤其突出,一個新增長點是人形機器人。

四、人形機器人與機器替代人

技術進步影響經(jīng)濟表現(xiàn)在替代勞動力和賦能勞動力兩個方面。一方面,技術進步帶來自動化機器設備等新的生產(chǎn)工具,使得資本可部分替代勞動力。另一方面,技術進步幫助勞動者用更少時間完成同樣的工作任務,提升勞動生產(chǎn)率。AI同樣有替代和賦能勞動力兩個作用,但模式與強度較過往技術有所不同。過往技術對勞動力的替代更多發(fā)生在農(nóng)業(yè)、低端制造業(yè)等體力勞動密集的領域。AI尤其是大語言模型等技術已展示出替代部分腦力勞動的能力,比如翻譯等。

替代體力和替代腦力并不是相互排斥的,本輪AI技術進步的一個重要潛力就是兩者的結合,體現(xiàn)在具身智能(embodied AI)的發(fā)展上。具身智能是指智能體有一個身體,并通過身體與環(huán)境的互動來獲得智能。這種交互包括使用傳感器來感知環(huán)境,以及通過執(zhí)行器對環(huán)境產(chǎn)生影響,智能體通過與外部世界的物理互動來學習和適應。例如,讓機器人能夠在沒有明確指示的情況下,通過探索和實驗來學習如何執(zhí)行任務,如行走、抓取物體等。

具身智能可以說是人工智能與機器人技術的深度融合,其應用的一個重要方面是人形機器人。人形機器人是指那些具有類似人類外觀和功能的機器人,可以在一定程度上執(zhí)行人類能完成的任務,如行走、操作工具、交流等。本輪AI提升了人形機器人的技術可行性,自然語言處理、面部識別和表情模擬等有助于機器與人類進行更為自然的交流。人形機器人可以在多個領域,如制造業(yè)、醫(yī)療護理及其他服務業(yè)等,替代或輔助人力,提高生產(chǎn)效率和服務質(zhì)量。人形機器人的普及將促使更多的勞動力從物理勞動轉(zhuǎn)向創(chuàng)造性和管理性的工作,不僅有助于提升工作的附加值,還能改善勞動條件,減少工傷事故。

人形機器人的推廣普及不僅有技術可行性問題,更有經(jīng)濟可行性問題。生產(chǎn)機器人的制造業(yè)具有規(guī)模經(jīng)濟效應,而突破技術障礙要靠研發(fā)和創(chuàng)新投入,大市場是促進創(chuàng)新動能提高的關鍵因素。隨著創(chuàng)新帶來的設計優(yōu)化,以及規(guī)模化生產(chǎn),人形機器人的生產(chǎn)成本有望持續(xù)下降。制造業(yè)的規(guī)模經(jīng)濟和數(shù)字技術的規(guī)模經(jīng)濟結合起來,使得中國在發(fā)展人形機器人方面有獨特的優(yōu)勢。

中國已經(jīng)擁有市場規(guī)模全球第一的工業(yè)機器人應用市場,2022年工業(yè)機器人裝機量占全球比重超過50%[18],人形機器人有望帶來新的產(chǎn)業(yè)發(fā)展機遇。在供給端,人形機器人的生產(chǎn)離不開制造業(yè),而中國制造業(yè)的產(chǎn)業(yè)門類齊全、產(chǎn)業(yè)體系完整。在需求端,中國較大的細分市場為人形機器人的應用提供了廣闊的測試和部署環(huán)境,比如工廠制造、養(yǎng)老陪護、危險救援等部門,可以累積大量數(shù)據(jù),有助于AI技術的優(yōu)化和迭代。在現(xiàn)階段的中國,人形機器人的發(fā)展并不僅限于家庭用途,而且在工業(yè)領域,包括制造、采礦等,也展現(xiàn)出較大的應用潛力。AI的發(fā)展也可能帶來一些新技術路徑,降低日美等傳統(tǒng)發(fā)達國家機器人制造商的知識溢價,中國發(fā)展人形機器人產(chǎn)業(yè),如同發(fā)展新能源汽車產(chǎn)業(yè)一般,有可能實現(xiàn)彎道超車。

當然,人形機器人的發(fā)展將是全球性現(xiàn)象,具有普遍意義,有一系列的宏觀和結構含義值得探討。機器替代人自然讓人聯(lián)想起人多人少的爭議。一方面,人形機器人作為一種先進的技術解決方案,為應對人口老齡化帶來的勞動力短缺問題提供了新的可能性。另一方面,機器替代人帶來人們對大規(guī)模失業(yè)的擔憂,尤其是人形機器人的推廣普及的前景,使得技術性失業(yè)(technological unemployment,技術進步引發(fā)的失業(yè))這樣的經(jīng)濟學專業(yè)名詞成為大眾話題。

我們應該如何理解這個問題?經(jīng)濟學中“鮑莫爾病”[19]的概念提供了一個有用的分析框架,其邏輯是資源(包括勞動力)從效率提升快的部門(供大于求)轉(zhuǎn)向提升慢的部門(供不應求)。技術進步帶來的勞動生產(chǎn)率提升的速度在不同部門之間有差異,總有勞動生產(chǎn)率增長相對慢的行業(yè)和領域。同時,人類的欲望是一個心理概念,在某些方面是無限的,總有一些需求得不到滿足,需要資源的投入。

鮑莫爾發(fā)表文章的20世紀60年代制造業(yè)效率提升快,服務業(yè)慢,所以資源從制造業(yè)轉(zhuǎn)向服務業(yè),發(fā)達國家服務業(yè)比重上升,制造業(yè)比重下降。但如果現(xiàn)在的機器替代人更多是在服務業(yè),意味著服務業(yè)效率提升快,制造業(yè)中生產(chǎn)的機器人的供給可能趕不上需求,勞動力需要從效率提升快的服務業(yè)(機器替代人)轉(zhuǎn)向生產(chǎn)機器人的制造業(yè)和那些效率提升慢的服務行業(yè)。雖然我們難以精確預測未來就業(yè)結構的變化,但大的邏輯應該是,技術進步快的行業(yè)產(chǎn)生的富余勞動力最終會被技術進步慢、供給不能滿足需求的行業(yè)所吸收。當然,這個調(diào)整對某些行業(yè)、某些人群可能是一個痛苦的過程,需要公共政策的扶持和幫助。

另外,全球制造業(yè)比例上升也意味著實體資源的重要性上升,比如對鋼鐵、銅、鋁等材料的需求上升,帶來商品的相對價格調(diào)整。這也可能增加能源消耗,加劇碳排放和污染問題,加大全球綠色轉(zhuǎn)型的壓力。

五、倫理與治理

在經(jīng)濟層面之外,人形機器人在社會、文化、倫理等方面的影響也值得關注。人形機器人可以用于教育、醫(yī)療、家庭服務等多個領域,可能改變?nèi)祟悓@些領域和社會角色的認知。社會倫理與治理機制是關乎包括人形機器人在內(nèi)的所有AI技術發(fā)展的重要議題。當前,在有關AI倫理與治理的討論中,有三個方面的話題尤其值得關注:一是數(shù)據(jù)要素的治理,二是大企業(yè)的市場勢力,三是更廣泛的倫理與安全問題。

第一,數(shù)據(jù)是AI產(chǎn)業(yè)的基礎性生產(chǎn)要素,數(shù)據(jù)治理是AI相關治理機制的關鍵部分。盡管有人將數(shù)據(jù)比作數(shù)字經(jīng)濟時代的石油,但在經(jīng)濟學視角下,數(shù)據(jù)因其非競爭性特征——可供不同主體重復使用且邊際成本趨近于零——與石油這類不可再生的生產(chǎn)要素有著本質(zhì)的區(qū)別。非競爭性帶來外部性,數(shù)據(jù)的生產(chǎn)和使用不僅涉及直接相關的個體或組織,還可能對社會其他成員產(chǎn)生影響,包括正面和負面的影響。

正外部性源自數(shù)據(jù)的網(wǎng)絡效應,即數(shù)據(jù)的價值往往隨著數(shù)據(jù)量和多樣性的增加而上升。AI領域的規(guī)模定律意味著只有達到一定規(guī)模的數(shù)據(jù)才能在大模型訓練中發(fā)揮價值。多模態(tài)模型進一步要求數(shù)據(jù)的多樣性,數(shù)據(jù)來源于多種渠道,形式和類型也多樣,如文本、圖片、視頻等。

負外部性體現(xiàn)為數(shù)據(jù)的生成和使用可能帶來隱私和安全等方面問題。個人數(shù)據(jù)的收集、存儲、使用和傳輸在創(chuàng)造經(jīng)濟價值的同時也帶來隱私泄露和數(shù)據(jù)濫用的風險。數(shù)據(jù)可以輕易地復制和傳播,這雖有利于知識的傳播,但也可能帶來知識產(chǎn)權等方面的爭議。數(shù)據(jù)的產(chǎn)生者和使用者之間可能存在信息不對稱,使得前述的正外部性和負外部性之間的矛盾更加突出。這給數(shù)據(jù)發(fā)揮規(guī)模效應帶來了挑戰(zhàn),要么規(guī)模不夠使得數(shù)據(jù)的價值不能被充分挖掘,要么有規(guī)模使用容易導致濫用問題。

外部性意味著數(shù)據(jù)應該被視為一種準公共產(chǎn)品,需要政策層面的介入與調(diào)節(jié),既要促進數(shù)據(jù)的開放共享,發(fā)揮數(shù)據(jù)的規(guī)模效應,也要保護公民的隱私和數(shù)據(jù)安全。數(shù)據(jù)的生產(chǎn)和使用需要相應的治理和監(jiān)管機制,當前而言,一個關鍵著力點在于流通環(huán)節(jié),數(shù)據(jù)只有在流通環(huán)節(jié)充分發(fā)揮出價值,其生產(chǎn)行為才能得到激勵。

從全球經(jīng)驗來看,數(shù)據(jù)流通主要有兩種方式。中國主要通過各地方交易所進行場內(nèi)交易,美國等發(fā)達國家則主要通過數(shù)據(jù)經(jīng)紀商進行場外交易。從現(xiàn)實狀況來看,盡管中國的數(shù)據(jù)總量已位居世界第二,但2021年的數(shù)據(jù)市場規(guī)模不及美國的25%。[20]鑒于數(shù)據(jù)要素的產(chǎn)權難以界定,權利主體分散,且定價過程復雜,過度強調(diào)通過數(shù)據(jù)確權來實現(xiàn)標準化交易可能增加數(shù)據(jù)的交易成本,在宏觀上反而達不到規(guī)模化流通的目的。

解決這些問題需要在實踐中摸索不同的方法和路徑,從技術、管理、政策多個層面綜合治理。就當下而言,推動公共部門非敏感數(shù)據(jù)公開,鼓勵企業(yè)創(chuàng)新數(shù)據(jù)生產(chǎn)和使用尤其重要。可能的措施包括加強國企面臨的市場競爭約束,以提升其對數(shù)據(jù)匯集和使用的重視程度;對大型制造企業(yè)尤其是民企給予經(jīng)濟激勵,以支持其進行數(shù)據(jù)庫建設等AI化改造;在芯片等“卡脖子”問題突出的精密制造領域,著重打造大企業(yè)主導的追趕式創(chuàng)新模式,通過縱向一體化組織架構來便利稀缺數(shù)據(jù)的匯集。

第二,大模型的發(fā)展有可能增加各方對大企業(yè)市場勢力的關注。壟斷曾是數(shù)字經(jīng)濟平臺治理中的焦點,但進入AI大模型時代后,關于壟斷的討論似乎還較少。一個重要的背景是,AI大模型作為一種破壞式創(chuàng)新,正在對數(shù)字經(jīng)濟時代平臺企業(yè)的壟斷勢力產(chǎn)生較大影響。例如,在搜索引擎市場,盡管截至2024年4月,谷歌全球市場份額依然高達90%,[21]但市場上關于哪個AI應用將顛覆谷歌搜索已有了諸多猜想。[22]另外,AI大模型在各個領域的泛化能力仍受到技術條件的約束,無論是在基礎大模型領域還是在垂直應用領域,各類大模型創(chuàng)業(yè)企業(yè)之間的競爭都很激烈。

雖然壟斷不是AI大模型發(fā)展目前面臨的主要風險,但未來這個領域是否會形成新的不利于競爭的市場勢力?技術視角的規(guī)模定律告訴我們,伴隨著技術能力的不斷進步,多模態(tài)AI大模型可能“贏者通吃”,取代其他性能一般的模型。經(jīng)濟視角的規(guī)模效應告訴我們,AI大模型具有網(wǎng)絡效應,其前置的開發(fā)成本高昂,但邊際的使用成本較低,該領域可能形成有利于少數(shù)幾個大型企業(yè)的局面。

在探討市場勢力及其治理時,有結構主義和行為主義兩種主要思路。前者認為產(chǎn)業(yè)組織結構決定企業(yè)行為,主張通過反壟斷措施拆分壟斷結構;后者則認為結構是行為的結果,反壟斷關注的重點應該在于不利于競爭的壟斷行為而非產(chǎn)業(yè)組織結構。[23]哪一種思路更適合大模型時代?是否有利于創(chuàng)新是重要的判斷標準。AI大模型由于具有規(guī)模效應,所以更有利于大企業(yè)提升市場份額,但關鍵在于相關企業(yè)是否存在阻礙數(shù)據(jù)、人才等要素自由流動的反競爭行為。

當前,中國AI領域面臨著雙重挑戰(zhàn),既要追趕世界一流大模型的水平,也要把眼光放長遠,實現(xiàn)引領式的創(chuàng)新。大企業(yè)在追趕式創(chuàng)新中扮演更重要的角色,而小企業(yè)是引領式創(chuàng)新的主力軍。結構主義思路可能會抑制大型科技企業(yè)的創(chuàng)新,而行為主義思路可以更好地平衡大、小企業(yè)創(chuàng)新中的關系。與其關注企業(yè)的規(guī)模,不如關注市場的可競爭性,比如防范企業(yè)的壟斷行為,促進數(shù)據(jù)、算力、人才等要素的自由流動。

第三,地緣政治層面的倫理和安全問題。AI技術在高端制造領域的應用,可能導致新的倫理和安全問題。AI產(chǎn)業(yè)技術密集,該產(chǎn)業(yè)與經(jīng)濟、社會息息相關,各國都很重視,近兩年全球60多個國家先后推出AI發(fā)展戰(zhàn)略[24],但規(guī)模效應以及與此相關的先發(fā)優(yōu)勢可能使得大國尤其美國處在更有利的地位。AI發(fā)展將給國際治理機制帶來新的挑戰(zhàn)和變革壓力。

六、效率與公平

人工智能作為一項通用目的技術,在提升生產(chǎn)效率的同時,可能帶來經(jīng)濟和就業(yè)結構的變化,加大收入差距,在社會層面給平衡效率和公平帶來新挑戰(zhàn),在總量層面體現(xiàn)為需求相對供給不足,對宏觀經(jīng)濟政策有重要含義。規(guī)模經(jīng)濟是聯(lián)系微觀維度的效率與公平,以及平衡宏觀層面的總需求和總供給的重要載體,規(guī)模經(jīng)濟放大技術進步對效率的提升效果,同時也可能擴大收入差距,加劇總需求不足的問題。

從供給側來看,AI與各行各業(yè)融合發(fā)展有望增加經(jīng)濟潛在增長率。與需要預編程的機器自動化不同,本輪技術進步賦予了AI更強的通用性,AI可以跨場景地普遍參與人類工作的任務流程,通過替代人和賦能人兩個渠道提升全要素生產(chǎn)率(TFP)。隨著AI能力提升、成本下降,與AI進行融合的產(chǎn)業(yè)規(guī)模將逐步擴大,AI對經(jīng)濟的提升效果也將越發(fā)顯著。我們估計到2035年,AI有望使得中國GDP總量相較于基準情形提升9.8%,相當于未來10年的年化增長率額外增加0.8個百分點。AI技術的滲透和應用擴散需要時間,意味著生產(chǎn)效率提升在經(jīng)濟增長中的體現(xiàn)將呈現(xiàn)前低后高的特征。

供給能力提升不是一蹴而就的,技術滲透和商業(yè)應用需要時間。雖然AI改變我們的生活已經(jīng)成為大眾話題,但很多企業(yè)還在尋找可行的商業(yè)模式。其中一個方面是前期投資的支持,要有廣泛意義的效率提升,需要在軟件、硬件、機器人生產(chǎn)方面大規(guī)模投資。宏觀層面AI顯著提升經(jīng)濟效率的前提是資本投資出現(xiàn)大幅上升,這也是我們觀察經(jīng)濟新增長點的一個視角。

長遠來看,與供給側的提升相比,AI技術的普遍使用對總需求的促進作用相對較小,導致供大于求的宏觀格局。這是因為技術進步加劇收入差距,而高收入者的邊際消費傾向通常低于低收入者,收入差距的擴大降低社會的整體消費傾向,抑制最終需求(消費)的增長。

和過去的技術進步比較,AI作為一種“類人”技術在收入分配方面可能更不利于勞動者。國際貨幣基金組織(IMF)的報告認為,全球約有40%的職業(yè)會暴露于AI,這一比例在發(fā)達經(jīng)濟體高達60%。[25]在市場機制的作用下,最終出現(xiàn)大規(guī)模失業(yè)的可能性小,但代價是工資增長相對資本的回報慢。AI技術本身是研發(fā)的產(chǎn)物,高額回報主要屬于創(chuàng)新人員和風險投資家。同時,AI技術的商業(yè)應用尤其是人形機器人的普及需要大量投資,資本深化意味著GDP中勞動收入份額下降。同時,本輪AI進步對于位于社會中間收入階層的白領人群可能影響較大,從而加劇勞動者之間收入分配極化的問題。

伴隨AI應用推廣,有可能出現(xiàn)一種情況,技術進步的收益被私有化,應對其沖擊帶來的問題的成本則由全社會承擔,這個成本在宏觀上最突出的體現(xiàn)就是總需求不足。總需求不足對公共政策有什么含義?財政政策和貨幣政策是調(diào)節(jié)總需求的兩個抓手,貨幣政策是總量的逆周期調(diào)節(jié)工具,對收入分配等結構性問題的作用有限,甚至有反作用;而財政政策既可以做總量的逆周期調(diào)節(jié),也可以是調(diào)整結構、降低收入不平等程度的有效工具。針對AI進步帶來的不平等問題,財政政策也應該發(fā)揮關鍵作用,促進技術進步的成果惠及全體人民。

在財政支出方面,近些年全民基本收入(UBI)在國際上成為熱門話題,其核心在于提供一種無條件的、普遍的收入保障,讓全民享受技術進步帶來的收益。雖然有很多爭議,但相關概念的提出反映了在數(shù)字經(jīng)濟時代提升社會保障以平衡技術進步和社會福祉的迫切性。

回顧發(fā)達國家的歷史,科技進步和經(jīng)濟增長帶來社會保障體系的建立和逐步改善。現(xiàn)代社會保障制度的初步形式出現(xiàn)在工業(yè)革命后,[26]例如德國在19世紀末實施的工人保險制度。以電力和內(nèi)燃機的廣泛應用為標志的第二次技術革命加速了工業(yè)化進程,其間社會保障制度得到了進一步的發(fā)展,包括退休金制度的建立和醫(yī)療保險的實施。以計算機和互聯(lián)網(wǎng)的普及為特征的第三次科技革命以來,社會保障涵蓋的范圍進一步擴大,如失業(yè)保險、家庭補貼和長期護理保險。

改革開放以來,中國的社會保障制度從最初的單一層次保障體系,發(fā)展到現(xiàn)在的多層次、廣覆蓋社會保障體系。社會保障制度雖然實現(xiàn)了從部分覆蓋到普惠全民的轉(zhuǎn)變,但一個突出的問題仍然是公平性不足。養(yǎng)老、醫(yī)療、失業(yè)等社會保險項目和以最低生活保障制度為核心的社會救助仍是分城鄉(xiāng)或群體組織實施,不同群體之間的保障水平、社保待遇存在較大差距。尤其是部分項目的保障功能不足,例如農(nóng)村居民養(yǎng)老金還只能發(fā)揮補充作用,一些經(jīng)濟欠發(fā)達地區(qū)的低保標準仍有待提高。

這些問題和挑戰(zhàn)需要通過進一步的改革來應對,而技術進步尤其本輪AI發(fā)展帶來的經(jīng)濟供給水平的提升為完善社會保障制度提供了基礎。科技進步帶來的經(jīng)濟增長和財富增加使得社會變得更慷慨,也更有能力幫助弱勢群體,加強對低收入群體的兜底保障,尤其是提高針對農(nóng)民工及農(nóng)村居民的社會保障,有助于促進共同富裕。同時,AI和大數(shù)據(jù)分析等新技術的應用,也為社會福利的發(fā)放、管理和監(jiān)督提供了新的可能性,有助于提高社會保障的效率和透明度。

改善社會保障產(chǎn)生的財政支出怎么彌補?當前而言,需求不足的背后既有結構性問題,也有經(jīng)濟周期下行的因素,擴張性財政政策可以將穩(wěn)增長和調(diào)結構結合起來,促進效率和公平的統(tǒng)一。也就是說,政府可通過增加國債發(fā)行而不是稅收來籌集資金,以改善社會保障和公共服務。政府通過舉債促進需求,從而推動供給潛力實現(xiàn),促進創(chuàng)新和技術進步,提升未來經(jīng)濟增長和對債務的償還能力。

需要指出的是,AI技術發(fā)展和產(chǎn)業(yè)化應用還在早期,并非當下總需求不足的原因。目前我們更需要重視技術進步的內(nèi)生性,面對總需求不足的問題,擴張性財政政策提振經(jīng)濟增長,由此也為科技創(chuàng)新活動提供堅實的需求基礎和寬松的宏觀環(huán)境,有助于中國在AI領域加速追趕。

長遠來講,技術進步和資本深化也要求稅收制度的變革。數(shù)字稅、機器人稅和AI稅近年來在全球范圍內(nèi)引起廣泛的討論。就中國而言,黨的十八屆三中全會確立的增加直接稅(尤其是與財產(chǎn)相關的直接稅)比重、降低間接稅比重是促進公平的大方向。

彭文生

中金公司首席經(jīng)濟學家、研究部負責人

中金研究院院長


[1]參見https://www.gov.cn/yaowen/liebiao/202403/content_6939153.htm。

[2]Kaplan J, McCandlish S, Henighan T, et al.“Scaling Laws for Neural Language Models.”2020.

[3]Bresnahan T F,Trajtenberg M.“General Purpose Technologies‘Engines of Growth’?”Journal of Econometrics,1995,65(1).

[4]“Transcript:Superintelligent AI—the Doomers.”Financial Times,2023.

[5]Bresnahan T.“General Purpose Technologies.”Handbook of the Economics of Innovation,2010.

[6]Jovanovic B,Rousseau P L.“General Purpose Technologies.”Handbook of Economic Growth,2005.

[7]Filippucci F, Gal P, Jona-Lasinio C, et al.“The Impact of Artificial Intelligence on Productivity, Distribution and Growth: Key Mechanisms, Initial Evidence and Policy Challenges.”2024.

[8]參見https://www.cnbc.com/2023/12/03/meta-ai-chief-yann-lecun-skeptical-about-agi-quantum-computing.html。

[9]Eastwood B.“Sam Altman Believes AI Will Change the World (and Everything Else).”MIT Sloan School of Management, 2024.

[10]Heikkil? M,Heaven W D.“Yann LeCun Has a Bold New Vision for the Future of AI.”MIT Technology Review,2024.

[11]Fouquet R,Hippe R.“The Transition from a Fossil-Fuel Economy to a Knowledge Economy.”Handbook on Green Growth,Edward Elgar Publishing,2019.

[12]Broadberry S, Gupta B.“The Early Modern Great Divergence: Wages, Prices and Economic Development in Europe and Asia,1500-1800.”The Economic History Review,2006,59(1).

[13]Storesletten K,Zilibotti F.“China's Great Convergence and Beyond.”Annual Review of Economics, 2014, 6(1).

[14]Leamer E E.“A Flat World, a Level Playing Field, a Small World After All, or None of the Above? A Review of Thomas L.Friedman’s The World Is Flat.”Journal of Economic Literature,2007,45(1).

[15]Solow R M.“A Contribution to the Theory of Economic Growth.”Quarterly Journal of Economics, 1956, 70(1).

[16]Romer P M.“Endogenous Technological Change.”Journal of Political Economy,1990,98(5,Part 2).

[17]Romer P M.“Why, Indeed, in America? Theory, History, and the Origins of Modern Economic Growth.”1996.

[18]資料來源:中國信通院。

[19]Baumol W J,Bowen W G.“Performing Arts:The Economic Dilemma.A Study of Problems Common to Theater,Opera,Music and Dance.”1993.

[20]資料來源:OnAudience。

[21]參見https://qz.com/google-doj-monopoly-share-search-engine-market-antitrus-1851458149?utm_source=dlvr.it&utm_medium=twitter。

[22]參見https://www.reuters.com/technology/openai-plans-announce-google-search-competitor-monday-sources-say-2024-05-09/。

[23]黃桂田:《產(chǎn)業(yè)組織理論》,北京大學出版社,2012年。

[24]Maslej N, Fattorini L, Brynjolfsson E, et al.“Artificial Intelligence Index Report 2023.”2023.

[25]Georgieva K.“AI Will Transform the Global Economy. Let’s Make Sure It Benefits Humanity.”IMF Blog, 2024.

[26]Hu A, Manning P.“The Global Social Insurance Movement Since the 1880s.”Journal of Global History,2010,5(1).

主站蜘蛛池模板: 盐山县| 兰考县| 封开县| 宜章县| 黔南| 陆丰市| 福州市| 兰州市| 通辽市| 绥化市| 永新县| 班戈县| 黑水县| 聂拉木县| 天津市| 宜兴市| 罗源县| 沾化县| 安庆市| 平阴县| 云龙县| 大宁县| 莎车县| 昆明市| 临澧县| 凤阳县| 承德县| 抚宁县| 武鸣县| 封丘县| 登封市| 历史| 攀枝花市| 光泽县| 竹北市| 江陵县| 亚东县| 建水县| 福建省| 阿巴嘎旗| 那曲县|