官术网_书友最值得收藏!

人工智能技術(shù)的法律規(guī)制——以“無(wú)人駕駛汽車”為例

張玉潔[48]

摘要:無(wú)人駕駛汽車的社會(huì)化應(yīng)用,不僅強(qiáng)烈地沖擊了我國(guó)的現(xiàn)行交通法律秩序,而且引發(fā)了諸多科技風(fēng)險(xiǎn)、社會(huì)風(fēng)險(xiǎn)、倫理風(fēng)險(xiǎn)。在這種風(fēng)險(xiǎn)規(guī)制壓力下,我國(guó)正在經(jīng)歷著深刻的法治變革,以期能夠適應(yīng)和引導(dǎo)人工智能技術(shù)的研發(fā)、應(yīng)用與推廣,并防范高科技產(chǎn)品的伴生性后果。面對(duì)無(wú)人駕駛技術(shù)的規(guī)制需求,我國(guó)應(yīng)當(dāng)在借鑒和吸收國(guó)外規(guī)制措施的基礎(chǔ)上,率先確立無(wú)人駕駛汽車“道路行駛資格”,并結(jié)合我國(guó)當(dāng)前無(wú)人駕駛技術(shù)的發(fā)展需要,建立公私協(xié)作的無(wú)人駕駛汽車治理模式、市場(chǎng)評(píng)價(jià)與長(zhǎng)效監(jiān)管機(jī)制以及“特許經(jīng)營(yíng)合同”規(guī)制機(jī)制。

關(guān)鍵詞:無(wú)人駕駛汽車人工智能技術(shù)社會(huì)風(fēng)險(xiǎn)法律規(guī)制

On the Legal Regulation of Artificial Intelligence Technology:Take the Pilotless Automobile as the Example

Abstract:The social application of driverless vehicles not only strongly im-pacted the current legal order of traffic in our country, but also triggered many sci-entific, social and ethical risks.Under this risk regulation pressure, our country is experiencing a profound change in the rule of law so as to be able to adapt to and guide the development, application and promotion of artificial intelligence technol-ogies and prevent the accompanying consequences of high-tech products.Faced with the regulatory requirements of driverless technology, our country should take the lead in establishing the“road driving qualification”of unmanned vehicles on the basis of reference to and absorbing foreign regulatory measures.In combination with the current development of unmanned technologies in our country, we should establish public-private cooperation Driverless vehicle management model, market evaluation and long-term regulatory mechanism, and the“franchise contract”regu-latory mechanism.

Key words:Driverless Car;Artificial Intelligence Technology;Social Risk;Legal Regulation

引言

隨著人工智能技術(shù)的發(fā)展,身體缺陷、智力障礙對(duì)人類的約束越來(lái)越低,并且對(duì)人工智能產(chǎn)品的需求越來(lái)越高。反映在交通工具領(lǐng)域,則表現(xiàn)為無(wú)人駕駛汽車的迅速社會(huì)化、駕駛技術(shù)和駕駛資格的迅速邊緣化。自2005年谷歌公司的機(jī)器人汽車獲得美國(guó)國(guó)防部高級(jí)研究計(jì)劃局(DARPA)第二屆“挑戰(zhàn)杯”(Grand Challenge)大賽冠軍以來(lái),無(wú)人駕駛汽車的研發(fā)成為眾多汽車公司(如奔馳、特斯拉、豐田等)的戰(zhàn)略性決策。不僅如此,谷歌對(duì)無(wú)人駕駛汽車的研發(fā)也在很大程度上改變了傳統(tǒng)科技公司的發(fā)展思路,百度、騰訊、蘋(píng)果等高科技公司紛紛加入到無(wú)人駕駛汽車的研發(fā)行列中。而我國(guó)科技部更是確立了“首批國(guó)家新一代人工智能”開(kāi)放創(chuàng)新平臺(tái),將無(wú)人駕駛汽車納入到國(guó)家科技發(fā)展規(guī)劃中。然而,科技發(fā)展的速度遠(yuǎn)遠(yuǎn)超越了人們對(duì)科技風(fēng)險(xiǎn)的理性認(rèn)知,人工智能技術(shù)更是打破了以往工具理性與價(jià)值判斷的分野。2014年百度無(wú)人駕駛汽車在北京市高速公路(和環(huán)城公路)上的實(shí)地測(cè)試[49],不僅透露出我國(guó)法律體系的結(jié)構(gòu)性缺陷,也進(jìn)一步凸顯出人工智能法律規(guī)制的必要性。如何通過(guò)法律來(lái)合理地規(guī)制無(wú)人駕駛汽車的研發(fā)、測(cè)試與應(yīng)用,使科技進(jìn)步更好地增進(jìn)社會(huì)福祉、推動(dòng)社會(huì)進(jìn)步,儼然成為國(guó)家必須慎重對(duì)待的問(wèn)題。考慮到諸多人工智能技術(shù)的發(fā)展尚未達(dá)到社會(huì)化應(yīng)用階段,本文僅以無(wú)人駕駛汽車為焦點(diǎn),探討無(wú)人駕駛技術(shù)與現(xiàn)代法治的碰撞,以及由此引發(fā)的科技風(fēng)險(xiǎn)社會(huì)化難題。

一、無(wú)人駕駛汽車的風(fēng)險(xiǎn)

無(wú)人駕駛汽車作為現(xiàn)代科技的產(chǎn)物,展現(xiàn)出不同于“工業(yè)機(jī)器人”的獨(dú)特性征:前者“能夠在各類環(huán)境中自主地或交互地執(zhí)行各種擬人任務(wù)”。[50]它的推廣、應(yīng)用將改變社會(huì)出行方式,并在日常生活、工作中,同其他無(wú)人駕駛汽車及乘客產(chǎn)生直接的法律關(guān)系;而后者往往停留在相對(duì)固定的生產(chǎn)或應(yīng)用空間內(nèi)。除了操作人員操控智能設(shè)備之外,這些“工業(yè)機(jī)器人”并不會(huì)同社會(huì)公眾產(chǎn)生直接的法律關(guān)系。因此,在無(wú)人駕駛汽車的應(yīng)用上,社會(huì)公眾可能承受以下風(fēng)險(xiǎn):

(一)無(wú)人駕駛汽車的技術(shù)風(fēng)險(xiǎn)

由于社會(huì)公眾對(duì)無(wú)人駕駛汽車的安全顧慮較深,百度無(wú)人駕駛汽車、谷歌無(wú)人駕駛汽車在實(shí)地測(cè)驗(yàn)過(guò)程中所帶來(lái)的科技不確定性(如交通標(biāo)示識(shí)別不清、違規(guī)變道和行駛路線難以控制等),在某種程度上也加重了人們對(duì)交通安全的注意義務(wù)。盡管這些科技問(wèn)題尚未引發(fā)大量的交通事故,但這種科技風(fēng)險(xiǎn)卻是以隱性方式普遍存在的:(1)無(wú)人駕駛汽車對(duì)指令理解程度的不確定性,可能違背指令發(fā)出者的預(yù)定目標(biāo),進(jìn)而影響指令的實(shí)際效果;(2)無(wú)人駕駛汽車的自主性特征可能引發(fā)汽車行駛中的不可控風(fēng)險(xiǎn),危及自身或他人的生命安全;(3)盡管無(wú)人駕駛汽車的安全風(fēng)險(xiǎn)是潛在的,但風(fēng)險(xiǎn)本身是普遍存在的,并伴隨著無(wú)人駕駛汽車的社會(huì)化應(yīng)用而不斷提高。乘車人與社會(huì)公眾很難預(yù)料到,無(wú)人駕駛汽車能否按照預(yù)先設(shè)定的命令持續(xù)性工作,或者在危急情況下會(huì)作出何種決策,以及能否全面應(yīng)對(duì)各種路況等問(wèn)題。特別是在遭遇“電車難題”的情況下——盡管這種情況有悖于無(wú)人駕駛汽車的發(fā)展預(yù)期,但在無(wú)人駕駛技術(shù)尚未完善之前,學(xué)者與國(guó)家仍應(yīng)當(dāng)謹(jǐn)慎考慮這種情況——無(wú)人駕駛汽車的駕駛決策就形成了兩難困境:選擇侵犯乘車人以外的他人權(quán)益,將會(huì)觸犯社會(huì)公眾的安全神經(jīng),進(jìn)而抑制無(wú)人駕駛汽車的社會(huì)化應(yīng)用;而采取緊急制動(dòng),又會(huì)損害乘車人的利益,被市場(chǎng)所淘汰。畢竟沒(méi)有人愿意支付高昂價(jià)格來(lái)購(gòu)買(mǎi)缺乏安全保障的產(chǎn)品。上述技術(shù)風(fēng)險(xiǎn)在無(wú)人駕駛汽車的研發(fā)上形成了一個(gè)“暗箱”,使得人們無(wú)法預(yù)先判斷無(wú)人駕駛汽車的決策。顯然,這種科技風(fēng)險(xiǎn)超越了人類社會(huì)的正常承受范圍。

(二)無(wú)人駕駛汽車的社會(huì)風(fēng)險(xiǎn)

基于無(wú)人駕駛技術(shù)的發(fā)展趨勢(shì)以及人們對(duì)其他智能產(chǎn)品的高度依賴性,我們或許能夠預(yù)測(cè)到一種看似微不足道卻影響深遠(yuǎn)的變化:人們正在將自身安全交由人工智能來(lái)支配,并且風(fēng)險(xiǎn)預(yù)知能力正在減弱——高德地圖、百度地圖對(duì)人類道路識(shí)別功能的影響已經(jīng)初現(xiàn)端倪,卻一直未能引起法學(xué)界和控制論專家的注意——一旦無(wú)人駕駛汽車得以實(shí)現(xiàn)社會(huì)化應(yīng)用,人們學(xué)習(xí)和提升駕駛技術(shù)的動(dòng)力會(huì)持續(xù)減弱,就能夠成為無(wú)人駕駛汽車的使用者。因此,在人工智能時(shí)代,基于深入學(xué)習(xí)才能獲得的駕駛技術(shù)和駕駛資格證書(shū),將日益為無(wú)人駕駛汽車所取代(自動(dòng)泊車系統(tǒng)在汽車選購(gòu)中的影響力逐漸提升,也證明了這種趨勢(shì))。即便某些突發(fā)狀況需要手動(dòng)處理,人們也可能因?yàn)槭栌诓僮鞫狈?yīng)對(duì)能力。更嚴(yán)重的是,這一微不足道的變化已經(jīng)不在科學(xué)實(shí)驗(yàn)所能解決的范圍之內(nèi),而是希冀于社會(huì)治理者來(lái)加以修補(bǔ)。但無(wú)人駕駛汽車生產(chǎn)商在利益的追求上,未必甘心將個(gè)體理性臣服于公共理性之下。有學(xué)者認(rèn)為,科技的客觀存在性,“極易引發(fā)人們對(duì)技術(shù)理性、程序理性和操作理性的心理崇拜,進(jìn)而忽視了技術(shù)前提假設(shè)的虛假性和有害性”[51]。尤其在智能技術(shù)的應(yīng)用與推廣上,汽車生產(chǎn)商會(huì)以技術(shù)的科學(xué)性對(duì)抗公共決策的主觀性。當(dāng)公共決策難以通過(guò)科學(xué)方式展現(xiàn)無(wú)人駕駛汽車法律規(guī)制的必要性時(shí),無(wú)人駕駛汽車的科技風(fēng)險(xiǎn)成功轉(zhuǎn)化為社會(huì)風(fēng)險(xiǎn)。

(三)無(wú)人駕駛汽車的市政配套運(yùn)行風(fēng)險(xiǎn)

無(wú)人駕駛汽車所引發(fā)的安全性隱患,并不局限于汽車本身,而是擴(kuò)展至所有的市政硬件配套設(shè)施與網(wǎng)絡(luò)軟件管理系統(tǒng)。對(duì)于手動(dòng)駕駛機(jī)動(dòng)車而言,駕駛?cè)松心軌蛲ㄟ^(guò)人腦能動(dòng)地辨別交通狀況,分析交通指示牌和信號(hào)燈。但對(duì)無(wú)人駕駛汽車而言,它對(duì)市政交通配套設(shè)施的需求,遠(yuǎn)高于人類駕駛機(jī)動(dòng)車。智能道路基礎(chǔ)設(shè)施是前者完成行駛指令,保障乘車人安全的基本要件。倘若智能道路基礎(chǔ)設(shè)施受外力干擾,影響無(wú)人駕駛汽車識(shí)別標(biāo)示時(shí),乘車人的人身安全將難以保障。比如無(wú)人駕駛汽車需要通過(guò)識(shí)別清晰的交通線、可行駛路線標(biāo)識(shí)以及交通燈等交通設(shè)施,來(lái)達(dá)到良好行駛。但在某些鄉(xiāng)村地區(qū),上述線路、標(biāo)識(shí)尚未全面配置。這在很大程度上影響了無(wú)人駕駛汽車的良好運(yùn)轉(zhuǎn)。除此之外,由于無(wú)人駕駛汽車必須利用網(wǎng)絡(luò)數(shù)據(jù)來(lái)實(shí)現(xiàn)智能化操作,所以它的數(shù)據(jù)傳輸路徑往往成為網(wǎng)絡(luò)黑客攻擊的對(duì)象。例如:在克萊斯勒半智能汽車行駛過(guò)程中,網(wǎng)絡(luò)安全研究人員就利用計(jì)算機(jī)成功侵入智能化車載聯(lián)網(wǎng)系統(tǒng),導(dǎo)致克萊斯勒汽車傳動(dòng)系統(tǒng)和發(fā)動(dòng)機(jī)系統(tǒng)的運(yùn)行失控。[52]面對(duì)網(wǎng)絡(luò)黑客的入侵,半智能化汽車尚且難以自保,更無(wú)須說(shuō)完全依賴網(wǎng)絡(luò)數(shù)據(jù)傳輸?shù)臒o(wú)人駕駛汽車。因此,來(lái)自于網(wǎng)絡(luò)黑客的網(wǎng)絡(luò)安全風(fēng)險(xiǎn),被視為未來(lái)無(wú)人駕駛汽車所面臨的主要難題。[53]當(dāng)下,“人們對(duì)物質(zhì)化品質(zhì)的追求進(jìn)一步加快了技術(shù)革新的節(jié)奏,導(dǎo)致科學(xué)實(shí)驗(yàn)、技術(shù)開(kāi)發(fā)、產(chǎn)業(yè)化及市場(chǎng)化之間的間隔越來(lái)越小,沒(méi)有充分的空間和時(shí)間以觀測(cè)科技的安全性,再加上風(fēng)險(xiǎn)控制成本很大,這就更需要政府提供必要的后續(xù)保障以增強(qiáng)人們的安全感。”[54]因此,無(wú)人駕駛技術(shù)的法律保護(hù)尚能套用現(xiàn)行法律體系的保護(hù)機(jī)制,但風(fēng)險(xiǎn)預(yù)防、行為監(jiān)管與責(zé)任認(rèn)定等事項(xiàng)亟需獲得明確的法律規(guī)制措施。

(四)無(wú)人駕駛汽車的倫理風(fēng)險(xiǎn)

伴隨著無(wú)人駕駛汽車在公共道路上的應(yīng)用,其將引發(fā)兩種駕駛模式相競(jìng)爭(zhēng)的現(xiàn)象:無(wú)人駕駛模式和手動(dòng)駕駛模式的競(jìng)爭(zhēng)。有學(xué)者以無(wú)人駕駛汽車版本的“電車難題”(Trolley Problem)影射兩種駕駛模式的區(qū)別:面對(duì)忽然沖進(jìn)快速車道的孩童,無(wú)人駕駛汽車急轉(zhuǎn)向會(huì)損傷乘車人,而直行則將撞擊孩童。[55]無(wú)論何種選擇,無(wú)人駕駛汽車都將面臨倫理道德難題。或許,上述“電車難題”有可能在無(wú)人駕駛汽車發(fā)展過(guò)程中加以解決,使得它既不像有軌電車一樣,需要過(guò)長(zhǎng)的距離減速,也不像人類駕駛者那樣反應(yīng)緩慢。有研究顯示,在突發(fā)情況下,人類駕駛員從看到異常狀況到作出行動(dòng)需要0.6秒,而無(wú)人駕駛系統(tǒng)目前只需要0.1秒;人類駕駛員的視距一般在50米左右,而無(wú)人駕駛汽車的探測(cè)距離目前能達(dá)到200米。[56]正是由于人類反應(yīng)時(shí)間與視距上的劣勢(shì),才致使交通事故頻發(fā)。而無(wú)人駕駛技術(shù)的進(jìn)入則可以減少這種人為操作失誤,從而降低90%以上的交通事故發(fā)生率。[57]由此,當(dāng)遭遇上述倫理難題時(shí),無(wú)人駕駛汽車完全可以做到及時(shí)地剎車。

這種科技發(fā)展解決了無(wú)人駕駛汽車自身的倫理風(fēng)險(xiǎn),卻進(jìn)一步加大了人類駕駛機(jī)動(dòng)車的交通肇事風(fēng)險(xiǎn)。在我國(guó)由人類駕駛機(jī)動(dòng)車向無(wú)人駕駛汽車過(guò)渡階段,必然存在人類駕駛機(jī)動(dòng)車與無(wú)人駕駛機(jī)動(dòng)車并行行駛的過(guò)程。鑒于無(wú)人駕駛模式和手動(dòng)駕駛模式在反應(yīng)時(shí)間上的差異,我們有理由相信,當(dāng)無(wú)人駕駛汽車與人類駕駛機(jī)動(dòng)車并行時(shí),無(wú)人駕駛汽車引發(fā)的交通事故會(huì)相對(duì)減少,而機(jī)動(dòng)車駕駛?cè)艘l(fā)的交通事故則相對(duì)較多,且呈現(xiàn)攀升趨勢(shì)。同時(shí),頻發(fā)的交通事故又會(huì)提升機(jī)動(dòng)車駕駛?cè)说谋kU(xiǎn)費(fèi)用,并引發(fā)人類駕駛機(jī)動(dòng)車對(duì)無(wú)人駕駛汽車的主動(dòng)避讓行為——普通汽車對(duì)豪華汽車的避讓便印證了上述論斷——從而擠占機(jī)動(dòng)車的行駛空間。至此,無(wú)人駕駛汽車的技術(shù)優(yōu)勢(shì)有可能將交通肇事風(fēng)險(xiǎn)轉(zhuǎn)嫁給人類駕駛的機(jī)動(dòng)車。

二、科技風(fēng)險(xiǎn)規(guī)制與現(xiàn)代法治變革

無(wú)人駕駛汽車的優(yōu)勢(shì):一方面,它能夠有效降低交通事故的發(fā)生率,提升公共交通的安全性;另一方面,它有利于保護(hù)汽車內(nèi)部乘客的人身安全,減少社會(huì)沖突。上述優(yōu)勢(shì)使得無(wú)人駕駛汽車的社會(huì)化應(yīng)用已經(jīng)開(kāi)始內(nèi)化為人類日常活動(dòng)的一部分,深圳“阿爾法巴”智能駕駛公交系統(tǒng)、蕪湖全無(wú)人駕駛汽車運(yùn)營(yíng)區(qū)域以及北京交通委“推動(dòng)自動(dòng)駕駛技術(shù)發(fā)展”等文件,都已經(jīng)證明無(wú)人駕駛汽車發(fā)展的廣闊前景。但是,“安全風(fēng)險(xiǎn)”作為無(wú)人駕駛汽車發(fā)展過(guò)程中的一種伴生性后果,極大地影響著法律實(shí)施效果以及社會(huì)秩序的穩(wěn)定。這樣,“社會(huì)中技術(shù)風(fēng)險(xiǎn)的產(chǎn)生以及風(fēng)險(xiǎn)占據(jù)政治中心舞臺(tái)引發(fā)的爭(zhēng)議迫使社會(huì)反省治理制度正當(dāng)性”[58],國(guó)家勢(shì)必對(duì)無(wú)人駕駛汽車的研發(fā)與應(yīng)用作出必要的回應(yīng)。從目前來(lái)看,無(wú)人駕駛汽車所附帶的科技風(fēng)險(xiǎn),已經(jīng)在法律領(lǐng)域引發(fā)一系列變革。

(一)科技風(fēng)險(xiǎn)與行政規(guī)制變革

無(wú)人駕駛汽車科技風(fēng)險(xiǎn)的出現(xiàn),可能刺激少數(shù)風(fēng)險(xiǎn)投資公司來(lái)博取未來(lái)收益。但這并不意味著所有的科技風(fēng)險(xiǎn)都能夠帶來(lái)收益。那些風(fēng)險(xiǎn)較高且收益較低(或凈損失)的公共服務(wù)事項(xiàng)(比如公共安全風(fēng)險(xiǎn)、食品風(fēng)險(xiǎn)、核風(fēng)險(xiǎn)、環(huán)境風(fēng)險(xiǎn)、疫病風(fēng)險(xiǎn)等),由于無(wú)法刺激私人的投資意愿,只能依賴國(guó)家提供適度的投資與管控。日本經(jīng)濟(jì)學(xué)家植草益將之稱為“社會(huì)性規(guī)制”,即行政機(jī)關(guān)實(shí)施的,用以保障公民生命安全,防止不特定人群、財(cái)物或環(huán)境損害的規(guī)制措施。[59]然而,風(fēng)險(xiǎn)規(guī)制對(duì)傳統(tǒng)行政法的治理手段提出了嚴(yán)峻挑戰(zhàn)。以社會(huì)治理為參照系,傳統(tǒng)行政法在思考社會(huì)治理上具有以下特征:一是強(qiáng)調(diào)行政權(quán)的控制與規(guī)范化,并信任市場(chǎng)調(diào)節(jié)的科學(xué)性;二是過(guò)分重視公民權(quán)利保障,而忽視行政職能的有效行使;三是風(fēng)險(xiǎn)規(guī)制同私權(quán)保護(hù)相混淆,忽視行政權(quán)的協(xié)調(diào)功能。[60]而在風(fēng)險(xiǎn)社會(huì)中,“規(guī)制行政法的范式革命主要體現(xiàn)在:價(jià)值目標(biāo)是從私益保護(hù)到公益保護(hù);規(guī)范內(nèi)容是從防止行政權(quán)濫用到激勵(lì)和約束行政權(quán)合理運(yùn)用;實(shí)現(xiàn)方式是從以事后對(duì)抗式的司法救濟(jì)為主到以事前協(xié)商合作式的預(yù)防治理為主”[61]。由此觀之,傳統(tǒng)公共行政手段實(shí)際上很難解決無(wú)人駕駛汽車的風(fēng)險(xiǎn)防御問(wèn)題,即便是能夠解決,也并不高效,而在無(wú)人駕駛汽車的社會(huì)化過(guò)程中,大量的科技風(fēng)險(xiǎn)轉(zhuǎn)化為社會(huì)風(fēng)險(xiǎn),行政處罰手段也必須被風(fēng)險(xiǎn)預(yù)防機(jī)制所替代。屆時(shí),行政機(jī)關(guān)的職責(zé)不僅包括實(shí)施常規(guī)的行政措施,還應(yīng)在合理地預(yù)見(jiàn)某些社會(huì)性風(fēng)險(xiǎn)的發(fā)生,并預(yù)先制定規(guī)制方案。

(二)科技創(chuàng)新與社會(huì)治理變革

學(xué)者們普遍將無(wú)人駕駛汽車視為“科技創(chuàng)新”的產(chǎn)物,并試圖通過(guò)創(chuàng)設(shè)法律規(guī)范與倫理規(guī)范的方式,來(lái)解決無(wú)人駕駛汽車的社會(huì)治理難題。對(duì)于傳統(tǒng)科技而言,上述措施不失為一種高效且經(jīng)濟(jì)的方案。但受人工智能的自主性、可交流性特征的影響,無(wú)人駕駛汽車所引發(fā)的社會(huì)治理難題遠(yuǎn)非傳統(tǒng)科技所能比擬,這也導(dǎo)致傳統(tǒng)的社會(huì)治理手段(如風(fēng)俗習(xí)慣、行業(yè)慣例、調(diào)解等)往往缺乏實(shí)際效用。而且,百度和谷歌無(wú)人駕駛汽車的糾紛處理方式也凸顯出,傳統(tǒng)法律規(guī)制措施很難在無(wú)人駕駛汽車侵權(quán)問(wèn)題上發(fā)現(xiàn)適格的懲罰對(duì)象。為此,在風(fēng)險(xiǎn)治理情境下,無(wú)人駕駛汽車造福于人類社會(huì)的可能限度愈加展現(xiàn)為它的風(fēng)險(xiǎn)規(guī)制需求以及規(guī)制效果。而長(zhǎng)期的社會(huì)治理實(shí)踐表明,一旦人們恐慌于無(wú)人駕駛汽車的潛在安全風(fēng)險(xiǎn),公權(quán)力機(jī)關(guān)的任何解釋都有可能削弱已有的治理權(quán)威。唯有同社會(huì)公眾站在同樣的視角上,才能保證規(guī)制措施的正當(dāng)性和合理性。因此,即便社會(huì)公眾對(duì)無(wú)人駕駛汽車高危險(xiǎn)性認(rèn)知來(lái)自于不可捉摸的人類直覺(jué),卻仍然能夠直接影響公權(quán)力機(jī)關(guān)的社會(huì)治理方式與治理動(dòng)機(jī)(醉駕入刑也是這個(gè)道理)。[62]有鑒于此,在無(wú)人駕駛汽車所引發(fā)的社會(huì)治理變革上,公共安全與規(guī)制措施創(chuàng)新將成為未來(lái)社會(huì)治理的重點(diǎn)。

(三)科技發(fā)展與公利性變革

迄今為止,無(wú)人駕駛汽車對(duì)人們生活的影響,主要集中在智能科技的新奇感與恐懼感兩方面:前者滿足人們對(duì)效率和便捷的另類體驗(yàn),解放人們的肢體與思維;后者引發(fā)人們對(duì)己身和公共安全的憂慮,驚恐于無(wú)人駕駛汽車所帶來(lái)的潛在風(fēng)險(xiǎn)與不確定隱患。鑒于上述新奇感、恐懼感和不確定性隱患的對(duì)立,丹尼爾·史普博(Daniel F.Spulber)提出以“公共利益”為出發(fā)點(diǎn)的規(guī)制機(jī)制。在他看來(lái),國(guó)家對(duì)風(fēng)險(xiǎn)行業(yè)的管制,是由公共利益決定并作為出發(fā)點(diǎn)的,它集中反映為“由行政機(jī)關(guān)制定并執(zhí)行的直接干預(yù)市場(chǎng)配置機(jī)制或間接改變企業(yè)和消費(fèi)者的供需決策的一般規(guī)則或特殊行為”[63]。這里的“干預(yù)”“改變”表面上看來(lái)是國(guó)家對(duì)市場(chǎng)風(fēng)險(xiǎn)的調(diào)控,但其深層次含義則是國(guó)家對(duì)公共理性的負(fù)責(zé),以及對(duì)個(gè)體(企業(yè))理性的擔(dān)憂。為了清晰地闡明國(guó)家在公共理性與個(gè)體(企業(yè))理性之間的平衡,我們不妨設(shè)想一下無(wú)人駕駛汽車不受規(guī)制的情景:在無(wú)人駕駛汽車發(fā)展的初期階段,個(gè)人的謹(jǐn)慎與注意或許可以防止科技風(fēng)險(xiǎn)的發(fā)生。但當(dāng)無(wú)人駕駛汽車成為一個(gè)國(guó)家內(nèi)部主要的交通工具,或者其他類型的人工智能產(chǎn)品充斥于整個(gè)社會(huì)時(shí),個(gè)人的謹(jǐn)慎與注意將應(yīng)對(duì)頻繁的侵權(quán)風(fēng)險(xiǎn),由此引發(fā)常態(tài)化的謹(jǐn)慎義務(wù)以及高度的精神損耗。其結(jié)果是個(gè)人的謹(jǐn)慎和注意效果將呈現(xiàn)驟降趨勢(shì)。此時(shí),即便無(wú)人駕駛汽車發(fā)生交通事故的概率較低,無(wú)人駕駛汽車同行人之間的關(guān)系也將衍變?yōu)榫o張的對(duì)立關(guān)系。在這種情境下,國(guó)家基于公共利益的考慮,必須設(shè)定關(guān)于無(wú)人駕駛汽車的法律規(guī)制措施。但公共利益只能引發(fā)適度的行政規(guī)制,卻不能強(qiáng)迫政府禁止所有的科技進(jìn)步。

(四)科技發(fā)展與試錯(cuò)性改革

在科學(xué)家眼中,科技風(fēng)險(xiǎn)是產(chǎn)品研發(fā)不完備的表現(xiàn)。唯有利用科學(xué)的、反復(fù)試驗(yàn)的方法填補(bǔ)這種不完備現(xiàn)象,才是防范科技風(fēng)險(xiǎn)的唯一方法。但對(duì)行政機(jī)關(guān)而言,科技風(fēng)險(xiǎn)是一種客觀存在的社會(huì)現(xiàn)象。在科學(xué)家消除科技風(fēng)險(xiǎn)之前,行政機(jī)關(guān)必須針對(duì)這種風(fēng)險(xiǎn)制定必要的規(guī)制措施。即便各國(guó)對(duì)無(wú)人駕駛技術(shù)的法律規(guī)制尚缺乏足夠的經(jīng)驗(yàn)支撐和信息支持,但“信息不完美是決策的常態(tài),不確定條件下的決策類似于賭博,我們可以根據(jù)已知的信息和已有的經(jīng)驗(yàn)來(lái)提高賭贏的概率”[64]。換句話說(shuō),信息不對(duì)稱條件下的必要決策,必須允許決策者及決策存在一定的誤差。或許有學(xué)者會(huì)質(zhì)疑行政機(jī)關(guān)實(shí)施科技風(fēng)險(xiǎn)規(guī)制的必要性及誤差率,但必須承認(rèn),風(fēng)險(xiǎn)規(guī)制始終是人類自我發(fā)展的重要方式之一。例如早期人類利用群居方式抵御野獸侵?jǐn)_風(fēng)險(xiǎn),當(dāng)下世界各國(guó)通過(guò)簽署《不擴(kuò)散核武器條約》來(lái)防止核戰(zhàn)爭(zhēng)的爆發(fā)等。無(wú)論何種風(fēng)險(xiǎn)規(guī)制措施,均需要人們預(yù)先針對(duì)潛在風(fēng)險(xiǎn)支付某種代價(jià),并忽視該代價(jià)能否帶來(lái)實(shí)際收益。由此來(lái)看,科技風(fēng)險(xiǎn)規(guī)制的首要條件便是投入較大的資源,以應(yīng)對(duì)潛在的社會(huì)風(fēng)險(xiǎn)。恰是因此,人們?cè)趹?yīng)對(duì)風(fēng)險(xiǎn)問(wèn)題上,總是國(guó)家保持著理性的判斷和合理的支付意愿,并且不要求高投入必須換來(lái)高回報(bào)。為此,面對(duì)人工智能時(shí)代常態(tài)化的社會(huì)風(fēng)險(xiǎn)(也是科技風(fēng)險(xiǎn)),國(guó)家必須運(yùn)用試錯(cuò)式變革的手段,來(lái)適應(yīng)風(fēng)險(xiǎn)社會(huì)治理的需要。

三、我國(guó)無(wú)人駕駛汽車的法律規(guī)制

無(wú)人駕駛汽車對(duì)現(xiàn)代法律的沖擊,一方面源自于人工智能技術(shù)對(duì)公共交通秩序的重置;另一方面來(lái)自于交通事故的責(zé)任認(rèn)定困境。前者是國(guó)家以積極姿態(tài)保障公民人身、財(cái)產(chǎn)安全的義務(wù),而后者則是在發(fā)生侵權(quán)行為之后,國(guó)家采用何種追責(zé)機(jī)制,確保交通秩序回歸到法治狀態(tài)的問(wèn)題。可以說(shuō),無(wú)人駕駛汽車與現(xiàn)行法律秩序的沖突首先表現(xiàn)為交通定位問(wèn)題,其次才是國(guó)家治理問(wèn)題和法律責(zé)任問(wèn)題。

在解決上述問(wèn)題上,世界各國(guó)自2011年開(kāi)始,便相繼出臺(tái)了無(wú)人駕駛汽車法規(guī)、政策和指南,并希冀于通過(guò)規(guī)則和標(biāo)準(zhǔn)的方式,引領(lǐng)無(wú)人駕駛技術(shù)的正常有序發(fā)展,進(jìn)而掌握無(wú)人駕駛技術(shù)規(guī)則的國(guó)際話語(yǔ)權(quán)——這主要是受到汽車生產(chǎn)與銷售領(lǐng)域跨國(guó)式經(jīng)營(yíng)模式的影響,一國(guó)生產(chǎn)的無(wú)人駕駛汽車必須滿足其他多個(gè)國(guó)家的法律與檢測(cè)標(biāo)準(zhǔn)。——例如,2011年,美國(guó)內(nèi)華達(dá)州議會(huì)率先通過(guò)了AB511法案(Assembly Bill No.511—Committee on Transportation)。該法案深受《日內(nèi)瓦公約》的影響,以至于美國(guó)聯(lián)邦政府及其各州政府對(duì)無(wú)人駕駛汽車的應(yīng)用持開(kāi)放態(tài)度。按照《日內(nèi)瓦公約》的要求,各國(guó)應(yīng)當(dāng)通過(guò)制定統(tǒng)一的規(guī)則來(lái)促進(jìn)道路安全,并要求每一輛車輛或者交通運(yùn)輸工具都有一個(gè)“可以隨時(shí)得到控制”的司機(jī)。盡管有學(xué)者詬病無(wú)人駕駛汽車有悖于現(xiàn)行交通法中的“司機(jī)”概念,但如果人們能夠通過(guò)人工智能技術(shù)實(shí)現(xiàn)無(wú)人駕駛車輛的安全操作,那么,將“無(wú)人駕駛汽車”視為司機(jī)與交通運(yùn)輸工具的結(jié)合體,未必不是謹(jǐn)守《日內(nèi)瓦公約》內(nèi)在精神的一種立法策略。因此,在無(wú)人駕駛立法實(shí)踐中,美國(guó)高科技公司積極游說(shuō)聯(lián)邦議會(huì)、州議會(huì),推動(dòng)無(wú)人駕駛汽車的法律保護(hù)。2012年7月,佛羅里達(dá)州仿效內(nèi)華達(dá)州,由參議院頒布了CS/HB1207法案(CS/HB 1207:Vehicles with Autonomous Technology)。相比于內(nèi)華達(dá)州的規(guī)定,佛羅里達(dá)州更注重現(xiàn)行交通法規(guī)與無(wú)人駕駛汽車的結(jié)合,一方面對(duì)無(wú)人汽車的駕駛者必須擁有有效的駕駛執(zhí)照;另一方面,對(duì)無(wú)人駕駛汽車的注冊(cè)和測(cè)試作出了嚴(yán)格規(guī)制;再一方面,明確了自動(dòng)駕駛與人工駕駛狀態(tài)下的不同責(zé)任認(rèn)定規(guī)則。顯然,智能駕駛系統(tǒng)的駕駛員定位成為該法案的重要貢獻(xiàn),也為后續(xù)無(wú)人駕駛汽車的社會(huì)化應(yīng)用以及責(zé)任認(rèn)定,確立了主體資格。

上述規(guī)制理念與規(guī)制措施的設(shè)置,深刻影響了美國(guó)其他州、歐洲國(guó)家以及亞洲國(guó)家的無(wú)人駕駛汽車法律規(guī)制,并在世界范圍內(nèi)形成了“科技發(fā)展+預(yù)先規(guī)制”的共識(shí)。從國(guó)外無(wú)人駕駛汽車的法律規(guī)制來(lái)看,各國(guó)都將規(guī)制的重心聚焦于無(wú)人駕駛技術(shù)的測(cè)試階段,并以此為基礎(chǔ)來(lái)確立無(wú)人駕駛汽車的規(guī)制主體、規(guī)制工具以及法律責(zé)任等內(nèi)容。考慮到無(wú)人駕駛技術(shù)的發(fā)展進(jìn)程,無(wú)人駕駛汽車“技術(shù)標(biāo)準(zhǔn)”引發(fā)的產(chǎn)品瑕疵(包括硬件瑕疵和軟件系統(tǒng)瑕疵)能夠?yàn)椤懂a(chǎn)品質(zhì)量法》所消解,但它能否行駛于公共道路,以及事故責(zé)任如何分擔(dān)等問(wèn)題,卻難以為現(xiàn)行法律體系所接納。因此,我國(guó)必須通過(guò)國(guó)家立法(包括修改法律)的方式,預(yù)先賦予無(wú)人駕駛汽車“行駛許可”。同時(shí),我國(guó)也應(yīng)當(dāng)借鑒和吸收國(guó)外規(guī)制措施的有益成分,并結(jié)合我國(guó)當(dāng)前無(wú)人駕駛技術(shù)的發(fā)展需要以及國(guó)際無(wú)人駕駛技術(shù)的發(fā)展態(tài)勢(shì),制定出符合自身實(shí)際的法律規(guī)制措施(如法律、規(guī)章、政策、制度等)來(lái)約束和規(guī)范無(wú)人駕駛汽車的研發(fā)、應(yīng)用與推廣。[65]

(一)建立公私協(xié)作的無(wú)人駕駛汽車治理模式

無(wú)人駕駛汽車的科技發(fā)展與風(fēng)險(xiǎn)規(guī)制之間,夾雜著傳統(tǒng)行政治理模式下“最小程度干預(yù)”的理念。目前,行政機(jī)關(guān)在社會(huì)治理(尤其是風(fēng)險(xiǎn)治理)上的先進(jìn)措施(如事后監(jiān)督機(jī)制、行政處罰機(jī)制),都旨在事后矯正或事后救濟(jì),而非“防患于未然”。這對(duì)于防止科技風(fēng)險(xiǎn)的社會(huì)化擴(kuò)散、提升公共安全而言,并未顯現(xiàn)出高效的治理效果。而無(wú)人駕駛汽車量產(chǎn)所帶來(lái)的社會(huì)安全問(wèn)題——每一個(gè)無(wú)人駕駛汽車就相當(dāng)于一枚“不定時(shí)炸彈”——使得行政機(jī)關(guān)的“守夜人”角色正在轉(zhuǎn)變?yōu)椤靶姓蛔鳛椤钡牡浞丁K裕跓o(wú)人駕駛汽車等高科技、高風(fēng)險(xiǎn)產(chǎn)品的社會(huì)化應(yīng)用上,積極的預(yù)先規(guī)制優(yōu)于消極的事后救濟(jì),公私協(xié)作治理模式優(yōu)于單純的政府干預(yù)。在此,公私協(xié)作治理模式,是指“由政府和私人部門(mén)組成的混合行政,不僅可以利用政府部門(mén)的權(quán)威,利用產(chǎn)業(yè)、行業(yè)和專家的專業(yè)知識(shí)和經(jīng)驗(yàn),通過(guò)不同主體之間的合作與互動(dòng),進(jìn)行相互學(xué)習(xí),形成更好的全球規(guī)制方略。還可以給不同主體以參與全球規(guī)制事務(wù)的機(jī)會(huì),改進(jìn)全球規(guī)制的民主性與合法性”[66]。其優(yōu)勢(shì)是能夠強(qiáng)化行政規(guī)制的效率,提升行政規(guī)制過(guò)程中的公眾參與度。更主要的是,無(wú)人駕駛汽車的“高科技特征”,超越了當(dāng)下行政機(jī)關(guān)的執(zhí)法能力,也使得傳統(tǒng)行政規(guī)制模式難以處理人工智能技術(shù)的核心問(wèn)題,如軟件設(shè)計(jì)糾錯(cuò)、操作系統(tǒng)審查以及系統(tǒng)升級(jí)等。即便行政機(jī)關(guān)可以補(bǔ)充一部分專業(yè)技術(shù)人員來(lái)解決技術(shù)難題,但隨著人工智能技術(shù)的全面推廣,行政機(jī)關(guān)對(duì)無(wú)人駕駛汽車的監(jiān)管將力不從心。因此,高科技公司等私主體介入到社會(huì)治理中來(lái),不僅能夠彌補(bǔ)行政機(jī)關(guān)的監(jiān)管職能,還能夠有效提升人工智能技術(shù)的監(jiān)管效率。

(二)確立市場(chǎng)評(píng)價(jià)與長(zhǎng)效規(guī)制模式

面對(duì)無(wú)人駕駛汽車研發(fā)、測(cè)試和應(yīng)用中的潛在風(fēng)險(xiǎn),法律規(guī)制既不是越全面越好,也不是越嚴(yán)苛(或放縱)越好,而是應(yīng)當(dāng)結(jié)合當(dāng)下人工智能技術(shù)發(fā)展的客觀狀態(tài)。從目前科技風(fēng)險(xiǎn)的社會(huì)治理效果來(lái)看,在傳統(tǒng)行政監(jiān)管機(jī)制下,汽車生產(chǎn)廠商只要滿足行政機(jī)關(guān)的硬件審核標(biāo)準(zhǔn),就能夠?qū)a(chǎn)品推向市場(chǎng),而無(wú)須擔(dān)心產(chǎn)品的軟件問(wèn)題。但在無(wú)人駕駛汽車的監(jiān)管上,軟件系統(tǒng)審查與硬件配置均成為行政監(jiān)管的重點(diǎn),而且汽車軟件系統(tǒng)的安全系數(shù)審查已經(jīng)超越了汽車硬件配置需求。在知識(shí)產(chǎn)權(quán)的保護(hù)下,研發(fā)者往往能夠規(guī)避行政機(jī)關(guān)的過(guò)度干預(yù)。鑒于無(wú)人駕駛汽車的安全問(wèn)題更多地體現(xiàn)在駕駛過(guò)程中,市場(chǎng)評(píng)價(jià)機(jī)制應(yīng)當(dāng)成為彌補(bǔ)傳統(tǒng)行政監(jiān)管缺陷的重要措施——當(dāng)前網(wǎng)絡(luò)購(gòu)物、外賣(mài)食品等行業(yè)的市場(chǎng)評(píng)價(jià)效果已經(jīng)證明,消費(fèi)者的評(píng)價(jià)能夠在很大程度上降低商品的社會(huì)風(fēng)險(xiǎn)——只有設(shè)計(jì)更加安全、服務(wù)更為周到的無(wú)人駕駛汽車廠商,才能得到社會(huì)公眾的高度評(píng)價(jià),并保持足夠的市場(chǎng)競(jìng)爭(zhēng)力。相反,市場(chǎng)評(píng)價(jià)較差、安全系數(shù)較低的無(wú)人駕駛汽車,將通過(guò)評(píng)價(jià)機(jī)制展現(xiàn)出來(lái),進(jìn)而為行政機(jī)關(guān)的監(jiān)管、檢查提供相關(guān)數(shù)據(jù)。由此,無(wú)人駕駛汽車生產(chǎn)廠商需要從公眾評(píng)價(jià)中獲得市場(chǎng)競(jìng)爭(zhēng)力,并在公共安全問(wèn)題上同國(guó)家保持高度一致性。當(dāng)然,市場(chǎng)評(píng)價(jià)機(jī)制并非一種制度性監(jiān)管機(jī)制,它必須轉(zhuǎn)化為國(guó)家對(duì)無(wú)人駕駛汽車生產(chǎn)商的長(zhǎng)效性約束機(jī)制。

在某種情況下,“科學(xué)技術(shù)的發(fā)展甚至?xí)偈挂惶兹碌闹贫劝l(fā)生”[67],以保證國(guó)家能夠?qū)⑸鐣?huì)風(fēng)險(xiǎn)控制在可承受的范圍之內(nèi)。我國(guó)目前缺乏完備的技術(shù)和信息,來(lái)判斷無(wú)人駕駛汽車政策和立法的科學(xué)性,但這并不意味著我國(guó)缺乏改進(jìn)行政法治、監(jiān)管機(jī)制的動(dòng)力和需求。百度無(wú)人駕駛汽車、騰訊無(wú)人駕駛汽車的實(shí)地測(cè)驗(yàn),已經(jīng)將美國(guó)、歐洲以及日韓等國(guó)的無(wú)人駕駛汽車的法律難題映射于中國(guó)社會(huì)。而且,在努力提升國(guó)家核心競(jìng)爭(zhēng)力、建設(shè)社會(huì)主義法治國(guó)家的當(dāng)下,無(wú)人駕駛汽車的行政法規(guī)制已經(jīng)成為我國(guó)法治體系的重要組成部分,因此,無(wú)論是采用美國(guó)的立法規(guī)制模式,還是采用法國(guó)的行政命令模式[68],抑或德國(guó)的柔性指導(dǎo)模式,我國(guó)必須正視自身無(wú)人駕駛汽車的發(fā)展階段,設(shè)計(jì)出符合時(shí)代要求的規(guī)制機(jī)制。

(三)確立“特許經(jīng)營(yíng)權(quán)”規(guī)制機(jī)制

目前,世界各國(guó)實(shí)行公共風(fēng)險(xiǎn)行業(yè)規(guī)制的首要目標(biāo)是抑制市場(chǎng)經(jīng)濟(jì)的盲目性,預(yù)先控制產(chǎn)品進(jìn)入市場(chǎng)的關(guān)口。在無(wú)人駕駛汽車領(lǐng)域,這種目標(biāo)主要反映為國(guó)家應(yīng)對(duì)市場(chǎng)失靈或非經(jīng)濟(jì)性行為引發(fā)的秩序混亂狀態(tài)。但由于我國(guó)無(wú)人駕駛汽車尚未投放于市場(chǎng),關(guān)于無(wú)人駕駛汽車的法律規(guī)制也就不是基于市場(chǎng)失靈的擔(dān)憂。江必新認(rèn)為:“當(dāng)特定領(lǐng)域或者行業(yè)出現(xiàn)或者存在市場(chǎng)失靈現(xiàn)象,并且需要行政規(guī)制行為的介入時(shí),特定的行政規(guī)制行為所針對(duì)的目標(biāo)性事物……是導(dǎo)致市場(chǎng)失靈或者市場(chǎng)失靈所產(chǎn)生的特定主體以及其作為或者不作為的特定行為。”[69]對(duì)于我國(guó)無(wú)人駕駛汽車的發(fā)展現(xiàn)狀而言,這種“目標(biāo)性事物”就是市場(chǎng)準(zhǔn)入與準(zhǔn)出機(jī)制。鑒于國(guó)家對(duì)高危行業(yè)的管理慣例,“特許經(jīng)營(yíng)合同”不失為一種國(guó)家加強(qiáng)無(wú)人駕駛汽車生產(chǎn)商市場(chǎng)準(zhǔn)入與準(zhǔn)出的有效監(jiān)管機(jī)制。所謂“特許經(jīng)營(yíng)合同”,就是在政府的主導(dǎo)下,以招標(biāo)方式開(kāi)展行業(yè)競(jìng)爭(zhēng),保留優(yōu)勢(shì)市場(chǎng)資源,剔除劣勢(shì)市場(chǎng)經(jīng)營(yíng)主體的一種契約式市場(chǎng)干預(yù)模式。[70]通過(guò)特許經(jīng)營(yíng)合同,政府可以有效地控制無(wú)人駕駛汽車生產(chǎn)商的數(shù)量和生產(chǎn)質(zhì)量。而且,動(dòng)態(tài)的市場(chǎng)準(zhǔn)入與準(zhǔn)出,更有利于提升無(wú)人駕駛汽車生產(chǎn)商的創(chuàng)新動(dòng)力,降低無(wú)人駕駛汽車的社會(huì)風(fēng)險(xiǎn)。為了縮減特許經(jīng)營(yíng)合同所帶來(lái)的市場(chǎng)風(fēng)險(xiǎn),政府還應(yīng)當(dāng)運(yùn)用比例原則,審慎地判斷介入市場(chǎng)的程度、許可和監(jiān)管的范圍以及企業(yè)的報(bào)告義務(wù)等。[71]這樣既能避免特許經(jīng)營(yíng)權(quán)引發(fā)無(wú)人駕駛汽車領(lǐng)域的市場(chǎng)壟斷,又能提升行政機(jī)關(guān)的規(guī)制效率和規(guī)制效果。

結(jié)語(yǔ)

無(wú)人駕駛汽車是當(dāng)前人工智能技術(shù)與社會(huì)銜接最緊密的焦點(diǎn)之一,也是人類社會(huì)從工業(yè)化向智能化過(guò)渡的一個(gè)典型例證。可以說(shuō),無(wú)人駕駛技術(shù)及其產(chǎn)品的法律規(guī)制效果,直接反映了世界各國(guó)對(duì)待人工智能、同人工智能相共存的態(tài)度和方式。但由于各國(guó)在無(wú)人駕駛技術(shù)的法律規(guī)制問(wèn)題上尚未形成成熟的經(jīng)驗(yàn),目前的規(guī)制和保護(hù)措施只能視為國(guó)家規(guī)制人工智能的一個(gè)嘗試,其中的決策失誤或制度缺陷應(yīng)當(dāng)為現(xiàn)代社會(huì)所容忍。因此,公私協(xié)作的無(wú)人駕駛汽車治理模式,以及與其相配套的市場(chǎng)評(píng)價(jià)與長(zhǎng)效規(guī)制模式、“特許經(jīng)營(yíng)權(quán)”規(guī)制機(jī)制,均可以看做是法學(xué)界對(duì)我國(guó)當(dāng)下人工智能技術(shù)(包括無(wú)人駕駛技術(shù))發(fā)展的理論嘗試。既然人工智能技術(shù)的應(yīng)用已成必然趨勢(shì),今后我國(guó)的法治建設(shè)也應(yīng)當(dāng)有其一席之地。

(責(zé)任編輯:李琳)

主站蜘蛛池模板: 湘西| 廉江市| 南安市| 贵溪市| 万荣县| 贺兰县| 开原市| 博湖县| 桐梓县| 宁都县| 松江区| 沧源| 荆州市| 涟源市| 荥阳市| 汕尾市| 昭通市| 荥经县| 获嘉县| 阿勒泰市| 图们市| 东海县| 克拉玛依市| 多伦县| 张家界市| 监利县| 陆川县| 云龙县| 彩票| 大埔区| 绥滨县| 图们市| 忻州市| 海城市| 安新县| 深水埗区| 安岳县| 上饶县| 鞍山市| 广灵县| 沅江市|