1.2 城市大數(shù)據(jù)與新一代信息技術(shù)應(yīng)用

1.2.1 全球加速邁入大數(shù)據(jù)時(shí)代

隨著科學(xué)技術(shù)的進(jìn)步和人類社會(huì)信息化進(jìn)程不斷推進(jìn)，數(shù)據(jù)產(chǎn)生成本的下降、投資規(guī)模的增加和數(shù)據(jù)存儲(chǔ)能力的增長(zhǎng)，使人類所面臨的數(shù)據(jù)量呈現(xiàn)出前所未有的爆炸性增長(zhǎng)。

1．無所不在的數(shù)據(jù)增長(zhǎng)源

不知不覺中，數(shù)據(jù)增長(zhǎng)源已遍布我們每個(gè)人的周圍：

? 社交網(wǎng)絡(luò)、電子商務(wù)網(wǎng)站、視頻網(wǎng)站等互聯(lián)網(wǎng)應(yīng)用和服務(wù)產(chǎn)生了大量數(shù)據(jù)。2011年被創(chuàng)建和被復(fù)制的數(shù)據(jù)總量為1.8ZB（1ZB=1024EB），遠(yuǎn)遠(yuǎn)超過人類有史以來所有印刷材料的數(shù)據(jù)總量（200PB）。例如Facebook每月上傳的照片超過10億張，每天生成300TB以上的日志數(shù)據(jù)；淘寶網(wǎng)會(huì)員超過3.7億人，每天交易數(shù)千萬筆，產(chǎn)生約20TB數(shù)據(jù)。

? 物聯(lián)網(wǎng)和移動(dòng)計(jì)算蓬勃發(fā)展產(chǎn)生規(guī)模更加巨大的數(shù)據(jù)洪流。預(yù)計(jì)至2020年，全球?qū)⒂?00億個(gè)終端感知設(shè)備連入互聯(lián)網(wǎng)，產(chǎn)生的流數(shù)據(jù)量將十分驚人。

? 科學(xué)研究（如基因組學(xué)、天體物理學(xué)和腦科學(xué)等）也產(chǎn)生了大量數(shù)據(jù)。例如，用電子顯微鏡重建大腦中的突觸網(wǎng)絡(luò)，1立方毫米大腦的圖像數(shù)據(jù)就超過了1PB。

IDC認(rèn)為，全球數(shù)據(jù)增速符合大數(shù)據(jù)摩爾定律（又稱新摩爾定律），大約每?jī)赡攴环ｎA(yù)計(jì)到2020年，全球數(shù)據(jù)量將達(dá)到35ZB，年均增長(zhǎng)率則超過了40%，是2010年的29倍，如圖1.1所示。

龐大的數(shù)據(jù)量及其處理和應(yīng)用需求催生了“大數(shù)據(jù)概念”，也預(yù)示著大數(shù)據(jù)時(shí)代的來臨。按維基百科的定義，大數(shù)據(jù)是指規(guī)模巨大到無法通過目前主流軟件工具在合理時(shí)間內(nèi)實(shí)現(xiàn)獲取、管理、分析挖掘的數(shù)據(jù)。大數(shù)據(jù)概念是數(shù)據(jù)對(duì)象、技術(shù)與應(yīng)用三者的統(tǒng)一，其基本特征包括四個(gè)方面（即通常所說的4V）：數(shù)據(jù)規(guī)模巨大（Volume），數(shù)據(jù)類型繁多（Variety），數(shù)據(jù)處理速度要求快（Velocity）、數(shù)據(jù)價(jià)值密度低（Value）。

2．全球數(shù)據(jù)的分布與增長(zhǎng)

根據(jù)2012年12月IDC發(fā)布的數(shù)據(jù)，美國(guó)擁有全球最多的數(shù)據(jù)（32%），其次分別為西歐（19%）、中國(guó)（13%）和印度（4%）。全球其他國(guó)家和地區(qū)擁有剩下的32%，與美國(guó)一國(guó)所擁有的數(shù)據(jù)量大致相當(dāng)。全球數(shù)據(jù)地理位置分布如圖1.2所示。

基于互聯(lián)網(wǎng)資源和技術(shù)優(yōu)勢(shì)，美國(guó)已具備對(duì)全球網(wǎng)絡(luò)空間的監(jiān)視控制能力。斯諾登披露的“棱鏡”計(jì)劃，緣于美國(guó)政府的“星風(fēng)”監(jiān)視計(jì)劃。2004年，布什政府通過司法程序，將“星風(fēng)”監(jiān)視計(jì)劃分拆成由國(guó)家安全局執(zhí)行的4個(gè)監(jiān)視計(jì)劃，除“棱鏡”外，還包括“主干道”、“碼頭”和“核子”。其中，“棱鏡”用于監(jiān)視互聯(lián)網(wǎng)個(gè)人信息；“核子”則主要負(fù)責(zé)截獲電話通話者對(duì)話內(nèi)容及關(guān)鍵詞；“主干道”和“碼頭”分別對(duì)通信和互聯(lián)網(wǎng)上數(shù)以億兆計(jì)的“元數(shù)據(jù)”進(jìn)行存儲(chǔ)和分析。“元數(shù)據(jù)”主要指通話或通信的時(shí)間、地點(diǎn)，使用的設(shè)備及參與者等，不包括電話或郵件等的內(nèi)容。

根據(jù)麥肯錫全球研究中心2010年的數(shù)據(jù)，全球新增數(shù)據(jù)量地理分布如圖1.3所示。

我國(guó)擁有全球第一的人口數(shù)、互聯(lián)網(wǎng)用戶數(shù)和移動(dòng)互聯(lián)網(wǎng)用戶數(shù)，數(shù)據(jù)存量和潛在增量位居世界前列。互聯(lián)網(wǎng)和各行業(yè)信息化系統(tǒng)經(jīng)過多年發(fā)展沉淀下來的數(shù)據(jù)量已經(jīng)十分龐大。2012年，中國(guó)的數(shù)據(jù)量為364EB，占全球13%，僅電信、金融、醫(yī)療、文化等國(guó)家重要基礎(chǔ)數(shù)據(jù)總量就超過900PB。2013年1～9月，我國(guó)移動(dòng)互聯(lián)網(wǎng)接入流量累計(jì)完成927PB，同比增長(zhǎng)67.3%；2012年淘寶網(wǎng)每天交易數(shù)千萬筆，單日數(shù)據(jù)產(chǎn)生量超過50TB；百度存儲(chǔ)網(wǎng)頁數(shù)量已接近1萬億頁，每天處理60億次搜索請(qǐng)求，每日新增數(shù)據(jù)10TB，處理數(shù)據(jù)超過100PB；上海證券交易所每秒處理近9萬筆業(yè)務(wù)，每日成交3億筆以上；中國(guó)聯(lián)通用戶上網(wǎng)記錄每月1萬億條，產(chǎn)生數(shù)據(jù)300TB。

未來，隨著制造業(yè)升級(jí)改造不斷推進(jìn)，金融、交通、電信等重點(diǎn)行業(yè)和醫(yī)保、社保、海關(guān)等重要領(lǐng)域的業(yè)務(wù)數(shù)據(jù)不斷集中，我國(guó)數(shù)據(jù)存量將持續(xù)快速增長(zhǎng)。預(yù)計(jì)到2020年，僅中國(guó)就將產(chǎn)生全球21%的數(shù)據(jù)，數(shù)據(jù)量超過8ZB，年均增長(zhǎng)接近50%。

1.2.2 城市計(jì)算與城市大數(shù)據(jù)

以物聯(lián)網(wǎng)、云計(jì)算等新一代技術(shù)為核心的智慧城市建設(shè)理念，已成為一種未來城市發(fā)展的全新模式，也是當(dāng)前全球城市發(fā)展的熱點(diǎn)。智慧城市是人類社會(huì)發(fā)展的必然產(chǎn)物，智慧城市的建設(shè)有利于解決城市發(fā)展問題，提升城市信息管理水平，促進(jìn)國(guó)家高端產(chǎn)業(yè)發(fā)展。城市計(jì)算是智慧城市背景下，城市化與信息化結(jié)合的一個(gè)新興領(lǐng)域。在對(duì)城市計(jì)算的概念進(jìn)行界定之前，首先對(duì)與城市計(jì)算相關(guān)的新一代信息技術(shù)進(jìn)行定義。

（1）物聯(lián)網(wǎng)：指通過射頻識(shí)別（Radio Frequency Identification, RFID）、紅外感應(yīng)、衛(wèi)星定位、激光掃描、視頻監(jiān)控等信息傳感設(shè)備，按照約定的協(xié)議，把物體與互聯(lián)網(wǎng)連接起來，進(jìn)行信息交換和通信，以實(shí)現(xiàn)智能化識(shí)別、定位、跟蹤、監(jiān)控和管理的一種網(wǎng)絡(luò)或智慧管理環(huán)境。物聯(lián)網(wǎng)是在互聯(lián)網(wǎng)基礎(chǔ)上的延伸和擴(kuò)展，具有技術(shù)融合度高、產(chǎn)業(yè)鏈條長(zhǎng)、應(yīng)用領(lǐng)域廣等特點(diǎn)，一般包括信息的采集（“感”）、傳輸（“傳”）、分析（“知”）、應(yīng)用（“用”）等多個(gè)環(huán)節(jié)。

（2）云計(jì)算：是一種基于互聯(lián)網(wǎng)的軟硬件服務(wù)模式，旨在通過最小的管理代價(jià)和可配置的計(jì)算資源（如服務(wù)器、存儲(chǔ)器、網(wǎng)絡(luò)、應(yīng)用、服務(wù)等）為用戶提供快速、動(dòng)態(tài)易擴(kuò)展的虛擬化資源服務(wù)。用戶只需有簡(jiǎn)易的終端設(shè)備，即可使用瀏覽器進(jìn)行身份驗(yàn)證后應(yīng)用軟硬件服務(wù)（桌面系統(tǒng)、開放平臺(tái)、應(yīng)用系統(tǒng)等），軟硬件及數(shù)據(jù)都在云計(jì)算中心。云計(jì)算的效率和低成本服務(wù)傳遞優(yōu)勢(shì)從技術(shù)實(shí)現(xiàn)層面為智慧城市的數(shù)據(jù)中心建設(shè)提供了良好的解決方案。

（3）關(guān)聯(lián)數(shù)據(jù)技術(shù)是一個(gè)語義網(wǎng)技術(shù)的最佳實(shí)踐，它采用資源描述框架（Resource Description Framework, RDF）數(shù)據(jù)模型，釆用統(tǒng)一資源標(biāo)識(shí)符（Uniform Resource Identifier, URI）命名并生成實(shí)例數(shù)據(jù)和類數(shù)據(jù)，在網(wǎng)絡(luò)上進(jìn)行發(fā)布和部署后能通過超文本傳送協(xié)議（Hypertext Transfer Protocol, HTTP）獲取，構(gòu)建數(shù)據(jù)互聯(lián)與人機(jī)理解的語義環(huán)境。

城市計(jì)算的內(nèi)涵在于將城市空間中的每個(gè)傳感器、設(shè)備、人、交通工具、建筑物、道路等都當(dāng)作一個(gè)單元去感知城市動(dòng)態(tài)，協(xié)同完成一個(gè)城市級(jí)別的計(jì)算以服務(wù)于市民和城市。城市數(shù)據(jù)是多樣性和動(dòng)態(tài)性的。例如以城市中的出租車為單元，可以基于出租車速度的分析挖掘道路上的交通熱點(diǎn)，基于出租車GPS軌跡數(shù)據(jù)分析，進(jìn)行兩地間的通行時(shí)間與費(fèi)用預(yù)測(cè)、最優(yōu)路徑選擇和道路規(guī)劃問題評(píng)估等；結(jié)合城市中的市民在醫(yī)療、社交等各個(gè)方面的行為數(shù)據(jù)，通過城市計(jì)算提供流行病預(yù)警與趨勢(shì)分析、旅游推薦和廣告投放等服務(wù)。

城市計(jì)算旨在通過城市感知、數(shù)據(jù)挖掘、智能提取、改善服務(wù)四個(gè)環(huán)節(jié)形成的循環(huán)過程來智慧型地提升市民生活和城市環(huán)境，以及通過整合交通流量、人口流動(dòng)、地理和地圖數(shù)據(jù)、環(huán)境、能源消耗、人口總數(shù)和經(jīng)濟(jì)狀況等一系列異構(gòu)數(shù)據(jù)源來深度分析突發(fā)現(xiàn)象背后的本質(zhì)和科學(xué)規(guī)律。

大數(shù)據(jù)與智慧城市有著密不可分的聯(lián)系。作為城市發(fā)展的高級(jí)階段，智慧城市創(chuàng)造了以互聯(lián)互通、整合共享、協(xié)同聯(lián)動(dòng)、創(chuàng)新發(fā)展為主要特征的城市發(fā)展新模式，大數(shù)據(jù)成為全球信息化的重點(diǎn)所在。智慧城市建設(shè)帶來了數(shù)據(jù)量的爆發(fā)式增長(zhǎng)，城市中密布的各類傳感器、移動(dòng)電話、GPS設(shè)備，甚至城市中的人都可成為信息的源頭。目前，智慧城市建設(shè)所產(chǎn)生的數(shù)據(jù)量已超過了200PB，而大數(shù)據(jù)就像血液一樣遍布智慧交通、智慧醫(yī)療、智慧生活等智慧城市建設(shè)的各個(gè)方面，城市管理正在從“經(jīng)驗(yàn)治理”轉(zhuǎn)向“科學(xué)治理”。智慧城市是否真正“智慧”源自城市大數(shù)據(jù)，如何挖掘海量數(shù)據(jù)的潛在價(jià)值并為城市系統(tǒng)的運(yùn)行管理決策提供支撐，是智慧城市建設(shè)的關(guān)鍵。

城市基礎(chǔ)運(yùn)行的智能化程度是體現(xiàn)一個(gè)城市是否“智慧”的重要指標(biāo)。本書內(nèi)容中將多次提及城市基礎(chǔ)運(yùn)行領(lǐng)域，并以此為例進(jìn)行解構(gòu)分析。城市基礎(chǔ)運(yùn)行主要指城市基礎(chǔ)設(shè)施（如道路、橋梁、礦體、水庫、地下管網(wǎng)等）及其相關(guān)城市部件（如車輛）的運(yùn)行。城市基礎(chǔ)運(yùn)行管理的主體是政府部門，服務(wù)對(duì)象面向城市系統(tǒng)中的政府、企業(yè)（社會(huì)團(tuán)體）和個(gè)人。智慧城市基礎(chǔ)運(yùn)行管理需要對(duì)城市部件的基礎(chǔ)狀態(tài)和運(yùn)行狀態(tài)進(jìn)行實(shí)時(shí)感知和控制，整合城市基礎(chǔ)運(yùn)行相關(guān)的政務(wù)信息資源和社會(huì)信息資源（包括社會(huì)公開信息資源及政府有權(quán)限提取的非公開信息資源），實(shí)現(xiàn)跨領(lǐng)域、跨部門、跨層級(jí)、跨主體的信息共享和業(yè)務(wù)協(xié)同，并借助數(shù)據(jù)挖掘、系統(tǒng)仿真、智能檢索等技術(shù)手段，為城市基礎(chǔ)運(yùn)行管理和決策提供有效支撐。

1.2.3 新一代信息技術(shù)助力三元世界融合

1．物聯(lián)網(wǎng)與移動(dòng)終端催生城市大數(shù)據(jù)需求

大數(shù)據(jù)時(shí)代最大的特征不在于數(shù)據(jù)本身，而是在數(shù)據(jù)的源頭。數(shù)據(jù)的主要來源不再是普通的PC和服務(wù)器，而是被物理世界不斷創(chuàng)造出來，并被物理世界和生活在物理世界中的人所接收、處理和利用。物聯(lián)網(wǎng)產(chǎn)生的是物理世界的感知數(shù)據(jù)，移動(dòng)終端產(chǎn)生的是人類社會(huì)的應(yīng)用類數(shù)據(jù)和行為類數(shù)據(jù)。隨著物聯(lián)網(wǎng)與移動(dòng)終端的普及和發(fā)展，人類社會(huì)與物理世界日益緊密相連，大數(shù)據(jù)在這個(gè)過程中應(yīng)運(yùn)而生。

2．云端的選擇為大數(shù)據(jù)決策指引新的航向

云計(jì)算和云存儲(chǔ)的應(yīng)用使能夠“理解數(shù)據(jù)、做出決策”的大數(shù)據(jù)技術(shù)成為現(xiàn)實(shí)。通過把數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)分析變成可以更加方便獲得的網(wǎng)絡(luò)服務(wù)，全球政府、企業(yè)和個(gè)人使用、消費(fèi)信息技術(shù)的模式正在改寫。借助“云”的伸縮性，構(gòu)建云端之上的大數(shù)據(jù)平臺(tái)，實(shí)現(xiàn)大數(shù)據(jù)資源的“按需配置”，并最終獲得更大空間的決策彈性。但是，云端的大數(shù)據(jù)應(yīng)用目前仍然存在障礙，如美國(guó)能源部提出的數(shù)據(jù)分析問題，一個(gè)基于云端的解決方案無法滿足對(duì)EB量級(jí)的數(shù)據(jù)處理需求。

3．三元世界下的新一代信息技術(shù)趨向融合

在復(fù)雜性科學(xué)視野下，科技創(chuàng)新必須實(shí)現(xiàn)技術(shù)發(fā)展與應(yīng)用創(chuàng)新的并駕齊驅(qū)。中國(guó)科學(xué)院戰(zhàn)略性科技先導(dǎo)專項(xiàng)“面向感知中國(guó)的新一代信息技術(shù)研究”中指出，信息化水平是當(dāng)代社會(huì)生產(chǎn)力的重要標(biāo)志，信息化的終極目標(biāo)是利用信息技術(shù)將人類社會(huì)與信息空間、物理世界相互融合，形成“人機(jī)物”三元一體的世界。大數(shù)據(jù)與物聯(lián)網(wǎng)、云計(jì)算、移動(dòng)互聯(lián)網(wǎng)等新一代信息技術(shù)共同構(gòu)成“人機(jī)物”三元世界融合的助推器（參見圖1.4）。

移動(dòng)終端顛覆了傳統(tǒng)的社會(huì)行為和關(guān)系網(wǎng)絡(luò)，物聯(lián)網(wǎng)融合了人類社會(huì)與物理社會(huì)的邊界，云徹底改變了信息服務(wù)的方式，而大數(shù)據(jù)則重構(gòu)了相關(guān)產(chǎn)業(yè)和領(lǐng)域的格局。“人機(jī)物”三元融合體系的形成是城市化發(fā)展的大勢(shì)所趨，新一代信息技術(shù)的融合則是這次變革浪潮的核心推動(dòng)力。