4.3 智慧數(shù)據(jù)處理技術(shù)

數(shù)據(jù)處理是從大量的原始數(shù)據(jù)抽取出有價(jià)值的信息，即數(shù)據(jù)轉(zhuǎn)換成信息的過程。數(shù)據(jù)處理主要對(duì)所輸入的各種形式的數(shù)據(jù)進(jìn)行加工整理，從中抽取并推導(dǎo)出對(duì)于某些特定人群來說有價(jià)值、有意義的數(shù)據(jù)。

4.3.1 數(shù)據(jù)處理技術(shù)發(fā)展歷程

如表4-3所示，早在電子計(jì)算機(jī)發(fā)明之前就有數(shù)據(jù)自動(dòng)處理的技術(shù)了。1890年，美籍德裔統(tǒng)計(jì)學(xué)家霍列瑞斯（Herman Hollerich）將穿孔卡片的想法運(yùn)用于美國(guó)人口普查的數(shù)據(jù)制表，并創(chuàng)辦了一家公司（后來漸漸成為IBM），將穿孔卡片用于制表機(jī)。

后來隨著計(jì)算機(jī)技術(shù)，特別是計(jì)算機(jī)軟件技術(shù)的發(fā)展，計(jì)算機(jī)數(shù)據(jù)處理技術(shù)發(fā)展迅速。最初的文件系統(tǒng)已經(jīng)有了面向應(yīng)用的數(shù)據(jù)管理功能，后來又發(fā)展出數(shù)據(jù)庫(kù)系統(tǒng)。20世紀(jì)60年代后期，計(jì)算機(jī)在管理中的應(yīng)用更加廣泛，數(shù)據(jù)量急劇增大，對(duì)數(shù)據(jù)共享的要求越來越迫切；同時(shí)，大容量磁盤已經(jīng)出現(xiàn)，聯(lián)機(jī)實(shí)時(shí)處理業(yè)務(wù)增多；軟件價(jià)格在系統(tǒng)中的比重日益上升，硬件價(jià)格大幅下降，編制和維護(hù)應(yīng)用軟件所需成本相對(duì)增加。在這種情況下，為了解決多用戶、多應(yīng)用共享數(shù)據(jù)的需求，使數(shù)據(jù)為盡可能多的應(yīng)用程序服務(wù)，出現(xiàn)了數(shù)據(jù)庫(kù)系統(tǒng)。

之后數(shù)據(jù)壓縮、信息融合技術(shù)的出現(xiàn)，為交通數(shù)據(jù)的處理提供了新的方法。專用的智能交通系統(tǒng)數(shù)據(jù)壓縮技術(shù)要求運(yùn)用數(shù)據(jù)壓縮方法去除交通信息的時(shí)間和空間相關(guān)性，常用的方法有Huffman編碼、LZW編碼，前沿的壓縮方法有小波變換編碼、分形編碼等。信息融合是多源信息綜合處理技術(shù)，它將來自不同信息源的信息按一定的準(zhǔn)則加以分析、處理與綜合。交通信息融合處理技術(shù)主要將來自多個(gè)傳感器的數(shù)據(jù)進(jìn)行綜合。信息融合采用的主要方法有卡爾曼濾波技術(shù)、貝葉斯估計(jì)、人工神經(jīng)網(wǎng)絡(luò)和綜合統(tǒng)計(jì)分析技術(shù)，主要用于城市交通監(jiān)控系統(tǒng)、智能交通安全系統(tǒng)和智能駕駛系統(tǒng)[3]。

4.3.2 智慧數(shù)據(jù)處理關(guān)鍵技術(shù)

信息通信技術(shù)的發(fā)展，使交通運(yùn)輸從數(shù)據(jù)貧乏轉(zhuǎn)向數(shù)據(jù)豐富的大數(shù)據(jù)時(shí)代，交通相關(guān)的數(shù)據(jù)量級(jí)已從TB級(jí)別躍升到PB級(jí)別乃至ZB級(jí)別[23]。在智慧交通的大背景下，前期采集到的交通信息繁雜多樣，交通數(shù)據(jù)也具有巨量性、多源異構(gòu)性、層次性等突出特點(diǎn)。如何對(duì)其進(jìn)行準(zhǔn)確、高效的處理、分析及預(yù)測(cè)成為智慧數(shù)據(jù)處理分析技術(shù)的核心內(nèi)容。

交通大數(shù)據(jù)的靈活應(yīng)用將給交通的發(fā)展帶來巨大的變化，這主要體現(xiàn)在大數(shù)據(jù)技術(shù)的實(shí)時(shí)性、分布性、高效性及預(yù)測(cè)性方面[24]。

實(shí)時(shí)性：傳統(tǒng)的海量數(shù)據(jù)模糊查詢和統(tǒng)計(jì)分析無法達(dá)到交通實(shí)時(shí)性的需求，大數(shù)據(jù)能夠?qū)崟r(shí)地對(duì)交通大數(shù)據(jù)分析、處理，提供秒級(jí)響應(yīng)。

分布性：傳統(tǒng)的數(shù)據(jù)應(yīng)用多為單表挖掘分析，一旦涉及跨表關(guān)聯(lián)就會(huì)因效率問題而無能為力，大數(shù)據(jù)的分布式并行處理擅長(zhǎng)復(fù)雜的跨表關(guān)聯(lián)分析，推動(dòng)數(shù)據(jù)串并關(guān)聯(lián)，提高數(shù)據(jù)處理能力。

高效性：高效的交通大數(shù)據(jù)挖掘能力，能夠快速發(fā)現(xiàn)海量交通數(shù)據(jù)中的內(nèi)在關(guān)聯(lián)規(guī)律，進(jìn)而提高交通運(yùn)營(yíng)效率以及路網(wǎng)的通行能力。

預(yù)測(cè)性：大數(shù)據(jù)技術(shù)較高的預(yù)測(cè)能力可降低交通狀態(tài)誤報(bào)和漏報(bào)的概率。

隨著大數(shù)據(jù)時(shí)代的來臨，各種應(yīng)對(duì)大數(shù)據(jù)處理的解決方案應(yīng)時(shí)代而生，從最初雅虎創(chuàng)建了一個(gè)用于管理、存儲(chǔ)和分析大量數(shù)據(jù)的分布式計(jì)算平臺(tái)Hadoop，到后來一些實(shí)時(shí)處理平臺(tái)如S4、Storm等[25]。面向智慧交通系統(tǒng)的交通大數(shù)據(jù)處理系統(tǒng)也有諸多應(yīng)用。

在數(shù)據(jù)處理方面，數(shù)據(jù)處理模塊作為智能交通管理系統(tǒng)的核心環(huán)節(jié)，通過大數(shù)據(jù)挖掘、移動(dòng)互聯(lián)以及云計(jì)算技術(shù)，實(shí)現(xiàn)可視化監(jiān)管、實(shí)時(shí)分析以及信息交互等功能，依托于系統(tǒng)、高效的計(jì)算中心與專業(yè)的處理工具，對(duì)數(shù)據(jù)進(jìn)行實(shí)時(shí)的處理，在密度較低的數(shù)據(jù)鏈中提煉出高價(jià)值的信息，為智能平臺(tái)的決策提供可靠的參考。現(xiàn)階段，數(shù)據(jù)處理的軟件系統(tǒng)主要包括Hadoop，HPCC，Storm，Apache Drill，RapidMiner，Pentaho BI等。

在數(shù)據(jù)存儲(chǔ)方面，智能交通管理平臺(tái)的數(shù)據(jù)存儲(chǔ)技術(shù)包括關(guān)系型的傳統(tǒng)數(shù)據(jù)庫(kù)以及HDFS、HBase、NoSQL數(shù)據(jù)庫(kù)等。HDFS適用于非結(jié)構(gòu)性的文件存儲(chǔ)，存儲(chǔ)量大；HBase屬于分布型的存儲(chǔ)系統(tǒng)，可以存儲(chǔ)開源數(shù)據(jù)與非結(jié)構(gòu)化數(shù)據(jù)；NoSQL類型的數(shù)據(jù)庫(kù)主要存儲(chǔ)對(duì)象是非結(jié)構(gòu)化的無模式數(shù)據(jù)，可以最大限度地支持云計(jì)算技術(shù)應(yīng)用[26]。