第2章 開放數據與政府信息資源利用

2.1 信息資源管理的基本框架和關鍵技術

2.1.1 傳統信息資源管理的基本框架

信息資源管理主要包括信息產生、信息采集、信息處理、信息開發利用和信息服務五個階段（見圖2.1）。

1．信息采集

信息的采集方式主要有四種。

（1）手工填報：主要用于層級管理中，由下層部門通過信息系統中的相關流程進行逐項填寫后上報，或采用導入的方式批量填報。

（2）數據獲取：主要通過部署在物理世界中的感知設備進行實時感知信息采集，感知信息通過集中器、終端、傳輸網絡通道等進行傳輸匯聚。

（3）數據交換：主要通過在各信息源部署前置機的方式，實現多信息源間的數據互聯互通。

（4）數據接口：主要通過數據接口調用的方式實現數據共享和服務。

采集內容主要分為五類。

（1）基礎信息：主要指管理對象、感知設備等實體的基礎屬性信息。

（2）實時信息：主要指來源于感知設備的實時感知信息。

（3）交換信息：主要指由相關的信息所有部門對采集的數據進行解析處理后，按照一定的交換規則共享的信息。

（4）綜合信息：主要指由相關的信息所有部門將實時感知信息與基礎信息和業務領域的主題信息進行整合融合后的信息。

（5）資源描述信息：主要指相關的信息所有部門可提供共享的各類共享服務資源的元數據，如應用系統元數據、Portlet元數據、頁面元數據、數據庫元數據、Web服務元數據等。

2．信息處理

信息處理主要完成對采集信息的加工整理，對采集過程中可能出現的噪聲數據進行清洗，轉換成有效數據。

（1）數據抽取：從數據采集過程形成的臨時庫、基礎庫中抽取相關的數據。

（2）數據清洗：清除臟數據（dirty data）或噪聲，以保證數據質量。

（3）數據轉換：通常不僅僅是數據格式的轉換，外部系統中的數據可能包含不一致或者不正確的信息，這取決于外部系統中的數據情況。

轉換步驟的一部分是“凈化”或“拒絕”不符合條件的數據，這個階段常用的技術包括字符檢查（拒絕包含字符的數值性數據）和范圍檢查（拒絕超出可接受范圍的數據）。被拒絕的記錄通常存放在單獨的文件中，使用更復雜的工具處理（或者手工改正問題），然后將這些數據合并到已轉換的集合中。主要的轉換方式包括以下五種：一是數據類型轉換，將數據源中的不同數據類型轉換成需要的數據類型；二是數據表示方法轉換，命名代碼統一，漢字編碼同義，度量衡表示統一以及其他數據表示方法的統一等；三是命名轉換，將數據模式、表名、屬性名轉換成統一命名方式；四是數據綜合，按粒度要求對動態屬性數據進行統計匯總形成綜合性數據；五是數據篩選，按照分析及決策的需要從數據源中作縱向的屬性選擇及橫向的實例選擇。

（4）數據加載與刷新：將獲取并轉換的數據存放到新的數據庫中。

3．信息資源開發利用

信息資源的開發利用主要是按照需求將采集到的信息進行整合，為上層應用等提供支撐，主要包括以下三個方面。

（1）數據關系映射：將管理對象、感知設備、實時信息、信息主體（部門）等之間建立關聯關系，形成支持應用的主題信息庫，在主題信息庫的基礎上形成信息融合庫。

（2）分析建模：按照應用需求，建立分析模型，為領域應用提供調用服務。

（3）空間信息整合：通過物聯信息、決策模型與空間圖層的整合，實現信息的可視化、全景化、空間化呈現。

4．標準規范

標準規范的重點主要包括多源信息的統一編碼、基礎信息的屬性規范、多源信息的共享流程、多源信息的交換與傳輸、信息目錄、信息接入方式等。

5．信息管理

信息管理主要包括數據更新管理、數據使用管理以及數據的存儲和備份。在數據更新時，必須進行數據質量控制。對入庫數據質量進行嚴格把關。在數據入庫時，對數據的合法性進行檢查，并對數據之間的關系建立關聯，檢查源及目的數據結構的邏輯對應關系是否正確；審核數據更新標志；然后在數據提交過程中檢查數據及代碼的完整性、合法性，保證數據一致性。

（1）更新管理：系統數據要具有現勢性，即數據要反應最新的現實情況。因此要建立和形成一種有效的、實時的數據更新機制，同時發展實用的、經濟快捷的更新手段和技術方法，以保持數據的現勢性，這樣才能保證系統進行的查詢、分析、咨詢決策等結果的正確性。

（2）日志記錄：數據處理日志分為三類。一是數據處理執行過程日志，是在數據處理執行過程中每執行一步的記錄，用流水賬形式記錄每次運行每一步驟的起始時間及影響了多少行數據；二是異常日志，當某個執行過程出錯的時候寫錯誤日志，記錄每次出錯的時間、出錯的位置以及出錯的信息等；三是任務日志，只記錄任務開始時間、結束時間及是否成功等信息。

（3）數據庫系統安全訪問控制：嚴格控制數據庫系統的訪問控制權限，對不同的用戶進行不同數據庫的訪問控制，同時刪除不用的數據庫用戶，確保非法用戶對數據庫系統的訪問；對數據庫用戶的密碼嚴格保密，使其不被不相關的人員非法獲取；為數據庫系統設置防火墻，將數據庫系統設置到防火墻內，利用防火墻的安全訪問控制策略，分別控制不同的用戶、IP對數據庫系統的訪問級別；限制數據庫系統的客戶端對數據庫系統的非法訪問。

（4）備份與恢復：為了確保數據安全可靠，使信息系統正常運行，需要對信息系統的數據進行定期備份，以便在發生數據庫嚴重故障時利用備份的數據進行恢復。數據的備份策略根據不同的數據進行不同的定義。初始化數據在加載完成后進行一次性的備份；配置數據、控制數據在信息系統每次配置變動后立即進行自動備份；信息系統的業務數據需要建立詳細的備份策略實現聯機和脫機兩種備份。

2.1.2 物聯信息管理的關鍵技術

隨著攝像頭、傳感器等各種感知終端的普及應用，來源于物理世界的物聯信息日益龐大，在信息源、信息載體、傳輸頻率等方面具有區別于傳統信息資源的鮮明特征，正逐漸成為城市大數據的主體。從物聯網的技術體系上看，物聯信息的管理涉及到“感、傳、知、用”四個層面的關鍵技術。

1．感知層關鍵技術

感知層技術是物聯信息采集的核心技術，按照國際電信聯盟（ITU）的劃分，感知層的關鍵技術主要包括射頻識別技術（RFID）、傳感器技術、智能嵌入技術等。

1）射頻識別技術

射頻識別技術是20世紀90年代興起的一種非接觸式自動識別技術，該技術的商用促進了物聯網的發展。它通過射頻信號等一些先進手段自動識別目標對象并獲取相關數據，有利于人們在不同狀態下對各類物體進行識別與管理。

射頻識別系統通常由電子標簽和閱讀器組成。電子標簽內存有一定格式的標識物體信息的電子數據，是代替條形碼走進物聯網時代的關鍵技術之一。該技術具有一定的優勢：能夠輕易嵌入或附著，并對所附著的物體進行追蹤定位，讀取距離更遠，存取數據時間更短；標簽的數據存取有密碼保護，安全性更高。RFID目前有很多頻段，其中集中在13.56MHz頻段和900MHz頻段的無源射頻識別標簽應用最為常見。短距離應用方面通常采用13.56MHz HF頻段；而900MHz頻段多用于遠距離識別，如車輛管理、產品防偽等領域。閱讀器與電子標簽可按通信協議互傳信息，即閱讀器向電子標簽發送命令，電子標簽根據命令將內存的標識性數據回傳給閱讀器。

RFID技術與互聯網、通信等技術相結合，可實現全球范圍內物品跟蹤與信息共享。但其技術發展過程中也遇到了一些問題，主要在于芯片成本；還有RFID反碰撞防沖突、RFID天線研究、工作頻率的選擇及安全隱私等問題，也在一定程度上制約了該技術的發展。

2）傳感器技術

國家標準（GB/T 7665-2005）中對傳感器的定義是：能感受被測量并按照一定的規律轉換成可用輸出信號的器件或裝置，通常由敏感元件和轉換元件組成。傳感器技術是涉及物理學、化學、生物學、材料科學、電子學以及通信與網絡技術等多學科交叉的高新技術，作為當代信息技術中信息獲取的重要手段，已廣泛應用于工業、農業、國防、醫療衛生等人民生活和國民經濟建設的各個領域。

傳感器技術與通信技術、計算機技術一起被稱為信息技術的三大支柱，分別對應了“感”、“傳”、“知”三個層面。傳感器技術是從自然信源獲取信息，并對之進行處理（變換）和識別的多學科交叉的現代科學與工程技術。傳感器技術的核心即傳感器，它是負責實現物聯網中物與物、物與人信息交互的重要組成部分。

目前，傳感器技術已由傳統的機械結構型，經過機電型、固體傳感器、集成傳感器進入到微傳感器和微系統的階段，并朝著微型化、集成化、智能化、網絡化的方向發展。

按照傳感器的監測數據的不同，可以將傳感器劃分為三種：一是應用于工業領域的傳感器，如溫度傳感器、壓力傳感器、物理量傳感器、流量傳感器等；二是民用領域傳感器，如RFID傳感器、二維碼光學傳感器等；三是多媒體類型的傳感器，如音頻傳感器、視頻傳感器、無線音頻視頻傳感器、可自由編程萬能音頻傳感器等。

目前傳感器技術越來越受到普遍的重視，它的應用已滲透到國民經濟的各個領域，涵蓋工業生產過程的測量與控制、汽車電控系統、現代醫學、環境及軍事等多個方面。大規模集成電路、微納加工、網絡等技術的發展，為傳感器技術的發展奠定了基礎。隨著生產自動化程度及人們生活水平的日益提高，對傳感器的要求也日益提高。技術推動和需求牽引共同決定了未來傳感技術的發展趨勢，主要包括四個方面。

（1）微型化：采用微加工手段和納米制備技術，可加工出特征尺寸達到微米甚至納米的微型器件，同時帶來功耗的降低。

（2）集成化：包括傳感器與IC的集成制造技術以及多參量傳感器的集成制造技術，縮小了傳感器的體積，提高了檢測精度。

（3）智能化：智能化是在集成化基礎上的更進一步發展，使得信號檢測具有一定的智能，包括傳感器的自校準，可根據被測量的變化實時調節量程和精度、模式識別等。

（4）網絡化：傳感器網絡化極大地增強了傳感器的探測能力，是近幾年來的新的發展方向。

3）嵌入式系統技術

嵌入式系統是以應用為中心，以計算機技術為基礎，其軟硬件可裁剪，適用于對功能、可靠性、成本、體積、功耗有嚴格要求的專用計算機系統。它一般由嵌入式微處理器、外圍硬件設備、嵌入式操作系統以及用戶的應用程序四個部分組成，具有對其他設備的控制、監視或管理等功能。

目前，大多數嵌入式系統還處于單獨應用的階段，以微控制器（Microcontroller Unit, MCU）為核心，與一些監測、伺服、指示設備配合實現一定的功能。互聯網現已成為社會重要的基礎信息設施之一，是信息流通的重要渠道。如果嵌入式系統能夠連接到互聯網上，則幾乎可以方便、低廉地將信息傳送到世界上的任何一個地方。

2．傳輸層關鍵技術

傳輸層主要負責信息傳遞和信息控制，提供端到端的交換數據的機制，實現物與物之間的“互聯”。目前物聯信息傳輸的關鍵技術主要包括3G技術、4G技術、藍牙技術、智能網關技術（NFC）等。

1）3G技術

第三代移動通信技術（3rd-generation, 3G）是指支持高速數據傳輸的蜂窩移動通信技術。3G服務能夠同時傳送聲音及數據信息，速率一般在幾百kbps以上。3G主要存在四種標準：CDMA2000、WCDMA、TD-SCDMA、WiMax。第三代移動通信系統的一個突出特色就是：在未來移動通信系統中實現個人終端用戶能夠在全球范圍內的任何時間、任何地點，與任何人，用任意方式，高質量地完成任何信息之間的移動通信與傳輸。

2）4G技術

4G技術又稱IMT-Advanced技術。準4G標準是業內對TD技術向4G發展的TD-LTE-Advanced的稱謂。

4G通信系統采用了一些不同于3G的技術。4G中將使用的核心技術，總結起來，有下列幾種：正交頻分復用（Orthogonal Frequency Division Multiplexing, OFDM）、軟件無線電、智能天線技術、多輸入多輸出（Multiple-Input Multiple-Output, MIMO）、基于IP的核心網。國際電信聯盟（ITU）劃定的4G標準主要有五種：LTE-Advanced、WirelessMAN-Advaneed、WiMax、HSPA+和LTE。

3）藍牙技術

藍牙技術是一種支持設備短距離通信（一般10m內）的無線電技術。它能在包括移動電話、PDA、無線耳機、筆記本電腦、相關外設等眾多設備之間進行無線信息交換。利用藍牙技術，能夠有效地簡化移動通信終端設備之間的通信，也能夠成功地簡化設備與Internet之間的通信，從而使數據傳輸更加迅速、高效，為無線通信拓寬道路。藍牙技術采用分散式網絡結構以及快跳頻和短包技術，支持點對點及點對多點通信，工作在全球通用的2.4GHz ISM（即工業、科學、醫學）頻段，其數據速率為1Mbps，采用時分雙工傳輸方案實現全雙工傳輸。

4）智能網關技術

智能網關技術是應用網關技術的一種，其主要功能是自動完成對系統中大量基站監控數據的提取、處理和轉發，實現系統之間的交互連接與對話。目前，智能網關技術廣泛應用于通信、移動、家庭等各個方面。

物聯網網關可以實現感知網絡與通信網絡，以及不同類型感知網絡之間的協議轉換，既可以實現廣域互聯，也可以實現局域互聯。此外物聯網網關還需要具備設備管理功能。運營商通過物聯網網關設備可以管理底層的各感知節點，了解各節點的相關信息，并實現遠程控制。

3．智能處理層技術

智能處理層綜合運用高性能計算、人工智能、數據庫和模糊計算等技術，對收集的感知數據進行通用處理，主要涉及海量數據存儲技術、云計算技術、數據挖掘技術、SOA技術、中間件技術等關鍵技術。

1）海量數據存儲技術

海量信息存儲是一個包括網絡設備、存儲設備、服務器、應用軟件、公共訪問接口、接入網絡和客戶端程序等多個組成部分的系統。基本是以服務器為中心的處理模式，使用直連存儲（Direct Attached Storage, DAS），存儲設備（包括磁盤陣列、磁帶庫、光盤庫、硬盤等）作為服務器的外設使用。

隨著網絡技術的發展，服務器之間交換數據或向磁盤庫等存儲設備備份時，都是通過局域網進行，主要應用網絡附加存儲（Network Attached Storage, NAS）技術來實現網絡存儲，將占用大量的網絡開銷，嚴重影響網絡的整體性能。為了能夠共享大容量的高速度存儲設備，不占用局域網資源進行海量信息傳輸和備份，通常需要專用存儲網絡來實現。

2）云計算技術

云計算（Cloud Computing）是分布式計算技術的一種，通過網絡將龐大的計算處理程序自動分拆成多個較小的子程序，再交由多部服務器所組成的龐大系統經搜尋、計算、分析之后將處理結果回傳給用戶。云計算的核心內涵是計算服務化、資源虛擬化和管理智能化。云計算的核心思想是將大量用網絡連接的計算資源統一管理和調度，構成一個計算資源池向用戶提供按需服務。

云計算系統的關鍵技術主要包括編程模型、數據管理技術、數據存儲技術、虛擬化技術、云計算平臺管理技術等。

3）數據挖掘技術

數據挖掘（Data Mining, DM）是從存放在數據庫、數據倉庫或其他信息庫的大量數據中獲取有效的、新穎的、潛在有用的、最終可理解的模式的非平凡過程。在人工智能領域，數據挖掘習慣上又稱為數據庫中的知識發現（Knowledge Discovery in Database, KDD），數據挖掘也是數據庫中知識發現過程的一個基本步驟。

現在，數據挖掘技術已經發展成熟的三種基礎技術是海量數據搜集、強大的多處理器計算機和數據挖掘算法，并已經廣泛應用于商業數據倉庫和計算機自動收集的數據記錄等超大規模數據庫。

數據挖掘的工作過程主要包括數據的抽取、數據的存儲和管理、數據的展現等。數據挖掘的工作過程如圖2.2所示。

4）SOA技術

SOA（Service-oriented Architecture，面向服務的體系架構）技術是一種松耦合的軟件組件技術，它將應用程序的不同功能模塊化，并通過標準化的接口和調用方式聯系起來，實現快速可重用的系統開發和部署。SOA可提高物聯網架構的擴展性，提升應用開發效率，充分整合和復用信息資源。

5）中間件技術

中間件是一種獨立的系統軟件或服務程序。分布式應用軟件借助中間件技術在不同的技術之間共享資源。通過中間件相連接的系統或應用程序可以工作于多平臺或操作系統（Operating System, OS）環境，并實現信息的高效交換。

4．應用層關鍵技術

物聯網應用層的相關技術主要包括家庭物聯網應用涵蓋的技術和企業物聯網應用的相關技術。家庭物聯網應用的相關技術比如家電智能控制技術、家庭安防監控技術。企業物聯網應用的相關技術現階段比較典型的技術主要包括智能家電控制技術、石油監控應用技術、電力抄表、車載應用技術等。此外，還有對這些應用進行支撐的網絡管理技術和安全保障技術。

1）智能家電控制技術

智能家電是微處理器和計算機技術引入家電設備后形成的家電產品，是具有自動監測、自動測量、自動控制及自動調節與遠方控制中心通信功能的家電設備，可通過物聯網的相關通信協議和控制設備相連并進行通信。智能家用電器目前所采用的智能控制技術主要是模糊控制等技術。少數高檔次的家用電器也用到神經網絡技術（也叫神經網絡模糊控制技術），模糊控制技術目前是智能家用電器使用最廣泛的智能控制技術。原因在于這種技術和人的思維具有一致性，可以用相對簡單的數理邏輯在單片機或嵌入式設備上進行構造。

2）家庭安防監控技術

基于物聯網的家庭安防監控技術區別于傳統家庭安防監控技術的地方主要是采用RFID、傳感器以及M2M（Machine to Machine，機-機）設備來完成家庭安防的監控，基于物聯網的家庭安防系統主要由主控模塊、圖像采集模塊、無線通信模塊和傳感器模塊組成。其中無線通信模塊通過ZigBee無線網絡與傳感器模塊相連，完成家庭安防的監控數據采集。常用監控模式通過傳感器模塊采集突發的環境參數時，圖像采集模塊開始采集家庭實時圖像；主控模塊將圖像發送到戶主手機，戶主確認是否有意外發生，然后在遠程做出相應處理。基于物聯網的家庭安防監控技術具有安裝方便、成本低、人性化、操作方便、安全性高、有效安防等特點。

3）石油監控應用技術

基于物聯網的石油監控應用技術是指通過傳感器等相關物聯網設備完成石油存儲庫區的煙、火、溫度、濕度等環境因素的采集，通過網絡將各個傳感器點的數據進行傳送和遠程集中，并完成遠程監控。當煙、火、溫度等環境因素發生異常時，能及時反映到監控人員或監控設備，并可與攝像監控設備相結合，進行石油庫區監控的防火防盜。

4）電力抄表技術

電力抄表技術通常采用在家庭用戶的電表設備上安裝傳感器或其他通信裝置，通過電力網絡的通信模塊與之通信，完成家庭用戶用電數據的遠程抄取，完成電力設備的智能化、遠程化、自動化管理。

5）車載應用技術

基于物聯網的車載應用技術主要通過無線設備采集車載物聯網設備的信號，可以實時獲得車輛的相關位置、速度、行駛方向等信息，并可通過相關語音通信協議建立與車輛的實時語音通信，基于物聯網技術的車載應用技術目前有較廣闊的發展前景。目前較常用的車載應用之一是通過車載RFID或傳感器實時獲得車輛的位置信息，并完成GPS信息的實時上傳和下載。

6）網絡管理技術

物聯網具有“自治、開放、多樣”的自然特性，這些自然特性與網絡運行管理的基本需求存在著突出的矛盾，需研究新的物聯網管理模型與關鍵技術，保證網絡系統正常高效地運行。

7）安全保障技術

安全是基于網絡的各種系統運行的重要基礎之一，物聯網的開放性、包容性和匿名性也決定了不可避免地存在信息安全隱患，需要研究物聯網安全關鍵技術，滿足機密性、真實性、完整性、抗抵賴性的四大要求，同時還需解決好物聯網中的用戶隱私保護與信任管理問題。