1.1 人類認知基本理論

人類通過視覺、聽覺、觸覺等不同感官形成對事物的感知，本質(zhì)上，人腦所處理的信息本身就具有跨媒體特性，“McGurk現(xiàn)象”和近期神經(jīng)系統(tǒng)科學進行的研究從不同角度揭示了人腦認知的跨媒體特性。1976年，McGurk等人驗證了人類對外界信息的認知是基于不同感官信息（如聽覺和視覺等）而形成的整體性理解，任何感官信息的缺乏或不準確將導致大腦對外界信息的理解產(chǎn)生偏差，這個現(xiàn)象被稱為“McGurk現(xiàn)象” [7]。McGurk現(xiàn)象揭示了大腦在進行感知時，不同感官被無意識和自動地結合到了一起進行處理。更為重要的是，后續(xù)神經(jīng)系統(tǒng)科學研究也揭示，在大腦皮層的穎上溝和腦頂內(nèi)溝等部位，不同感官信息的處理神經(jīng)相互交融，人腦的生理組織結構決定了其對外界的認知過程是通過跨越多種感官信息的融合處理來實現(xiàn)的[8]。

另外，從人工智能研究的角度來看，1976年Newell和Simon提出了物理符號系統(tǒng)假設，認為物理符號系統(tǒng)是表現(xiàn)智能行為的必要和充分條件，任何信息加工系統(tǒng)都可以看成一個具體的物理系統(tǒng)，如人的神經(jīng)系統(tǒng)、計算機的構造系統(tǒng)等。之后以McCorthy和Nilsson等為代表，主張任何事物都可以用統(tǒng)一的邏輯框架來表示，即可以用形式化的方法來描述客觀世界。20世紀70年代后期提出的知識系統(tǒng)，作為人工智能學科最重要的工業(yè)化和商業(yè)化產(chǎn)物，輔助人們進行問題求解，如產(chǎn)品質(zhì)量的評價、輔助醫(yī)療診斷、金融決策支持等。傳統(tǒng)的人工智能研究的目標是讓機器模仿人，認為人腦的思維活動可以通過一些公式和規(guī)則來定義，希望通過把人類的思維方式翻譯成程序語言輸入機器，使機器有朝一日能產(chǎn)生像人類一樣的思維能力。然而，人腦得到的信息中可以符號化的只占很小一部分，85%以上是符號以外的形象數(shù)據(jù)，如一幅花紅柳綠的風景圖、一段余音繞梁的音樂等。傳統(tǒng)的人工智能研究面對多媒體的信息環(huán)境，不能自如地模擬人腦的智能活動。跨媒體思想對于人工智能研究的重要意義正體現(xiàn)在著眼于對85%以上的非符號信息的綜合理解和有效利用，以使計算機可更好地模擬人類感知。

跨媒體是一個比較廣義的概念，主要涉及以下研究范疇。

1）跨媒體檢索

用戶向計算機提交一種類型的多媒體對象作為查詢例子，系統(tǒng)可以自動找到其他不同類型、在語義上相似的多媒體對象。雖然不同類型的多媒體對象之間沒有直接的可比性，如一幅山水畫和一段描述小河流水聲的音頻在底層內(nèi)容特征上彼此異構，但卻可以用機器學習、統(tǒng)計分析等方法學習兩者在統(tǒng)計意義上潛在的相關性，并以此為依據(jù)進行跨媒體檢索。

2）跨媒體推理

推理是從一種命題合理演繹到另一種命題，跨媒體推理就是從一種類型的多媒體數(shù)據(jù)經(jīng)過問題求解轉(zhuǎn)向另一種類型的多媒體數(shù)據(jù)。例如，OCR（Optical Character Recognition）技術是從圖像到文本的推理、基于內(nèi)容的圖像檢索是從圖像到圖像的推理、視頻動畫技術是從視頻數(shù)據(jù)到動畫序列的演繹。跨媒體推理囊括了對這些不同類型的多媒體數(shù)據(jù)之間的轉(zhuǎn)換研究。

3）跨媒體存儲

現(xiàn)有的處理海量數(shù)據(jù)的檢索技術主要針對的是文本信息，如谷歌和百度等搜索引擎，針對多媒體檢索的研究工作其出發(fā)點并不是針對跨媒體海量數(shù)據(jù)。跨媒體存儲研究高效壓縮、索引和分片等方法，以及對用戶行為的個性化索引等技術，用于提高海量環(huán)境下的跨媒體檢索效率，更好地支持上層應用。

上述三個方面，從底層數(shù)據(jù)存儲到上層應用技術，從不同方面描述了跨媒體思想對多媒體研究領域的技術涵蓋和突破性要求，是一個整體性的研究框架設計和考慮。要實現(xiàn)上述研究思路，需要在海量數(shù)據(jù)庫、多媒體索引、并行計算、機器學習和統(tǒng)計分析、計算機視覺、計算機聽覺以及信息檢索等領域取得突破性的研究進展。