2.2 流媒體技術(shù)

流媒體技術(shù)發(fā)源于美國，又稱流式媒體技術(shù)，是一種新的媒體傳送方式。流媒體技術(shù)利用特殊的壓縮方式，將整個音頻/視頻（A/V）及3D媒體等多媒體文件分成多個壓縮包，由視頻服務(wù)器向用戶計(jì)算機(jī)連續(xù)、實(shí)時(shí)傳送。因此，用戶不必等待整個文件全部下載完畢，只需經(jīng)過幾秒或幾十秒的啟動延時(shí)，即可在自己的計(jì)算機(jī)上利用解壓軟件對壓縮的A/V、3D媒體等多媒體文件進(jìn)行解壓和播放。這種邊下載、邊播放多媒體文件的流式傳輸方式，不僅能夠大幅縮短啟動延時(shí)，而且對系統(tǒng)緩存容量的需求也大大降低。

2.2.1 流媒體簡介

我們正處在信息時(shí)代，信息量越來越大，信息的表現(xiàn)形式越來越豐富。大量公司和個人不斷利用多媒體技術(shù)發(fā)布和傳播信息，一些多媒體應(yīng)用（如視頻會議、遠(yuǎn)程教學(xué)等）也不斷出現(xiàn)。隨著智能終端的日益普及，用戶希望通過更加便利的方式獲得信息。

網(wǎng)絡(luò)已經(jīng)改變并將繼續(xù)改變我們的生活方式。多媒體應(yīng)用的環(huán)境正由桌面平臺（如多媒體PC）向網(wǎng)絡(luò)多媒體平臺和簡單智能終端相結(jié)合的方向演進(jìn)，網(wǎng)絡(luò)將成為無可比擬的超級服務(wù)器。要想使用網(wǎng)絡(luò)中的多媒體內(nèi)容，就必須通過網(wǎng)絡(luò)訪問和傳輸信息。流媒體技術(shù)在這種情況下應(yīng)運(yùn)而生。

流媒體（Streaming Media）是指采用流式傳輸方式在Internet/Intranet上播放的媒體格式，如音頻、視頻或多媒體。用戶在播放流媒體文件時(shí)，并不需要下載整個文件。流媒體數(shù)據(jù)流隨時(shí)傳送、隨時(shí)播放，只是在開始時(shí)有些延遲。顯然，流媒體實(shí)現(xiàn)的關(guān)鍵技術(shù)就是流式傳輸，流式傳輸主要指使用特定的壓縮方式，將整個A/V、3D媒體等多媒體文件解析成一個個壓縮包，由視頻服務(wù)器向用戶計(jì)算機(jī)順序或?qū)崟r(shí)傳送。

2.2.2 流媒體技術(shù)定義

流媒體技術(shù)不是一種單一的技術(shù)，而是網(wǎng)絡(luò)技術(shù)和音頻/視頻技術(shù)的有機(jī)結(jié)合。

首先，要想通過網(wǎng)絡(luò)進(jìn)行流媒體傳輸，所傳輸?shù)奈募仨毐恢谱鞒蛇m合流式傳輸?shù)牧髅襟w文件。需要選用適當(dāng)?shù)膲嚎s算法對流媒體文件進(jìn)行壓縮，從而使生成的文件較小。

其次，流媒體的傳輸需要合適的傳輸協(xié)議，網(wǎng)絡(luò)上的文件傳輸大部分都建立在TCP的基礎(chǔ)上，也有一些以FTP的方式進(jìn)行傳輸，但基于這些傳輸協(xié)議無法實(shí)現(xiàn)實(shí)時(shí)傳輸。隨著流媒體技術(shù)相關(guān)研究的不斷深入，比較成熟的流媒體傳輸一般都采用建立在UDP上的RTP/RTSP實(shí)時(shí)傳輸協(xié)議。因?yàn)榫W(wǎng)絡(luò)是以包為單位對數(shù)據(jù)進(jìn)行異步傳輸?shù)模虼硕嗝襟w數(shù)據(jù)在傳輸中要被分解成許多包。由于網(wǎng)絡(luò)傳輸?shù)牟环€(wěn)定性，各數(shù)據(jù)包到達(dá)客戶端的時(shí)間順序可能發(fā)生改變，甚至出現(xiàn)丟包的情況，為此必須利用緩存技術(shù)來對到達(dá)的數(shù)據(jù)包進(jìn)行正確排序，解決數(shù)據(jù)包到達(dá)順序發(fā)生改變的問題。

最后，在最終呈現(xiàn)方面，客戶端的Web瀏覽器啟動A/V Helper程序，使用HTTP/TCP 交換控制信息，把需要傳輸?shù)膶?shí)時(shí)數(shù)據(jù)從原始信息中檢索出來；之后客戶端的 Web 瀏覽器利用 A/V Helper 程序檢索相關(guān)參數(shù)，包括目錄信息、A/V數(shù)據(jù)的編碼類型及服務(wù)器地址等。客戶端的A/V Helper程序及A/V服務(wù)器運(yùn)行實(shí)時(shí)流控制協(xié)議（RTSP），以交換 A/V 數(shù)據(jù)傳輸所需的控制信息，一旦A/V數(shù)據(jù)抵達(dá)客戶端，便可開始播放。

2.2.3 流式傳輸基礎(chǔ)

在網(wǎng)絡(luò)上傳輸A/V等多媒體信息時(shí)，主要有下載和流式傳輸兩種方案。在進(jìn)行下載時(shí)，文件一般都較大，所以網(wǎng)絡(luò)需要的存儲空間也較大；同時(shí)由于網(wǎng)絡(luò)帶寬的限制，經(jīng)常需要很長時(shí)間，所以網(wǎng)絡(luò)延遲也很大。在進(jìn)行流式傳輸時(shí)，聲音、影像或動畫等時(shí)基媒體由音視頻服務(wù)器向用戶計(jì)算機(jī)連續(xù)、實(shí)時(shí)傳送，用戶不必等待整個文件全部下載完畢，只需經(jīng)過幾秒或十幾秒的啟動延時(shí)便可進(jìn)行觀看。與此同時(shí)，文件的剩余部分在后臺繼續(xù)從服務(wù)器下載。

流式傳輸是實(shí)現(xiàn)流媒體的關(guān)鍵技術(shù)。流式傳輸是通過網(wǎng)絡(luò)傳送媒體（如視頻、音頻）的技術(shù)總稱，其特定含義為通過互聯(lián)網(wǎng)將影視節(jié)目傳送到PC機(jī)中。流式傳輸有兩種實(shí)現(xiàn)方法：順序流式傳輸（Progressive Streaming）和實(shí)時(shí)流式傳輸（Realtime Streaming）。順序流式傳輸是順序下載，在下載文件的同時(shí)用戶可在線觀看媒體文件，在某一時(shí)刻，用戶只能觀看已經(jīng)下載的內(nèi)容，而不能跳轉(zhuǎn)到還未下載的部分，在傳輸期間，不會根據(jù)用戶的網(wǎng)絡(luò)連接速度對下載順序進(jìn)行調(diào)整。實(shí)時(shí)流式傳輸是指保證媒體信號帶寬與網(wǎng)絡(luò)連接相匹配，使用戶可實(shí)時(shí)觀看媒體文件。實(shí)時(shí)流式傳輸根據(jù)網(wǎng)絡(luò)情況調(diào)整輸出音視頻的質(zhì)量，從而實(shí)現(xiàn)媒體文件的持續(xù)、實(shí)時(shí)傳送，用戶可在播放過程中快進(jìn)或后退。

一般說來，如果視頻為實(shí)時(shí)廣播，或使用流式傳輸媒體服務(wù)器，或應(yīng)用RTSP 等實(shí)時(shí)傳輸協(xié)議，即為實(shí)時(shí)流式傳輸。如果使用 HTTP 服務(wù)器，即為順序流式傳輸。流媒體文件支持在播放前將整個文件下載到硬盤中。

1.順序流式傳輸

由于在標(biāo)準(zhǔn)的 HTTP 服務(wù)器中進(jìn)行順序流式傳輸不需要其他特殊協(xié)議，因此順序流式傳輸也稱為 HTTP 流式傳輸。順序流式傳輸比較適合高質(zhì)量的短片段，如電影的片頭、片尾及廣告，這類文件在播放前是經(jīng)過無損下載的，能夠保證最終的播放質(zhì)量。這意味著用戶在觀看前必須經(jīng)歷網(wǎng)絡(luò)延遲，在較差的網(wǎng)絡(luò)連接狀態(tài)下尤其如此。

對于通過調(diào)制解調(diào)器發(fā)布的短片段，順序流式傳輸顯得很實(shí)用，它允許用比調(diào)制解調(diào)器更高的數(shù)據(jù)速率創(chuàng)建視頻片段，盡管有網(wǎng)絡(luò)延遲，但可以發(fā)布質(zhì)量較高的視頻。順序流式文件放在標(biāo)準(zhǔn)HTTP服務(wù)器或FTP服務(wù)器上，易于管理，基本與防火墻無關(guān)。

順序流式傳輸不適合長片段和有隨機(jī)訪問要求的視頻，如講座、演說與演示。它也不支持現(xiàn)場廣播，嚴(yán)格說來，它是一種點(diǎn)播技術(shù)。

2.實(shí)時(shí)流式傳輸

實(shí)時(shí)流式傳輸與順序流式傳輸不同，其需要專用的流媒體服務(wù)器與傳輸協(xié)議。

實(shí)時(shí)流式傳輸是實(shí)時(shí)傳送，特別適合現(xiàn)場事件，也支持隨機(jī)訪問，用戶可快進(jìn)或后退以觀看其他內(nèi)容。理論上，實(shí)時(shí)流式傳輸文件一經(jīng)播放就不可停止，但實(shí)際上可能發(fā)生周期性暫停。實(shí)時(shí)流式傳輸必須匹配相應(yīng)的連接帶寬，這意味著在以調(diào)制解調(diào)器的速度進(jìn)行連接時(shí)，流媒體圖像質(zhì)量較差。另外，由于出錯或丟失的信息被忽略，在網(wǎng)絡(luò)擁擠或出現(xiàn)問題時(shí)，視頻質(zhì)量很差。如果想保證視頻質(zhì)量，采用順序流式傳輸更合適一些。

實(shí)時(shí)流式傳輸需要特定服務(wù)器，如 QuickTime Streaming Server、Real Server、Windows Media Server。這些服務(wù)器允許用戶對媒體發(fā)送進(jìn)行更多控制，因而系統(tǒng)設(shè)置、管理等比標(biāo)準(zhǔn) HTTP 服務(wù)器更復(fù)雜。實(shí)時(shí)流式傳輸還需要特殊的網(wǎng)絡(luò)協(xié)議，如RTSP（Realtime Streaming Protocol）、MMS（Microsoft Media Server）。這些協(xié)議在有防火墻時(shí)可能會出現(xiàn)問題，導(dǎo)致用戶不能看到一些實(shí)時(shí)內(nèi)容。

2.2.4 流媒體系統(tǒng)簡介

1.流媒體系統(tǒng)基本構(gòu)成

流媒體系統(tǒng)基本構(gòu)成如圖2-1所示。

在一套大規(guī)模的流媒體系統(tǒng)中，流媒體編碼器負(fù)責(zé)對音視頻文件進(jìn)行編碼，壓縮格式為H.264、H.265、VP9、AAC等；流媒體服務(wù)器負(fù)責(zé)對數(shù)據(jù)包進(jìn)行容器封裝，并負(fù)責(zé)網(wǎng)絡(luò)協(xié)議（RTMP/HTTP 等）打包；CDN 網(wǎng)絡(luò)負(fù)責(zé)進(jìn)行全網(wǎng)分發(fā)；播放器負(fù)責(zé)對圖像進(jìn)行解碼顯示。

2.流媒體系統(tǒng)工作流程

流式傳輸需要合適的傳輸協(xié)議。由于 TCP 需要較大的開銷，因此該協(xié)議不太適合用于傳輸實(shí)時(shí)數(shù)據(jù)。在流式傳輸?shù)膶?shí)現(xiàn)方案中，一般采用 HTTP/TCP傳輸控制信息，而使用RTP/UDP傳輸實(shí)時(shí)數(shù)據(jù)。

流式傳輸?shù)膶?shí)現(xiàn)要依賴緩存。因?yàn)橐粋€實(shí)時(shí)的音視頻源或存儲的音視頻文件在傳輸過程中會被分解為多個數(shù)據(jù)包，而網(wǎng)絡(luò)又是動態(tài)變化的，各數(shù)據(jù)包選擇的路由可能不同，因此到達(dá)客戶端的時(shí)延也不同，先發(fā)的數(shù)據(jù)包有可能后到。為此，需要使用緩存系統(tǒng)來消除時(shí)延和抖動的影響，從而使數(shù)據(jù)能夠連續(xù)輸出。通常來說，高速緩存所需的容量并不大，因?yàn)橥ㄟ^丟棄已經(jīng)播放的內(nèi)容，可以重新利用空出的空間來緩存后續(xù)尚未播放的內(nèi)容。

流媒體傳輸流程如圖2-2所示。

流式傳輸?shù)倪^程一般如下。

（1）用戶在選擇某一流媒體服務(wù)后，Web 瀏覽器與 Web 服務(wù)器之間使用HTTP/TCP 交換控制信息，從而把需要傳輸?shù)膶?shí)時(shí)數(shù)據(jù)從原始信息中檢索出來。

（2）Web瀏覽器啟動音視頻客戶程序，使用HTTP從Web服務(wù)器中檢索相關(guān)參數(shù)，對音視頻客戶程序進(jìn)行初始化，這些參數(shù)可能包括目錄信息、音視頻數(shù)據(jù)的編碼類型及與音視頻檢索相關(guān)的服務(wù)器地址。

（3）音視頻客戶程序及音視頻服務(wù)器運(yùn)行實(shí)時(shí)流式傳輸協(xié)議，以交換音視頻傳輸所需的控制信息。實(shí)時(shí)流式傳輸協(xié)議提供執(zhí)行播放、快進(jìn)、快倒、暫停及錄制等命令的方法。

（4）音視頻服務(wù)器使用RTP/UDP將音視頻數(shù)據(jù)傳輸給音視頻客戶程序，一旦音視頻數(shù)據(jù)抵達(dá)客戶端，音視頻客戶程序即可開始播放。

需要說明的是，在流式傳輸中，使用RTP/UDP和RTSP/TCP兩種不同的通信協(xié)議與音視頻服務(wù)器建立聯(lián)系，目的是把服務(wù)器的輸出重定向到一個非運(yùn)行的音視頻客戶程序的客戶機(jī)的目的地址中。另外，流式傳輸一般都需要專用服務(wù)器和播放器。

2.2.5 三種流媒體系統(tǒng)

1.Real公司的流媒體系統(tǒng)

Real公司（Real Networks）的流媒體系統(tǒng)是一個非常穩(wěn)定且性能非常好的系統(tǒng)，在全球有很高的市場占有率。該系統(tǒng)采用一種高性能的自適應(yīng)壓縮算法，能夠生成獨(dú)特的RM格式文件，并且有很高的壓縮比，可以適應(yīng)56K-lOM的線路要求。

目前，在實(shí)時(shí)網(wǎng)絡(luò)直播領(lǐng)域，Real 公司的流媒體系統(tǒng)無可替代，其提供了大量的實(shí)際方案，而且可以適應(yīng)各平臺的操作系統(tǒng)。其可以選擇的平臺有NT、Linux、Solaris、HP-Unix、AIX及Irix系統(tǒng)等。客戶端采用標(biāo)準(zhǔn)的瀏覽器系統(tǒng)平臺，服務(wù)器采用Real公司的產(chǎn)品，通過相關(guān)協(xié)議控制客戶端及服務(wù)器的互動。

2.微軟公司的Media Server系統(tǒng)

微軟的流媒體解決方案在微軟視窗平臺上是免費(fèi)的，制作端與播放器的音視頻質(zhì)量都非常好且易于使用。Media Server 系統(tǒng)的缺點(diǎn)是目前的整體解決方案和Real公司的產(chǎn)品相比還有差距，并且只能在微軟視窗平臺上使用（播放器除外）。在預(yù)算緊張時(shí)，該系統(tǒng)是個不錯的選擇。

3.蘋果公司的QuickTime系統(tǒng)

QuickTime系統(tǒng)是蘋果公司面向?qū)I(yè)視頻編輯、Web網(wǎng)站創(chuàng)建和CD-ROM內(nèi)容制作而開發(fā)的多媒體技術(shù)平臺，QuickTime 系統(tǒng)支持幾乎所有主流的個人計(jì)算機(jī)平臺，是數(shù)字媒體領(lǐng)域中創(chuàng)建 3D 動畫及實(shí)時(shí)效果、虛擬現(xiàn)實(shí)和其他數(shù)字流媒體應(yīng)用的重要基礎(chǔ)。QuickTime 5是目前最新的版本，對使用macOS系統(tǒng)的用戶來說是一個比較理想的選擇方案。目前，QuickTime 5播放器已經(jīng)在世界范圍內(nèi)被眾多用戶采用，成為僅次于RealPlayer、Windows Media Player的流視頻播放器。QuickTime 系統(tǒng)的一個顯著特點(diǎn)是支持轉(zhuǎn)播功能和模塊化 API，用戶可以方便地通過QTSS API為服務(wù)器添加新的功能。

QuickTime系統(tǒng)組成如下。

（1）QuickTime Pro：高級的客戶端播放、編碼、編輯工具。

（2）QuickTime 5播放器：客戶端播放、編碼、編輯工具。

（3）QuickTime Streaming Server 2.0.1：視頻服務(wù)器。

4.三種流媒體系統(tǒng)比較

目前流行的主要流媒體系統(tǒng)就是上文提到的三種，表 2-1 可以清楚地說明其所用技術(shù)的特點(diǎn)和差異。

2.2.6 流媒體技術(shù)主要應(yīng)用

互聯(lián)網(wǎng)的不斷發(fā)展決定了流媒體廣闊的市場前景。流媒體技術(shù)應(yīng)用可以根據(jù)傳輸模式、實(shí)時(shí)性、交互性等分為多種類型。

傳輸模式主要指流媒體傳輸是采用點(diǎn)到點(diǎn)的方式還是采用點(diǎn)到多點(diǎn)的方式。點(diǎn)到點(diǎn)的方式主要通過單播傳輸實(shí)現(xiàn)；點(diǎn)到多點(diǎn)的方式一般通過組播傳輸實(shí)現(xiàn)，在網(wǎng)絡(luò)不支持組播時(shí)，也可以通過多個單播傳輸實(shí)現(xiàn)。實(shí)時(shí)性指視頻內(nèi)容是否實(shí)時(shí)產(chǎn)生、實(shí)時(shí)采集和實(shí)時(shí)播放，實(shí)時(shí)內(nèi)容包括實(shí)況直播內(nèi)容、視頻會議內(nèi)容等，而非實(shí)時(shí)內(nèi)容指預(yù)先制作、存儲的媒體內(nèi)容。交互性是指應(yīng)用是否需要交互，即流媒體的傳輸是單向的還是雙向的。

根據(jù)上述分類，流媒體技術(shù)的主要應(yīng)用可以分為視頻點(diǎn)播業(yè)務(wù)和視頻廣播業(yè)務(wù)。視頻點(diǎn)播業(yè)務(wù)既包括廣播電視系統(tǒng)通過即時(shí)點(diǎn)播、輪播、下載播放等方式使用戶自主選擇和收看廣播電視節(jié)目的業(yè)務(wù)，也包括多種多樣的互聯(lián)網(wǎng)視聽點(diǎn)播業(yè)務(wù)；視頻廣播業(yè)務(wù)可以看作視頻點(diǎn)播業(yè)務(wù)的擴(kuò)展，其把節(jié)目源組織成頻道，以廣播的方式向用戶提供，用戶通過加入頻道收看節(jié)目。

流媒體技術(shù)的三種應(yīng)用場景如下。

（1）視頻監(jiān)控。

通過安裝在不同地點(diǎn)且接入互聯(lián)網(wǎng)的攝像頭，視頻監(jiān)控系統(tǒng)可以實(shí)現(xiàn)遠(yuǎn)程監(jiān)測。與傳統(tǒng)的基于電視系統(tǒng)的監(jiān)控不同，視頻監(jiān)控系統(tǒng)的信息可以通過網(wǎng)絡(luò)以流媒體的形式傳輸，因此更為方便、靈活，目前已經(jīng)在中小商鋪及家庭中應(yīng)用。

（2）視頻會議。

如果視頻監(jiān)控系統(tǒng)是單向的流媒體傳輸，那么視頻會議則應(yīng)用了雙工流媒體傳輸技術(shù)。視頻會議可以是雙向的，也可以是多向的，是典型的具有交互性的流媒體技術(shù)應(yīng)用。

（3）遠(yuǎn)程教學(xué)。

遠(yuǎn)程教學(xué)的應(yīng)用場景也非常廣泛，并且具有很好的市場前景，可將其視為包含多種應(yīng)用類型的綜合場景。在遠(yuǎn)程教學(xué)中，我們可以采用多種模式的流媒體應(yīng)用。例如，采用點(diǎn)播的方式傳送教學(xué)視頻，以視頻會議的方式進(jìn)行課堂交流等。

放眼未來，流媒體技術(shù)與視頻技術(shù)的結(jié)合還將帶來更多的應(yīng)用場景，為媒體行業(yè)帶來新的發(fā)展機(jī)遇，同時(shí)也為用戶帶來更多的視聽選擇和更好的視聽體驗(yàn)。