Xiao.Zhu C++

流媒體指的是在網(wǎng)絡(luò)中使用流技術(shù)傳輸?shù)倪B續(xù)時(shí)基媒體，其特點(diǎn)是在播放前不需要下載整個(gè)文件，而是采用邊下載邊播放的方式，它是視頻會(huì)議、IP電話等應(yīng)用場(chǎng)合的技術(shù)基礎(chǔ)。RTP是進(jìn)行實(shí)時(shí)流媒體傳輸?shù)臉?biāo)準(zhǔn)協(xié)議和關(guān)鍵技術(shù)，本文介紹如何在Linux下利用JRTPLIB進(jìn)行實(shí)時(shí)流媒體編程。 

一、流媒體簡(jiǎn)介
        隨著Internet的日益普及，在網(wǎng)絡(luò)上傳輸?shù)臄?shù)據(jù)已經(jīng)不再局限于文字和圖形，而是逐漸向聲音和視頻等多媒體格式過渡。目前在網(wǎng)絡(luò)上傳輸音頻/視頻（Audio/Video，簡(jiǎn)稱A/V）等多媒體文件時(shí)，基本上只有下載和流式傳輸兩種選擇。通常說來，A/V文件占據(jù)的存儲(chǔ)空間都比較大，在帶寬受限的網(wǎng)絡(luò)環(huán)境中下載可能要耗費(fèi)數(shù)分鐘甚至數(shù)小時(shí)，所以這種處理方法的延遲很大。如果換用流式傳輸?shù)脑挘曇簟⒂跋瘛?dòng)畫等多媒體文件將由專門的流媒體服務(wù)器負(fù)責(zé)向用戶連續(xù)、實(shí)時(shí)地發(fā)送，這樣用戶可以不必等到整個(gè)文件全部下載完畢，而只需要經(jīng)過幾秒鐘的啟動(dòng)延時(shí)就可以了，當(dāng)這些多媒體數(shù)據(jù)在客戶機(jī)上播放時(shí)，文件的剩余部分將繼續(xù)從流媒體服務(wù)器下載。

        流（Streaming）是近年在Internet上出現(xiàn)的新概念，其定義非常廣泛，主要是指通過網(wǎng)絡(luò)傳輸多媒體數(shù)據(jù)的技術(shù)總稱。流媒體包含廣義和狹義兩種內(nèi)涵：廣義上的流媒體指的是使音頻和視頻形成穩(wěn)定和連續(xù)的傳輸流和回放流的一系列技術(shù)、方法和協(xié)議的總稱，即流媒體技術(shù)；狹義上的流媒體是相對(duì)于傳統(tǒng)的下載-回放方式而言的，指的是一種從Internet上獲取音頻和視頻等多媒體數(shù)據(jù)的新方法，它能夠支持多媒體數(shù)據(jù)流的實(shí)時(shí)傳輸和實(shí)時(shí)播放。通過運(yùn)用流媒體技術(shù)，服務(wù)器能夠向客戶機(jī)發(fā)送穩(wěn)定和連續(xù)的多媒體數(shù)據(jù)流，客戶機(jī)在接收數(shù)據(jù)的同時(shí)以一個(gè)穩(wěn)定的速率回放，而不用等數(shù)據(jù)全部下載完之后再進(jìn)行回放。

由于受網(wǎng)絡(luò)帶寬、計(jì)算機(jī)處理能力和協(xié)議規(guī)范等方面的限制，要想從Internet上下載大量的音頻和視頻數(shù)據(jù)，無論從下載時(shí)間和存儲(chǔ)空間上來講都是不太現(xiàn)實(shí)的，而流媒體技術(shù)的出現(xiàn)則很好地解決了這一難題。目前實(shí)現(xiàn)流媒體傳輸主要有兩種方法：順序流（progressive streaming）傳輸和實(shí)時(shí)流（realtime streaming）傳輸，它們分別適合于不同的應(yīng)用場(chǎng)合。

順序流傳輸

        順序流傳輸采用順序下載的方式進(jìn)行傳輸，在下載的同時(shí)用戶可以在線回放多媒體數(shù)據(jù)，但給定時(shí)刻只能觀看已經(jīng)下載的部分，不能跳到尚未下載的部分，也不能在傳輸期間根據(jù)網(wǎng)絡(luò)狀況對(duì)下載速度進(jìn)行調(diào)整。由于標(biāo)準(zhǔn)的HTTP服務(wù)器就可以發(fā)送這種形式的流媒體，而不需要其他特殊協(xié)議的支持，因此也常常被稱作HTTP 流式傳輸。順序流式傳輸比較適合于高質(zhì)量的多媒體片段，如片頭、片尾或者廣告等。

實(shí)時(shí)流傳輸

        實(shí)時(shí)流式傳輸保證媒體信號(hào)帶寬能夠與當(dāng)前網(wǎng)絡(luò)狀況相匹配，從而使得流媒體數(shù)據(jù)總是被實(shí)時(shí)地傳送，因此特別適合于現(xiàn)場(chǎng)事件。實(shí)時(shí)流傳輸支持隨機(jī)訪問，即用戶可以通過快進(jìn)或者后退操作來觀看前面或者后面的內(nèi)容。從理論上講，實(shí)時(shí)流媒體一經(jīng)播放就不會(huì)停頓，但事實(shí)上仍有可能發(fā)生周期性的暫停現(xiàn)象，尤其是在網(wǎng)絡(luò)狀況惡化時(shí)更是如此。與順序流傳輸不同的是，實(shí)時(shí)流傳輸需要用到特定的流媒體服務(wù)器，而且還需要特定網(wǎng)絡(luò)協(xié)議的支持。

二、流媒體協(xié)議
實(shí)時(shí)傳輸協(xié)議（Real-time Transport Protocol，PRT）是在Internet上處理多媒體數(shù)據(jù)流的一種網(wǎng)絡(luò)協(xié)議，利用它能夠在一對(duì)一（unicast，單播）或者一對(duì)多（multicast，多播）的網(wǎng)絡(luò)環(huán)境中實(shí)現(xiàn)傳流媒體數(shù)據(jù)的實(shí)時(shí)傳輸。RTP通常使用UDP來進(jìn)行多媒體數(shù)據(jù)的傳輸，但如果需要的話可以使用TCP或者 ATM等其它協(xié)議，整個(gè)RTP協(xié)議由兩個(gè)密切相關(guān)的部分組成：RTP數(shù)據(jù)協(xié)議和RTP控制協(xié)議。實(shí)時(shí)流協(xié)議（Real Time Streaming Protocol，RTSP）最早由Real Networks和Netscape公司共同提出，它位于RTP和RTCP之上，其目的是希望通過IP網(wǎng)絡(luò)有效地傳輸多媒體數(shù)據(jù)。

2.1 RTP數(shù)據(jù)協(xié)議

RTP數(shù)據(jù)協(xié)議負(fù)責(zé)對(duì)流媒體數(shù)據(jù)進(jìn)行封包并實(shí)現(xiàn)媒體流的實(shí)時(shí)傳輸，每一個(gè)RTP數(shù)據(jù)報(bào)都由頭部（Header）和負(fù)載（Payload）兩個(gè)部分組成，其中頭部前12個(gè)字節(jié)的含義是固定的，而負(fù)載則可以是音頻或者視頻數(shù)據(jù)。RTP數(shù)據(jù)報(bào)的頭部格式如圖1所示：

 
圖1 RTP頭部格式

其中比較重要的幾個(gè)域及其意義如下： 

• CSRC記數(shù)（CC）　　表示CSRC標(biāo)識(shí)的數(shù)目。CSRC標(biāo)識(shí)緊跟在RTP固定頭部之后，用來表示RTP數(shù)據(jù)報(bào)的來源，RTP協(xié)議允許在同一個(gè)會(huì)話中存在多個(gè)數(shù)據(jù)源，它們可以通過RTP混合器合并為一個(gè)數(shù)據(jù)源。例如，可以產(chǎn)生一個(gè)CSRC列表來表示一個(gè)電話會(huì)議，該會(huì)議通過一個(gè) RTP混合器將所有講話者的語音數(shù)據(jù)組合為一個(gè)RTP數(shù)據(jù)源。 
• 負(fù)載類型（PT）　　標(biāo)明RTP負(fù)載的格式，包括所采用的編碼算法、采樣頻率、承載通道等。例如，類型2表明該RTP數(shù)據(jù)包中承載的是用ITU G.721算法編碼的語音數(shù)據(jù)，采樣頻率為8000Hz，并且采用單聲道。 
• 序列號(hào)　　用來為接收方提供探測(cè)數(shù)據(jù)丟失的方法，但如何處理丟失的數(shù)據(jù)則是應(yīng)用程序自己的事情，RTP協(xié)議本身并不負(fù)責(zé)數(shù)據(jù)的重傳。 
• 時(shí)間戳　　記錄了負(fù)載中第一個(gè)字節(jié)的采樣時(shí)間，接收方能夠時(shí)間戳能夠確定數(shù)據(jù)的到達(dá)是否受到了延遲抖動(dòng)的影響，但具體如何來補(bǔ)償延遲抖動(dòng)則是應(yīng)用程序自己的事情。 

從RTP 數(shù)據(jù)報(bào)的格式不難看出，它包含了傳輸媒體的類型、格式、序列號(hào)、時(shí)間戳以及是否有附加數(shù)據(jù)等信息，這些都為實(shí)時(shí)的流媒體傳輸提供了相應(yīng)的基礎(chǔ)。RTP協(xié)議的目的是提供實(shí)時(shí)數(shù)據(jù)（如交互式的音頻和視頻）的端到端傳輸服務(wù)，因此在RTP中沒有連接的概念，它可以建立在底層的面向連接或面向非連接的傳輸協(xié)議之上；RTP也不依賴于特別的網(wǎng)絡(luò)地址格式，而僅僅只需要底層傳輸協(xié)議支持組幀（Framing）和分段（Segmentation）就足夠了；另外RTP 本身還不提供任何可靠性機(jī)制，這些都要由傳輸協(xié)議或者應(yīng)用程序自己來保證。在典型的應(yīng)用場(chǎng)合下，RTP 一般是在傳輸協(xié)議之上作為應(yīng)用程序的一部分加以實(shí)現(xiàn)的，如圖2所示：

圖2 RTP與各種網(wǎng)絡(luò)協(xié)議的關(guān)系

2.2 RTCP控制協(xié)議

RTCP 控制協(xié)議需要與RTP數(shù)據(jù)協(xié)議一起配合使用，當(dāng)應(yīng)用程序啟動(dòng)一個(gè)RTP會(huì)話時(shí)將同時(shí)占用兩個(gè)端口，分別供RTP 和RTCP使用。RTP本身并不能為按序傳輸數(shù)據(jù)包提供可靠的保證，也不提供流量控制和擁塞控制，這些都由RTCP來負(fù)責(zé)完成。通常RTCP會(huì)采用與 RTP相同的分發(fā)機(jī)制，向會(huì)話中的所有成員周期性地發(fā)送控制信息，應(yīng)用程序通過接收這些數(shù)據(jù)，從中獲取會(huì)話參與者的相關(guān)資料，以及網(wǎng)絡(luò)狀況、分組丟失概率等反饋信息，從而能夠?qū)Ψ?wù)質(zhì)量進(jìn)行控制或者對(duì)網(wǎng)絡(luò)狀況進(jìn)行診斷。

RTCP協(xié)議的功能是通過不同的RTCP數(shù)據(jù)報(bào)來實(shí)現(xiàn)的，主要有如下幾種類型： 

• SR　　發(fā)送端報(bào)告，所謂發(fā)送端是指發(fā)出RTP數(shù)據(jù)報(bào)的應(yīng)用程序或者終端，發(fā)送端同時(shí)也可以是接收端。 
• RR　　接收端報(bào)告，所謂接收端是指僅接收但不發(fā)送RTP數(shù)據(jù)報(bào)的應(yīng)用程序或者終端。 
• SDES　　源描述，主要功能是作為會(huì)話成員有關(guān)標(biāo)識(shí)信息的載體，如用戶名、郵件地址、電話號(hào)碼等，此外還具有向會(huì)話成員傳達(dá)會(huì)話控制信息的功能。 
• BYE　　通知離開，主要功能是指示某一個(gè)或者幾個(gè)源不再有效，即通知會(huì)話中的其他成員自己將退出會(huì)話。 
• APP　　由應(yīng)用程序自己定義，解決了RTCP的擴(kuò)展性問題，并且為協(xié)議的實(shí)現(xiàn)者提供了很大的靈活性。 

RTCP數(shù)據(jù)報(bào)攜帶有服務(wù)質(zhì)量監(jiān)控的必要信息，能夠?qū)Ψ?wù)質(zhì)量進(jìn)行動(dòng)態(tài)的調(diào)整，并能夠?qū)W(wǎng)絡(luò)擁塞進(jìn)行有效的控制。由于RTCP數(shù)據(jù)報(bào)采用的是多播方式，因此會(huì)話中的所有成員都可以通過RTCP數(shù)據(jù)報(bào)返回的控制信息，來了解其他參與者的當(dāng)前情況。

在一個(gè)典型的應(yīng)用場(chǎng)合下，發(fā)送媒體流的應(yīng)用程序?qū)⒅芷谛缘禺a(chǎn)生發(fā)送端報(bào)告SR，該RTCP數(shù)據(jù)報(bào)含有不同媒體流間的同步信息，以及已經(jīng)發(fā)送的數(shù)據(jù)報(bào)和字節(jié)的計(jì)數(shù)，接收端根據(jù)這些信息可以估計(jì)出實(shí)際的數(shù)據(jù)傳輸速率。另一方面，接收端會(huì)向所有已知的發(fā)送端發(fā)送接收端報(bào)告RR，該RTCP數(shù)據(jù)報(bào)含有已接收數(shù)據(jù)報(bào)的最大序列號(hào)、丟失的數(shù)據(jù)報(bào)數(shù)目、延時(shí)抖動(dòng)和時(shí)間戳等重要信息，發(fā)送端應(yīng)用根據(jù)這些信息可以估計(jì)出往返時(shí)延，并且可以根據(jù)數(shù)據(jù)報(bào)丟失概率和時(shí)延抖動(dòng)情況動(dòng)態(tài)調(diào)整發(fā)送速率，以改善網(wǎng)絡(luò)擁塞狀況，或者根據(jù)網(wǎng)絡(luò)狀況平滑地調(diào)整應(yīng)用程序的服務(wù)質(zhì)量。

2.3 RTSP實(shí)時(shí)流協(xié)議

作為一個(gè)應(yīng)用層協(xié)議，RTSP提供了一個(gè)可供擴(kuò)展的框架，它的意義在于使得實(shí)時(shí)流媒體數(shù)據(jù)的受控和點(diǎn)播變得可能。總的說來，RTSP是一個(gè)流媒體表示協(xié)議，主要用來控制具有實(shí)時(shí)特性的數(shù)據(jù)發(fā)送，但它本身并不傳輸數(shù)據(jù)，而是必須依賴于下層傳輸協(xié)議所提供的某些服務(wù)。RTSP 可以對(duì)流媒體提供諸如播放、暫停、快進(jìn)等操作，它負(fù)責(zé)定義具體的控制消息、操作方法、狀態(tài)碼等，此外還描述了與RTP間的交互操作。

RTSP 在制定時(shí)較多地參考了HTTP/1.1協(xié)議，甚至許多描述與HTTP/1.1完全相同。RTSP之所以特意使用與HTTP/1.1類似的語法和操作，在很大程度上是為了兼容現(xiàn)有的Web基礎(chǔ)結(jié)構(gòu)，正因如此，HTTP/1.1的擴(kuò)展機(jī)制大都可以直接引入到RTSP 中。

由RTSP 控制的媒體流集合可以用表示描述（Presentation Description）來定義，所謂表示是指流媒體服務(wù)器提供給客戶機(jī)的一個(gè)或者多個(gè)媒體流的集合，而表示描述則包含了一個(gè)表示中各個(gè)媒體流的相關(guān)信息，如數(shù)據(jù)編碼/解碼算法、網(wǎng)絡(luò)地址、媒體流的內(nèi)容等。

雖然RTSP服務(wù)器同樣也使用標(biāo)識(shí)符來區(qū)別每一流連接會(huì)話（Session），但RTSP連接并沒有被綁定到傳輸層連接（如TCP等），也就是說在整個(gè) RTSP連接期間，RTSP用戶可打開或者關(guān)閉多個(gè)對(duì)RTSP服務(wù)器的可靠傳輸連接以發(fā)出RTSP 請(qǐng)求。此外，RTSP連接也可以基于面向無連接的傳輸協(xié)議（如UDP等）。

RTSP協(xié)議目前支持以下操作： 

• 檢索媒體　　允許用戶通過HTTP或者其它方法向媒體服務(wù)器提交一個(gè)表示描述。如表示是組播的，則表示描述就包含用于該媒體流的組播地址和端口號(hào)；如果表示是單播的，為了安全在表示描述中應(yīng)該只提供目的地址。 
• 邀請(qǐng)加入　　媒體服務(wù)器可以被邀請(qǐng)參加正在進(jìn)行的會(huì)議，或者在表示中回放媒體，或者在表示中錄制全部媒體或其子集，非常適合于分布式教學(xué)。 
• 添加媒體　　通知用戶新加入的可利用媒體流，這對(duì)現(xiàn)場(chǎng)講座來講顯得尤其有用。與HTTP/1.1類似，RTSP請(qǐng)求也可以交由代理、通道或者緩存來進(jìn)行處理。 

三、流媒體編程 
RTP 是目前解決流媒體實(shí)時(shí)傳輸問題的最好辦法，如果需要在Linux平臺(tái)上進(jìn)行實(shí)時(shí)流媒體編程，可以考慮使用一些開放源代碼的RTP庫，如LIBRTP、 JRTPLIB等。JRTPLIB是一個(gè)面向?qū)ο蟮?span>RTP庫，它完全遵循RFC 1889設(shè)計(jì)，在很多場(chǎng)合下是一個(gè)非常不錯(cuò)的選擇，下面就以JRTPLIB為例，講述如何在Linux平臺(tái)上運(yùn)用RTP協(xié)議進(jìn)行實(shí)時(shí)流媒體編程。

3.1 環(huán)境搭建

JRTPLIB 是一個(gè)用C++語言實(shí)現(xiàn)的RTP庫，目前已經(jīng)可以運(yùn)行在Windows、Linux、FreeBSD、 Solaris、Unix和VxWorks等多種操作系統(tǒng)上。要為Linux 系統(tǒng)安裝JRTPLIB，首先從JRTPLIB的網(wǎng)站（http: //lumumba.luc.ac.be/jori/jrtplib/jrtplib.html）下載最新的源碼包，此處使用的是jrtplib- 2.7b.tar.bz2。假設(shè)下載后的源碼包保存在/usr/local/src目錄下，執(zhí)行下面的命令可以對(duì)其進(jìn)行解壓縮：