第6章_波形信源和波形信道

《第6章_波形信源和波形信道》由會員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫。

1、第六章波形信源和波形信道第一節(jié)波形信源的統(tǒng)計(jì)特性和離散化第二節(jié)連續(xù)信源和信源的信息測度第三節(jié)具有最大熵的連續(xù)信源第四節(jié)連續(xù)信道和波形信道的分類第五節(jié)連續(xù)信道和波形信道的信息傳輸率第六節(jié)連續(xù)信道和波形信道的信道容量第七節(jié)連續(xù)信道編碼定理第一節(jié)波形信源的統(tǒng)計(jì)特性和離散化實(shí)際某些信源的輸出常常是時(shí)間和取值都是連續(xù)的消息。例如語音信號、電視信號。這樣的信源成為隨機(jī)波形信源，其輸出消息可以用隨機(jī)過程{x(t)}來表示。隨機(jī)過程{x(t)}可以看成由一族時(shí)間函數(shù){()}xit組成稱為樣本函數(shù)。每個(gè)樣本函數(shù)是隨機(jī)過程的一個(gè)實(shí)現(xiàn)。（1）隨機(jī)波形信源中消息

2、數(shù)是無限的。（2）隨機(jī)波形信源可用有限維概率密度函數(shù)族以及與各維函數(shù)概率密度函數(shù)有關(guān)的統(tǒng)計(jì)量來描述。第一節(jié)波形信源的統(tǒng)計(jì)特性和離散化就統(tǒng)計(jì)特性的區(qū)別來說，隨機(jī)過程大致可分為平穩(wěn)隨機(jī)過程和非平穩(wěn)過程兩大類。最常見的平穩(wěn)隨機(jī)過程為遍歷過程，它不但統(tǒng)計(jì)特性不隨時(shí)間平移而變化，而且它的集平均以概率1等于時(shí)間平均。對于隨機(jī)過程來說，只要是限頻的，它的每個(gè)樣本函數(shù)也可作同樣的取樣處理。每個(gè)樣本函數(shù)都可以用一系列nnt?時(shí)刻上的樣本值x()來表征。因?yàn)殡S機(jī)過程的樣本函數(shù)2F2Fnx(t)有無限多個(gè)，因此，取樣后瞬間tn?的樣本值是一個(gè)隨機(jī)變2F量。第一

3、節(jié)波形信源的統(tǒng)計(jì)特性和離散化這樣，通過取樣，隨即過程就成為可數(shù)的無限維的隨機(jī)序列。XXXX?(,,...,,...)12i22FF2F如果隨機(jī)過程又是限時(shí)的，時(shí)間間隔為T，則就成為2FT個(gè)有限維的隨機(jī)序列。取樣之后還要對取值的離散化。取樣加量化才使隨機(jī)過程變換成時(shí)間的取值都是離散的隨機(jī)序列。量化必然帶來量化噪聲，引起信息損失。隨機(jī)過程描述輸出消息的信源稱為隨機(jī)波形信源。用連續(xù)隨機(jī)變量描述輸出消息的信源稱為連續(xù)信源。第二節(jié)波形信源和波形信源的信息測度連續(xù)信源的差熵先看單個(gè)變量的基本連續(xù)信源的信息測度?；具B續(xù)信源的輸出是取值連續(xù)的單個(gè)隨機(jī)變

4、量?？捎米兞康母怕拭芏?，變量間的條件概率密度和聯(lián)合概率密度來描述。變量的一維概率密度函數(shù)為dFx()dF()ypx()??,()pxXYdxdy一維概率分布函數(shù)為x1Fx()[???PXx]pxdx()條件概率密度函數(shù)為11???X聯(lián)合概率密度函數(shù)為pXY

5、

6、(

7、),xypYX(

8、)yx2px()y???Fxyxy(,)?XY111111第二節(jié)波形信源和波形信源的信息測度它們之間的關(guān)系為p()xy??pxp()(y

9、xp)(y)(px

10、y)XYXYX

11、

12、YXY基本連續(xù)信源的數(shù)學(xué)模型為??RXp????并且?()xdx1??px()R其中R

13、是全實(shí)數(shù)集。第二節(jié)波形信源和波形信源的信息測度定義連續(xù)信源的熵為：HX(nii)?????px()log[()]pxi???px()loiii?gpx()??px()lo?g?ii這樣的話：HX()lim(?HXni)lim???px()log[()]?pxi?連續(xù)信源n????0i的信息熵b????px()log()limlogpx?a??0舍棄無窮大的第二項(xiàng)，可得：連續(xù)信源的差熵bHX()???px()log()pxa第二節(jié)波形信源和波形信源的信息測度同理可以定義兩個(gè)連續(xù)變量X、Y的聯(lián)合熵和條件熵hXY()????pxy()log()

14、pxydxdyRhYX(

15、)????pxp()(

16、)log(

17、)yxpyxdxdyRhXY(

18、)????pxp()(

19、)log(

20、)yxpxydxdyR第二節(jié)波形信源和波形信源的信息測度連續(xù)信源的差熵只具有熵的部分含義和性質(zhì)（1）可加性hXY()()(?hX??hYX

21、)()(hY?hXY

22、)并當(dāng)且僅當(dāng)X與Y統(tǒng)計(jì)獨(dú)立時(shí)hXY(

23、)()(

24、)()?hX或hYX?hY所以可得hXY()()()?hX?hY（2）凸?fàn)钚院蜆O值性差熵h(X)是輸入概率密度函數(shù)p(x)的П型凸函數(shù)，對于某一概率密度函數(shù)可以得到差熵的最大。（3）差熵可為負(fù)值第二節(jié)波形

25、信源和波形信源的信息測度波形信源的差熵實(shí)際信源的輸入和輸出都是平穩(wěn)隨機(jī)過程，其{x(t)}和{y(t)}可以通過取樣，分解成取值連續(xù)的無窮平穩(wěn)隨機(jī)序列來表示，所以平穩(wěn)隨機(jī)過程的熵就是無窮平穩(wěn)隨機(jī)序列的熵。hX()(??hXX?X)?px()log()pxdx12N?RhY()??hYY(?Y)?py()log()pydy12N?RhYX(

26、)(??hY??Y

27、XX)??pxy()log(

28、)pyxdxdy11NN??RRhXY(

29、)(??hX??XYY

30、)??pxy()log(

31、)pxydxdy11NN??RR波形信源的差熵:hxt{()

32、}lim()=