信息論與編碼課后答案.docx

《信息論與編碼課后答案.docx》由會員上傳分享，免費在線閱讀，更多相關(guān)內(nèi)容在行業(yè)資料-天天文庫。

1、2.1一個馬爾可夫信源有3個符號u1,u2,u3，轉(zhuǎn)移概率為：pu1

2、u11/2，pu2

3、u11/2，pu3

4、u10，pu1

5、u21/3，pu2

6、u20，pu3

7、u22/3，pu1

8、u31/3，pu2

9、u32/3，pu3

10、u30，畫出狀態(tài)圖并求出各符號穩(wěn)態(tài)概率。解：狀態(tài)圖如下1/2u11/31/21/32/32/3u3u2狀態(tài)轉(zhuǎn)移矩陣為：1/21/20p1/302/31/32/30設(shè)狀態(tài)u1，u2，u3穩(wěn)定后的概率分別為W1，W2、W3111W1W2W3W11023

11、3W11225WPW由W1W3W2得23計算可得W29W1W2W312W2W3325W3625W1W2W312.2由符號集{0，1}組成的二階馬爾可夫鏈，其轉(zhuǎn)移概率為：p(0

12、00)=0.8，p(0

13、11)=0.2，p(1

14、00)=0.2，p(1

15、11)=0.8，p(0

16、01)=0.5，p(0

17、10)=0.5，p(1

18、01)=0.5，p(1

19、10)=0.5。畫出狀態(tài)圖，并計算各狀態(tài)的穩(wěn)態(tài)概率。解：p(0

20、00)p(00

21、00)0.8p(0

22、01)p(10

23、01)0.5p(0

24、1

25、1)p(10

26、11)0.2p(0

27、10)p(00

28、10)0.5p(1

29、00)p(01

30、00)0.2p(1

31、01)p(11

32、01)0.5p(1

33、11)p(11

34、11)0.8p(1

35、10)p(01

36、10)0.50.80.200000.50.50.50.500000.20.8于是可以列出轉(zhuǎn)移概率矩陣：p狀態(tài)圖為：0.8000.2010.50.50.50.50.210110.8設(shè)各狀態(tài)00，01，10，11的穩(wěn)態(tài)分布概率為W1,W2,W3,W4有WPW40.8W10.2W1得0.

37、5W20.5W3W10.5W3W20.2W4W3W15141717514W2計算得到Wi1i10.5W20.8W4W4W3W1W2W3W41W42.7設(shè)有一離散無記憶信源，其概率空間為Xx10x21x32x43P3/81/41/41/8（1）求每個符號的自信息量（2）信源發(fā)出一消息符號序列為{202120130213001203210110321010021032011223210}，求該序列的自信息量和平均每個符號攜帶的信息量18解：I(x1)log2log2p(x1)31.415

38、bit同理可以求得I(x2)2bit,I(x3)2bit,I(x3)3bit因為信源無記憶，所以此消息序列的信息量就等于該序列中各個符號的信息量之和就有：I14I(x1)13I(x2)12I(x3)6I(x4)87.81bit87.81平均每個符號攜帶的信息量為1.95bit/符號452.11有一個可以旋轉(zhuǎn)的圓盤，盤面上被均勻的分成38份，用1，，38的數(shù)字標(biāo)示，其中有兩份涂綠色，18份涂紅色，18份涂黑色，圓盤停轉(zhuǎn)后，盤面上的指針指向某一數(shù)字和顏色。（1））如果僅對顏色感興趣，則計算平均不確

39、定度（2））如果僅對顏色和數(shù)字感興趣，則計算平均不確定度（3））如果顏色已知時，則計算條件熵解：令X表示指針指向某一數(shù)字，則X={1,2,.,38}Y表示指針指向某一種顏色，則Y={l綠色，紅色，黑色}Y是X的函數(shù)，由題意可知p(xiyj)p(xi)（1））H(Y)312381838p(yj)loglog2log1.24bit/符號j1p(yj)3823818（2））H(X,Y)H(X)log2385.25bit/符號（3））H(X

40、Y)H(X,Y)H(Y)H(X)H(Y)5.251

41、.244.01bit/符號2.11兩個實驗X和Y，X={x1x2x3},Y={y1y2y3},l聯(lián)合概率rxi,yjrij為r11r12r137/241/240r21r22r231/241/41/24r31r32r3301/247/24（1））如果有人告訴你X和Y的實驗結(jié)果，你得到的平均信息量是多少？（2））如果有人告訴你Y的實驗結(jié)果，你得到的平均信息量是多少？（3））在已知Y實驗結(jié)果的情況下，告訴你X的實驗結(jié)果，你得到的平均信息量是多少？解：聯(lián)合概率YXp(xi,yj)為y1y2y3

42、H(X,Y)p(xi,yj)log2ij1p(xi,yj)x17/241/240x21/241/41/24x301/247/24X概率分布Xx1x2x3P8/248/248/24724112log22474log22424log244=2.3bit/符號H(Y)31log231.58bit/符號3H(X

43、Y)H(X,Y)H(Y)2.31.58Y概率分布是=0.72bit/符號Yy1y2y3P8/248/248/242.16黑白傳真機的消息元只有黑色和白色兩種，即X={