資源描述:
《信息論與編碼理論習(xí)題答案.pdf》由會員上傳分享,免費在線閱讀,更多相關(guān)內(nèi)容在行業(yè)資料-天天文庫。
1、.第二章信息量和熵2.2八元編碼系統(tǒng),碼長為3,第一個符號用于同步,每秒1000個碼字,求它的信息速率。解:同步信息均相同,不含信息,因此每個碼字的信息量為2log8=23=6bit因此,信息速率為61000=6000bit/s2.3擲一對無偏骰子,告訴你得到的總的點數(shù)為:(a)7;(b)12。問各得到多少信息量。解:(1)可能的組合為{1,6},{2,5},{3,4},{4,3},{5,2},{6,1}61p(a)==3661得到的信息量=log=log6=2.585bitp(a)(2)可能的唯一,為{6,6}1p(b)=3
2、61得到的信息量=log=log36=5.17bitp(b)2.4經(jīng)過充分洗牌后的一副撲克(52張),問:(a)任何一種特定的排列所給出的信息量是多少?(b)若從中抽取13張牌,所給出的點數(shù)都不相同時得到多少信息量?1解:(a)p(a)=52!1信息量=log=log52!=225.58bitp(a)13!13種點數(shù)任意排列(b)134花色任選131313!44p(b)==1313A52C521313信息量=logC52log4=13.208bit'..2.9隨機擲3顆骰子,X表示第一顆骰子的結(jié)果,Y表示第一和第二顆骰子的點數(shù)
3、之和,Z表示3顆骰子的點數(shù)之和,試求H(Z
4、Y)、H(X
5、Y)、H(Z
6、X,Y)、H(X,Z
7、Y)、H(Z
8、X)。解:令第一第二第三顆骰子的結(jié)果分別為x1,x2,x3,x1,x2,x3相互獨立,則Xx1,Yx1x2,Zx1x2x3H(Z
9、Y)=H(x3)=log6=2.585bitH(Z
10、X)=H(x2x3)=H(Y)12345366=2(log36+log18+log12+log9+log)+log63636363636536=3.2744bitH(X
11、Y)=H(X)-I(X;Y)=H(X)-[H(Y)-H(Y
12、X)]而H(
13、Y
14、X)=H(X),所以H(X
15、Y)=2H(X)-H(Y)=1.8955bit或H(X
16、Y)=H(XY)-H(Y)=H(X)+H(Y
17、X)-H(Y)而H(Y
18、X)=H(X),所以H(X
19、Y)=2H(X)-H(Y)=1.8955bitH(Z
20、X,Y)=H(Z
21、Y)=H(X)=2.585bitH(X,Z
22、Y)=H(X
23、Y)+H(Z
24、XY)=1.8955+2.585=4.4805bit2.10設(shè)一個系統(tǒng)傳送10個數(shù)字,0,1,?,9。奇數(shù)在傳送過程中以0.5的概率錯成另外一個奇數(shù),其余正確接收,求收到一個數(shù)字平均得到的信息量。解:X
25、Y信道i1,3,5,7,9Χi0,2,4,6,8√I(X;Y)=H(Y)-H(Y
26、X)因為輸入等概,由信道條件可知,'..1p(yii為奇數(shù))101111111p(yii為偶數(shù))()102888810即輸出等概,則H(Y)=log10H(Y
27、X)=p(xiyj)logp(yj
28、xi)ij=p(xiyj)logp(yj
29、xi)-p(xiyj)logp(yj
30、xi)ji偶ji奇=0-p(xiyj)logp(yj
31、xi)ji奇=-p(xi)p(yi
32、xi)logp(yi
33、xi)-p(xi)p(yj
34、xi)logp(yj
35、xi)i1,
36、3,5,7,9iji=1,3,5,7,911111=log25+log845102102413==1bit44I(X;Y)=H(Y)-H(Y
37、X)=log10-1=log5=2.3219bit2.11令{u1,u2,,u8}為一等概消息集,各消息相應(yīng)被編成下述二元碼字u1=0000,u2=0011,u3=0101,u4=0110,u5=1001,u6=1010,u7=1100,u8=1111通過轉(zhuǎn)移概率為p的BSC傳送。求:(a)接收到的第一個數(shù)字0與u1之間的互信息量。(b)接收到的前二個數(shù)字00與u1之間的互信息量。(c)
38、接收到的前三個數(shù)字000與u1之間的互信息量。(d)接收到的前四個數(shù)字0000與u1之間的互信息量。解:'..即I(u1;0),I(u1;00),I(u1;000),I(u1;0000)111p(0)=(1p)4+p4=882p(0
39、u1)1pI(u1;0)=log=log=1+log(1p)bitp(0)121221p(00)=[2(1p)4(1p)p2p]=842p(00
40、u1)(1p)I(u1;00)=log=log=2[1log(1p)]bitp(00)1/4132231p(000)=[(1p)3(1p)p3(1p)p
41、p]=88I(u1;000)=3[1+log(1p)]bit14224p(0000)=[(1p)6(1p)pp]848(1p)I(u1;0000)=log4224bit(1p)6(1p)pp2.12計算習(xí)題2.9中I(Y;Z)、I(X;Z)、I(X,Y;Z)、I(Y;Z
42、X)