資源描述：
《信息論與編碼理論習(xí)題答案.pdf》由會員上傳分享，免費在線閱讀，更多相關(guān)內(nèi)容在行業(yè)資料-天天文庫。
1、.第二章信息量和熵2.2八元編碼系統(tǒng)，碼長為3，第一個符號用于同步，每秒1000個碼字，求它的信息速率。解：同步信息均相同，不含信息，因此每個碼字的信息量為2log8=23=6bit因此，信息速率為61000=6000bit/s2.3擲一對無偏骰子，告訴你得到的總的點數(shù)為：(a)7;(b)12。問各得到多少信息量。解：(1)可能的組合為{1，6},{2，5},{3，4},{4，3},{5，2},{6，1}61p(a)==3661得到的信息量=log=log6=2.585bitp(a)(2)可能的唯一，為{6，6}1p(b)=3
2、61得到的信息量=log=log36=5.17bitp(b)2.4經(jīng)過充分洗牌后的一副撲克（52張），問：(a)任何一種特定的排列所給出的信息量是多少？(b)若從中抽取13張牌，所給出的點數(shù)都不相同時得到多少信息量？1解：(a)p(a)=52!1信息量=log=log52!=225.58bitp(a)13!13種點數(shù)任意排列(b)134花色任選131313!44p(b)==1313A52C521313信息量=logC52log4=13.208bit'..2.9隨機擲3顆骰子，X表示第一顆骰子的結(jié)果，Y表示第一和第二顆骰子的點數(shù)
3、之和，Z表示3顆骰子的點數(shù)之和，試求H(Z
4、Y)、H(X
5、Y)、H(Z
6、X,Y)、H(X,Z
7、Y)、H(Z
8、X)。解：令第一第二第三顆骰子的結(jié)果分別為x1,x2,x3，x1，x2，x3相互獨立，則Xx1，Yx1x2，Zx1x2x3H(Z
9、Y)=H(x3)=log6=2.585bitH(Z
10、X)=H(x2x3)=H(Y)12345366=2(log36+log18+log12+log9+log)+log63636363636536=3.2744bitH(X
11、Y)=H(X)-I(X;Y)=H(X)-[H(Y)-H(Y
12、X)]而H(
13、Y
14、X)=H(X)，所以H(X
15、Y)=2H(X)-H(Y)=1.8955bit或H(X
16、Y)=H(XY)-H(Y)=H(X)+H(Y
17、X)-H(Y)而H(Y
18、X)=H(X)，所以H(X
19、Y)=2H(X)-H(Y)=1.8955bitH(Z
20、X,Y)=H(Z
21、Y)=H(X)=2.585bitH(X,Z
22、Y)=H(X
23、Y)+H(Z
24、XY)=1.8955+2.585=4.4805bit2.10設(shè)一個系統(tǒng)傳送10個數(shù)字，0，1，?，9。奇數(shù)在傳送過程中以0.5的概率錯成另外一個奇數(shù)，其余正確接收，求收到一個數(shù)字平均得到的信息量。解：X
25、Y信道i1,3,5,7,9Χi0,2,4,6,8√I(X;Y)=H(Y)-H(Y
26、X)因為輸入等概，由信道條件可知，'..1p(yii為奇數(shù))101111111p(yii為偶數(shù))()102888810即輸出等概，則H(Y)=log10H(Y
27、X)=p(xiyj)logp(yj
28、xi)ij=p(xiyj)logp(yj
29、xi)-p(xiyj)logp(yj
30、xi)ji偶ji奇=0-p(xiyj)logp(yj
31、xi)ji奇=-p(xi)p(yi
32、xi)logp(yi
33、xi)-p(xi)p(yj
34、xi)logp(yj
35、xi)i1,
36、3,5,7，9iji＝1，3，5，7，911111=log25+log845102102413==1bit44I(X;Y)=H(Y)-H(Y
37、X)=log10-1=log5=2.3219bit2.11令{u1,u2,，u8}為一等概消息集，各消息相應(yīng)被編成下述二元碼字u1=0000，u2=0011，u3=0101，u4=0110，u5=1001，u6=1010，u7=1100，u8=1111通過轉(zhuǎn)移概率為p的BSC傳送。求：(a)接收到的第一個數(shù)字0與u1之間的互信息量。(b)接收到的前二個數(shù)字00與u1之間的互信息量。(c)
38、接收到的前三個數(shù)字000與u1之間的互信息量。(d)接收到的前四個數(shù)字0000與u1之間的互信息量。解：'..即I(u1;0)，I(u1;00)，I(u1;000)，I(u1;0000)111p(0)=(1p)4+p4=882p(0
39、u1)1pI(u1;0)=log=log=1+log(1p)bitp(0)121221p(00)=[2(1p)4(1p)p2p]=842p(00
40、u1)(1p)I(u1;00)=log=log=2[1log(1p)]bitp(00)1/4132231p(000)=[(1p)3(1p)p3(1p)p
41、p]=88I(u1;000)=3[1+log(1p)]bit14224p(0000)=[(1p)6(1p)pp]848(1p)I(u1;0000)=log4224bit(1p)6(1p)pp2.12計算習(xí)題2.9中I(Y;Z)、I(X;Z)、I(X,Y;Z)、I(Y;Z
42、X)
