資源描述：
《信息論與編碼理論習(xí)題答案》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫。
1、第二章信息量和熵2.2八元編碼系統(tǒng)，碼長為3，第一個(gè)符號用于同步，每秒1000個(gè)碼字，求它的信息速率。解：同步信息均相同，不含信息，因此每個(gè)碼字的信息量為2=23=6bit因此，信息速率為61000=6000bit/s2.3擲一對無偏骰子，告訴你得到的總的點(diǎn)數(shù)為：(a)7;(b)12。問各得到多少信息量。解：(1)可能的組合為{1，6},{2，5},{3，4},{4，3},{5，2},{6，1}==得到的信息量===2.585bit(2)可能的唯一，為{6，6}=得到的信息量===5.17bit
2、2.4經(jīng)過充分洗牌后的一副撲克（52張），問：(a)任何一種特定的排列所給出的信息量是多少？(b)若從中抽取13張牌，所給出的點(diǎn)數(shù)都不相同時(shí)得到多少信息量？解：(a)=信息量===225.58bit(b)==信息量==13.208bit2.9隨機(jī)擲3顆骰子，X表示第一顆骰子的結(jié)果，Y表示第一和第二顆骰子的點(diǎn)數(shù)之和，Z表示3顆骰子的點(diǎn)數(shù)之和，試求、、、、。解：令第一第二第三顆骰子的結(jié)果分別為，，，相互獨(dú)立，則，，==6=2.585bit===2(36+18+12+9+)+6=3.2744bit=-
3、=-[-]而=，所以=2-=1.8955bit或=-=+-而=，所以=2-=1.8955bit===2.585bit=+=1.8955+2.585=4.4805bit2.10設(shè)一個(gè)系統(tǒng)傳送10個(gè)數(shù)字，0，1，…，9。奇數(shù)在傳送過程中以0.5的概率錯(cuò)成另外一個(gè)奇數(shù)，其余正確接收，求收到一個(gè)數(shù)字平均得到的信息量。解：=-因?yàn)檩斎氲雀?，由信道條件可知，即輸出等概，則=10==-=0-=--=25+845==1bit=-=10-1=5=2.3219bit2.11令{}為一等概消息集，各消息相應(yīng)被編成下述
4、二元碼字=0000，=0011，=0101，=0110，=1001，=1010，=1100，=1111通過轉(zhuǎn)移概率為p的BSC傳送。求：(a)接收到的第一個(gè)數(shù)字0與之間的互信息量。(b)接收到的前二個(gè)數(shù)字00與之間的互信息量。(c)接收到的前三個(gè)數(shù)字000與之間的互信息量。(d)接收到的前四個(gè)數(shù)字0000與之間的互信息量。解：即，，，=+====1+bit=====bit===3[1+]bit==bit2.12計(jì)算習(xí)題2.9中、、、、。解：根據(jù)題2.9分析=2(+++++++)=3.5993bi
5、t=-=-=1.0143bit=-=-=0.3249bit=-=-=1.0143bit=-=-=0.6894bit=-=-=0bit2.14對于任意概率事件集X,Y,Z，證明下述關(guān)系式成立(a)+，給出等號成立的條件(b)=+(c)證明：(b)=-=-=--=+(c)=-=[-][-]=-=當(dāng)=，即X給定條件下，Y與Z相互獨(dú)立時(shí)等號成立(a)上式(c)左右兩邊加上，可得++于是+2.28令概率空間，令Y是連續(xù)隨機(jī)變量。已知條件概率密度為，求：(a)Y的概率密度(b)(c)若對Y做如下硬判決求，并
6、對結(jié)果進(jìn)行解釋。解：(a)由已知，可得===+=(b)==2.5bit===2bit=-=0.5bit(c)由可得到V的分布律V-101p1/41/21/4再由可知V-101p(V
7、x=-1)1/21/20p(V
8、x=1)01/21/2bit=1bit==0.5bit2.29令和是同一事件集U上的兩個(gè)概率分布，相應(yīng)的熵分別為和。(a)對于，證明=+是概率分布(b)是相應(yīng)于分布的熵，試證明+證明：(a)由于和是同一事件集U上的兩個(gè)概率分布，于是0，0=1，=1又，則=+0=+=1因此，是概率分布。
9、(b)==（引理2）=+第三章信源編碼——離散信源無失真編碼3.1試證明長為的元等長碼至多有個(gè)碼字。證：①在元碼樹上，第一點(diǎn)節(jié)點(diǎn)有個(gè)，第二級有，每個(gè)節(jié)點(diǎn)對應(yīng)一個(gè)碼字，若最長碼有，則函數(shù)有==，此時(shí)，所有碼字對應(yīng)碼樹中的所有節(jié)點(diǎn)。②碼長為1的個(gè)；碼長為2的個(gè)，…，碼長為的個(gè)∴總共=個(gè)3.2設(shè)有一離散無記憶信源。若對其輸出的長為100的事件序列中含有兩個(gè)或者少于兩個(gè)的序列提供不同的碼字。(a)在等長編碼下，求二元碼的最短碼長。(b)求錯(cuò)誤概率（誤組率）。解:(a)不含的序列1個(gè)長為100的序列中含有
10、1個(gè)的序列=100個(gè)長為100的序列中含有2個(gè)的序列=4950個(gè)∴所需提供碼的總數(shù)M=1+100+4950=5051于是采用二元等長編碼=12.3，故取=13(b)當(dāng)長度為100的序列中含有兩個(gè)或更多的時(shí)出現(xiàn)錯(cuò)誤，因此錯(cuò)誤概率為=-=3.3設(shè)有一離散無記憶信源，U=，其熵為?？疾炱溟L為的輸出序列，當(dāng)時(shí)滿足下式(a)在=0.05，=0.1下求(b)在=，=下求(c)令是序列的集合，其中試求L=時(shí)情況(a)(b)下，T中元素個(gè)數(shù)的上下限。解：===0.81bit===-==0.471則根據(jù)契比雪夫大
