資源描述:
《信息論與編碼理論習(xí)題答案》由會(huì)員上傳分享,免費(fèi)在線閱讀,更多相關(guān)內(nèi)容在教育資源-天天文庫。
1、第二章信息量和熵2.2八元編碼系統(tǒng),碼長為3,第一個(gè)符號用于同步,每秒1000個(gè)碼字,求它的信息速率。解:同步信息均相同,不含信息,因此每個(gè)碼字的信息量為2=23=6bit因此,信息速率為61000=6000bit/s2.3擲一對無偏骰子,告訴你得到的總的點(diǎn)數(shù)為:(a)7;(b)12。問各得到多少信息量。解:(1)可能的組合為{1,6},{2,5},{3,4},{4,3},{5,2},{6,1}==得到的信息量===2.585bit(2)可能的唯一,為{6,6}=得到的信息量===5.17bit
2、2.4經(jīng)過充分洗牌后的一副撲克(52張),問:(a)任何一種特定的排列所給出的信息量是多少?(b)若從中抽取13張牌,所給出的點(diǎn)數(shù)都不相同時(shí)得到多少信息量?解:(a)=信息量===225.58bit(b)==信息量==13.208bit2.9隨機(jī)擲3顆骰子,X表示第一顆骰子的結(jié)果,Y表示第一和第二顆骰子的點(diǎn)數(shù)之和,Z表示3顆骰子的點(diǎn)數(shù)之和,試求、、、、。解:令第一第二第三顆骰子的結(jié)果分別為,,,相互獨(dú)立,則,,==6=2.585bit===2(36+18+12+9+)+6=3.2744bit=-
3、=-[-]而=,所以=2-=1.8955bit或=-=+-而=,所以=2-=1.8955bit===2.585bit=+=1.8955+2.585=4.4805bit2.10設(shè)一個(gè)系統(tǒng)傳送10個(gè)數(shù)字,0,1,…,9。奇數(shù)在傳送過程中以0.5的概率錯(cuò)成另外一個(gè)奇數(shù),其余正確接收,求收到一個(gè)數(shù)字平均得到的信息量。解:=-因?yàn)檩斎氲雀?,由信道條件可知,即輸出等概,則=10==-=0-=--=25+845==1bit=-=10-1=5=2.3219bit2.11令{}為一等概消息集,各消息相應(yīng)被編成下述
4、二元碼字=0000,=0011,=0101,=0110,=1001,=1010,=1100,=1111通過轉(zhuǎn)移概率為p的BSC傳送。求:(a)接收到的第一個(gè)數(shù)字0與之間的互信息量。(b)接收到的前二個(gè)數(shù)字00與之間的互信息量。(c)接收到的前三個(gè)數(shù)字000與之間的互信息量。(d)接收到的前四個(gè)數(shù)字0000與之間的互信息量。解:即,,,=+====1+bit=====bit===3[1+]bit==bit2.12計(jì)算習(xí)題2.9中、、、、。解:根據(jù)題2.9分析=2(+++++++)=3.5993bi
5、t=-=-=1.0143bit=-=-=0.3249bit=-=-=1.0143bit=-=-=0.6894bit=-=-=0bit2.14對于任意概率事件集X,Y,Z,證明下述關(guān)系式成立(a)+,給出等號成立的條件(b)=+(c)證明:(b)=-=-=--=+(c)=-=[-][-]=-=當(dāng)=,即X給定條件下,Y與Z相互獨(dú)立時(shí)等號成立(a)上式(c)左右兩邊加上,可得++于是+2.28令概率空間,令Y是連續(xù)隨機(jī)變量。已知條件概率密度為,求:(a)Y的概率密度(b)(c)若對Y做如下硬判決求,并
6、對結(jié)果進(jìn)行解釋。解:(a)由已知,可得===+=(b)==2.5bit===2bit=-=0.5bit(c)由可得到V的分布律V-101p1/41/21/4再由可知V-101p(V
7、x=-1)1/21/20p(V
8、x=1)01/21/2bit=1bit==0.5bit2.29令和是同一事件集U上的兩個(gè)概率分布,相應(yīng)的熵分別為和。(a)對于,證明=+是概率分布(b)是相應(yīng)于分布的熵,試證明+證明:(a)由于和是同一事件集U上的兩個(gè)概率分布,于是0,0=1,=1又,則=+0=+=1因此,是概率分布。
9、(b)==(引理2)=+第三章信源編碼——離散信源無失真編碼3.1試證明長為的元等長碼至多有個(gè)碼字。證:①在元碼樹上,第一點(diǎn)節(jié)點(diǎn)有個(gè),第二級有,每個(gè)節(jié)點(diǎn)對應(yīng)一個(gè)碼字,若最長碼有,則函數(shù)有==,此時(shí),所有碼字對應(yīng)碼樹中的所有節(jié)點(diǎn)。②碼長為1的個(gè);碼長為2的個(gè),…,碼長為的個(gè)∴總共=個(gè)3.2設(shè)有一離散無記憶信源。若對其輸出的長為100的事件序列中含有兩個(gè)或者少于兩個(gè)的序列提供不同的碼字。(a)在等長編碼下,求二元碼的最短碼長。(b)求錯(cuò)誤概率(誤組率)。解:(a)不含的序列1個(gè)長為100的序列中含有
10、1個(gè)的序列=100個(gè)長為100的序列中含有2個(gè)的序列=4950個(gè)∴所需提供碼的總數(shù)M=1+100+4950=5051于是采用二元等長編碼=12.3,故取=13(b)當(dāng)長度為100的序列中含有兩個(gè)或更多的時(shí)出現(xiàn)錯(cuò)誤,因此錯(cuò)誤概率為=-=3.3設(shè)有一離散無記憶信源,U=,其熵為??疾炱溟L為的輸出序列,當(dāng)時(shí)滿足下式(a)在=0.05,=0.1下求(b)在=,=下求(c)令是序列的集合,其中試求L=時(shí)情況(a)(b)下,T中元素個(gè)數(shù)的上下限。解:===0.81bit===-==0.471則根據(jù)契比雪夫大