資源描述:
《信息論與編碼理論-習題答案new》由會員上傳分享,免費在線閱讀,更多相關內(nèi)容在教育資源-天天文庫。
1、第1章緒論1.1信源、編碼器、信道、干擾、譯碼器、信宿1.2香農(nóng)1.3通信系統(tǒng)模型1.4信號是消息的表現(xiàn)形式,是物理的,比如電信號、光信號等。消息是信息的載荷者,是信號的具體內(nèi)容,不是物理的,但是又比較具體,例如語言、文字、符號、圖片等。信息包含在消息中,是通信系統(tǒng)中被傳送的對象,消息被人的大腦所理解就形成了信息。1.5略第2章信息的統(tǒng)計度量2.1少2.2y的出現(xiàn)有助于肯定x的出現(xiàn)、y的出現(xiàn)有助于否定x的出現(xiàn)、x和y相互獨立2.3FTTTF2.42.12比特2.5依題意,題中的過程可分為兩步,一是取出一枚硬幣恰好是重量不同的那一枚,設其發(fā)生的概率為p,由于
2、每枚硬幣被取出的概率是相同的,所以11p?181所需要的信息量IA????logp1?6.34?bit?二是確定它比其他硬幣是重還是輕,設其發(fā)生的概率為p,則21p?22總的概率111p?pp???12812162所需要的信息量I??logp?log1627.34??bit?2.6設A表示“大學生”這一事件,B表示“身高1.60m以上”這一事件,則pA???0.25pB???0.5pBA?
3、??0.75故pAB??pApBA???
4、?0.750.25?pAB?
5、?????0.375pB??pB??0.511IAB?
6、??log?log?1.42?bit?p
7、AB?
8、?0.3752.7四進制波形所含的信息量為log42??bit?,八進制波形所含信息量為log83??bit?,故四進制波形所含信息量為二進制的2倍,八進制波形所含信息量為二進制的3倍。2.8I?2???log2pbit??I?3???log3pbit??II?3??2???log31.5852故以3為底的信息單位是比特的1.585倍。2.9(1)J、Z(2)E(3)X2.10(1)兩粒骰子向上面的小圓點數(shù)之和為3時有(1,2)和(2,1)兩種可能性,總的組合數(shù)為11CC??36,則圓點數(shù)之和為3出現(xiàn)的概率為6621p??33618故包含的信息量為
9、1I?3???logp3??log?4.17?bit?18(2)小圓點數(shù)之和為7的情況有(1,6),(6,1),(2,5),(5,2),(3,4),(4,3),則圓點數(shù)之和為7出現(xiàn)的概率為61p??7366故包含的信息量為1I?7???logp7??log?2.585?bit?62.11對于男性,是紅綠色盲的概率記作pa???7%,不是紅綠色盲的概率記作pa???93%,12這兩種情況各含的信息量為100Ia?11??log1????pa???log?3.83?bit?7100Ia?22??log1????pa???log?0.105?bit?93平均每個
10、回答中含有的信息量為793HA???pa?1?log1??pa?1????pa?2?log1??pa?2?????3.83??0.1050.366??bit?100100對于女性,是紅綠色盲的概率記作pb???0.5%,不是紅綠色盲的概率記作pb???99.5%,12則平均每個回答中含有的信息量為HB????pb?1?log1??pb?1???pb?2?log1??pb?2???510009951000??log??log100051000995?0.045?bit?所以HA???HB??2.12天平有3種狀態(tài),即平衡,左重,左輕,所以每稱一次消除的不確定
11、性為log3,12個??11球中的不等重球(可較輕,也可較重)的不確定性為:?log????log24,因為??1223log3log24?,所以3次測量可以找出該球。2.13(1)當最后3場比賽麥克勝的次數(shù)比大衛(wèi)多時,麥克最終才能勝,因此P?勝??P?麥克勝3場??P?大衛(wèi)勝少于3場?+P?麥克勝2場??P?大衛(wèi)勝少于2場???PP?麥克勝10場??大衛(wèi)勝場?17343122???????88888864同理22222220PP?負??,?平???1??64646464麥克最終比賽結果的熵為??222220222222222020H??,,??log?l
12、og?log??6464646464646464642220?log64??2log22?log2064644420??6?4.4594??4.32196464??63.06591.3506??1.5835比特結果因為勝、負、平這3種結果接近等概,所以該隨機變量的熵接近最大熵。(2)假定大衛(wèi)最后3場比賽全部獲勝,那么麥克也必須全部獲勝最后3場比賽最終才能得?3平,否則就是負。麥克3場比賽全部獲勝的可能性是2?1/8,因此在假定大衛(wèi)最后3場比賽全部獲勝的情況下麥克的最終比賽結果的條件熵是??17H????3log7?0.5436比特結果??88k2.14(1
13、)假定一個家庭里有k個女孩,1個男孩,相應的概率是0.5?0.5,