資源描述：
《信息論與編碼-第五章課件.ppt》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫(kù)。
1、信息論與編碼-信源編碼通信的實(shí)質(zhì)是信息的傳輸。而高速度、高質(zhì)量地傳送信息是信息傳輸?shù)幕締栴}。將信源信息通過信道傳送給信宿，怎樣才能做到盡可能不失真而又快速呢？這就需要解決兩個(gè)問題：第一，在不失真或允許一定失真的條件下，如何用盡可能少的符號(hào)來(lái)傳送信源信息；第二，在信道受干擾的情況下，如何增加信號(hào)的抗干擾能力，同時(shí)又使得信息傳輸率最大。為了解決這兩個(gè)問題，就要引入信源編碼和信道編碼。信息論與編碼-信源編碼一般來(lái)說，提高抗干擾能力（降低失真或錯(cuò)誤概率）往往是以降低信息傳輸率為代價(jià)的；反之，要提高信息傳輸率
2、常常又會(huì)使抗干擾能力減弱。二者是有矛盾的。然而在信息論的編碼定理中，已從理論上證明，至少存在某種最佳的編碼或信息處理方法，能夠解決上述矛盾，做到既可靠又有效地傳輸信息。這些結(jié)論對(duì)各種通信系統(tǒng)的設(shè)計(jì)和估價(jià)具有重大的理論指導(dǎo)意義。信息論與編碼-信源編碼編碼分為信源編碼和信道編碼，信源編碼又分為無(wú)失真和限失真。由于這些定理都要求符號(hào)數(shù)很大才能使它的值接近所規(guī)定的值，因而這些定理被稱為極限定理。無(wú)失真信源編碼定理為第一極限定理；信道編碼定理（包括離散和連續(xù)信道）稱為第二極限定理；限失真信編碼定理稱為第三極限定
3、理。信息論與編碼-信源編碼由于信源符號(hào)之間存在分布不均勻和相關(guān)性，使得信源存在冗余度，信源編碼的主要任務(wù)就是減少冗余，提高編碼效率。具體說，就是針對(duì)信源輸出符號(hào)序列的統(tǒng)計(jì)特性，尋找一定的方法把信源輸出符號(hào)序列變換為最短的碼字序列。信源編碼的基本途徑有兩個(gè)，一是使序列中的各個(gè)符號(hào)盡可能地互相獨(dú)立，即解除相關(guān)性；二是使編碼中各個(gè)符號(hào)出現(xiàn)的概率盡可能地相等，即概率均勻化。信息論與編碼-信源編碼編碼的定義編碼實(shí)質(zhì)上是對(duì)信源的原始符號(hào)按一定的數(shù)學(xué)規(guī)則進(jìn)行的一種變換。討論無(wú)失真信源編碼，可以不考慮干擾問題，所以它
4、的數(shù)學(xué)描述比較簡(jiǎn)單。5.1編碼的定義信源編碼器信道碼表圖5-1信源編碼器示意圖5.1編碼的定義將信源消息分成若干組，即符號(hào)序列xi，xi＝(xi1xi2…xil…xiL)，xil?A={a1，a2，…，ai，…，an}每個(gè)符號(hào)序列xi依照固定碼表映射成一個(gè)碼字yi，yi＝(yi1yi2…yil…yiLi)，yil?B={b1，b2，…，bi，…，bm}這樣的碼稱為分組碼，有時(shí)也叫塊碼。只有分組碼才有對(duì)應(yīng)的碼表，而非分組碼中則不存在碼表。信息論與編碼-信源編碼輸出的碼符號(hào)序列稱為碼字，長(zhǎng)度稱為碼字長(zhǎng)度或
5、簡(jiǎn)稱碼長(zhǎng)。編碼就是從信源符號(hào)到碼符號(hào)的一種映射。若要實(shí)現(xiàn)無(wú)失真編碼，則這種映射必須是一一對(duì)應(yīng)的，并且是可逆的。碼字長(zhǎng)度有無(wú)限長(zhǎng)（卷積碼）、定長(zhǎng)和變長(zhǎng)（分組碼）。碼元符號(hào)通常使用二進(jìn)制來(lái)表示信息論與編碼-信源編碼信源符號(hào)取值概率碼表碼1碼2a1 a2 a3 a4p(a1) p(a2) p(a3) p(a4)00 01 10 110 01 001 111變長(zhǎng)碼與定長(zhǎng)碼信息論與編碼-信源編碼信源符號(hào)信源符號(hào)概率碼1碼2a1 a2 a3 a41/2 1/4 1/8 1/80
6、 11 00 110 10 00 01碼的不同屬性碼3碼41 10 100 10001 01 001 0001信息論與編碼-信源編碼碼符號(hào)的分類：下圖是一個(gè)碼分類圖信息論與編碼-信源編碼下面，我們給出這些碼的定義。1.二元碼若碼符號(hào)集為，所有碼字都是一些二元序列，則稱為二元碼。二元碼是數(shù)字通信和計(jì)算機(jī)系統(tǒng)中最常用的一種碼。2.等長(zhǎng)碼：若一組碼中所有碼字的碼長(zhǎng)都相同，即，則稱為等長(zhǎng)碼。3.變長(zhǎng)碼：若一組碼組中所有碼字的碼長(zhǎng)各不相同，則稱為變長(zhǎng)碼。信息論與編碼-信源編碼4.非奇異碼
7、：若一組碼中所有碼字都不相同，則稱為非奇異碼。5.奇異碼：若一組碼中有相同的碼字，則稱為奇異碼。6.唯一可譯碼：若碼的任意一串有限長(zhǎng)的碼符號(hào)序列只能唯一地被譯成所對(duì)應(yīng)的信源符號(hào)序列，則此碼稱為唯一可譯碼，否則就稱為非唯一可譯碼。信息論與編碼-信源編碼例如{0,10,11}是一種唯一可譯碼。因?yàn)槿我庖淮邢揲L(zhǎng)碼序列，如100111000，只能被分割成10，0，11，0，0。任何其他分割法都會(huì)產(chǎn)生一些非定義的碼字。顯然，奇異碼不是唯一可譯碼，而非奇異碼中有非唯一可譯碼和唯一可譯碼。上表中碼3是唯一可譯碼，
8、但碼2不是唯一可譯碼。例如10000100是由碼2的（10，0，0，01，00）產(chǎn)生的序列，譯碼時(shí)可有多種分法，如10，0，00，10，0，此時(shí)產(chǎn)生歧義。信息論與編碼-信源編碼7.非即時(shí)碼和即時(shí)碼：如果接收端收到一個(gè)完整的碼字后，不能立即譯碼，還要等下一個(gè)碼字開始接收后才能判斷是否可以譯碼，這樣的碼叫做非即時(shí)碼如果收到一個(gè)完整的碼字以后，就可以立即譯碼，則叫做即時(shí)碼。即時(shí)碼要求任何一個(gè)碼字都不是其他碼字的前綴部分，也叫做異前綴碼信息論與編碼-信源編碼上表
