《信源編碼》PPT課件.ppt

《《信源編碼》PPT課件.ppt》由會員上傳分享，免費在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫。

1、1信源編碼（主要內(nèi)容）信源編碼定理信源編碼概念香農(nóng)第一定理（變長編碼）香農(nóng)第三定理信源編碼方法離散信源編碼連續(xù)信源編碼*相關(guān)信源編碼*變換編碼*2特點：在符號序列長度L不很大時，能達到較高的編碼效率。完全無失真要求：變長碼要滿足唯一可譯碼條件，則它必須是非奇異碼，而且任意有限長L次擴展碼也應(yīng)該是非奇異碼。為了能夠即時譯碼，變長碼還必須是即時碼。變長編碼31、克拉夫特不等式信源符號數(shù)、碼符號數(shù)和碼字長度之間應(yīng)滿足什么條件，才能構(gòu)成即時碼？42、麥克米倫不等式將克拉夫特不等式推廣到唯一可譯碼的情況定理在前一定理所給定的條件下，唯一可譯碼存在的充要條件是5說明如果碼

2、字長度和碼符號數(shù)滿足克拉夫特（或麥克米倫）不等式，則一定可以構(gòu)造出即時碼（或唯一可譯碼），否則不能構(gòu)造出即時碼（或唯一可譯碼）。但是該定理并不能作為判斷一種碼是否為即時碼（或唯一可譯碼）的依據(jù)。例如：碼中，有兩個碼字長度相同，則這兩個碼字無論是否相同，都可能使不等式成立。但是，兩個碼字相同時顯然不可能是唯一可譯碼。63、平均碼長定義設(shè)信源編碼后的碼字分別為W1，W2，…，Wn，相應(yīng)的碼長分別為k1，k2，…，kn。因為是唯一可譯碼，信源符號xi和碼字Wi一一對應(yīng)，則平均碼長為74、信息傳輸率與信息傳輸速率8變長無失真信源編碼定理即香農(nóng)第一定理定理設(shè)離散無記憶信

3、源為9變長無失真信源編碼定理（續(xù)）10變長無失真信源編碼定理－理解11推廣到普通信源變長無失真信源編碼定理可以推廣到平穩(wěn)遍歷的有記憶信源，一般離散信源或馬爾可夫信源，有其中，H∞為有記憶信源的極限熵定長編碼作為變長編碼的特例，可統(tǒng)一到香農(nóng)第一定理之中。12變長編碼的編碼信息率R’定義變長編碼的編碼信息率為它表示編碼后平均每個信源符號能載荷的最大信息量。香農(nóng)第一定理可表述為：若H(X)≤R’

4、剩余度定義碼的剩余度為15變長編碼舉例16變長編碼舉例—續(xù)17變長編碼舉例—續(xù)18變長編碼舉例—續(xù)用同樣方法可進一步對信源X的三次和四次擴展信源進行編碼，并求出其編碼效率為：η1=0.811比特/二元碼符號η2=0.961比特/二元碼符號η3=0.985比特/二元碼符號η4=0.991比特/二元碼符號對于同一信源，要求編碼效率都達到96％，比較變長碼只需對二次擴展信源（L=2）進行編碼；而等長碼則要求L大于4.13X107.變長碼編碼效率更高，L不需很大就可以達到比較高的編碼效率，而且可實現(xiàn)無失真編碼。19小結(jié)介紹了變長碼基本特征和平均碼長的概念；通過克拉夫特

5、不等式和麥克米倫不等式，給出了構(gòu)成即時碼和唯一可譯碼時，信源符號數(shù)和碼字長度之間應(yīng)滿足的條件；討論了香農(nóng)第一定理：變長編碼定理；20信源編碼（主要內(nèi)容）信源編碼定理信源編碼概念香農(nóng)第一定理香農(nóng)第三定理信源編碼方法離散信源編碼連續(xù)信源編碼*相關(guān)信源編碼*變換編碼*21限失真信源編碼定理22對信源編碼定理的統(tǒng)一理解定長信源無失真編碼定理變長信源無失真編碼定理（香農(nóng)第一定理）保真度準則下的信源編碼定理（香農(nóng)第三定理）從編碼信息率的角度，當(dāng)　　　　　　　　　　　時，則信源編碼無失真或失真可控。23信源編碼（主要內(nèi)容）信源編碼定理信源編碼概念香農(nóng)第一定理香農(nóng)第三定理信源

6、編碼方法離散信源編碼連續(xù)信源編碼相關(guān)信源編碼變換編碼24常見的方法：香農(nóng)編碼費諾編碼霍夫曼編碼游程編碼冗余位編碼變長碼的編碼方法251、香農(nóng)編碼26香農(nóng)編碼－舉例27香農(nóng)編碼－舉例（續(xù)）28香農(nóng)編碼－舉例（續(xù)）由上表可以看出，一共有5個三位的代碼組，各代碼組之間至少有一位數(shù)字不相同，故是唯一可譯碼。還可以判斷出，這7個代碼組都屬于即時碼。平均碼長、信息傳輸率、編碼信息率和編碼效率292、霍夫曼編碼-方法30霍夫曼編碼－舉例31霍夫曼編碼－舉例（續(xù)）該霍夫曼碼的平均碼長從編碼表可以看出，霍夫曼是即時碼，從右圖的碼樹中也可以清楚看出。32霍夫曼編碼并不唯一霍夫曼編

7、碼方法非唯一，原因：每次對信源縮減時，賦予信源最后兩個概率最小的符號，用0和1是可以任意的；對信源進行縮減時，兩個概率最小的符號合并后的概率與其它信源符號的概率相同時，這兩者在縮減信源中進行概率排序時，其位置放置次序可以任意。33另一種霍夫曼編碼合并后的概率與其它信源符號的概率相同時，改變這兩者在縮減信源中的排序，可以得到另一種霍夫曼編碼。34另一種霍夫曼編碼（續(xù)）該霍夫曼碼的平均碼長編碼效率與前一種霍夫曼碼的效率相同。但后一種編碼的碼長方差方差比第一種方法小，即碼長變化小，簡單，易實現(xiàn)。故在霍夫曼編碼過程中，對縮減信源符號以概率重新排列時，應(yīng)使合并符號盡量靠

8、前，可使合并符號重復(fù)編碼次數(shù)減少，使短