信源編碼一離散信源無失真編碼

《信源編碼一離散信源無失真編碼》由會員上傳分享，免費在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫。

1、第三章信源編碼（一）離散信源無失真編碼3.1信源及其分類3.2離散無記憶信源的等長編碼3.3離散無記憶信源的不等長編碼3.4最佳不等長編碼3.1信源及其分類信源及其分類離散信源連續(xù)信源無記憶信源有記憶信源簡單信源－獨立同分布平穩(wěn)信源，各態(tài)歷經(jīng)源M階記憶源時間離散連續(xù)源隨機波形源3.2離散無記憶源的等長編碼離散無記憶源字母表A={a1,…,aK},概率分別為p1,…,pK,長為L的源輸出序列uL={u1,…,uL}，共有KL種序列碼符號字母表B={b1,…,bD},以碼符號表示源輸出序列，D元碼等長D元碼，能夠選擇的不同碼字的個數(shù)為DN，不等長D元碼的個數(shù),能夠選擇的不同碼字的個數(shù)為D1+D

2、2+…+DN=D(DN-1)/(D-1)離散無記憶源的等長編碼編碼速率R=NlogD/L。無錯編碼(U1U2…UL)的不同事件用不同的碼字來表示。能夠?qū)崿F(xiàn)無錯編碼的充要條件是DN≥KL。（即編碼速率R=NlogD/L≥logK）有錯編碼(U1U2…UL)的有些不同事件用相同的碼字來表示。有錯編碼的譯碼方法與“譯碼錯誤”概率當(dāng)使用有錯編碼時，必須給出譯碼方法（一個碼字究竟翻譯成哪個事件）?！白g碼錯誤”的概率定義為pe=P{(U1U2…UL)=(u1u2…uL)

3、(u1u2…uL)的碼字在譯碼時并不譯為(u1u2…uL)}。離散無記憶源的等長編碼關(guān)于編碼速率的說明：編碼速率本來是編碼設(shè)備的性能

4、指標(biāo)。這就是說，首先有了編碼設(shè)備的編碼速率R0，然后選擇N和L，使得實際的編碼速率NlogD/L不能超過編碼設(shè)備的編碼速率R0：R=NlogD/L≤R0。當(dāng)編碼速率R比較高時，可以選擇比較大的N，因此可供選擇的碼字比較多，因此更容易設(shè)計出能夠快速識別的碼，降低譯碼的難度。當(dāng)編碼速率R比較低時，意味著使用低成本的編碼設(shè)備。此時只能選擇不大的N，因此更需要編碼的技巧。離散無記憶源的等長編碼在無錯編碼的前提下，編碼的最低代價當(dāng)R≥logK時，能夠?qū)崿F(xiàn)無錯編碼。當(dāng)R

5、形。但如果H(U1)R>H(U1)時，雖然無論怎樣編碼都是有錯編碼，但可以適當(dāng)?shù)鼐幋a和譯碼使譯碼錯誤的概率pe任意小。這就是所謂“漸進無錯編碼”。離散無記憶源的等長編碼漸進無錯編碼（簡單地說就是：當(dāng)R>H(U1)時，可以適當(dāng)?shù)鼐幋a和譯碼使得譯碼錯誤的概率pe任意小。嚴(yán)格地說就是：）設(shè)給定了編碼設(shè)備的編碼速率R0，R0>H(U1)。則對任意的ε>0，總存在一個L0，使得對任意的L>L0，都有對(U1U2…UL)的等長編碼和對應(yīng)的譯碼方法，滿足①實際的編碼速率R=NlogD/L≤R0，②譯碼錯誤的概率pe<ε。（11）漸進無錯編碼的原理大數(shù)定律。隨著L的

6、增加，(U1U2…UL)的所有事件中，某些事件所占的比例越來越?。ā?），其發(fā)生的概率卻越來越大（→1）。離散無記憶源的等長編碼不能漸進無錯的編碼（簡單地說就是：當(dāng)R

7、降低效率。不能保證單義可譯，但可以保證非單義可譯引起的誤差可以漸進的任意小。如何證明？弱、強e典型序列集定義3.2.1：令H(U)是集{U,p(ak)}的熵，e是正數(shù)，集合定義為給定源U輸出的長為L的典型序列集。定義3.2.2：令H(U)是集{U,p(ak)}的熵，e是正數(shù)，集合——弱e-典型序列集定義為給定源輸出的長為L的e－典型序列集，其中Lk是在L長序列中符號ak出現(xiàn)的次數(shù)——強e-典型序列集例3.2.2典型二項序列出現(xiàn)的概率：當(dāng)L足夠大，信源劃分定理定理3.2.1:給定信源｛U,p(ak)｝和e>0,當(dāng)L?∞，Pr{T(L,e)}?1,或?qū)λ衑>0，存在有正整數(shù)L0，使得當(dāng)L>L

8、0時有信源劃分定理系1：特定典型序列出現(xiàn)的概率若uL?TU(L,e),則信源劃分定理典型序列的數(shù)目：系2：當(dāng)L足夠大時，對于給定的信源和e>0,典型序列的個數(shù)｜TU(L,e)｜滿足信源劃分定理信源消息可以分為2組：（漸進等同分割性）1、典型序列高概率集，漸進等概序列，AEP序列2、非典型序列低概率集編碼速率和等長編碼定理編碼速率：R=(1/L)logM=(N/L)logD,M為碼字總數(shù)可達速率：對于給定信源和編碼速率R以