信源編碼--離散信源無失真編碼概述.ppt

《信源編碼--離散信源無失真編碼概述.ppt》由會員上傳分享，免費在線閱讀，更多相關內容在PPT專區(qū)-天天文庫。

1、第三章：信源編碼（一）離散信源無失真編碼§3.1信源及其分類§3.2離散無記憶（簡單）信源的等長編碼§3.3離散無記憶（簡單）信源的不等長編碼§3.4最佳不等長編碼§3.5算術編碼和LZ編碼2021/10/41§3.1信源及其分類信源的概念（直觀地理解，信源就是信息的來源。但是這里必須要注意兩點）：在一個固定的時刻，信源發(fā)出的是一個隨機變量。隨著時間的延續(xù)，信源發(fā)出的是一個隨機過程。（因此，一般的信源種類太多，其統(tǒng)計性質太復雜。怎樣做工程實用的簡化？）2021/10/42§3.1信源及其分類離散信源信源每隔一個定長時間段就發(fā)出一個隨機變量；隨著時

2、間的延續(xù)，信源發(fā)出的是隨機變量序列…U-2U-1U0U1U2…，其中Uk為第k個時間段發(fā)出的隨機變量；每個Uk都是一個離散型的隨機變量。離散無記憶信源離散無記憶信源是這樣的離散信源：隨機變量…、U-2、U-1、U0、U1、U2、…相互獨立。離散無記憶簡單信源離散無記憶簡單信源是這樣的離散無記憶信源：隨機變量…、U-2、U-1、U0、U1、U2、…具有相同的概率分布。2021/10/43§3.1信源及其分類（總結：離散無記憶簡單信源就是時間離散、事件離散、各隨機變量獨立同分布的信源。課程學習所面對的信源將主要是離散無記憶簡單信源）一般的信源連續(xù)信源：

3、有時間連續(xù)的信源，也有事件連續(xù)的信源；有記憶信源：信源在不同時刻發(fā)出的隨機變量相互依賴；有限記憶信源：在有限時間差內的信源隨機變量相互依賴；非簡單信源：信源在不同時刻發(fā)出的隨機變量具有不同的概率分布。馬爾可夫信源：信源隨機過程是馬爾可夫過程。2021/10/44§3.2離散無記憶（簡單）信源的等長編碼（順序地敘述以下的概念）（1）設有一個離散無記憶簡單信源，信源發(fā)出的隨機變量序列為：…U-2U-1U0U1U2…。設信源隨機變量U1的事件有K個：{a1,a2,…,aK}，則L維信源隨機向量(U1U2…UL)的事件有KL個：{(u1u2…uL)

4、其中每

5、個分量ul跑遍{a1,a2,…,aK}}。（2）設有一個含D個字母的字母表{b1,b2,…,bD}。需要用字母串來表示(U1U2…UL)的事件，每一個事件都要用一個字母串來表示。這種表示方法稱為D元編碼；每一個事件所對應的字母串稱為一個碼字。2021/10/45§3.2離散無記憶（簡單）信源的等長編碼例：離散無記憶簡單信源發(fā)出的隨機變量序列為：…U-2U-1U0U1U2…。其中U1的事件有3個：{晴,云,陰}。(U1U2)有9個事件{（晴晴），（晴云），（晴陰），（云晴），（云云），（云陰），（陰晴），（陰云），（陰陰）}。用字母表{0,1}對(U

6、1U2)的事件進行2元編碼如下：（晴晴）→0000，（晴云）→0001，（晴陰）→0011，（云晴）→0100，（云云）→0101，（云陰）→0111，（陰晴）→1100，（陰云）→1101，（陰陰）→1111。2021/10/46§3.2離散無記憶（簡單）信源的等長編碼（3）如果限定碼字的長度為N（即每個碼字都是一個N維向量），則稱此編碼為等長編碼，能夠選擇的不同碼字的個數(shù)為DN。（4）如果限定碼字的長度為≤N（即每個碼字都是一個≤N維的向量），則稱此編碼為不等長編碼，能夠選擇的不同碼字的個數(shù)為D1+D2+…+DN=D(DN-1)/(D-1)。（

7、注意：在不等長編碼中，并不能同時使用D(DN-1)/(D-1)個不同的碼字。一個長度為2的字母串究竟是兩個長度為1的碼字相連，還是一個長度為2的碼字？無法識別。在等長編碼中不存在這樣的識別問題）2021/10/47§3.2離散無記憶（簡單）信源的等長編碼（本節(jié)以下將專門討論等長編碼）（5）編碼速率R=NlogD/L。（6）無錯編碼(U1U2…UL)的不同事件用不同的碼字來表示。能夠實現(xiàn)無錯編碼的充要條件是DN≥KL。（即編碼速率R=NlogD/L≥logK）（7）有錯編碼(U1U2…UL)的有些不同事件用相同的碼字來表示。（8）有錯編碼的譯碼方法與

8、“譯碼錯誤”概率當使用有錯編碼時，必須給出譯碼方法（一個碼字究竟翻譯成哪個事件）。“譯碼錯誤”的概率定義為pe=P{(U1U2…UL)=(u1u2…uL)

9、(u1u2…uL)的碼字在譯碼時并不譯為(u1u2…uL)}。2021/10/48§3.2離散無記憶（簡單）信源的等長編碼（關于編碼速率的說明：編碼速率本來是編碼設備的性能指標。這就是說，首先有了編碼設備的編碼速率R0，然后選擇N和L，使得實際的編碼速率NlogD/L不能超過編碼設備的編碼速率R0：R=NlogD/L≤R0。當編碼速率R比較高時，可以選擇比較大的N，因此可供選擇的碼字比較多，因此

10、更容易設計出能夠快速識別的碼，降低譯碼的難度。當編碼速率R比較低時，意味著使用低成本的編碼設備。此時只能選擇不大的N，因此