《編碼理論簡(jiǎn)介》PPT課件

《《編碼理論簡(jiǎn)介》PPT課件》由會(huì)員上傳分享，免費(fèi)在線(xiàn)閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫(kù)。

1、第2講編碼理論簡(jiǎn)介編碼理論的基本問(wèn)題編碼理論的發(fā)展歷史編碼理論的內(nèi)容和目的編碼理論的課后作業(yè)完編碼理論的基本問(wèn)題如何提高一般通信系統(tǒng)的有效性和可靠性如何提高加密通信系統(tǒng)的安全性編碼問(wèn)題可以分為三類(lèi)：信源編碼、信道編碼、密碼編碼一般通信系統(tǒng)模型通信系統(tǒng)：電報(bào)、電話(huà)、電視、廣播、遙測(cè)、遙控、雷達(dá)和導(dǎo)航等通信系統(tǒng)都可以看作信息傳輸系統(tǒng)：信源編碼器信道譯碼器信宿噪聲源信號(hào)信號(hào)+干擾干擾信道編碼信源編碼信源譯碼信道譯碼加密通信系統(tǒng)模型信源信源編碼信道編碼信道信道譯碼信源譯碼信宿加密編碼加密譯碼噪聲源什么是信源編碼信源編碼的主要目標(biāo)是提高通信系統(tǒng)的有效性，它通過(guò)

2、對(duì)信源輸出的消息進(jìn)行適當(dāng)?shù)淖儞Q和處理，以達(dá)到提高傳輸效率的目的經(jīng)典信源編碼方法主要依據(jù)信源本身的固有統(tǒng)計(jì)特性現(xiàn)代編碼壓縮技術(shù)則注重對(duì)人類(lèi)感知特性的利用，使得編碼效率得以極大提高信源編碼要求盡量去掉冗余信息什么是信道編碼信道編碼的主要目標(biāo)是研究如何提高信息傳送的可靠性，它通過(guò)對(duì)信源編碼進(jìn)行適當(dāng)?shù)淖儞Q和處理使其具有自動(dòng)檢錯(cuò)和糾錯(cuò)功能信道中的干擾使通信質(zhì)量下降，也就是使信息傳送不可靠。對(duì)于模擬信號(hào)，表現(xiàn)在收到的信號(hào)的信擾比下降；對(duì)于數(shù)字信號(hào)，表現(xiàn)在誤碼率增大信道編碼需要適當(dāng)增加冗余信息什么是密碼編碼密碼編碼是通信系統(tǒng)中的另一類(lèi)編碼問(wèn)題，它的目的是通過(guò)加密或

3、隱藏防止非授權(quán)用戶(hù)對(duì)重要或機(jī)密信息的竊取、偽造和篡改，以保證通信的安全性、真實(shí)性和完整性發(fā)送端的明文信息經(jīng)過(guò)編碼后成為密文，當(dāng)授權(quán)者收到后，可用已有的密鑰正確地譯成明文；對(duì)于非授權(quán)者，因沒(méi)有密鑰而無(wú)法取得該信息，從而保證通信的安全性編碼理論的發(fā)展歷史信源編碼的發(fā)展歷史信道編碼的發(fā)展歷史密碼編碼的發(fā)展歷史信源編碼的發(fā)展歷史無(wú)失真信源編碼的研究限失真信源編碼的研究現(xiàn)代信源編碼方法的研究無(wú)失真信源編碼的研究無(wú)失真信源編碼適用于離散信源或數(shù)字信號(hào)，如文本數(shù)據(jù)無(wú)失真信源編碼不適用于連續(xù)信源或模擬信號(hào)，如語(yǔ)音圖像等信號(hào)的數(shù)字處理在概率特性已知條件下的無(wú)失真信源編

4、碼在概率特性未知條件下的無(wú)失真信源編碼已知概率特性的無(wú)失真信源編碼1948年，無(wú)失真信源編碼定理，香農(nóng)編碼1952年，費(fèi)諾(Fano)碼，霍夫曼碼(Huffman)1956年，麥克米倫(McMillan)證明了惟一可譯碼的克拉夫特(Kraft)不等式1968年，埃利斯(Elias)，香農(nóng)-費(fèi)諾碼1976年，里斯桑內(nèi)(Rissanen)，算術(shù)編碼1982年，里斯桑內(nèi)和蘭登（Langdon），算術(shù)編碼系統(tǒng)化，省去乘法無(wú)失真信源編碼定理香農(nóng)第一定理：必然存在一種編碼方法，使碼的平均長(zhǎng)度可任意接近但不能低于信息熵克拉夫特(Kraft)不等式其中r是碼元個(gè)數(shù)，

5、q是碼的個(gè)數(shù)，ni是碼長(zhǎng)碼元個(gè)數(shù)的負(fù)碼長(zhǎng)冪之和不超過(guò)1未知概率特性的無(wú)失真信源編碼這時(shí)對(duì)信源進(jìn)行的編碼稱(chēng)為通用編碼20世紀(jì)70年代末，以色列學(xué)者蘭佩爾(A.Lempel)和奇費(fèi)(J.Ziv)提出一種語(yǔ)法解析碼，習(xí)慣上簡(jiǎn)稱(chēng)LZ碼1977年他們首先提出這種方法，并于1978年作了改進(jìn)，分別稱(chēng)為L(zhǎng)Z77和LZ78算法1984年，韋爾奇（T.A.Welch)將LZ78算法修改成一種實(shí)用的算法，后定名為L(zhǎng)ZW算法。1990年，貝爾（T.C.Bell）做了一系列變化和改進(jìn)，現(xiàn)在LZ碼被廣泛應(yīng)用于文本數(shù)據(jù)壓縮限失真信源編碼的研究通過(guò)引入失真，對(duì)連續(xù)信源進(jìn)行編碼限失

6、真信源編碼實(shí)際上就是最佳量化問(wèn)題，它的研究比信道編碼和無(wú)失真信源編碼落后約10年左右1948年香農(nóng)在其論文中體現(xiàn)了率失真函數(shù)的思想1959年香農(nóng)提出率失真函數(shù)，限失真信源編碼定理1971年伯格爾《信息率失真理論》限失真信源編碼就是在保證平均失真小于允許失真D的條件下，如何實(shí)現(xiàn)最佳編碼率R(D)率失真函數(shù)R(D)簡(jiǎn)介平均互信息量I(U;V)是信源分布P(U)={p(ui)}和信道矩陣P(V

7、U)={p(vj

8、ui)}的函數(shù)，即：設(shè)D為允許失真度，對(duì)給定信源分布P(U)，如果把信道矩陣P(V

9、U)限定在允許失真信道集合BD內(nèi)選取，那么I(U;V)所能逼近

10、的最小值就是率失真函數(shù):限失真信源編碼定理香農(nóng)第三定理：在信息傳輸率R>R(D)時(shí)，只要有足夠的碼長(zhǎng)，則必然存在一種編碼方法，使譯碼平均失真可以任意接近允許失真D。其中R(D)是率失真函數(shù)，也就是最佳編碼率現(xiàn)代信源編碼方法的研究尋找現(xiàn)有壓縮編碼的快速算法尋找新穎高效的現(xiàn)代壓縮方法，比如：分形編碼、小波編碼神經(jīng)網(wǎng)絡(luò)編碼，DPCM編碼模型編碼（ModelBasedCoding）信道編碼的發(fā)展歷史信道編碼理論的研究信道容量分析的研究信道編碼方法的研究網(wǎng)絡(luò)信息理論的研究信道編碼理論的研究1948年，香農(nóng)信道編碼定理1952年費(fèi)諾(R.M.Fano)證明費(fèi)諾不

11、等式和香農(nóng)信道編碼逆定理1957年沃爾夫維茲證明信道編碼強(qiáng)逆定理1961年費(fèi)諾描述分組碼中碼率、碼長(zhǎng)和錯(cuò)誤率