信息論與編碼理論_12new

《信息論與編碼理論_12new》由會員上傳分享，免費在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫。

1、信息論與編碼理論楊文通信工程系第四章信息率第四章信息率失真函數(shù)失真函數(shù)4.1基本概念4.2離散信源的信息率失真函數(shù)4.3連續(xù)信源的信息率失真函數(shù)4.4信息率失真函數(shù)與信息價值4.5信道容量與信息率失真函數(shù)的比較4.6保真度準則下的信源編碼定理4.7信息率函數(shù)與信息價值4.8信息論“三大定理”總結(jié)2006/11/12第四章信息率4.1基本概念失真函數(shù)4.1.1引言4.1.2失真度與平均失真度4.1.3信息率失真函數(shù)的定義4.1.4信息率失真函數(shù)的性質(zhì)2006/11/13第四章信息率4.1基本概念失真函數(shù)ò在前面幾章的討論中，其基本出發(fā)點都是如何保在前面幾

2、章的討論中，其基本出發(fā)點都是如何保證信息的無失真?zhèn)鬏?。證信息的無失真?zhèn)鬏?。ò但在許多實際應(yīng)用中，人們并不要求完全無失真但在許多實際應(yīng)用中，人們并不要求完全無失真地恢復(fù)消息，而是地恢復(fù)消息，而是只要滿足一定的條件，近似地恢復(fù)信源發(fā)出的消息就可以了。ò然而，什么是然而，什么是允許的失真？如何對失真進行描述？？信源輸出信息率信源輸出信息率被壓縮的最大程度是多少？是多少？信息率失真理論回答了這些問題，其中回答了這些問題，其中香農(nóng)的限失真編碼定理定量地描述了失真，研究了信息率定量地描述了失真，研究了信息率與失真的關(guān)系，論述了在限失真范圍內(nèi)的信源編與失真的關(guān)系，論

3、述了在限失真范圍內(nèi)的信源編碼問題，已成為量化、數(shù)據(jù)轉(zhuǎn)換、頻帶壓縮和數(shù)碼問題，已成為量化、數(shù)據(jù)轉(zhuǎn)換、頻帶壓縮和數(shù)據(jù)壓縮等現(xiàn)代通信技術(shù)的理論基礎(chǔ)。據(jù)壓縮等現(xiàn)代通信技術(shù)的理論基礎(chǔ)。2006/11/14第四章信息率4.1.1引言失真函數(shù)4.1(1)“消息完全無失真?zhèn)魉汀钡目蓪崿F(xiàn)性基ò信道編碼定理：無論何種信道，只要信息率R小于本信道容量C，總能找到一種編碼，使在信道上能以任意小的錯誤概率和任意接近于C的傳輸率來傳送信息。概反之，若R>C，則傳輸總要失真。念ò完全無失真?zhèn)魉筒豢蓪崿F(xiàn)：ò實際的信源常常是連續(xù)的，信息率無限大，要無失真?zhèn)魉鸵笮畔⒙蔙為無窮大；ò實際

4、信道帶寬是有限的，所以信道容量受限制。要想無失真?zhèn)鬏?，所需的信息率大大超過信道容量R>>C。2006/11/15第四章信息率4.1.1引言失真函數(shù)4.1(2)實際中允許一定程度的失真基ò技術(shù)發(fā)展的需要本ò隨著科學技術(shù)的發(fā)展，數(shù)字系統(tǒng)應(yīng)用得越來越廣泛，這就需要傳送、存儲和處理大量的數(shù)據(jù)。為了提高傳輸和處理效率，往往需概要對數(shù)據(jù)壓縮，這樣也會帶來一定的信息損失。念ò人類社會已進入信息時代，信息爆炸的結(jié)果要求人們解決如何對浩如煙海的數(shù)據(jù)有效的壓縮，減少數(shù)據(jù)的存儲容量(如各種數(shù)據(jù)庫、電子出版物、多媒體娛樂)、傳輸時間(如數(shù)據(jù)通信和遙測)、或占有帶寬(如多媒體通

5、信、數(shù)字音頻廣播、高清晰度電視)，要想方設(shè)法壓縮給定消息集合占用的空間域、時間域和頻率域資源。ò如海洋地球物理勘探遙測數(shù)據(jù)，用60路傳感器，每路信號1KHz，16位A/D量化，每航測1Km就需記錄1盤0.5英寸的磁帶，一條測量船每年就可勘測15000Km，數(shù)據(jù)流之大可見一斑。2006/11/16第四章信息率4.1.1引言失真函數(shù)4.1ò實際生活中的需要基ò實際生活中，人們一般并不要求獲得完全無失真的消息，通常只要求近似地再現(xiàn)原始消息，即允許一定的本失真存在。概ò例如打電話：即使語音信號有一些失真，接電話的人念也能聽懂。人耳接收信號的帶寬和分辨率是有限的

6、。ò放電影：理論上需要無窮多幅靜態(tài)畫面，由于人眼的“視覺暫留性”，實際上只要每秒放映24幅靜態(tài)畫面。ò有些失真沒有必要完全消除。2006/11/17第四章信息率4.1.1引言失真函數(shù)4.1(3)信息率失真理論基ò信息率失真函數(shù)本概ò香農(nóng)定義了信息率失真函數(shù)R(D)。念ò定理指出：在允許一定失真度D的情況下，信源輸出的信息率可壓縮到R(D)。ò信息率失真理論是量化（模數(shù)轉(zhuǎn)換）、數(shù)模轉(zhuǎn)換、頻帶壓縮和數(shù)據(jù)壓縮的理論基礎(chǔ)。2006/11/18第四章信息率4.1.1引言失真函數(shù)4.1ò信息率失真函數(shù)極小值問題基òI(X;Y)是P(X)和P(Y/X)的二元函數(shù)；ò

7、在討論信道容量時：規(guī)定了P(Y/X)，I(X;Y)變成了P(X)的函數(shù)。本在離散情況下，因為I(X;Y)對p(x)是上凸函數(shù)，所以變更p(x)所ii概求極值一定是I(X;Y)的極大值；在連續(xù)情況下，變更信源P(X)求念出的也是極大值，但求極值時還要一些其它的限制條件。ò在討論信息率時可規(guī)定：p(xi)，變更p(yj/xi)來求平均互信息的極值，稱為信道容量對偶問題。由于I(X;Y)是p(y/x)的下凸函數(shù)，ji所求的極值一定是極小值。但若X和Y相互統(tǒng)計獨立(p(y/x)=jip(y))，這個極小值就是0，因為I(X;Y)是非負的，0必為極小值，j這樣求

8、極小值就沒意義了。ò引入一個失真函數(shù)，計算在失真度一定的情況下信息率的極小值就變得有意義了。2