資源描述：
《從shannon信息論到廣義信息論》由會員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在行業(yè)資料-天天文庫。
1、從Shannon信息論到廣義信息論魯晨光--摘自《投資組合的熵理論和信息價值》(科大出版社1997)?本章先簡單地介紹Shannon信息理論，然后將通信優(yōu)化和編碼優(yōu)化作一比較——筆者以為這是很有趣的。本章后面的魯氏廣義信息論來自筆者的專著《廣義信息論》[4]，但是嚴(yán)格說來，筆者的廣義信息理論還應(yīng)該包含下一章的基于增值熵的信息價值理論。之所以加上“魯氏”二字是因?yàn)閺V義信息理論有多種，不加有暗中兜售私貨或“篡位”之嫌。1.1????????????Shannon信息論簡介1948年，美國工程師Shannon在貝爾實(shí)驗(yàn)室雜志上發(fā)表
2、了長文《通信的數(shù)學(xué)理論》[7]，這篇文章標(biāo)志著Shannon信息論或者說經(jīng)典信息論的誕生。經(jīng)典信息論的誕生有兩個來源，一是來源于物理學(xué)的熵理論。Boltzmann在討論熵問題時就說過：熵是對失去的信息的度量。信息論中的熵H(X)和Boltzmann熵S存在某種等價關(guān)系(見《廣義信息論》6.1節(jié))。這說明了兩者有血緣關(guān)系。信息論的另一個來源是早期人們對電報通信的研究。自16世紀(jì)，Gilbert等人就研究了電報電碼問題，這一研究的著名產(chǎn)物是Mouse電報電碼。使用該電碼可以用較少的電報符號傳遞較長的電文。而Shannon熵正反映
3、了使用最優(yōu)方式編碼時，平均每個文字需要的最短碼長。Shannon通信模型如圖1所示。圖?1?Shannon通信模型有時我們把編譯碼部分和噪聲并入信道，則通信模型簡化為信源?信道?信宿我們用取值于A={x1，x2，...}中的隨機(jī)變量X表示信源文字，用取值于B={y1，y2，...}中的隨機(jī)變量Y表示信宿文字，于是信源和信宿可以被抽象為概率分布函數(shù)P(X)和P(Y)，而信道可以被抽象為條件概率分布函數(shù)P(Y
4、X)。信源的熵是(9.1.1)Y提供的關(guān)于X的平均信息量是給定Y時X的熵的減量，即(9.1.2)這就是著名的Shanno
5、n互信息公式；其中H(Y)是Y的熵，H(X
6、Y)是給定Y時的X的條件熵。給定Y=yj?時，I(X；Y)變?yōu)閥j?提供的關(guān)于X的平均信息：?????????(9.1.3)上式也叫Kullback公式。后面將說明，如果把P(X
7、yj)理解為預(yù)測的可能性測度，則I(X；yj)?就是預(yù)測和事實(shí)一致時的平均信息?？梢宰C明I(X；yj)必然大于0。Shannon?定義了兩個重要函數(shù)：信道容量和保真度信息率。關(guān)于后者的理論后來又有所發(fā)展，并且保真度信息率被改稱為信息率失真(informationrate—distortion)[27]。信
8、道容量和信息率失真分別是通信的數(shù)量和質(zhì)量指標(biāo)。如果把通信系統(tǒng)和生產(chǎn)系統(tǒng)相類比，則信道容量就相當(dāng)于生產(chǎn)能力，而信息率失真就相當(dāng)于給定產(chǎn)品質(zhì)量要求時，單位產(chǎn)品所需要的最少勞動量。近50年來，以Shannon理論為核心的經(jīng)典信息理論在編碼、檢測等方面取得了巨大成就；然而，它遠(yuǎn)不能解決信息領(lǐng)域?qū)嶋H遇到的數(shù)學(xué)問題。這些問題是：怎樣度量一系列顏色或圖像實(shí)際給予的信息？感覺分辨率怎樣影響主觀信息量？相似事件而不是隨機(jī)事件提供的信息如何計算？信源和信道可變時信息量如何計算……怎樣度量統(tǒng)計數(shù)字的信息和信息價值？怎樣度量語言、預(yù)言(比如天氣預(yù)報
9、)和謊言的信息和信息價值？將有不確定事件發(fā)生時，選擇怎樣的語句可以提供最多信息或信息價值？給定通信的主觀效果和信息價值要求時，客觀信息率或平均碼長可能壓縮到多少?把Shannon理論應(yīng)用于日常生活會得出非常奇怪的結(jié)果，這可以用一個例子來說明：有兩個氣象臺，關(guān)于是否下雨，一個總是正確預(yù)報，而另一個總是錯報；而根據(jù)Shannon理論，兩者提供的信息是一樣的，因?yàn)镾hannon理論只看概率，不看語義。關(guān)于Shannon理論的局限性，我們可以換一種說法：Shannon創(chuàng)立的經(jīng)典信息論根本就不是關(guān)于我們?nèi)粘Ｋf的?“信息”的理論，它充
10、其量只是通信編碼理論。但是Shannon信息和日常信息也不是沒有聯(lián)系，后面我們將證明，Shannon信息是日常信息的某種特例——假設(shè)收信者完全了解預(yù)測者預(yù)測規(guī)則時的特例。1.2????????????Shannon熵和Shannon互信息的?編碼意義使用電報通信的早期，人們用長短不同的信號表示所要傳遞的字母A，B，C，……。設(shè)長短信號分別用0，1表示，則一個字母可用一個0-1碼，比如001表示。后來發(fā)現(xiàn)，用較短的0-1?碼表示經(jīng)常出現(xiàn)的字母，比如E；而用較長的0-1碼表示較少出現(xiàn)的字母，比如X；這樣就能在傳遞相同電文的情況下
11、所用0-1碼的總長度最短，或每個字母所用平均碼長最短。然而，要想不失真地，即在H(X
12、Y)＝0的情況下，傳遞電報電文，平均碼長最多能縮短到多少呢？Shannon理論告訴我們，這個平均碼長的極限就是Shannon熵?(假設(shè)信源信號前后無關(guān)或者說信源是無記憶的)。通信系統(tǒng)中平均碼長公式是???
