資源描述：
《從shannon信息論到廣義信息論》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在應(yīng)用文檔-天天文庫(kù)。
1、從Shannon信息論到廣義信息論魯晨光--摘自《投資組合的熵理論和信息價(jià)值》(科大出版社1997)?本章先簡(jiǎn)單地介紹Shannon信息理論，然后將通信優(yōu)化和編碼優(yōu)化作一比較——筆者以為這是很有趣的。本章后面的魯氏廣義信息論來自筆者的專著《廣義信息論》[4]，但是嚴(yán)格說來，筆者的廣義信息理論還應(yīng)該包含下一章的基于增值熵的信息價(jià)值理論。之所以加上“魯氏”二字是因?yàn)閺V義信息理論有多種，不加有暗中兜售私貨或“篡位”之嫌。1.1????????????Shannon信息論簡(jiǎn)介1948年，美國(guó)工程師Shannon在貝爾實(shí)驗(yàn)室雜志上發(fā)表了長(zhǎng)文《通信的數(shù)學(xué)理論》
2、[7]，這篇文章標(biāo)志著Shannon信息論或者說經(jīng)典信息論的誕生。經(jīng)典信息論的誕生有兩個(gè)來源，一是來源于物理學(xué)的熵理論。Boltzmann在討論熵問題時(shí)就說過：熵是對(duì)失去的信息的度量。信息論中的熵H(X)和Boltzmann熵S存在某種等價(jià)關(guān)系(見《廣義信息論》6.1節(jié))。這說明了兩者有血緣關(guān)系。信息論的另一個(gè)來源是早期人們對(duì)電報(bào)通信的研究。自16世紀(jì)，Gilbert等人就研究了電報(bào)電碼問題，這一研究的著名產(chǎn)物是Mouse電報(bào)電碼。使用該電碼可以用較少的電報(bào)符號(hào)傳遞較長(zhǎng)的電文。而Shannon熵正反映了使用最優(yōu)方式編碼時(shí)，平均每個(gè)文字需要的最短碼長(zhǎng)
3、。Shannon通信模型如圖1所示。圖?1?Shannon通信模型有時(shí)我們把編譯碼部分和噪聲并入信道，則通信模型簡(jiǎn)化為信源?信道?信宿我們用取值于A={x1，x2，...}中的隨機(jī)變量X表示信源文字，用取值于B={y1，y2，...}中的隨機(jī)變量Y表示信宿文字，于是信源和信宿可以被抽象為概率分布函數(shù)P(X)和P(Y)，而信道可以被抽象為條件概率分布函數(shù)P(Y
4、X)。信源的熵是(9.1.1)Y提供的關(guān)于X的平均信息量是給定Y時(shí)X的熵的減量，即(9.1.2)這就是著名的Shannon互信息公式；其中H(Y)是Y的熵，H(X
5、Y)是給定Y時(shí)的X的條件熵。
6、給定Y=yj?時(shí)，I(X；Y)變?yōu)閥j?提供的關(guān)于X的平均信息：?????????(9.1.3)上式也叫Kullback公式。后面將說明，如果把P(X
7、yj)理解為預(yù)測(cè)的可能性測(cè)度，則I(X；yj)?就是預(yù)測(cè)和事實(shí)一致時(shí)的平均信息?？梢宰C明I(X；yj)必然大于0。Shannon?定義了兩個(gè)重要函數(shù)：信道容量和保真度信息率。關(guān)于后者的理論后來又有所發(fā)展，并且保真度信息率被改稱為信息率失真(informationrate—distortion)[27]。信道容量和信息率失真分別是通信的數(shù)量和質(zhì)量指標(biāo)。如果把通信系統(tǒng)和生產(chǎn)系統(tǒng)相類比，則信道容量就相當(dāng)于
8、生產(chǎn)能力，而信息率失真就相當(dāng)于給定產(chǎn)品質(zhì)量要求時(shí)，單位產(chǎn)品所需要的最少勞動(dòng)量。近50年來，以Shannon理論為核心的經(jīng)典信息理論在編碼、檢測(cè)等方面取得了巨大成就；然而，它遠(yuǎn)不能解決信息領(lǐng)域?qū)嶋H遇到的數(shù)學(xué)問題。這些問題是：怎樣度量一系列顏色或圖像實(shí)際給予的信息？感覺分辨率怎樣影響主觀信息量？相似事件而不是隨機(jī)事件提供的信息如何計(jì)算？信源和信道可變時(shí)信息量如何計(jì)算……怎樣度量統(tǒng)計(jì)數(shù)字的信息和信息價(jià)值？怎樣度量語(yǔ)言、預(yù)言(比如天氣預(yù)報(bào))和謊言的信息和信息價(jià)值？將有不確定事件發(fā)生時(shí)，選擇怎樣的語(yǔ)句可以提供最多信息或信息價(jià)值？給定通信的主觀效果和信息價(jià)值要
9、求時(shí)，客觀信息率或平均碼長(zhǎng)可能壓縮到多少?把Shannon理論應(yīng)用于日常生活會(huì)得出非常奇怪的結(jié)果，這可以用一個(gè)例子來說明：有兩個(gè)氣象臺(tái)，關(guān)于是否下雨，一個(gè)總是正確預(yù)報(bào)，而另一個(gè)總是錯(cuò)報(bào)；而根據(jù)Shannon理論，兩者提供的信息是一樣的，因?yàn)镾hannon理論只看概率，不看語(yǔ)義。關(guān)于Shannon理論的局限性，我們可以換一種說法：Shannon創(chuàng)立的經(jīng)典信息論根本就不是關(guān)于我們?nèi)粘Ｋf的?“信息”的理論，它充其量只是通信編碼理論。但是Shannon信息和日常信息也不是沒有聯(lián)系，后面我們將證明，Shannon信息是日常信息的某種特例——假設(shè)收信者完全了
10、解預(yù)測(cè)者預(yù)測(cè)規(guī)則時(shí)的特例。1.2????????????Shannon熵和Shannon互信息的?編碼意義使用電報(bào)通信的早期，人們用長(zhǎng)短不同的信號(hào)表示所要傳遞的字母A，B，C，……。設(shè)長(zhǎng)短信號(hào)分別用0，1表示，則一個(gè)字母可用一個(gè)0-1碼，比如001表示。后來發(fā)現(xiàn)，用較短的0-1?碼表示經(jīng)常出現(xiàn)的字母，比如E；而用較長(zhǎng)的0-1碼表示較少出現(xiàn)的字母，比如X；這樣就能在傳遞相同電文的情況下所用0-1碼的總長(zhǎng)度最短，或每個(gè)字母所用平均碼長(zhǎng)最短。然而，要想不失真地，即在H(X
11、Y)＝0的情況下，傳遞電報(bào)電文，平均碼長(zhǎng)最多能縮短到多少呢？Shannon理論告訴
12、我們，這個(gè)平均碼長(zhǎng)的極限就是Shannon熵?(假設(shè)信源信號(hào)前后無關(guān)或者說信源是無記憶的)。通信系統(tǒng)中平均碼長(zhǎng)公式是???
