連續(xù)信源和連續(xù)信道

《連續(xù)信源和連續(xù)信道》由會(huì)員上傳分享，免費(fèi)在線(xiàn)閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫(kù)。

1、2.3連續(xù)信源連續(xù)信源：輸出消息在時(shí)間和取值上都連續(xù)的信源。如語(yǔ)音，電視信源。對(duì)應(yīng)的數(shù)學(xué)工具為隨機(jī)過(guò)程。從統(tǒng)計(jì)特性上講，連續(xù)隨機(jī)過(guò)程大致可分為平穩(wěn)（統(tǒng)計(jì)特性-各維概率密度函數(shù)不隨時(shí)間平移而變化的隨機(jī)過(guò)程）和非平穩(wěn)隨機(jī)過(guò)程兩大類(lèi)。一般認(rèn)為，通信系統(tǒng)中的信號(hào)都是平穩(wěn)的隨機(jī)過(guò)程，或分段平穩(wěn)的隨機(jī)過(guò)程。最常見(jiàn)的平穩(wěn)隨機(jī)過(guò)程為遍歷過(guò)程。2.3.1連續(xù)信源熵連續(xù)信源基本的數(shù)學(xué)模型為其中R是全實(shí)數(shù)集，是連續(xù)變量X的取值范圍，p(x)為X的概率密度。假設(shè)x∈［a，b］，令Δ=(b-a)/n，xi∈［a+(i-1

2、)Δ，a+iΔ］，p(x)為連續(xù)變量X的概率密度函數(shù)，則利用中值定理X落在第i個(gè)小區(qū)間的概率是根據(jù)離散信源熵的定義，則當(dāng)n→∞時(shí)，即Δ→0時(shí)，得：定義連續(xù)信源熵:連續(xù)信源的熵具有相對(duì)性，有時(shí)稱(chēng)為相對(duì)熵,在取兩熵之間的差時(shí)才具有信息的所有特性.上式定義的連續(xù)信源的熵并不是實(shí)際信源輸出的絕對(duì)熵，連續(xù)信源的絕對(duì)熵應(yīng)該再加上一項(xiàng)無(wú)限大的常數(shù)項(xiàng)。因?yàn)檫B續(xù)信源的可能取值有無(wú)限多個(gè)，若其取值是等概率分布的，那么，信源不確定性為無(wú)限大。當(dāng)確知輸出為某值后，所獲得的信息量也將為無(wú)限大?？梢?jiàn)，Hc(X)已不能代表

3、信源的平均不確定性大小，也不能代表連續(xù)信源輸出的信息量。例2.3.1有一信源概率密度如圖所示，求連續(xù)熵解:由圖(a)得由圖(b)得同理，可定義兩個(gè)連續(xù)變量X，Y的聯(lián)合熵和條件熵：2.3.2幾種特殊連續(xù)信源的熵1.均勻分布的連續(xù)信源的熵，其大小僅與區(qū)域的邊界有關(guān)。一維均勻分布：相對(duì)熵?zé)o非負(fù)性，可為負(fù)值若：N維均勻分布：N維矢量（X1X2…XN）中各分量彼此統(tǒng)計(jì)獨(dú)立，且分別在[a1，b1][a2，b2]…[aN，bN]的區(qū)域內(nèi)均勻分布，即連續(xù)隨機(jī)矢量中各分量相互統(tǒng)計(jì)獨(dú)立時(shí)，其矢量熵就等于各單個(gè)隨機(jī)變量

4、的熵之和，與離散信源情況類(lèi)似。2.高斯分布的連續(xù)信源的熵：與數(shù)學(xué)期望無(wú)關(guān)，僅與方差有關(guān)設(shè)一維隨機(jī)變量X的取值范圍是整個(gè)實(shí)數(shù)軸R，概率密度函數(shù)呈正態(tài)分布與方差有關(guān)，與均值無(wú)關(guān)當(dāng)均值m=0，X的方差就是隨機(jī)變量的平均功率相對(duì)熵只與平均功率有關(guān)3.指數(shù)分布的連續(xù)信源的熵：只取決于均值若一維隨機(jī)變量X的取值空間是[0，∞］，其概率密度函數(shù)為其中：指數(shù)分布的相對(duì)熵只取決于信源的均值m2.3.3連續(xù)信源熵的性質(zhì)及最大連續(xù)熵定理1.連續(xù)熵可為負(fù)值2.可加性推廣到N個(gè)變量：3.平均互信息的非負(fù)性連續(xù)信道的平均互信

5、息量和離散信道下平均互信息量的關(guān)系式完全類(lèi)似，且保留了離散信道平均互信息量的所有含義和性質(zhì)?？梢?jiàn)，將差熵定義為連續(xù)信源的熵是有重要實(shí)際意義的。4.最大連續(xù)熵定理在不同的限制條件下，信源的最大熵也不同。（1）限峰值功率的最大熵定理若信源的N維隨機(jī)變量的取值在一定的范圍之內(nèi)，則在有限的定義域內(nèi)，均勻分布的連續(xù)信源具有最大熵。N維矢量（X1X2…XN）中各分量彼此統(tǒng)計(jì)獨(dú)立，且分別在[a1，b1][a2，b2]…[aN，bN]的區(qū)域內(nèi)均勻分布，即這就是說(shuō)，任何概率分布密度時(shí)的熵必小于均勻分布時(shí)的熵，即當(dāng)均

6、勻分布時(shí)差值達(dá)到最大值當(dāng)ai=－bi時(shí)，（2）限平均功率的最大熵定理若信源輸出信號(hào)的平均功率P和均值m被限定，則其輸出信號(hào)幅度的概率密度函數(shù)為高斯（正態(tài)）分布時(shí)，信源具有最大熵值。單變量連續(xù)信源X呈正態(tài)分布的概率密度函數(shù)為且：當(dāng)連續(xù)信源輸出信號(hào)的均值為零、平均功率受限時(shí)，只有信源輸出信號(hào)的幅度呈高斯分布時(shí)，才會(huì)有最大熵值。當(dāng)信源的概率密度符合正態(tài)分布時(shí)，其相對(duì)熵僅與隨機(jī)變量的方差有關(guān)，而方差在物理含義上往往表示信號(hào)的交流功率,即如果噪聲是正態(tài)分布，則噪聲熵最大，因此高斯白噪聲獲得最大噪聲熵。在限制

7、信號(hào)平均功率的條件下，正態(tài)分布的信源可輸出最大相對(duì)熵其值隨平均功率的增加而增加。（3）均值受限條件下的最大連續(xù)熵定理若連續(xù)信源X輸出非負(fù)信號(hào)的均值受限，則其輸出信號(hào)幅度呈指數(shù)分布時(shí)，信源具有最大熵值。將連續(xù)信源X為指數(shù)分布時(shí)的概率密度函數(shù)記為取值為非負(fù)數(shù)，均值受限的連續(xù)信源，當(dāng)它呈指數(shù)分布時(shí)達(dá)到最大熵值，且其最大熵值僅決定于被限定的均值總結(jié)：連續(xù)信源與離散信源不同，它不存在絕對(duì)的最大熵。其最大熵與信源的限制條件有關(guān)。連續(xù)信源在不同限制條件下最大熵是不同的，在無(wú)限制條件時(shí)，最大熵不存在。3.5連續(xù)信

8、道連續(xù)信道：輸入和輸出都是單個(gè)連續(xù)型隨機(jī)變量的信道?？捎媚Ｐ蛖X,p(y

9、x),Y}來(lái)描述單符號(hào)連續(xù)信道。X是輸入連續(xù)型隨機(jī)變量，X取值區(qū)間為［a,b］或?qū)崝?shù)域R；Y是信道輸出連續(xù)型隨機(jī)變量，取值區(qū)間為［a′,b′］或?qū)崝?shù)域R；信道的傳遞概率密度函數(shù)為p(y

10、x),并滿(mǎn)足：p(y/x)X∈[a,b]Y∈［a′,b′］連續(xù)信道的數(shù)學(xué)模型定義連續(xù)信道的信道容量C為信源X等于某一概率密度函數(shù)p0(x)時(shí)，信道平均互信息量的最大值。加性連續(xù)信道的容量加性連續(xù)信道：噪聲為連續(xù)隨機(jī)變量N，且與