連續(xù)信源和連續(xù)信道

《連續(xù)信源和連續(xù)信道》由會員上傳分享，免費在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫。

1、2.3連續(xù)信源連續(xù)信源：輸出消息在時間和取值上都連續(xù)的信源。如語音，電視信源。對應(yīng)的數(shù)學(xué)工具為隨機(jī)過程。從統(tǒng)計特性上講，連續(xù)隨機(jī)過程大致可分為平穩(wěn)（統(tǒng)計特性-各維概率密度函數(shù)不隨時間平移而變化的隨機(jī)過程）和非平穩(wěn)隨機(jī)過程兩大類。一般認(rèn)為，通信系統(tǒng)中的信號都是平穩(wěn)的隨機(jī)過程，或分段平穩(wěn)的隨機(jī)過程。最常見的平穩(wěn)隨機(jī)過程為遍歷過程。2.3.1連續(xù)信源熵連續(xù)信源基本的數(shù)學(xué)模型為其中R是全實數(shù)集，是連續(xù)變量X的取值范圍，p(x)為X的概率密度。假設(shè)x∈［a，b］，令Δ=(b-a)/n，xi∈［a+(i-1)Δ，a+iΔ］，

2、p(x)為連續(xù)變量X的概率密度函數(shù)，則利用中值定理X落在第i個小區(qū)間的概率是根據(jù)離散信源熵的定義，則當(dāng)n→∞時，即Δ→0時，得：定義連續(xù)信源熵:連續(xù)信源的熵具有相對性，有時稱為相對熵,在取兩熵之間的差時才具有信息的所有特性.上式定義的連續(xù)信源的熵并不是實際信源輸出的絕對熵，連續(xù)信源的絕對熵應(yīng)該再加上一項無限大的常數(shù)項。因為連續(xù)信源的可能取值有無限多個，若其取值是等概率分布的，那么，信源不確定性為無限大。當(dāng)確知輸出為某值后，所獲得的信息量也將為無限大。可見，Hc(X)已不能代表信源的平均不確定性大小，也不能代表連

3、續(xù)信源輸出的信息量。例2.3.1有一信源概率密度如圖所示，求連續(xù)熵解:由圖(a)得由圖(b)得同理，可定義兩個連續(xù)變量X，Y的聯(lián)合熵和條件熵：2.3.2幾種特殊連續(xù)信源的熵1.均勻分布的連續(xù)信源的熵，其大小僅與區(qū)域的邊界有關(guān)。一維均勻分布：相對熵?zé)o非負(fù)性，可為負(fù)值若：N維均勻分布：N維矢量（X1X2…XN）中各分量彼此統(tǒng)計獨立，且分別在[a1，b1][a2，b2]…[aN，bN]的區(qū)域內(nèi)均勻分布，即連續(xù)隨機(jī)矢量中各分量相互統(tǒng)計獨立時，其矢量熵就等于各單個隨機(jī)變量的熵之和，與離散信源情況類似。2.高斯分布的連續(xù)信源的

4、熵：與數(shù)學(xué)期望無關(guān)，僅與方差有關(guān)設(shè)一維隨機(jī)變量X的取值范圍是整個實數(shù)軸R，概率密度函數(shù)呈正態(tài)分布與方差有關(guān)，與均值無關(guān)當(dāng)均值m=0，X的方差就是隨機(jī)變量的平均功率相對熵只與平均功率有關(guān)3.指數(shù)分布的連續(xù)信源的熵：只取決于均值若一維隨機(jī)變量X的取值空間是[0，∞］，其概率密度函數(shù)為其中：指數(shù)分布的相對熵只取決于信源的均值m2.3.3連續(xù)信源熵的性質(zhì)及最大連續(xù)熵定理1.連續(xù)熵可為負(fù)值2.可加性推廣到N個變量：3.平均互信息的非負(fù)性連續(xù)信道的平均互信息量和離散信道下平均互信息量的關(guān)系式完全類似，且保留了離散信道平均互信息

5、量的所有含義和性質(zhì)?？梢姡瑢⒉铎囟x為連續(xù)信源的熵是有重要實際意義的。4.最大連續(xù)熵定理在不同的限制條件下，信源的最大熵也不同。（1）限峰值功率的最大熵定理若信源的N維隨機(jī)變量的取值在一定的范圍之內(nèi)，則在有限的定義域內(nèi)，均勻分布的連續(xù)信源具有最大熵。N維矢量（X1X2…XN）中各分量彼此統(tǒng)計獨立，且分別在[a1，b1][a2，b2]…[aN，bN]的區(qū)域內(nèi)均勻分布，即這就是說，任何概率分布密度時的熵必小于均勻分布時的熵，即當(dāng)均勻分布時差值達(dá)到最大值當(dāng)ai=－bi時，（2）限平均功率的最大熵定理若信源輸出信號的平均功

6、率P和均值m被限定，則其輸出信號幅度的概率密度函數(shù)為高斯（正態(tài)）分布時，信源具有最大熵值。單變量連續(xù)信源X呈正態(tài)分布的概率密度函數(shù)為且：當(dāng)連續(xù)信源輸出信號的均值為零、平均功率受限時，只有信源輸出信號的幅度呈高斯分布時，才會有最大熵值。當(dāng)信源的概率密度符合正態(tài)分布時，其相對熵僅與隨機(jī)變量的方差有關(guān)，而方差在物理含義上往往表示信號的交流功率,即如果噪聲是正態(tài)分布，則噪聲熵最大，因此高斯白噪聲獲得最大噪聲熵。在限制信號平均功率的條件下，正態(tài)分布的信源可輸出最大相對熵其值隨平均功率的增加而增加。（3）均值受限條件下的最大連

7、續(xù)熵定理若連續(xù)信源X輸出非負(fù)信號的均值受限，則其輸出信號幅度呈指數(shù)分布時，信源具有最大熵值。將連續(xù)信源X為指數(shù)分布時的概率密度函數(shù)記為取值為非負(fù)數(shù)，均值受限的連續(xù)信源，當(dāng)它呈指數(shù)分布時達(dá)到最大熵值，且其最大熵值僅決定于被限定的均值總結(jié)：連續(xù)信源與離散信源不同，它不存在絕對的最大熵。其最大熵與信源的限制條件有關(guān)。連續(xù)信源在不同限制條件下最大熵是不同的，在無限制條件時，最大熵不存在。3.5連續(xù)信道連續(xù)信道：輸入和輸出都是單個連續(xù)型隨機(jī)變量的信道?？捎媚Ｐ蛖X,p(y

8、x),Y}來描述單符號連續(xù)信道。X是輸入連續(xù)型隨機(jī)變

9、量，X取值區(qū)間為［a,b］或?qū)崝?shù)域R；Y是信道輸出連續(xù)型隨機(jī)變量，取值區(qū)間為［a′,b′］或?qū)崝?shù)域R；信道的傳遞概率密度函數(shù)為p(y

10、x),并滿足：p(y/x)X∈[a,b]Y∈［a′,b′］連續(xù)信道的數(shù)學(xué)模型定義連續(xù)信道的信道容量C為信源X等于某一概率密度函數(shù)p0(x)時，信道平均互信息量的最大值。加性連續(xù)信道的容量加性連續(xù)信道：噪聲為連續(xù)隨機(jī)變量N，且與