連續(xù)信源和連續(xù)信道

《連續(xù)信源和連續(xù)信道》由會員上傳分享，免費在線閱讀，更多相關內容在教育資源-天天文庫。

1、2.3連續(xù)信源連續(xù)信源：輸出消息在時間和取值上都連續(xù)的信源。如語音，電視信源。對應的數學工具為隨機過程。從統(tǒng)計特性上講，連續(xù)隨機過程大致可分為平穩(wěn)（統(tǒng)計特性-各維概率密度函數不隨時間平移而變化的隨機過程）和非平穩(wěn)隨機過程兩大類。一般認為，通信系統(tǒng)中的信號都是平穩(wěn)的隨機過程，或分段平穩(wěn)的隨機過程。最常見的平穩(wěn)隨機過程為遍歷過程。2.3.1連續(xù)信源熵連續(xù)信源基本的數學模型為其中R是全實數集，是連續(xù)變量X的取值范圍，p(x)為X的概率密度。假設x∈［a，b］，令Δ=(b-a)/n，xi∈［a+(i-1

2、)Δ，a+iΔ］，p(x)為連續(xù)變量X的概率密度函數，則利用中值定理X落在第i個小區(qū)間的概率是根據離散信源熵的定義，則當n→∞時，即Δ→0時，得：定義連續(xù)信源熵:連續(xù)信源的熵具有相對性，有時稱為相對熵,在取兩熵之間的差時才具有信息的所有特性.上式定義的連續(xù)信源的熵并不是實際信源輸出的絕對熵，連續(xù)信源的絕對熵應該再加上一項無限大的常數項。因為連續(xù)信源的可能取值有無限多個，若其取值是等概率分布的，那么，信源不確定性為無限大。當確知輸出為某值后，所獲得的信息量也將為無限大。可見，Hc(X)已不能代表

3、信源的平均不確定性大小，也不能代表連續(xù)信源輸出的信息量。例2.3.1有一信源概率密度如圖所示，求連續(xù)熵解:由圖(a)得由圖(b)得同理，可定義兩個連續(xù)變量X，Y的聯合熵和條件熵：2.3.2幾種特殊連續(xù)信源的熵1.均勻分布的連續(xù)信源的熵，其大小僅與區(qū)域的邊界有關。一維均勻分布：相對熵無非負性，可為負值若：N維均勻分布：N維矢量（X1X2…XN）中各分量彼此統(tǒng)計獨立，且分別在[a1，b1][a2，b2]…[aN，bN]的區(qū)域內均勻分布，即連續(xù)隨機矢量中各分量相互統(tǒng)計獨立時，其矢量熵就等于各單個隨機變量

4、的熵之和，與離散信源情況類似。2.高斯分布的連續(xù)信源的熵：與數學期望無關，僅與方差有關設一維隨機變量X的取值范圍是整個實數軸R，概率密度函數呈正態(tài)分布與方差有關，與均值無關當均值m=0，X的方差就是隨機變量的平均功率相對熵只與平均功率有關3.指數分布的連續(xù)信源的熵：只取決于均值若一維隨機變量X的取值空間是[0，∞］，其概率密度函數為其中：指數分布的相對熵只取決于信源的均值m2.3.3連續(xù)信源熵的性質及最大連續(xù)熵定理1.連續(xù)熵可為負值2.可加性推廣到N個變量：3.平均互信息的非負性連續(xù)信道的平均互信

5、息量和離散信道下平均互信息量的關系式完全類似，且保留了離散信道平均互信息量的所有含義和性質?？梢?，將差熵定義為連續(xù)信源的熵是有重要實際意義的。4.最大連續(xù)熵定理在不同的限制條件下，信源的最大熵也不同。（1）限峰值功率的最大熵定理若信源的N維隨機變量的取值在一定的范圍之內，則在有限的定義域內，均勻分布的連續(xù)信源具有最大熵。N維矢量（X1X2…XN）中各分量彼此統(tǒng)計獨立，且分別在[a1，b1][a2，b2]…[aN，bN]的區(qū)域內均勻分布，即這就是說，任何概率分布密度時的熵必小于均勻分布時的熵，即當均

6、勻分布時差值達到最大值當ai=－bi時，（2）限平均功率的最大熵定理若信源輸出信號的平均功率P和均值m被限定，則其輸出信號幅度的概率密度函數為高斯（正態(tài)）分布時，信源具有最大熵值。單變量連續(xù)信源X呈正態(tài)分布的概率密度函數為且：當連續(xù)信源輸出信號的均值為零、平均功率受限時，只有信源輸出信號的幅度呈高斯分布時，才會有最大熵值。當信源的概率密度符合正態(tài)分布時，其相對熵僅與隨機變量的方差有關，而方差在物理含義上往往表示信號的交流功率,即如果噪聲是正態(tài)分布，則噪聲熵最大，因此高斯白噪聲獲得最大噪聲熵。在限制

7、信號平均功率的條件下，正態(tài)分布的信源可輸出最大相對熵其值隨平均功率的增加而增加。（3）均值受限條件下的最大連續(xù)熵定理若連續(xù)信源X輸出非負信號的均值受限，則其輸出信號幅度呈指數分布時，信源具有最大熵值。將連續(xù)信源X為指數分布時的概率密度函數記為取值為非負數，均值受限的連續(xù)信源，當它呈指數分布時達到最大熵值，且其最大熵值僅決定于被限定的均值總結：連續(xù)信源與離散信源不同，它不存在絕對的最大熵。其最大熵與信源的限制條件有關。連續(xù)信源在不同限制條件下最大熵是不同的，在無限制條件時，最大熵不存在。3.5連續(xù)信

8、道連續(xù)信道：輸入和輸出都是單個連續(xù)型隨機變量的信道?？捎媚Ｐ蛖X,p(y

9、x),Y}來描述單符號連續(xù)信道。X是輸入連續(xù)型隨機變量，X取值區(qū)間為［a,b］或實數域R；Y是信道輸出連續(xù)型隨機變量，取值區(qū)間為［a′,b′］或實數域R；信道的傳遞概率密度函數為p(y

10、x),并滿足：p(y/x)X∈[a,b]Y∈［a′,b′］連續(xù)信道的數學模型定義連續(xù)信道的信道容量C為信源X等于某一概率密度函數p0(x)時，信道平均互信息量的最大值。加性連續(xù)信道的容量加性連續(xù)信道：噪聲為連續(xù)隨機變量N，且與