資源描述：
《(波形信源和波形信道)》由會員上傳分享，免費在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫。
1、信息論Elementsof InformationTheory蔣青jiangq@cqupt.edu.cnTEL：6246051705-06學(xué)年上1ElementsofInformationTheory4、波形信源和波形信道4.1波形信源的統(tǒng)計特性和離散化4.2連續(xù)信源和波形信源的信息測度4.3具有最大熵的連續(xù)信源4.4熵功率4.5連續(xù)信源熵的變換4.6連續(xù)信道和波形信道的分類4.7連續(xù)信道和波形信道的信息傳輸率4.8連續(xù)信道和波形信道的信道容量05-06學(xué)年上2ElementsofInformationTheory4.1波形信源的統(tǒng)計特性和離散化隨機變量隨機過
2、程隨機矢量05-06學(xué)年上3ElementsofInformationTheory表4.1消息(信號)取值的集合消息(信號)取值時刻的集合信源種類離散離散離散信源(Discretesource)/數(shù)字信源(Digitalsource)連續(xù)連續(xù)波形信源Waveformsource/模擬信源(Analogsource)連續(xù)離散連續(xù)信源(Continuoussource)離散連續(xù)05-06學(xué)年上4ElementsofInformationTheory4.2連續(xù)信源和波形信源的信息測度連續(xù)信源的數(shù)學(xué)模型并滿足05-06學(xué)年上5ElementsofInformation
3、Theory一維概率密度函數(shù)一維概率分布函數(shù)條件概率密度函數(shù)聯(lián)合概率密度函數(shù)05-06學(xué)年上6ElementsofInformationTheory假定連續(xù)信源X的概率密度函數(shù)p(x)如右圖所示。我們把取值區(qū)間分割成n個等寬的小區(qū)間。X處于第i區(qū)間的概率為05-06學(xué)年上7ElementsofInformationTheory這樣，連續(xù)變量X就可用取值為xi的離散變量Xn來近似。連續(xù)信源X被量化成離散信源。05-06學(xué)年上8ElementsofInformationTheory這時離散信源Xn的熵是當n?∞,△?0，離散隨機變量Xn趨于連續(xù)隨機變量X，而離散信
4、源的熵H(Xn)的極限值就是連續(xù)信源的信息熵：05-06學(xué)年上9ElementsofInformationTheory定義連續(xù)信源的熵為：又稱為差熵、微分熵、相對熵。兩隨機變量的聯(lián)合熵和條件熵：連續(xù)信源的差熵05-06學(xué)年上10ElementsofInformationTheory連續(xù)信源差熵的性質(zhì)可加性：凸狀性和極值性：差熵H(X)是輸入概率密度函數(shù)p(x)的凸函數(shù)。即：對于某一概率密度函數(shù)，可以得到差熵的最大值。05-06學(xué)年上11ElementsofInformationTheory差熵可為負值。例如，若概率密度函數(shù)為則05-06學(xué)年上12Element
5、sofInformationTheory例：設(shè)有一連續(xù)隨機變量，其概率密度函數(shù)為又有試求這隨機變量的熵。05-06學(xué)年上13ElementsofInformationTheory連續(xù)信源的平均互信息兩個連續(xù)隨機變量X、Y的互信息定義為：單位為比特/自由度或奈特/自由度05-06學(xué)年上14ElementsofInformationTheory三種特殊連續(xù)信源的差熵1、均勻分布連續(xù)信源的熵值一維連續(xù)隨機變量X在區(qū)間內(nèi)均勻分布時比特/自由度05-06學(xué)年上15ElementsofInformationTheory推廣：均勻分布N維連續(xù)信源的差熵為05-06學(xué)年上16
6、ElementsofInformationTheory2、高斯信源的熵值高斯信源是指信源輸出的一維隨機變量X的概率密度分布是正態(tài)分布，即：該連續(xù)信源的熵為：05-06學(xué)年上17ElementsofInformationTheory3、指數(shù)分布連續(xù)信源的熵值指數(shù)分布的一維連續(xù)信源X的概率密度函數(shù)為：其中常數(shù)a是一維連續(xù)信源X的均值，該連續(xù)信源的熵為：05-06學(xué)年上18ElementsofInformationTheory4.3具有最大熵的連續(xù)信源離散信源的最大熵問題：離散信源的各符號為等概率分布時，信息熵有最大值（最大離散熵定理）。05-06學(xué)年上19Elem
7、entsofInformationTheory在什么條件下，連續(xù)信源的熵最大？在不同的條件下，信源的最大熵也不同。05-06學(xué)年上20ElementsofInformationTheory通常有三種情況是我們感興趣的：一種是信源輸出值受限的情況，另一種是信源輸出的平均功率受限的情況，還有一種是均值受限的情況。下面分別討論。05-06學(xué)年上21ElementsofInformationTheory峰值功率受限條件下信源的最大熵（取值幅度受限）定理：若信源輸出的幅度被限定在區(qū)域內(nèi)，則當輸出信號的概率密度分布是均勻分布時，信源具有最大熵。最大熵為：05-06學(xué)年上2
8、2ElementsofInformat
