資源描述：
《波形信源和波形信道》由會員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫。
1、第四章波形信源和波形信道第一節(jié)波形信源的統(tǒng)計(jì)特性和離散化第二節(jié)連續(xù)信源和信源的信息測度第三節(jié)具有最大熵的連續(xù)信源第四節(jié)連續(xù)信道和波形信道的分類第五節(jié)連續(xù)信道和波形信道的信息傳輸率第六節(jié)連續(xù)信道和波形信道的信道容量第七節(jié)連續(xù)信道編碼定理第一節(jié)波形信源的統(tǒng)計(jì)特性和離散化實(shí)際某些信源的輸出常常是時(shí)間和取值都是連續(xù)的消息。例如語音信號、電視信號。這樣的信源成為隨機(jī)波形信源，其輸出消息可以用隨機(jī)過程{x(t)}來表示。隨機(jī)過程{x(t)}可以看成由一族時(shí)間函數(shù)組成稱為樣本函數(shù)。每個(gè)樣本函數(shù)是隨機(jī)過程的一個(gè)實(shí)現(xiàn)。（1）
2、隨機(jī)波形信源中消息數(shù)是無限的。（2）隨機(jī)波形信源可用有限維概率密度函數(shù)族以及與各維函數(shù)概率密度函數(shù)有關(guān)的統(tǒng)計(jì)量來描述。第一節(jié)波形信源的統(tǒng)計(jì)特性和離散化就統(tǒng)計(jì)特性的區(qū)別來說，隨機(jī)過程大致可分為平穩(wěn)隨機(jī)過程和非平穩(wěn)過程兩大類。最常見的平穩(wěn)隨機(jī)過程為遍歷過程，它不但統(tǒng)計(jì)特性不隨時(shí)間平移而變化，而且它的集平均以概率1等于時(shí)間平均。對于隨機(jī)過程來說，只要是限頻的，它的每個(gè)樣本函數(shù)也可作同樣的取樣處理。每個(gè)樣本函數(shù)都可以用一系列時(shí)刻上的樣本值來表征。因?yàn)殡S機(jī)過程的樣本函數(shù)x(t)有無限多個(gè)，因此，取樣后瞬間的樣本值是一
3、個(gè)隨機(jī)變量。第一節(jié)波形信源的統(tǒng)計(jì)特性和離散化這樣，通過取樣，隨機(jī)過程就成為可數(shù)的無限維的隨機(jī)序列。如果隨機(jī)過程又是限時(shí)的，時(shí)間間隔為T，則就成為2FT個(gè)有限維的隨機(jī)序列。取樣之后還要對取值的離散化。取樣加量化才使隨機(jī)過程變換成時(shí)間的取值都是離散的隨機(jī)序列。量化必然帶來量化噪聲，引起信息損失。隨機(jī)過程描述輸出消息的信源稱為隨機(jī)波形信源。用連續(xù)隨機(jī)變量描述輸出消息的信源稱為連續(xù)信源。第二節(jié)波形信源和波形信源的信息測度連續(xù)信源的差熵先看單個(gè)變量的基本連續(xù)信源的信息測度。基本連續(xù)信源的輸出是取值連續(xù)的單個(gè)隨機(jī)變量。
4、可用變量的概率密度，變量間的條件概率密度和聯(lián)合概率密度來描述。變量的一維概率密度函數(shù)為一維概率分布函數(shù)為條件概率密度函數(shù)為聯(lián)合概率密度函數(shù)為第二節(jié)波形信源和波形信源的信息測度它們之間的關(guān)系為基本連續(xù)信源的數(shù)學(xué)模型為其中R是全實(shí)數(shù)集。連續(xù)信源的差熵連續(xù)信源的信息熵第二節(jié)波形信源和波形信源的信息測度這樣的話：舍棄無窮大的第二項(xiàng)，可得：定義連續(xù)信源的熵為：第二節(jié)波形信源和波形信源的信息測度同理可以定義兩個(gè)連續(xù)變量X、Y的聯(lián)合熵和條件熵第二節(jié)波形信源和波形信源的信息測度連續(xù)信源的差熵只具有熵的部分含義和性質(zhì)（1）可
5、加性并當(dāng)且僅當(dāng)X與Y統(tǒng)計(jì)獨(dú)立時(shí)所以可得（2）凸?fàn)钚院蜆O值性差熵h(X)是輸入概率密度函數(shù)p(x)的П型凸函數(shù)，對于某一概率密度函數(shù)可以得到差熵的最大。（3）差熵可為負(fù)值第二節(jié)波形信源和波形信源的信息測度波形信源的差熵實(shí)際信源的輸入和輸出都是平穩(wěn)隨機(jī)過程，其{x(t)}和{y(t)}可以通過取樣，分解成取值連續(xù)的無窮平穩(wěn)隨機(jī)序列來表示，所以平穩(wěn)隨機(jī)過程的熵就是無窮平穩(wěn)隨機(jī)序列的熵。波形信源的差熵:第二節(jié)波形信源和波形信源的信息測度當(dāng)對于限頻F/限時(shí)T的平穩(wěn)隨機(jī)過程，它可以近似地用有限維N=2FT平穩(wěn)隨機(jī)矢量表
6、示。這樣，一個(gè)頻帶和時(shí)間都為有限的連續(xù)時(shí)間過程就轉(zhuǎn)化為有限維時(shí)間離散的平穩(wěn)隨機(jī)序列了。和離散變量中一樣，易于證明:且當(dāng)隨機(jī)序列中各變量統(tǒng)計(jì)獨(dú)立時(shí)等式成立。第二節(jié)波形信源和波形信源的信息測度兩種特殊連續(xù)信源的差熵1.均勻分布連續(xù)信源的熵值一維連續(xù)隨機(jī)變量X在[a,b]區(qū)間內(nèi)均勻分布時(shí)，這基本連續(xù)信源的熵為N維連續(xù)平穩(wěn)信源，若其輸出N維矢量其分量分別在的區(qū)域內(nèi)均勻分布，N維連續(xù)平穩(wěn)信源的差熵為第二節(jié)波形信源和波形信源的信息測度無記憶連續(xù)平穩(wěn)信源和無記憶離散平穩(wěn)信源一樣，差熵也滿足限頻、限時(shí)均勻分布的波形信源的熵
7、為在波形信源中常采用單位時(shí)間內(nèi)信源的差熵——熵率。均勻分布的波形信源的熵率為第二節(jié)波形信源和波形信源的信息測度連續(xù)信源的熵為:可見，正態(tài)分布的連續(xù)信源的熵與數(shù)學(xué)期望m無關(guān)，只與其方差有關(guān)。2.高斯信源的熵值基本高斯信源是指信源輸出是一維隨機(jī)變量X的概率密度分布是正態(tài)分布，即高斯噪聲信源的熵第二節(jié)波形信源和波形信源的信息測度如果N維連續(xù)平穩(wěn)信源輸出的N維連續(xù)隨機(jī)矢量是正態(tài)分布則稱此信源為N維高斯信源。其差熵為：當(dāng)各變量之間統(tǒng)計(jì)獨(dú)立，則C為對角線矩陣，并有所以，N維無記憶高斯信源的熵即N維統(tǒng)計(jì)獨(dú)立的正態(tài)分布隨機(jī)
8、變量的差熵為當(dāng)均值m=0時(shí)，X的方差就等于信源輸出的平均功率P：第三節(jié)具有最大熵的連續(xù)信源通常我們最感興趣的是兩種情況：一種是信源的輸出值受限；一種是信源的輸出平均功率受限。峰值功率受限條件下信源的最大值若某信源輸出信號的峰值功率受限為，它等價(jià)于信源輸出的連續(xù)隨機(jī)變量X的取值幅度受限，限于[a,b]內(nèi)取值。在約束條件下信源的最大相對熵。定理4.1若信源輸出的幅度被限定在[a,b]區(qū)域內(nèi)，則當(dāng)輸出信號的概率密度是均
