信道及信道容量

《信道及信道容量》由會員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫。

1、第四章離散信道及其信道容量信道——信息傳輸?shù)耐ǖ佬畔⒄撝信c信源并列的另一個(gè)主要研究對象研究的主要內(nèi)容:★信道的建?！镄诺廊萘俊锊煌瑮l件下充分利用信道容量的方法一.數(shù)學(xué)模型干擾信道輸入信號x輸出信號yp(y

2、x)第一節(jié)信道模型及其分類p(y

3、x)：反映信道的統(tǒng)計(jì)特性，即輸入輸出的依賴關(guān)系，又稱信道的傳遞概率、轉(zhuǎn)移概率或傳輸概率。信道的數(shù)學(xué)模型：{X，p(y

4、x)，Y}1.按其輸入/輸出信號在幅度和時(shí)間上的取值是離散或連續(xù)來分：幅度時(shí)間信道名稱離散離散離散信道(discretechannel)，也稱數(shù)字信道(di

5、gitalchannel)連續(xù)離散連續(xù)信道(continuouschannel)連續(xù)連續(xù)模擬信道(analogchannel)，也稱波形信道(waveformchannel)離散連續(xù)理論、實(shí)用價(jià)值很小二.分類2.按其輸入/輸出之間關(guān)系的記憶性劃分：無記憶信道：有記憶信道：3.按其輸入/輸出信號之間是否是確定關(guān)系來分：有噪信道：無噪信道：在某一時(shí)刻信道的輸出消息僅與當(dāng)前信道的輸入消息有關(guān)，而與之前時(shí)刻的信道輸入無關(guān)在任一時(shí)刻信道的輸出不僅與當(dāng)前輸入有關(guān)，而且還與以前時(shí)刻輸入有關(guān)存在噪聲，不存在確定關(guān)系——實(shí)用價(jià)

6、值大，研究的理想對象不存在噪聲，存在確定關(guān)系——實(shí)用價(jià)值小4.按其輸入/輸出信號個(gè)數(shù)來分：兩端信道(兩用戶信道):只有一個(gè)輸入端和一個(gè)輸出端的單向通信的信道,又稱為單路信道.多端信道(多用戶信道):信道的輸入輸出至少有一個(gè)具有兩個(gè)或兩個(gè)以上的信號.多元接入信道廣播信道5.按信道的統(tǒng)計(jì)特性分：恒參信道變參信道一.定義1.定義——輸入/輸出在幅度和時(shí)間上都是離散的，并且在某一時(shí)刻信道的輸出消息只與當(dāng)前信道的輸入有關(guān)，而與之前時(shí)刻的信道輸入無關(guān)。2.數(shù)學(xué)模型：離散信道對任意N長的輸入、輸出序列有如果有，則信道為平穩(wěn)

7、的離散無記憶信道DMC。第二節(jié)離散無記憶信道DMC1.定義：2.傳輸概率p(y

8、x)——可描述信道中干擾影響的大小，干擾存在，傳輸時(shí)可能發(fā)生錯誤。二.單符號離散無記憶信道——完全反映信道的特性3.信道矩陣P4.信道輸出與輸入之間的關(guān)系例4-1：其中：p表示傳輸中發(fā)生錯誤的概率二元對稱信道(BSC)(二進(jìn)制對稱信道)其中：p、q表示正確傳輸?shù)母怕识獎h除信道(二進(jìn)制刪除信道)1.信道疑義度(損失熵)表示：由于信道的干擾，導(dǎo)致信道輸出端收到Y(jié)后，對輸入X仍然存在的平均不確定度。也可表示：由于信道干擾導(dǎo)致信息量的損

9、失。信道XY三.信道疑義度和平均互信息信道H(X

10、Y)XYH(X)I(X;Y)表示：接收端收到Y(jié)后獲得的關(guān)于X的信息量(即接收到的信息量)I(X;Y)=H(X)-H(X

11、Y)?定理1：對于固定信道，I(X;Y)是信源概率分布p(x)的上凸函數(shù)。2.平均互信息定理2:對于固定的信源分布，I(X;Y)是信道傳遞概率P(y

12、x)的下凸函數(shù)。例4-2：考慮二元對稱信道，其信源概率空間為信道XY（0，1）（0，1）求其平均互信息解:應(yīng)用全概率公式則有：則平均互信息：當(dāng)信道固定，即p為一個(gè)固定常數(shù)時(shí)，可得到I(X;Y)是

13、信源輸出分布ω的上凸函數(shù)。當(dāng)信源固定，即ω是一個(gè)常數(shù)時(shí),可得到I(X;Y)是信道傳遞概率p的下凸函數(shù)。當(dāng)p=0.5時(shí)，I(X;Y)=0，在接收端未獲得信息量。當(dāng)ω=1/2時(shí)，即取極大值.例4-3：擲色子，如果結(jié)果是1，2，3，4，則拋一次硬幣；如果結(jié)果是5、6，則拋兩次硬幣。試計(jì)算從拋硬幣的結(jié)果可以得到多少擲色子的信息量。解：設(shè)擲色子結(jié)果是1，2，3，4為事件X=0，結(jié)果是5、6為事件X=1；Y=0表示拋硬幣出現(xiàn)0次正面,Y=1表示拋硬幣出現(xiàn)1次正面,Y=2表示拋硬幣出現(xiàn)2次正面。信源概率空間為信道矩陣為輸出

14、符號的概率空間為則有：四.離散無記憶信道的N次擴(kuò)展信道N次擴(kuò)展信道信道例4-4：求二元無記憶對稱信道的二次擴(kuò)展信道。解：輸入擴(kuò)展為：00，01，10，11輸出擴(kuò)展為：00，01，10，11傳遞矩陣擴(kuò)展為：請問：與I（X；Y）之間的關(guān)系？定理1:若信道的輸入、輸出分別為N長序列X和Y，且信道是無記憶的，即：用兩個(gè)定理回答這個(gè)問題定理2：若信道的輸入、輸出分別為N長序列X和Y，且信源是無記憶的，即：由定理1和定理2當(dāng)信源和信道都是無記憶時(shí)有：當(dāng)每個(gè)序列中的分量Xi取值于同一信源符號集，且具有同一種概率分布，則輸出

15、Y的分量Yi也取值同一符號集，則各I（Xi；Yi）是相等的。即：對于N次擴(kuò)展，則有一.級聯(lián)信道（串聯(lián)信道）第三節(jié)信道組合消息依次通過幾個(gè)信道串行傳輸：信道1信道2XYZp(y

16、x)p(z

17、xy)級聯(lián)信道的平均互信息存在兩個(gè)定理:定理1:級聯(lián)信道中的平均互信息滿足以下關(guān)系Y確定后,Z不再與X有關(guān),只取決于信道2的轉(zhuǎn)移概率矩陣,則I(X;Z

18、Y)=0,這意味著X,Y,Z構(gòu)成一個(gè)一階馬爾可夫鏈.定理2:若