般單符號(hào)離散信道的信道容量

《般單符號(hào)離散信道的信道容量》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫(kù)。

1、4.2離散單個(gè)符號(hào)信道及其容量4.2.1離散單符號(hào)信道及其容量4.2.2離散無(wú)干擾信道4.2.3對(duì)稱信道4.2.4準(zhǔn)對(duì)稱信道4.2.5一般離散信道的信道容量3.2離散單個(gè)符號(hào)信道及其容量信息傳輸率R：信道中平均每個(gè)符號(hào)所能傳送的信息量信息傳輸速率Rt:信道在單位時(shí)間內(nèi)平均傳輸?shù)男畔⒘?。t為平均傳送一個(gè)符號(hào)所需的時(shí)間。對(duì)于某特定的信道，轉(zhuǎn)移概率p(bj

2、ai)已經(jīng)確定，則互信息是關(guān)于輸入符號(hào)分布概率的凸函數(shù)。也就是說(shuō)可以找到某種概率分布p(ai)，使I(X;Y)達(dá)到最大，也即R達(dá)到最大，該最大值就是信道

3、所能傳送的最大信息量，即信道容量。信道容量也可定義為信道的最大的信息傳輸速率Rt。【注】、一般地，我們只考慮第一種定義方式。說(shuō)明：信道容量是信道本身的特性，與信源無(wú)關(guān)；不是所有的信源傳輸符號(hào)時(shí)都可以達(dá)到這個(gè)傳輸速率，使信道達(dá)到最大傳輸率的輸入概率分布稱為最佳輸入分布；信道容量是信息傳輸率R的上限，定量了信道信息的最大通過(guò)能力。信道傳遞信息過(guò)程中引入兩個(gè)定義：1、信道疑義度:H(X

4、Y)2、噪聲熵:H(Y

5、X)1、信道疑義度這是收到后關(guān)于X的后驗(yàn)熵，表示收到后關(guān)于輸入符號(hào)的信息測(cè)度這個(gè)條件熵稱為信道疑義

6、度，表示輸出端在收到一個(gè)符號(hào)后，對(duì)輸入符號(hào)尚存的不確定性，這是由信道干擾造成的，如果沒(méi)有干擾，H(X

7、Y)=0,一般情括下H(X

8、Y)小于H(X)，說(shuō)明經(jīng)過(guò)信道傳輸，總能消除一些信源的不確定性，從而獲得一些信息。I(X;Y)=H(X)-H(X

9、Y)=H(Y)-H(Y

10、X)2、噪聲熵平均互信息I(X;Y)表示信道傳遞的信息量。H(X

11、Y)即信到疑義度，也表示通過(guò)有噪信道造成的損失，故也稱為損失熵，因此信源的熵等于收到的信息量加上損失的熵；而H(Y

12、X)表示已知輸入的情況下，對(duì)輸出端還殘留的不確定性，這個(gè)

13、不確定性是由噪聲引起的，故也稱之為噪聲熵。4.2.2無(wú)干擾離散信道無(wú)噪現(xiàn)象：1個(gè)輸入只對(duì)應(yīng)1個(gè)輸出，噪聲熵H(Y

14、X)=0無(wú)損現(xiàn)象：1個(gè)輸出只對(duì)應(yīng)1個(gè)輸入，疑義度H(X

15、Y)=0無(wú)噪無(wú)損信道：即X、Y一一對(duì)應(yīng)，則H(Y

16、X)=H(X

17、Y)=0有噪無(wú)損信道：一個(gè)輸入X產(chǎn)生多個(gè)輸出Y（有噪）,而且每個(gè)X值所對(duì)應(yīng)的Y值不重合；又因?yàn)樾诺罒o(wú)損，接收到符號(hào)Y后，X完全確定。因?yàn)闊o(wú)損：H(X/Y)=0，有噪：H(Y/X)≠0所以：I(X;Y)=H(X)

18、X值不重合。接收到符號(hào)Y后不能完全消除對(duì)X的不確定性。H(X/Y)≠0；I(X;Y)=H(Y)

19、入對(duì)應(yīng)多個(gè)輸出，無(wú)損信道C＝maxI(X;Y)＝maxH(X)4.2.3對(duì)稱DMC信道對(duì)稱DMC信道定義輸入對(duì)稱轉(zhuǎn)移概率矩陣P的每一行都是第一行的重新排列(包含同樣元素)，稱該矩陣是輸入對(duì)稱。輸出對(duì)稱轉(zhuǎn)移概率矩陣P的每一列都是第一列的重新排列(包含同樣元素)，稱該矩陣是輸出對(duì)稱。對(duì)稱的DMC信道輸入、輸出都對(duì)稱。對(duì)稱DMC信道例子接下來(lái)考慮對(duì)稱信道的信道容量：因?yàn)檩斎雽?duì)稱所以條件熵與信道輸入符號(hào)概率分布無(wú)關(guān)。則信道容量為又輸出對(duì)稱，若信道輸入符號(hào)等概率分布，則與j無(wú)關(guān)，即信道輸出也等概率分布；反之，若

20、信道輸出符號(hào)等概率分布，對(duì)稱信道的輸入符號(hào)必定也是等概率分布的。因此要使H(Y)最大，只有信道輸出符號(hào)等概率分布，此時(shí)輸入符號(hào)也等概率分布。則對(duì)稱DMC信道的容量為信道轉(zhuǎn)移概率矩陣如下：信道輸入符號(hào)和輸出符號(hào)的個(gè)數(shù)相同，都為r，且正確傳輸概率為1－?，錯(cuò)誤概率?被對(duì)稱地均分給r-1個(gè)輸出符號(hào)，此信道稱為強(qiáng)對(duì)稱信道或均勻信道，是對(duì)稱離散信道的一個(gè)特例當(dāng)n=2時(shí)，即為二進(jìn)制對(duì)稱信道C＝1－H（?）=1-?log?-(1-?)log(1-?)4.2.4準(zhǔn)對(duì)稱DMC信道定義：如果轉(zhuǎn)移矩陣P的列可以劃分成若干個(gè)

21、互不相交的子集Bk，（即B1∩B2…∩Bk=?；B1∪B2…∪Bk=P）且每個(gè)子集所組成的子陣都是輸入輸出對(duì)稱矩陣，則稱該信道是準(zhǔn)對(duì)稱DMC信道。要判斷一個(gè)信道是否為離散準(zhǔn)對(duì)稱信道，必須對(duì)該信道的轉(zhuǎn)移矩陣進(jìn)行適當(dāng)?shù)恼{(diào)整，即按列重排再按列分塊。這種調(diào)整，就是定義中所說(shuō)的將轉(zhuǎn)移矩陣的列劃分成子集再組成子陣的過(guò)程。轉(zhuǎn)移矩陣的列與輸出符號(hào)對(duì)應(yīng)，因此，把轉(zhuǎn)移矩陣的列劃分成互不相交的子集，也相當(dāng)于把信道的輸出符號(hào)集合中的符號(hào)劃分成互不相交的子集。結(jié)論：對(duì)于準(zhǔn)對(duì)稱DM