資源描述：
《離散信道容量.ppt》由會員上傳分享，免費在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫。
1、4.1互信息和平均互信息4.1.1單符號離散信道的數(shù)學(xué)模型信源X信宿Y有擾信道C干擾源N離散信源X的數(shù)學(xué)模型為14.1互信息和平均互信息4.1.1單符號離散信道的數(shù)學(xué)模型信宿Y的數(shù)學(xué)模型為24.1互信息和平均互信息4.1.1單符號離散信道的數(shù)學(xué)模型信道模型的表示方法公式法圖示法矩陣法34.1互信息和平均互信息4.1.2互信息量及其性質(zhì)根據(jù)前面的信道的數(shù)學(xué)模型：如果信道是理想的，發(fā)出ai收到ai則所獲得的信息量＝ai的不確定度＝I(ai)；如果信道不理想，發(fā)出ai收到bj,由bj推測ai的概率，一、定義1：我們將從bj中獲取有關(guān)ai的信息量稱為互信息量44.1.
2、2互信息量及其性質(zhì)一、互信息量的定義繼續(xù)討論第二章的例題，即某地二月份天氣構(gòu)成的信源為“今天不是晴天”作為收到的信息b1，計算b1與各天氣之間的互信息量。54.1.2互信息量及其性質(zhì)一、互信息量的定義2將互信息表達式展開得：同樣道理，我們可以定義ai對bj的互信息量為6通信前先驗不定度（聯(lián)合自信息量）發(fā)送接收4.1.2互信息量及其性質(zhì)一、互信息量的定義37后驗不定度一、互信息量的定義3發(fā)送接收4.1.2互信息量及其性質(zhì)通信后8這樣，通信后流經(jīng)信道的信息量，等于通信前后不定度的差4.1.2互信息量及其性質(zhì)一、互信息量的定義394.1.2互信息量及其性質(zhì)二、互信息
3、量的性質(zhì)對稱性當(dāng)X和Y相互獨立時，互信息為012104.1.2互信息量及其性質(zhì)二、互信息量的性質(zhì)互信息量可為正值或負值3互信息量為正，bj使ai的不確定度減小，上例中，“今天不是晴天”為0，二者相互獨立，“今天我很高興”為負，bj沒有使ai的不確定度減小，“今天有風(fēng)”。114.1.3平均互信息量及其性質(zhì)一、信道疑義度研究信源中各個消息之間的關(guān)系124.1.2互信息量及其性質(zhì)一、信道疑義度損失熵信道疑義度：含義：收到Y(jié)后關(guān)于X尚存的平均不確定性。性質(zhì)：equivocation134.1.2互信息量及其性質(zhì)二、平均互信息量的定義平均互信息互信息量在聯(lián)合概率空間P(
4、XY)統(tǒng)計平均。平均交互信息量；交互熵144.1.2互信息量及其性質(zhì)二、平均互信息量的定義計算時可用公式：154.1.2互信息量及其性質(zhì)二、平均互信息量的定義平均交互信息量與幾個測度函數(shù)辨析和和相同點：統(tǒng)計平均不同點：提供與獲得164.1.2互信息量及其性質(zhì)三、條件互信息和平均條件互信息給定X、Y、Z三個離散概論空間，其連接關(guān)系為：系統(tǒng)1系統(tǒng)2系統(tǒng)1XXYYZZ(a)(b)174.1.2互信息量及其性質(zhì)練習(xí)：有兩個硬幣，一個正常硬幣（一面是國徽，一面是面值），另一個是不正常的硬幣（兩面都是面值）?，F(xiàn)隨機抽取一次硬幣，拋擲兩次。問出現(xiàn)面值的次數(shù)對于硬幣的識別能提
5、供多少信息量？184.1.2互信息量及其性質(zhì)四、平均互信息量的性質(zhì)非負性說明：信道每傳遞一條消息，總能提供一定的信息量。注：可正可負1>0,正常通信=0,通信中斷<0,通信受干擾19極值性12四、平均互信息量的性質(zhì)4.1.2互信息量及其性質(zhì)202極值性2四、平均互信息量的性質(zhì)4.1.2互信息量及其性質(zhì)214.1.2互信息量及其性質(zhì)四、平均互信息量的性質(zhì)對稱性3說明：從X中提取關(guān)于Y的信息量與由Y中提取到X的信息量是相同的，是信息流通的總體測度。224.1.2互信息量及其性質(zhì)四、平均互信息量的性質(zhì)234.1.2互信息量及其性質(zhì)四、平均互信息量的性質(zhì)凸函數(shù)性4上凸
6、函數(shù)1下凸函數(shù)2244.1.2互信息量及其性質(zhì)凸函數(shù)性4定理1對于固定的信道，平均互信息I(X;Y)是信源概率分布p(x)的上凸函數(shù)這就是說，對于一定的信道轉(zhuǎn)移概率分布p(y
7、x)，總可以找到某一個先驗概率分布的信源X，使平均交互信息量I(X;Y)達到相應(yīng)的最大值Imax，這時稱這個信源為該信道的匹配信源。可以說，不同的信道轉(zhuǎn)移概率對應(yīng)不同的Imax。信宿信道信源通信系統(tǒng)的簡化模型噪聲254.1.2互信息量及其性質(zhì)凸函數(shù)性4定理2對于固定的信源，平均互信息I(X;Y)信道傳遞概率分布p(y
8、x)的下凸函數(shù)這就是說，對于一個已知先驗概率為p的離散信源，總可以找到
9、某一個轉(zhuǎn)移概率分布的信道q，使平均互信息量達到相應(yīng)的最小值Imin。信宿信道信源通信系統(tǒng)的簡化模型噪聲264.1.2互信息量及其性質(zhì)凸函數(shù)性—例題4例：對于二元對稱信道如果信源分布X={p,1-p}，則qq10YX274.1.2互信息量及其性質(zhì)凸函數(shù)性4而：所以：當(dāng)信道固定時，q為一個固定常數(shù)，平均互信息是信源分布的上凸函數(shù)，最大只為1-H(q)。圖示曲線表明，對于固定信道，輸入符號X的概率分布不同時，在接收端平均每個符號所獲得的信息量就不同。當(dāng)輸入符號為等概率分布時，平均互信息量為最大值，接收每個符號所獲得的信息量最大。信道容量的理論基礎(chǔ)1-H(q)00.5
10、1pI(X;Y)284.1.2互信息量
