信息論課件3 信息論 第五章.ppt

《信息論課件3 信息論 第五章.ppt》由會員上傳分享，免費在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫。

1、第5章有噪信道編碼5.1錯誤概率和譯碼規(guī)則5.2錯誤概率與編碼方法5.3聯(lián)合典型序列5.4有噪信道編碼定理5.5聯(lián)合信源信道編碼定理5.1錯誤概率和譯碼規(guī)則我們知道通信過程并不是在信道輸出端就結(jié)束了，還要經(jīng)過譯碼過程才到達(dá)消息的終端，因此譯碼過程和譯碼規(guī)則對系統(tǒng)的錯誤概率影響很大。例如：已知二元信道(1)發(fā)送符號“0”,接收到符號仍為“0”的概率是(2)譯碼時，收到符號“0”時，若譯碼器譯為符號“0”，則正確譯碼的概率是(3)發(fā)送“0”收到“1”,譯成“1”，概率為此譯碼規(guī)則下，平均錯誤概率發(fā)送“0”，譯成“1

2、”的概率發(fā)送“1”,譯成“0”的概率譯對概率新譯碼規(guī)則：接收符號“0”，譯成符號“1”接收符號“1”，譯成符號“0”結(jié)論：錯誤概率既與信道的統(tǒng)計特性有關(guān)，也與譯碼規(guī)則有關(guān)．輸入符號集輸出符號集s個輸出符號中的每一個都可以譯成r個輸入符號中的任何一個，共有　種譯碼規(guī)則可供選擇．1、定義：譯碼規(guī)則設(shè)計一個函數(shù)　，它對于每一個輸出符號　確定一個唯一的輸入符號　與其單值對應(yīng)，即２、平均錯誤概率好的譯碼規(guī)則、其平均錯誤概率應(yīng)該最小。譯碼的條件正確概率：收到符號　　一定譯成　，而發(fā)送的就是　　，為正確譯碼。條件錯誤概率e表

3、示除了　　　以外的所有輸入符號的集合。平均錯誤概率：譯碼后平均接收到一個符號所產(chǎn)生的錯誤大小。要使　最小，應(yīng)使　　最小，也就是使　　　　為最大。如果采用這種譯碼函數(shù)，它對于每一個輸出符號均譯成具有最大后驗概率的那個輸入符號，則信道的平均錯誤概率就能最?。Q“最大后驗概率準(zhǔn)則”或“最小錯誤概率準(zhǔn)則”。選擇譯碼函數(shù)且滿足條件:３、最大似然譯碼準(zhǔn)則若先驗概率等概率則選擇譯碼函數(shù)的條件應(yīng)滿足這樣定義的譯碼規(guī)則稱“最大似然譯碼準(zhǔn)則”在輸入符號等概率時，這兩個譯碼準(zhǔn)則是等價的．根據(jù)最大似然譯碼準(zhǔn)則，我們可以直接根據(jù)信道矩陣

4、選定譯碼函數(shù)．即收到　后，譯成信道矩陣P的第j列中最大的那個元素所對應(yīng)的信源符號．當(dāng)　不是等概分布時，仍可采用最大似然譯碼準(zhǔn)則，但不一定能使最?。?、平均錯誤概率的進(jìn)一步推導(dǎo)平均正確概率例5.1已知信道矩陣，制定譯碼規(guī)則，求出錯誤概率．解：根據(jù)最大似然譯碼準(zhǔn)則選擇譯碼函數(shù)(1)另討論選擇譯碼規(guī)則由最大似然譯碼準(zhǔn)則，仍選第(1)組時要使　最小，必須使用最小錯誤概率準(zhǔn)則當(dāng)輸入不是等概率分布譯碼函數(shù)為：當(dāng)輸入不是等概分布時，最大似然譯碼準(zhǔn)則的平均錯誤概率不是最小的．5.2錯誤概率與編碼方法5.2.1簡單重復(fù)編碼的錯誤

5、概率5.2.2簡單重復(fù)編碼的信息傳輸率5.2.4最小距離譯碼準(zhǔn)則5.2.3不同編碼的錯誤概率5.2.5用漢明距離計算5.2.1簡單重復(fù)編碼的錯誤概率1、輸入碼字為單符號“0”,“1”選擇最佳譯碼規(guī)則5.2錯誤概率與編碼方法通信系統(tǒng)一般要求如何提高2、消息重復(fù)發(fā)送3遍——“000”，“111”二元對稱信道的三次擴(kuò)展信道二元對稱信道的三次擴(kuò)展信道根據(jù)最大似然譯碼準(zhǔn)則，確定譯碼函數(shù)3、當(dāng)時當(dāng)時當(dāng)時當(dāng)時5.2.2簡單重復(fù)編碼的信息傳輸率(1)n=1(無重復(fù)),M=2,設(shè)t=1秒時(2)當(dāng)n=3,M=2時顯然結(jié)論:簡單重

6、復(fù)編碼方法,在使降低的同時,也使信息傳輸率R降低很多.見圖5.55.2.3不同編碼的錯誤概率1、二元對稱信道的三次擴(kuò)展信道錯誤概率增大到單符號時的三倍!但2、在三次擴(kuò)展信道的輸入取M=4方案Ⅰ：方案Ⅱ：5.2.4最小距離譯碼準(zhǔn)則1、碼字距離——漢明距離長度為n的兩個符號序列(碼字)和之間的距離是指和之間對應(yīng)位置上不同碼元的個數(shù)，用符號表示。這種碼字距離通常稱為漢明距離。方案Ⅰ：方案Ⅱ：結(jié)論：碼書中最小距離越大，受干擾后，越不容易把一個碼字錯成另一碼字，因而錯誤概率小。即：碼C的最小碼距越大，越小。2、最小距離在

7、某一碼書中，任意兩個碼字的漢明距離的最小值稱為該碼C的最小距離。表示傳輸過程中傳輸?shù)接袀€位置發(fā)生了錯誤，個位置沒有錯誤.設(shè)二元對稱信道單個符號傳輸錯誤概率為p,則編碼后信道的傳遞概率(無記憶信道)3、最小距離譯碼準(zhǔn)則(1)最大似然譯碼準(zhǔn)則使?jié)M足信道擴(kuò)展矩陣列元素中最大元素對應(yīng)的顯然,越小,越大.用漢明距離表示最大似然譯碼準(zhǔn)則:使?jié)M足即最小距離譯碼準(zhǔn)則——在二元對稱信道中，最小距離譯碼準(zhǔn)則＝最大似然譯碼準(zhǔn)則在任意信道中，也可采用最小距離譯碼準(zhǔn)則，但它不一定等于最大似然譯碼準(zhǔn)則。5.2.5用漢明距離計算——二元對稱

8、無記憶信道，輸入等概分布總結(jié)：編碼方法：使選取的M個碼字中任意兩兩不同碼字的距離盡量大。譯碼方法：把譯成與它最鄰近的那個發(fā)送碼字，即使盡量小。5.3聯(lián)合典型序列5.3.1定義聯(lián)合典型序列5.3.2三個定理5.3.1定義聯(lián)合典型序列無記憶n次擴(kuò)展信道5.3聯(lián)合典型序列單符號離散信道定義：n長的序列對滿足(1)是典型序列;(2)是典型序列;(3)對于任意小的正數(shù)，存在n使則稱序列對為聯(lián)合典