資源描述：
《信息論與編碼課件第五章》由會員上傳分享，免費在線閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫。
1、第五章信道編碼定理錯誤概率與譯碼規(guī)則錯誤概率與編碼方法信道編碼定理第五章作業(yè) 教材第141頁~142頁5.1，5.3信道編碼目的：提高抗干擾能力，使差錯率最小。實質(zhì)：增加冗余度，擴大信號空間，增大信號間距離。重要意義：通過信道編碼的方法，可以用不可靠的信道實現(xiàn)可靠的傳輸。信源編碼器信源譯碼器信道編碼器信道譯碼器信源信宿信道uyx干擾編碼器：編碼函數(shù)，完成映射編碼器的輸入：碼字分別為：編碼后的信息傳輸率：碼字長為n物理意義：每個碼元所能攜帶的最大信息量。好碼：在相同的差錯控制（糾錯能力）下，越大，則
2、相應(yīng)的碼越好。問題：R能否無限制提高?如何衡量糾錯能力？例：二元對稱信道譯碼規(guī)則對錯誤概率的影響譯碼器A譯碼規(guī)則：接收符號譯碼0011錯誤概率與譯碼規(guī)則分析則在此譯碼器下，平均錯誤概率為（設(shè)輸入為等概）發(fā)出符號接收符號譯碼正確概率錯誤概率0001/3011pe(0)=2/31111/3100pe(1)=2/3譯碼器B譯碼規(guī)則：分析則在此譯碼器下，平均錯誤概率為（設(shè)輸入為等概）接收符號譯碼0110發(fā)出符號接收符號譯碼正確概率錯誤概率001pe(0)=1/3010p(0)=2/3110pe(1)=1/3
3、101p(1)=2/3結(jié)論：錯誤概率不僅與信道的統(tǒng)計特性有關(guān)，而且與譯碼規(guī)則有關(guān)。我們來定義譯碼規(guī)則設(shè)信道的輸入符號集為X={ai}，i=1，2，…，r；輸出符號集為Y={bj}，j=1，2，…，s。制定譯碼規(guī)則就是設(shè)計一個單值函數(shù)F（bj），它對于每一個輸出符號bj確定一個唯一的輸入符號ai與其對應(yīng)。即F（bj）=aii=1，2，…，rj=1，2，…，s注：對于同一有噪信道共有rs種譯碼規(guī)則可供選擇。例5.1：可設(shè)計譯碼準則譯碼準則A：譯碼準則B：譯碼規(guī)則總數(shù)為：rs=27目標：在rs個規(guī)則中找到
4、理想的一個。原則：使平均錯誤概率最小。平均錯誤概率PE如何計算？收到符號bj條件下譯碼正確的條件概率為平均錯誤概率PE：條件錯誤概率對輸出空間Y取統(tǒng)計平均物理意義：譯碼后平均收到一個符號所產(chǎn)生的錯誤的大小要使PE最小就應(yīng)該選擇p[F(bj)
5、bj]為最大。最大后驗概率準則（最小錯誤概率準則）選擇譯碼函數(shù)：譯碼：將每一個輸出符號譯成具有最大后驗概率的輸入符號，則信道的錯誤概率此時最小。分析：則最大后驗概率準則可另表述為選擇譯碼函數(shù)使成立最大似然譯碼準則（最大后驗概率準則特例）設(shè)輸入符號的先驗概率等概，
6、選擇譯碼函數(shù)使成立譯碼：當(dāng)收到bj后，譯成信道矩陣中第j列中最大的元素所對應(yīng)的信源符號。最大后驗概率準則：依賴于先驗概率p(ai)和信道傳遞概率p(bj
7、ai)選定譯碼函數(shù)。最大似然譯碼準則：直接從信道矩陣的傳遞概率中去選定譯碼函數(shù)。當(dāng)先驗概率p(ai)為等概率分布時，最大似然譯碼準則與最大后驗概率準則等價。平均錯誤概率PE與譯碼規(guī)則（譯碼函數(shù)）有關(guān)。而譯碼規(guī)則又由信道特性來決定。費諾不等式H（X
8、Y）≤H（PE）+PElog(r－1)重復(fù)發(fā)送——大數(shù)判決規(guī)則信息數(shù)據(jù)編碼1編碼20000000000
9、00000000000001000000111001001001010000111000010010010011000111111011011011100111000000100100100101111000111101101101110111111000110110110111111111111111111111錯誤概率與編碼方法編碼1：將每個碼元重復(fù)三次糾正任一位上的錯誤設(shè)碼字記為由編碼方法知“擇多譯碼”規(guī)則的依據(jù)：連續(xù)出現(xiàn)兩個錯誤的概率遠遠小于出現(xiàn)一個錯誤的概率。編碼2：將每個碼字重復(fù)三次糾正
10、任一位上的錯誤糾正連續(xù)三位和三位以下碼元的錯誤由編碼方法知例發(fā)送的碼字為010010010干擾后收到為011100010此時以上這兩種重復(fù)碼編碼后的信息傳輸率相同為但糾錯能力不同，平均錯誤概率不同。如何選擇編碼規(guī)則呢？例：對4個等概消息編碼M=4第Ⅰ種M=4第Ⅱ種000011101110000001010100M=4第Ⅰ種000011101110最大似然譯碼規(guī)則下，計算平均錯誤概率PE=？0.010.990.990.01M=4第Ⅱ種000001010100在選擇編碼規(guī)則時，要使碼字之間的最小距離Dm
11、in越大越好。結(jié)論：錯誤概率與編碼方法有關(guān)。碼A碼B碼C碼D碼E碼字00011100001110111000000101010000000011011011111010000001010011100101110111碼字長度n33353消息數(shù)M24448碼的最小距離Dmin32131信息傳輸速率R（比特/符號）1/32/32/32/51錯誤概率PE（最大似然譯碼）3×10-42×10-22.28×10-27.8×10-43×10-2能不能找到一種編碼方法使PE相當(dāng)?shù)停?/p>
