《信息論與編碼》PPT課件

《《信息論與編碼》PPT課件》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫。

1、第5章有噪信道編碼第5章有噪信道編碼內(nèi)容提要本章介紹了信道編碼和譯碼的基本概念，介紹了兩種常用的譯碼準(zhǔn)則：最大后驗(yàn)概率譯碼準(zhǔn)則和極大似然譯碼準(zhǔn)則,還介紹了在這兩種譯碼準(zhǔn)則下錯(cuò)誤概率的計(jì)算方法。本章還介紹了信道編碼定理及信道編碼逆定理，以及信息論中的一個(gè)重要不等式Fnao不等式。5．1信道編碼的基本概念將信道用圖5-1所示的模型表示。信道編碼器信道信道譯碼器uxy圖5-1信道模型信源輸出序列u，經(jīng)信道編碼器編成碼字x=f(u)并輸入信道，由于干擾，信道輸出y，信道譯碼器對(duì)y估值得=F(y)。信源編碼以提高傳輸效率作為主要考慮因素，信道編

2、碼以提高傳輸可靠性作為主要考慮因素。這一章討論信道編碼的一些基本概念及信道編碼定理?！纠?.3】逆重復(fù)碼離散無記憶二進(jìn)制對(duì)稱信道，固有誤碼率為p(p<0.5)，信源輸出序列為三位二進(jìn)制數(shù)字。編碼規(guī)則：為提高傳輸效率，僅向信道發(fā)送一位，預(yù)先將信源輸出序列進(jìn)行擇多編碼:圖6-3逆重復(fù)編碼傳輸示意圖譯碼規(guī)則：將接收的一位符號(hào)重復(fù)三次譯出，即若接收到1就譯碼為111，即若接收到0就譯碼為000。信源輸出的三位符號(hào)中有兩位或3位是1，信源序列編碼為1，若三位符號(hào)中有兩位或3位是0，就將此信源序列編碼為0。計(jì)算差錯(cuò)概率pe：分二步進(jìn)行：（1）先設(shè)

3、p=0，計(jì)算這種編碼方法帶來的固有錯(cuò)誤p1信道輸入符號(hào)集X={000,001,010,011,100,101,110,111}判決輸出符號(hào)集Y={000,111}譯碼規(guī)則因?yàn)楹篁?yàn)概率則出錯(cuò)概率假設(shè)8組輸入序列是等概發(fā)送的，由于信道的對(duì)稱性，兩個(gè)估值序列也是等概分布的，則每個(gè)序列的平均錯(cuò)誤概率為，誤比特率。（2）再設(shè)p≠0，計(jì)算由于信道噪聲引起的錯(cuò)誤概率p2因?yàn)槊總€(gè)序列有三位二進(jìn)制數(shù)字，但只發(fā)送一位，這一位的出錯(cuò)概率為p，故序列差錯(cuò)概率為p，誤比特率。（3）總差錯(cuò)概率（誤比特率）：【例5.4】奇偶校驗(yàn)碼在信息序列后面加上一位校驗(yàn)位，使之

4、模2和等于1，這樣的編碼稱為奇校驗(yàn)碼；若使模2和等于0，這樣的編碼就稱為偶校驗(yàn)碼，即每個(gè)碼矢中1的個(gè)數(shù)固定為奇數(shù)或偶數(shù)。5．2譯碼規(guī)則及錯(cuò)誤概率信道總不可避免會(huì)攙雜噪聲，所以信息在信道傳輸過程中，差錯(cuò)是不可避免的。選擇合適的譯碼規(guī)則可以彌補(bǔ)信道的不足。1．最大后驗(yàn)概率譯碼準(zhǔn)則發(fā)送碼矢xk，其發(fā)送概率為q(xk)，通過信道轉(zhuǎn)移概率為p(y︱xk)的信道傳輸，接收到矢量y，信道譯碼器輸出通信過程可用圖5－5所示框圖表示。下面介紹兩種典型的譯碼規(guī)則：{}信源信道編碼器信道信道譯碼器信宿干擾{xk}{y}圖5－5通信過程框圖當(dāng)估值≠xk時(shí)，就

5、產(chǎn)生了誤碼，用?（x︱y）表示后驗(yàn)概率，則收到y(tǒng)估錯(cuò)的概率為（5-2）通信總希望錯(cuò)誤概率最小，由式(5-2)可看出錯(cuò)誤概率pe(xk)最小等同于后驗(yàn)概率?（xk︱y）最大，這就是最大后驗(yàn)概率譯碼準(zhǔn)則。根據(jù)概率關(guān)系式（5-3）根據(jù)式（5-3）后驗(yàn)概率?（x︱y）最的就意味著p（xy）全概率最大，因此最大后驗(yàn)概率譯碼準(zhǔn)則也稱為最大聯(lián)合概率譯碼準(zhǔn)則。【例5.5】信源分布，信道轉(zhuǎn)移概率矩陣,信道輸出符號(hào)Y={y1,y2,y3}，按最大后驗(yàn)概率準(zhǔn)則譯碼。(1)根據(jù)p(xy)=p(y︱x)q(x)算出全概率，用矩陣表示(2)根據(jù)，算出[?（y）]

6、=[0.380.340.28](3)再由算出后驗(yàn)概率，用矩陣表示(4)按最大后驗(yàn)概率準(zhǔn)則譯碼，在后驗(yàn)概率矩陣中，每列選一最大值（矩陣中帶下劃線的值），譯為(5)若按最大聯(lián)合概率譯碼準(zhǔn)則譯碼，在全概率矩陣[p(xy)]中每列選一最大值（矩陣中帶下劃線的值），也可譯出在實(shí)際應(yīng)用中，一般按最大信道轉(zhuǎn)移概率來確定估值，即在收到矢量y后，在所有的xm(m=1,2,…,M)中,選一個(gè)轉(zhuǎn)移概率p(y︱xm)最大的xm值，作為對(duì)y的估值=xk，這一譯碼規(guī)則稱為極大似然譯碼規(guī)則。2．極大似然譯碼準(zhǔn)則3．平均錯(cuò)誤概率（5-4）()?=-=Mjkj1)(1

7、yxyfw（1）求平均錯(cuò)誤概率pe根據(jù)式（6-4）得=0.01+0.12+0.07+0.12+0.1+0.02=0.44(2)當(dāng)信源等概分布，按最大似然函數(shù)譯碼準(zhǔn)則譯碼，[例5.5]已給出信道轉(zhuǎn)移概率矩陣在矩陣的每列中選一最大值(矩陣中帶下劃線的值)，譯碼為平均錯(cuò)誤概率【例5.6】計(jì)算[例5.5]的平均錯(cuò)誤概率，若信源等概分布，對(duì)其譯碼，并求平均錯(cuò)誤概率。6．3信道編碼定理定理5.1對(duì)于任何離散無記憶信道DMC，存在信息傳輸率為R，長(zhǎng)為n的碼，當(dāng)n→∞時(shí)，平均差錯(cuò)概率pe

8、在0