信息論基礎——聯(lián)合信源—信道編碼定理

《信息論基礎——聯(lián)合信源—信道編碼定理》由會員上傳分享，免費在線閱讀，更多相關內容在教育資源-天天文庫。

1、4.5聯(lián)合信源—信道編碼定理定理的提出聯(lián)合信源—信道編碼定理兩步編碼與一步編碼14.5聯(lián)合信源—信道編碼定理定理的提出聯(lián)合信源—信道編碼定理兩步編碼與一步編碼2定理的提出通信的實質是信息的傳輸！3將信源信息通過信道傳送給信宿．怎樣才能既做到盡可能不失真而又快速呢?定理的提出需要解決兩個問題：在不失真或允許一定失真條件下，如何用盡可能少的符號來傳送信源信息，以便提高信息傳輸率；在信道受干擾的情況下，如何增加信號的抗干擾能力，同時又使得信息傳輸率最大.4香農第一定理：要進行無失真數據壓縮，必須R′>H；定理的提出5香農第二定理：要在信道中可靠地傳輸數據，必須C>R；定理的提出6香農第

2、一定理：要進行無失真數據壓縮，必須R′>H；香農第二定理：要在信道中可靠地傳輸數據，必須C>R；問題：若信源通過信道傳輸，要做到有效且可靠地傳輸，是否必須有C>H?定理的提出兩步編碼7定理的提出一步編碼方案！84.5聯(lián)合信源—信道編碼定理定理的提出聯(lián)合信源—信道編碼定理兩步編碼與一步編碼9聯(lián)合信源—信道編碼定理設U1、U2、…是取值于有限字母表Ц的無記憶信源，有熵率H(Ц);[?,Q(y

3、x),?]為無記憶信道，有信道容量C.（a）若H(U)0，存在復(聯(lián))合信源—信道碼(f,g)使Pe(n)<ε;（b）反之若H(U)>C，則Pe(n)>0.10證明：弱典型序列的

4、性質聯(lián)合信源—信道編碼定理1112熵率的定義熵、條件熵與互信息的關系法諾不等式信道容量的定義13定理表明使用一步編碼方案可以使通信的誤差概率任意小.對于同一個通信系統(tǒng)，現在有兩種數據處理方案.說明144.5聯(lián)合信源—信道編碼定理定理的提出聯(lián)合信源—信道編碼定理兩步編碼與一步編碼15兩步編碼與一步編碼用盡可能少的信道符號來表達信源，以減少編碼后的數據的剩余度.16兩步編碼與一步編碼對信源編碼后的數據適當增加一些剩余度，使能糾正和克服信道中引起的錯誤和干擾.17兩步編碼與一步編碼思考:在有噪信道中，當H

5、給定的通信系統(tǒng)進行編碼時，應該傾向于那種編碼方案？18兩步編碼與一步編碼近代大多數通信系統(tǒng)都是數字通信系統(tǒng).實際數字通信系統(tǒng)中，信道多是共同公用的二元數字信道.將語音、圖像等首先數字化，再對數字化的信源進行不同的信源編碼?針對各自信源的不同特點，用最有效的二元碼進行數據壓縮；19兩步編碼與一步編碼信道輸入端只是一系列二元碼?信道編碼只需針對信道特性進行，不用考慮信源的特性；以糾正信道帶來的錯誤，做到有效又可靠地傳輸信息.大大降低通信系統(tǒng)設計的復雜度！20兩步編碼與一步編碼經典的無線通信系統(tǒng)是將信源編碼和信道編碼分別進行的。信源編碼主要考慮信源的統(tǒng)計特性，信道編碼主要考慮信道的統(tǒng)

6、計特性。優(yōu)點是設計簡單、通用性好，可以分別形成標準。缺點是沒有充分利用各自的優(yōu)勢，因而不是最佳的。無線系統(tǒng)的信源編碼由于壓縮比很高，對差錯十分敏感；而信道編碼面臨十分惡劣的傳播環(huán)境，但提供的帶寬冗余度很小。在這種背景下，需要將信源編碼和信道編碼綜合考慮。這就是聯(lián)合編碼的基本思路。在無線多媒體通信中，聯(lián)合編碼是抗衰落的一種十分有效的措施。21兩步編碼與一步編碼國內主要研究方向（以博士畢業(yè)論文為例）：《基于Turbo碼的聯(lián)合信源信道編譯碼方法研究》——中國科學院研究生院（2008）《誤碼環(huán)境下的視頻信源信道編碼理論與技術研究》《無線信道中的聯(lián)合信源信道編碼研究》——西安電子科技大學（

7、2006）《信源信道聯(lián)合解碼算法研究及其在語音傳輸中的應用》——東南大學（2005）《無線圖像傳輸中的聯(lián)合信源信道編碼研究》——上海交通大學（2007）《實現復雜度控制的信源信道聯(lián)合編碼研究》——華中科技大學（2005）1993年法國教授Berrou、Glavieux和其緬甸籍博士生Thitimajshima在ICC會議提出；全球3G標準：WCDMA、TD-SCDMA和CDMA2000均使用了Turbo碼224.5聯(lián)合信源—信道編碼定理定理的提出聯(lián)合信源—信道編碼定理兩步編碼與一步編碼23展望提高信息傳輸的可靠性和有效性，始終是通信工作所追求的目標；近幾節(jié)課掌握的幾個編碼定理，已

8、經明確指出在一定條件下總存在簡單、有效編、譯的“好碼”.但是，都沒有給出這類好碼的編、譯方法.244.6線性分組碼基礎知識線性分組碼的基本概念線性分組碼的譯碼漢明碼的編碼與譯碼25基礎知識線性分組碼的基本概念線性分組碼的譯碼漢明碼的編碼與譯碼4.6線性分組碼264.6線性分組碼基礎知識抽象代數基礎線性代數基礎274.6線性分組碼基礎知識抽象代數基礎線性代數基礎28一、群定義設G是非空集合，并在G內定義了一種代數運算，若滿足：(1)封閉性：對任意a、b∈G，恒有a°b∈G；(