信息論與編碼技術(shù) CHAP1 緒論

《信息論與編碼技術(shù) CHAP1 緒論》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在行業(yè)資料-天天文庫。

1、InformationTheoryandCodingTechniques信息論與編碼技術(shù)Wherethereisawill,thereisaway.第一章緒論相結(jié)合逐步發(fā)展而形成的一門新興科學(xué)本章內(nèi)容：信息的概念數(shù)字通信系統(tǒng)模型信息論與編碼理論研究的主要內(nèi)容及意義奠基人：美國數(shù)學(xué)家香農(nóng)（C.E.Shannon）1948年“通信的數(shù)學(xué)理論”信息論通信技術(shù)概率論隨機(jī)過程數(shù)理統(tǒng)計(jì)1.1信息的概念信息是信息論中最基本、最重要的概念，既抽象又復(fù)雜信息在日常生活中被認(rèn)為是“消息”、“知識(shí)”、“情報(bào)”等“信息”不同于消息（在現(xiàn)代信息論形成之前，信息一直被看作是通信中消息的同義詞，沒有嚴(yán)格的數(shù)學(xué)含義），消息是

2、表現(xiàn)形式，信息是實(shí)質(zhì)；“信息”不同于情報(bào)，情報(bào)的含義比“信息”窄的多，一般只限于特殊的領(lǐng)域，是一類特殊的信息；信息不同于信號(hào)，信號(hào)是承載消息的物理量；信息不同于知識(shí)，知識(shí)是人們根據(jù)某種目的,從自然界收集得來的數(shù)據(jù)中整理、概括、提取得到的有價(jià)值的信息，是一種高層次的信息。消息：用文字等能夠被人們感覺器官所感知的形式，把客觀物質(zhì)運(yùn)動(dòng)和主觀思維活動(dòng)的狀態(tài)表達(dá)出來。知識(shí)：一種具有普遍和概括性質(zhì)的高層次的信息，以實(shí)踐為基礎(chǔ)，通過抽象思維，對(duì)客觀事物規(guī)律性的概括。情報(bào)：是人們對(duì)于某個(gè)特定對(duì)象所見、所聞、所理解而產(chǎn)生的知識(shí)。它們之間有著密切聯(lián)系但不等同，信息的含義更深刻、廣泛就狹義而言，在通信中對(duì)信息的表達(dá)

3、分為三個(gè)層次：信號(hào)、消息、信息。信號(hào)：是信息的物理表達(dá)層，是三個(gè)層次中最具體的層次。它是一個(gè)物理量，是一個(gè)載荷信息的實(shí)體，可測量、可描述、可顯示。消息：(或稱為符號(hào))是信息的數(shù)學(xué)表達(dá)層，它雖不是一個(gè)物理量，但是可以定量地加以描述，它是具體物理信號(hào)的進(jìn)一步數(shù)學(xué)抽象，可將具體物理信號(hào)抽象為兩大類型：離散(數(shù)字)消息，一組未知量，可用隨機(jī)序列來描述：X=(X1…Xi…Xn)連續(xù)(模擬)消息，未知量，它可用隨機(jī)過程來描述：X(t,ω)信息：它是更高層次哲學(xué)上的抽象，是信號(hào)與消息的更高表達(dá)層次。信息、消息和信號(hào)是既有區(qū)別又有聯(lián)系的三個(gè)不同的概念。消息中包含信息，是信息的載體。信號(hào)攜帶著消息，它是消息的運(yùn)

4、載工具。信息可認(rèn)為是由具體的物理信號(hào)、數(shù)學(xué)描述的消息的內(nèi)涵，即信號(hào)具體載荷的內(nèi)容、消息描述的含義。而信號(hào)則是抽象信息在物理層表達(dá)的外延；消息則是抽象信息在數(shù)學(xué)層表達(dá)的外延。同一信息，可以采用不同的信號(hào)形式(比如文字、語言、圖象等)來載荷；同一信息，也可以采用不同的數(shù)學(xué)表達(dá)形式(比如離散或連續(xù))來定量描述。同一信號(hào)形式，比如“0”與“1”可以表達(dá)不同形式的信息，比如無與有、斷與通、低與高(電平)等等。什么是信息關(guān)于信息的科學(xué)定義，到目前為止，國內(nèi)外已有不下百余種流行的說法，它們都是從不同的側(cè)面和不同的層次來揭示信息的本質(zhì)的。1928年，哈特萊(R．V．LHartley)在《信息傳輸》一文中提出：

5、發(fā)信者所發(fā)出的信息，就是他在通信符號(hào)表中選擇符號(hào)的具體方式局限性：定義不涉及到信息的價(jià)值和具體內(nèi)容，只考慮選擇的方式。即使考慮選擇的方法，但沒有考慮各種可能選擇方法的統(tǒng)計(jì)特性。1948年，維納(N．Wiener)在《控制論--動(dòng)物和機(jī)器中通信與控制問題》一書中，指出：“信息是信息，不是物質(zhì)，也不是能量”。將“信息”上升到“最基本概念”的位置。后來，維納在《人有人的用處》一書中提出：“信息是人們適應(yīng)外部世界并且使這種適應(yīng)反作用于外部世界的過程中，同外部世界進(jìn)行互相交換的內(nèi)容的名稱。”局限性：把信息與物質(zhì)、能量混同起來。所以，維納關(guān)于信息的定義是不確切的。1948年，香農(nóng)（C.E.Shannon）

6、發(fā)表了一篇著名的論文，“通信的數(shù)學(xué)理論”。他從研究通信系統(tǒng)傳輸?shù)膶?shí)質(zhì)出發(fā)，對(duì)信息作了科學(xué)的定義，并進(jìn)行了定性和定量的描述。信息是事物運(yùn)動(dòng)狀態(tài)或存在方式的不確定性的描述。通信系統(tǒng)模型信源信源編碼器信道編碼器調(diào)制器信道解調(diào)器信宿信源譯碼器信道譯碼器干擾源編碼信道信源：產(chǎn)生消息和消息序列的來源。消息可以是離散的，也可以是連續(xù)的（數(shù)據(jù)、文字、語言、圖像），通常信源的消息序列是隨機(jī)發(fā)生的，因此要用隨機(jī)變量來描述。編碼器：把消息變換成適合于信道傳輸?shù)男盘?hào)。信源編碼器：將信源的輸出進(jìn)行適當(dāng)?shù)淖儞Q，以提高信息傳輸?shù)挠行浴Ｐ诺谰幋a器：對(duì)信源編碼器的輸出進(jìn)行變換，用增加多余度的方法提高信道的抗干擾能力，以提高信

7、息傳輸?shù)目煽啃?。調(diào)制器：將信道編碼器輸出的數(shù)字序列變換為振幅、頻率或相位受到調(diào)制控制的形式，以適合在信道中進(jìn)行較長距離的傳輸。信道：信號(hào)由發(fā)送端傳輸?shù)浇邮斩说拿浇椤５湫偷膫鬏斝诺烙忻骶€、電纜、高頻無線信道、微波通道和光纖通道等；典型的存儲(chǔ)媒介有磁芯、磁鼓、磁盤、磁帶等。干擾源：對(duì)傳輸信道或存儲(chǔ)媒介構(gòu)成干擾的來源的總稱。干擾和噪聲往往具有隨機(jī)性，所以信道的特征也可以用概率空間來描述；而噪聲源的統(tǒng)計(jì)特