信息論與編碼1緒論1

《信息論與編碼1緒論1》由會員上傳分享，免費在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫。

1、信息理論與編碼武漢理工大學(xué)理學(xué)院胡國政1課程計劃1、總學(xué)時48，其中講課40學(xué)時，實驗8學(xué)時2、交作業(yè)和實驗報告3、總成績由兩部分組成，平時成績占30％，考試成績占70％4、計劃講授教材的一至七章2教材和參考書：參考書：1．信息論與編碼，曹雪虹張宗橙編，北京郵電大學(xué)出版社，20012．信息論—基礎(chǔ)理論與應(yīng)用，傅祖蕓編著，電子工業(yè)出版社，20013．信息理論與編碼，姜丹錢玉美編著4．信息論與編碼，吳伯修歸紹升祝宗泰俞槐銓編著，1987教材：信息理論與編碼，呂鋒等編，人民郵電出版社3課程概述當(dāng)今的時代是一個信息的時代，信

2、息處理技術(shù)的不斷進步極大的影響了我們的生活，使我們的生活質(zhì)量得到很大提高。本課程將介紹信息科學(xué)的基礎(chǔ)理論和基本方法，課程將基于一個通訊系統(tǒng)的抽象數(shù)學(xué)模型進行展開，課程的數(shù)學(xué)基礎(chǔ)為概率論。整個課程可分為基礎(chǔ)理論和編碼理論兩部分組成4學(xué)習(xí)方法本課程以概率論為基礎(chǔ)，數(shù)學(xué)推導(dǎo)較多，學(xué)習(xí)時主要把注意力集中到概念的理解上，不過分追求數(shù)學(xué)細(xì)節(jié)的推導(dǎo)。學(xué)習(xí)時一定要從始至終注意基本概念的理解，不斷加深概念的把握。學(xué)習(xí)時注意理解各個概念的“用處”，結(jié)合其他課程理解它的意義，而不要把它當(dāng)作數(shù)學(xué)課來學(xué)習(xí)，提倡獨立思考，注重思考在學(xué)習(xí)中的重要

3、性。5第一章緒論1信息的概念2信息論研究的對象、目的和內(nèi)容3信息論的發(fā)展簡史與現(xiàn)狀61信息的概念從哲學(xué)的角度上講，信息是構(gòu)成物質(zhì)世界的三大支柱之一，其他兩個是物質(zhì)和能量?？梢哉f我們生活在信息的海洋之中，沒有信息就沒有世界，當(dāng)然也就沒有我們?nèi)祟惿鐣Ｈ祟惱眯畔⒗眯畔⒌臍v史非常悠久，而且隨著人類社會的發(fā)展而發(fā)展。到了現(xiàn)代，信息的利用已經(jīng)非常重要，以至于我們當(dāng)今生活的社會被稱作信息社會?？梢娦畔⒌闹匾５怯惺芬詠?，人們都沒有對信息下過一個確切的定義。就像對于物質(zhì)和能量一樣。7信息雖無確切定義，但是卻具有兩個明顯的特征

4、：廣泛性與抽象性。廣泛性客觀世界充滿著信息人類離不開信息知識、書本是有用信息的積累抽象性三大要素是：物質(zhì)、能量與信息。三要素中物質(zhì)是基礎(chǔ)，是實體。能量是物質(zhì)運動的形式，E=mc2，物質(zhì)可轉(zhuǎn)換成能量，而能量又是改造客觀世界的主要動力。8信息：它依附于物質(zhì)和能量，但又不同于物質(zhì)和能量。沒有信息就不能更好地利用物質(zhì)和能量，人類利用信息和知識改造物質(zhì)，創(chuàng)造新物質(zhì)，提高能量利用效率，發(fā)現(xiàn)新能量形式。信息也是客觀存在的，它是人類認(rèn)識、改造客觀世界的主要動力，是人類認(rèn)識客觀世界的更高層次。就狹義而言，在通信中對信息的表達(dá)分為三個層

5、次：信號、消息、信息。9信號：是信息的物理表達(dá)層，是三個層次中最具體的層次。它是一個物理量，是一個載荷信息的實體，可測量、可描述、可顯示。如電信號、光信號等。消息：(或稱為符號)是信息的數(shù)學(xué)表達(dá)層，它雖不是一個物理量，但是可以定量地加以描述，它是具體物理信號的進一步數(shù)學(xué)抽象。10信息：信息是指各個事物運動的狀態(tài)及狀態(tài)變化的方式。人們從來自對周圍世界的觀察得到的數(shù)據(jù)中獲得信息。信息是抽象的意識或知識，它是看不見、摸不到的。人腦的思維活動產(chǎn)生的一種想法，當(dāng)它仍儲存在腦子中的時候就是一種信息。信息是信號與消息的更高表達(dá)層次

6、。三個層次中，信號最具體，信息最抽象。它們?nèi)咧g的關(guān)系是哲學(xué)上的內(nèi)涵與外延的關(guān)系。11信息的主要特征信息來源于物質(zhì)，又不是物質(zhì)本身；它從物質(zhì)的運動中產(chǎn)生出來，又可以脫離源物質(zhì)而相對獨立地存在；信息來源于精神世界，但又不局限于精神領(lǐng)域；信息與能量息息相關(guān)，但又與能量有本質(zhì)的區(qū)別；信息具有知識的本性，但又比知識的內(nèi)涵更廣泛；信息可以被主體獲取和利用。12信息論基礎(chǔ)的重要性信息論是信息科學(xué)和技術(shù)的基本理論,信息科學(xué)大廈的地基;沒有信息論的基礎(chǔ)，從事通信與信息領(lǐng)域的研究和創(chuàng)新是不可能的事情;總之,信息論是高層次信息技術(shù)人才

7、必不可少的基礎(chǔ)知識。132信息論研究對象、目的和內(nèi)容通信系統(tǒng)模型信源信道信宿編碼器譯碼器噪聲源14信源信源編碼器信道編碼器調(diào)制器信道干擾源解調(diào)器信道譯碼器信源譯碼器信宿等效離散信道等效離散信源等效信宿信道編碼器信道譯碼器通信系統(tǒng)模型進一步細(xì)分15信息論從誕生到今天，已有五十多年歷史，現(xiàn)已成為一門獨立的理論科學(xué)，回顧它的發(fā)展歷史，我們可以知道理論是如何從實踐中經(jīng)過抽象、概括、提高而逐步形成的。信息論是在長期的通信工程實踐和理論研究的基礎(chǔ)上發(fā)展起來的。通信系統(tǒng)是人類社會的神經(jīng)系統(tǒng)，即使在原始社會也存在著最簡單的通信工具和

8、通信系統(tǒng)，這方面的社會實踐是悠久漫長的。16電的通信系統(tǒng)(電信系統(tǒng))已有100多年的歷史了。在一百余年的發(fā)展過程中，一個很有意義的歷史事實是：當(dāng)物理學(xué)中的電磁理論以及后來的電子學(xué)理論一旦有某些進展，很快就會促進電信系統(tǒng)的創(chuàng)造發(fā)明或改進。這是因為通信系統(tǒng)對人類社會的發(fā)展，其關(guān)系實在是太密切了。日常生活、工農(nóng)業(yè)生產(chǎn)、科學(xué)研究以及戰(zhàn)爭等等，一切都離不