信息論與編碼1緒論

《信息論與編碼1緒論》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫(kù)。

1、信息理論與編碼武漢理工大學(xué)理學(xué)院胡國(guó)政1課程計(jì)劃1、總學(xué)時(shí)48，其中講課40學(xué)時(shí)，實(shí)驗(yàn)8學(xué)時(shí)2、交作業(yè)和實(shí)驗(yàn)報(bào)告3、總成績(jī)由兩部分組成，平時(shí)成績(jī)占30％，考試成績(jī)占70％4、計(jì)劃講授教材的一至七章2教材和參考書(shū)：參考書(shū)：1．信息論與編碼，曹雪虹張宗橙編，北京郵電大學(xué)出版社，20012．信息論—基礎(chǔ)理論與應(yīng)用，傅祖蕓編著，電子工業(yè)出版社，20013．信息理論與編碼，姜丹錢玉美編著4．信息論與編碼，吳伯修歸紹升祝宗泰俞槐銓編著，1987教材：信息理論與編碼，呂鋒等編，人民郵電出版社3課程概述當(dāng)今的時(shí)代是一個(gè)信息的時(shí)代，信息處理技術(shù)的不斷進(jìn)步極大的影響了我們的生活，使我

2、們的生活質(zhì)量得到很大提高。本課程將介紹信息科學(xué)的基礎(chǔ)理論和基本方法，課程將基于一個(gè)通訊系統(tǒng)的抽象數(shù)學(xué)模型進(jìn)行展開(kāi)，課程的數(shù)學(xué)基礎(chǔ)為概率論。整個(gè)課程可分為基礎(chǔ)理論和編碼理論兩部分組成4學(xué)習(xí)方法本課程以概率論為基礎(chǔ)，數(shù)學(xué)推導(dǎo)較多，學(xué)習(xí)時(shí)主要把注意力集中到概念的理解上，不過(guò)分追求數(shù)學(xué)細(xì)節(jié)的推導(dǎo)。學(xué)習(xí)時(shí)一定要從始至終注意基本概念的理解，不斷加深概念的把握。學(xué)習(xí)時(shí)注意理解各個(gè)概念的“用處”，結(jié)合其他課程理解它的意義，而不要把它當(dāng)作數(shù)學(xué)課來(lái)學(xué)習(xí)，提倡獨(dú)立思考，注重思考在學(xué)習(xí)中的重要性。5第一章緒論1信息的概念2信息論研究的對(duì)象、目的和內(nèi)容3信息論的發(fā)展簡(jiǎn)史與現(xiàn)狀61信息的概念

3、從哲學(xué)的角度上講，信息是構(gòu)成物質(zhì)世界的三大支柱之一，其他兩個(gè)是物質(zhì)和能量?？梢哉f(shuō)我們生活在信息的海洋之中，沒(méi)有信息就沒(méi)有世界，當(dāng)然也就沒(méi)有我們?nèi)祟惿鐣?huì)。人類利用信息利用信息的歷史非常悠久，而且隨著人類社會(huì)的發(fā)展而發(fā)展。到了現(xiàn)代，信息的利用已經(jīng)非常重要，以至于我們當(dāng)今生活的社會(huì)被稱作信息社會(huì)?？梢?jiàn)信息的重要。但是有史以來(lái)，人們都沒(méi)有對(duì)信息下過(guò)一個(gè)確切的定義。就像對(duì)于物質(zhì)和能量一樣。7信息雖無(wú)確切定義，但是卻具有兩個(gè)明顯的特征：廣泛性與抽象性。廣泛性客觀世界充滿著信息人類離不開(kāi)信息知識(shí)、書(shū)本是有用信息的積累抽象性三大要素是：物質(zhì)、能量與信息。三要素中物質(zhì)是基礎(chǔ)，是實(shí)體

4、。能量是物質(zhì)運(yùn)動(dòng)的形式，E=mc2，物質(zhì)可轉(zhuǎn)換成能量，而能量又是改造客觀世界的主要?jiǎng)恿Α?信息：它依附于物質(zhì)和能量，但又不同于物質(zhì)和能量。沒(méi)有信息就不能更好地利用物質(zhì)和能量，人類利用信息和知識(shí)改造物質(zhì)，創(chuàng)造新物質(zhì)，提高能量利用效率，發(fā)現(xiàn)新能量形式。信息也是客觀存在的，它是人類認(rèn)識(shí)、改造客觀世界的主要?jiǎng)恿?，是人類認(rèn)識(shí)客觀世界的更高層次。就狹義而言，在通信中對(duì)信息的表達(dá)分為三個(gè)層次：信號(hào)、消息、信息。9信號(hào)：是信息的物理表達(dá)層，是三個(gè)層次中最具體的層次。它是一個(gè)物理量，是一個(gè)載荷信息的實(shí)體，可測(cè)量、可描述、可顯示。如電信號(hào)、光信號(hào)等。消息：(或稱為符號(hào))是信息的數(shù)學(xué)表

5、達(dá)層，它雖不是一個(gè)物理量，但是可以定量地加以描述，它是具體物理信號(hào)的進(jìn)一步數(shù)學(xué)抽象。10信息：信息是指各個(gè)事物運(yùn)動(dòng)的狀態(tài)及狀態(tài)變化的方式。人們從來(lái)自對(duì)周圍世界的觀察得到的數(shù)據(jù)中獲得信息。信息是抽象的意識(shí)或知識(shí)，它是看不見(jiàn)、摸不到的。人腦的思維活動(dòng)產(chǎn)生的一種想法，當(dāng)它仍儲(chǔ)存在腦子中的時(shí)候就是一種信息。信息是信號(hào)與消息的更高表達(dá)層次。三個(gè)層次中，信號(hào)最具體，信息最抽象。它們?nèi)咧g的關(guān)系是哲學(xué)上的內(nèi)涵與外延的關(guān)系。11信息的主要特征信息來(lái)源于物質(zhì)，又不是物質(zhì)本身；它從物質(zhì)的運(yùn)動(dòng)中產(chǎn)生出來(lái)，又可以脫離源物質(zhì)而相對(duì)獨(dú)立地存在；信息來(lái)源于精神世界，但又不局限于精神領(lǐng)域；信息

6、與能量息息相關(guān)，但又與能量有本質(zhì)的區(qū)別；信息具有知識(shí)的本性，但又比知識(shí)的內(nèi)涵更廣泛；信息可以被主體獲取和利用。12信息論基礎(chǔ)的重要性信息論是信息科學(xué)和技術(shù)的基本理論,信息科學(xué)大廈的地基;沒(méi)有信息論的基礎(chǔ)，從事通信與信息領(lǐng)域的研究和創(chuàng)新是不可能的事情;總之,信息論是高層次信息技術(shù)人才必不可少的基礎(chǔ)知識(shí)。132信息論研究對(duì)象、目的和內(nèi)容通信系統(tǒng)模型信源信道信宿編碼器譯碼器噪聲源14信源信源編碼器信道編碼器調(diào)制器信道干擾源解調(diào)器信道譯碼器信源譯碼器信宿等效離散信道等效離散信源等效信宿信道編碼器信道譯碼器通信系統(tǒng)模型進(jìn)一步細(xì)分15信息論從誕生到今天，已有五十多年歷史，現(xiàn)已

7、成為一門獨(dú)立的理論科學(xué)，回顧它的發(fā)展歷史，我們可以知道理論是如何從實(shí)踐中經(jīng)過(guò)抽象、概括、提高而逐步形成的。信息論是在長(zhǎng)期的通信工程實(shí)踐和理論研究的基礎(chǔ)上發(fā)展起來(lái)的。通信系統(tǒng)是人類社會(huì)的神經(jīng)系統(tǒng)，即使在原始社會(huì)也存在著最簡(jiǎn)單的通信工具和通信系統(tǒng)，這方面的社會(huì)實(shí)踐是悠久漫長(zhǎng)的。16電的通信系統(tǒng)(電信系統(tǒng))已有100多年的歷史了。在一百余年的發(fā)展過(guò)程中，一個(gè)很有意義的歷史事實(shí)是：當(dāng)物理學(xué)中的電磁理論以及后來(lái)的電子學(xué)理論一旦有某些進(jìn)展，很快就會(huì)促進(jìn)電信系統(tǒng)的創(chuàng)造發(fā)明或改進(jìn)。這是因?yàn)橥ㄐ畔到y(tǒng)對(duì)人類社會(huì)的發(fā)展，其關(guān)系實(shí)在是太密切了。日常生活、工農(nóng)業(yè)生產(chǎn)、科學(xué)研究以及戰(zhàn)爭(zhēng)等等，

8、一切都離不