資源描述：
《《信息論緒論》PPT課件》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫(kù)。
1、第1章緒論第1章緒論1.1信息定義、特征與性質(zhì)1.2信息的分類1.3信息論的形成和發(fā)展1.4信息論研究對(duì)象及內(nèi)容1.5本書的主要內(nèi)容1.1信息定義、特征與性質(zhì)1.1.1信息定義1.1.2信息的特征1.1.3信息的性質(zhì)1.1.1信息定義信息一詞來(lái)源于人們的通信實(shí)踐活動(dòng)，在日常生活中，信息是指“消息”、“情況”、“知識(shí)”、“情報(bào)”等等。信息是一個(gè)十分抽象而又復(fù)雜的概念，是人們對(duì)客觀事物感觸到的新知識(shí)；消息是信息的載荷者，是描述信息的一種表現(xiàn)形式；同一種信息可以用不同的消息來(lái)載荷，即對(duì)某個(gè)事物的描述和反映，是表示事物內(nèi)涵的一種形式。1.1.2信息的特征信息來(lái)源于物質(zhì)，但又不是物質(zhì)本身
2、，它從物質(zhì)的運(yùn)動(dòng)中產(chǎn)生出來(lái)，又可以脫離源物質(zhì)而相對(duì)獨(dú)立地存在。信息來(lái)源于精神世界，但又不限于精神領(lǐng)域。信息與能量息息相關(guān)，但又與能量有本質(zhì)的區(qū)別。信息具有知識(shí)的本質(zhì)，但比知識(shí)的內(nèi)涵更廣泛。信息是具體的，并且可以被信息主體所感知、提取、識(shí)別，可以被傳遞、存儲(chǔ)、變換、處理、顯示、檢索和利用。信息可以被眾多主體所共享。信息可以產(chǎn)生，也可以消失。信息是可以度量的，信息量有多少的差別。1.1.3信息的性質(zhì)普遍性。無(wú)限性。相對(duì)性。變換性。轉(zhuǎn)換性。有序性。動(dòng)態(tài)性。共享性。可度量性。1.2信息的分類信息按照性質(zhì)劃分，可以分為：語(yǔ)法信息、語(yǔ)義信息、語(yǔ)用信息三類。按觀察的過(guò)程分類，可以有：實(shí)在信息
3、、先驗(yàn)信息、實(shí)得信息。按信息的地位分類，可以有：客觀信息(包括觀察對(duì)象的初始信息，經(jīng)過(guò)觀察者干預(yù)之后的效果信息、環(huán)境信息等)、主觀信息(包括決策信息、指令信息、控制信息、目標(biāo)信息等)。按信息的作用分類，可以有：有用信息、無(wú)用信息、干擾信息。按信息的邏輯意義分類，可以有：真實(shí)信息、虛假信息、不定信息。按信息的傳遞方向分類，可以有：前饋信息、反饋信息。1.2信息的分類按信息的生成領(lǐng)域分類，可以有：宇宙信息、自然信息、社會(huì)信息、思維信息等。按信息的應(yīng)用部門分類，可以有：工業(yè)信息、農(nóng)業(yè)信息、軍事信息、政治信息、科技信息、文化信息、經(jīng)濟(jì)信息、市場(chǎng)信息、管理信息等。按信息源的性質(zhì)分類，可以
4、有：語(yǔ)聲信息、圖像信息、文字信息、數(shù)據(jù)信息、計(jì)算信息等。按信息的載體性質(zhì)分類，可以有：電子信息、光學(xué)信息、生物信息等。按攜帶信息的信號(hào)的形式分類，還可以有：連續(xù)信息、離散信息、半連續(xù)信息(混合信息)等。1.3信息論的形成和發(fā)展信息論理論基礎(chǔ)的建立，一般來(lái)說(shuō)開(kāi)始于香農(nóng)(C.EShannon)研究通信系統(tǒng)時(shí)所發(fā)表的論文。隨著研究的深入與發(fā)展，信息論具有了較為寬廣的內(nèi)容。信息在早些時(shí)期的定義是由奈奎斯特(Nyquist，H.)和哈特萊(Hartley，L.V.R.)在20世紀(jì)20年代提出來(lái)的。1924年奈奎斯特解釋了信號(hào)帶寬和信息速率之間的關(guān)系；1928年哈特萊最早研究了通信系統(tǒng)傳輸
5、信息的能力，給出了信息度量方法；1936年阿姆斯特朗(Armstrong)提出了增大帶寬可以使抗干擾能力加強(qiáng)。這些工作都給香農(nóng)很大的影響，他在1941至1944年對(duì)通信和密碼進(jìn)行深入研究，用概率論的方法研究通信系統(tǒng)，揭示了通信系統(tǒng)傳遞的對(duì)象就是信息，并對(duì)信息給以科學(xué)的定量描述，提出了信息熵的概念，指出通信系統(tǒng)的中心問(wèn)題是在噪聲下如何有效而可靠地傳送信息以及實(shí)現(xiàn)這一目標(biāo)的主要方法是編碼等。1.3信息論的形成和發(fā)展50年代信息論在學(xué)術(shù)界引起了巨大的反響。1951年美國(guó)IRE成立了信息論組，并于1955年正式出版了信息論匯刊。60年代信道編碼技術(shù)有較大進(jìn)展，使它成為信息論的又一重要分
6、支。它把代數(shù)方法引入到糾錯(cuò)碼的研究，使分組碼技術(shù)發(fā)展到了高峰，找到了大量可糾正多個(gè)錯(cuò)誤的碼，而且提出了可實(shí)現(xiàn)的譯碼方法。其次是卷積碼和概率譯碼有了重大突破；提出了序列譯碼和Viterbi譯碼方法。信源編碼的研究落后于信道編碼。香農(nóng)1959年的文章(Codingtheoremsforadiscretesourcewithafidelitycriterion)系統(tǒng)地提出了信息率失真理論，它是數(shù)據(jù)壓縮的數(shù)學(xué)基礎(chǔ)，為各種信源編碼的研究奠定了基礎(chǔ)。1.3信息論的形成和發(fā)展到70年代，有關(guān)信息論的研究，從點(diǎn)與點(diǎn)間的單用戶通信推廣到多用戶系統(tǒng)的研究。1972年蓋弗(Cover)發(fā)表了有關(guān)廣播
7、信道的研究，以后陸續(xù)有關(guān)于多接入信道和廣播信道模型的研究，但由于這些問(wèn)題比較難，到目前為止，多用戶信息論研究得不多，還有許多尚待解決的課題。由于信息理論的創(chuàng)建與發(fā)展是以通信實(shí)踐與理論為基礎(chǔ)的。香農(nóng)將各種通信系統(tǒng)概括成如圖1.1所示的框圖，并且針對(duì)人類通信活動(dòng)的特點(diǎn)，香農(nóng)精辟地提出了“形式化假說(shuō)”、“非決定論”、“不確定性”等三個(gè)論點(diǎn)，以新穎的思想和方法，打破了這個(gè)僵局，跨出了用數(shù)學(xué)方法定量描述信息的關(guān)鍵一步，開(kāi)創(chuàng)了通信領(lǐng)域信息理論新局面。1.3信息論的形成和發(fā)展圖1.1通信系統(tǒng)框圖1.3信息
