信息論與編碼緒論

《信息論與編碼緒論》由會員上傳分享，免費在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫。

1、是一門應(yīng)用概率論、隨機過程、數(shù)理統(tǒng)計和近世代數(shù)的方法，來研究廣義的信息傳輸、提取和處理系統(tǒng)中一般規(guī)律的科學(xué)；它的主要目的是提高信息系統(tǒng)的有效性和可靠性，最優(yōu)化；其主要內(nèi)容（或分支）包括：香農(nóng)理論、編碼理論、維納理論、檢測和估計理論、信號設(shè)計與估計理論、調(diào)制理論和隨機噪聲理論。信息論與編碼目的：了解學(xué)習(xí)信息論的作用、方法與意義，對信息論的研究方法和成果有廣泛的基本認(rèn)識，學(xué)會應(yīng)用，為進(jìn)一步研究打下基礎(chǔ)。課程概況以信息理論為中心，區(qū)別與“信源編碼”、“信道編碼”以概念和物理意義為主，數(shù)學(xué)推導(dǎo)盡量放到課外結(jié)合通信系統(tǒng)實際應(yīng)用特點：課程內(nèi)容信息論的

2、基本問題—信息的度量無失真信源編碼定理—香農(nóng)第一定理信道編碼定理—香農(nóng)第二定理限失真信源編碼定理—香農(nóng)第三定理信源編碼信道編碼教學(xué)目標(biāo)充分理解、熟練掌握教材的內(nèi)容熟練掌握基本的信息理論概念和定理熟練掌握通信與信息工程中基本研究對象的數(shù)學(xué)描述通過學(xué)習(xí)和習(xí)題練習(xí)，具備一定的解決問題分析問題的能力掌握一定的科學(xué)思想方法(用信息論的思想和觀點)和怎樣描述學(xué)信息論意義信息論基礎(chǔ)是通信和信息領(lǐng)域的專業(yè)基礎(chǔ)課程，只有學(xué)好這門課，才能學(xué)好后繼課程、將來進(jìn)一步從事通信和信息領(lǐng)域的科研和創(chuàng)新。要珍惜這個良好的學(xué)習(xí)機會，認(rèn)真學(xué)習(xí)，逐漸培養(yǎng)科研能力，樹立完善的人

3、格基礎(chǔ)，為將來的進(jìn)一步學(xué)習(xí)和科研奠定堅實的基礎(chǔ)。有關(guān)事項講課:（概念、方法、實際應(yīng)用）自學(xué):（數(shù)學(xué)推導(dǎo)、定理證明）考試：基本概念、基本計算、實際應(yīng)用平時成績：上課情況+作業(yè)成績：考試成績+平時成績+實踐成績參考書1．信息論—基礎(chǔ)理論與應(yīng)用，傅祖蕓編，電子工業(yè)出版社，20012．信息論與編碼，陳運編著，電子工業(yè)出版社，20023.信息理論與編碼，呂鋒等編著，人民郵電出版社，2004第一章緒論1.1信息1.2通信系統(tǒng)1.3信息論的形成和發(fā)展1.1信息信息是指各個事物運動的狀態(tài)及狀態(tài)變化的方式。人們從來自對周圍世界的觀察得到的數(shù)據(jù)中獲得信息。信

4、息是抽象的意識或知識，它是看不見、摸不到的。人腦的思維活動產(chǎn)生的一種想法，當(dāng)它仍儲存在腦子中的時候它就是一種信息。信息不是靜止的，它會產(chǎn)生也會消亡，人們需要獲取它，并完成它的傳輸、交換、處理、檢測、識別、存儲、顯示等功能。研究這方面的科學(xué)就是信息科學(xué)。信息論是信息科學(xué)的主要理論基礎(chǔ)之一。它研究信息的基本理論，主要研究可能性和存在性問題，為具體實現(xiàn)提供理論基礎(chǔ)。信息技術(shù)主要研究如何實現(xiàn)、怎樣實現(xiàn)的問題。概率信息1948年，美國一位數(shù)學(xué)家克勞特·香農(nóng)(C.E．Shannon)發(fā)表了一篇著名的論文《通信的數(shù)學(xué)理論》。差不多與此同時，美國另一位數(shù)

5、學(xué)家諾伯特·維納也發(fā)表了題為《時間序列的內(nèi)插、外推和平滑化》的論文以及題為《控制論》的專著。在這些著作中，他們分別解決了按“通信的消息”來理解的信息(狹義信息)的度量問題，并得到了相同的結(jié)果。香農(nóng)的論文還給出了信息傳輸問題的一系列重要結(jié)果，建立了比較完整而系統(tǒng)的信息理論，這就是香農(nóng)信息論，也叫狹義信息論(簡稱“信息論”)。對通信過程作進(jìn)一步分析就可發(fā)現(xiàn)，人們要進(jìn)行通信，不外有兩種情形：一是自己有某種形式的信息要告訴對方，同時估計對方既會對這種信息感到興趣，而又尚不知道這個信息。也就是說，對方在關(guān)于這個信息的知識上存在著不確定性；另一種情況

6、是，自己有某種疑問要向?qū)Ψ皆儐?，而且估計對方能夠解答自己的疑問。接收者收到某一消息后所獲得的信息，可以用接收者在通信前后“不確定性”的消除量來度量。簡而言之，接收者所得到的信息量，在數(shù)量上等于通信前后“不確定性”的消除量(或減少量)。不確定性是與“多種結(jié)果的可能性”相聯(lián)系的，而在數(shù)學(xué)上，這些“可能性”正是以概率來度量的。概率大，即“可能性”大；概率小，“可能性”小。顯然，“可能性”大，即意味“不確定性”??；“可能性”小，即意味“不確定性”大。由此可見，“不確定性”與概率的大小存在著一定的聯(lián)系，“不確定性”應(yīng)該是概率的某一函數(shù)；那么，“不確

7、定性”的消除量(減少量)，也就是狹義信息量，也一定可由概率的某一函數(shù)表示。狹義信息論：在信息可以度量的基礎(chǔ)上，對如何有效、可靠地傳遞信息進(jìn)行研究。涉及信息度量、信息特性、信息傳輸速率、信道容量、干擾對信息傳輸?shù)挠绊懙确矫娴闹R。又稱為香農(nóng)信息論。廣義信息論：包含通信的全部統(tǒng)計特性問題的研究，除了香農(nóng)信息論之外，還包括信號設(shè)計、噪聲理論、信號的檢測與估值等。本書講述的信息理論的內(nèi)容為狹義信息論信息的基本概念在于它的不確定性。其特征如下：接收者在收到信息之前，對其內(nèi)容是未知的是新知識，新內(nèi)容；信息是能使認(rèn)識主體對某一事物的未知性和不確定性減

8、少的有用知識；信息可以產(chǎn)生，也可以消失，同時它可以被攜帶、被存儲及處理；信息是可以度量的，信息量有多少的差別例：氣象預(yù)報甲乙“甲地晴”比“乙地晴”的不確定性來的小某一事物狀態(tài)出現(xiàn)的概率越小，其