資源描述：
《信息論與編碼_第一章緒論》由會員上傳分享，免費在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫。
1、信息論與編碼InformationTheory andCodingTechniques主講：陳金蘭課程介紹課程類別：學(xué)科方向課開課對象/學(xué)期電子信息工程專業(yè)本科生/第5學(xué)期學(xué)分/學(xué)時：3/54考核：平時成績30％（作業(yè)、考勤）期末考試70％（閉卷）課程介紹教材：曹雪虹、張宗橙編著，《信息論與編碼》（第二版），清華大學(xué)出版社參考書：1.陳運(yùn)、周亮等，《信息論與編碼》，電子工業(yè)出版社2.傅祖蕓，《信息論—基礎(chǔ)理論與應(yīng)用》，電子工業(yè)出版社3.方軍、俞槐栓，《信息論與編碼》，電子工業(yè)出版社4.吳伯修、祝宗泰、錢霖君，《信息論與編碼》，東南大學(xué)出版社5
2、.姜丹，《信息論與編碼》，中國科學(xué)技術(shù)大學(xué)出版社課程性質(zhì)隨著科學(xué)技術(shù)的不斷發(fā)展，信息的概念逐漸深化，其應(yīng)用領(lǐng)域也不斷擴(kuò)展，并與現(xiàn)代通信、計算機(jī)科學(xué)、現(xiàn)代管理、系統(tǒng)工程等學(xué)科緊密結(jié)合，廣泛地應(yīng)用于我們的日常生活中。本課程旨在通過對通信系統(tǒng)中信息理論的介紹，使大家更深入地了解信息的概念和本質(zhì)，并掌握一些基本的信息理論知識和常用的編解碼的方法。目錄第1章緒論第2章信源及信息熵第3章信道與信道容量第4章信息率失真函數(shù)第5章信源編碼第6章信道編碼第7章*加密編碼課程基本內(nèi)容一.信息論信息論的發(fā)展以及通信系統(tǒng)的模型離散信源熵，互信息以及冗余度二.信源編碼
3、定長編碼，變長編碼以及最佳編碼離散信源的信息率失真函數(shù)R(D)限失真信源編碼定理以及常用信源編碼方法三.信道編碼信道模型和容量線性分組碼卷積碼課程內(nèi)容本課程包括信息論基礎(chǔ)和編碼兩大部分。首先立足于概率論和隨機(jī)過程的知識，通過各種隨機(jī)變量的概率空間，給出了信息的統(tǒng)計模型，介紹了信息的統(tǒng)計度量。以香農(nóng)信息論為基礎(chǔ)，香農(nóng)三大定理及香農(nóng)公式為重點，從“單符號離散系統(tǒng)—多符號離散系統(tǒng)”介紹了離散信源和信道的信息理論，然后，推廣到連續(xù)系統(tǒng)。重點講授信息的概念，信息的度量和計算等一些基本問題。還學(xué)習(xí)幾種常用的信源編碼方法和糾錯編碼方法。課程位置基礎(chǔ)課程概率
4、論數(shù)理統(tǒng)計后續(xù)課程：通信原理數(shù)字通信數(shù)字圖像處理課程目標(biāo)掌握基本的信息論概念，而且要求能夠和日常生活和學(xué)習(xí)結(jié)合起來，做到活學(xué)活用。掌握信息論基本理論和理想通信系統(tǒng)基本理論，能夠熟練解題，掌握建立數(shù)學(xué)模型和分析數(shù)學(xué)模型的方法，掌握信源編碼的原理和方法，要求能夠基本上實現(xiàn)應(yīng)用。掌握信道編碼的基本方法，并能夠從信息論的角度加以理解。學(xué)習(xí)方法本課程只有理論介紹，顯得枯燥、繁雜，不易理解，且“概率與數(shù)理統(tǒng)計”知識要求較高，學(xué)起來有一定難度。但只要理順課程思路，盡快進(jìn)入角色，并加以舉一反三的理解，相信大家能學(xué)好該課程，切忌望而生畏。為便于理解與掌握，適當(dāng)
5、的練習(xí)必不可少，對布置的作業(yè)最好按時獨立地完成。第一章緒論本章節(jié)教學(xué)內(nèi)容、基本要求、重點與難點1.教學(xué)內(nèi)容：信息的一般概念。信息的分類。信息論的起源、發(fā)展及研究內(nèi)容。通信系統(tǒng)的模型2.教學(xué)基本要求：了解信息的概念、度量。了解學(xué)習(xí)信息論的重要性、意義。掌握通信系統(tǒng)中信息傳輸?shù)哪Ｐ汀?.重點與難點：信息度量的概念。通信系統(tǒng)中的信息傳輸模型。相結(jié)合逐步發(fā)展而形成的一門新興科學(xué)本章內(nèi)容：信息的概念數(shù)字通信系統(tǒng)模型信息論與編碼理論研究的主要內(nèi)容及意義奠基人：美國數(shù)學(xué)家香農(nóng)（C.E.Shannon）1948年“通信的數(shù)學(xué)理論”信息論通信技術(shù)概率論隨機(jī)過程
6、數(shù)理統(tǒng)計1.1信息論發(fā)展簡史我國古代“烽火告警”是一種最早的快速、遠(yuǎn)距離傳遞信息的方式；造紙術(shù)和印刷術(shù)的發(fā)明，使信息的表示和存儲方式產(chǎn)生了一次重大的變化；電報、電話、電視的發(fā)明，再次引導(dǎo)了信息加工和傳輸?shù)母锩?；貝爾麥克斯韋20世紀(jì)后半葉，計算機(jī)技術(shù)、微電子技術(shù)、傳感技術(shù)、激光技術(shù)、衛(wèi)星通信技術(shù)、移動通信技術(shù)、航空航天技術(shù)、廣播電視技術(shù)、多媒體技術(shù)、網(wǎng)絡(luò)技術(shù)、新能源和新材料等新技術(shù)的應(yīng)用，將人類社會推入到高度信息化的時代。信息是否重要？一位美國科學(xué)家在詩中這樣描述：沒有物質(zhì)的世界是虛無的世界，沒有能源的世界是死寂的世界，沒有信息的世界是混亂的世
7、界?？梢娦畔⒌闹匾浴Ｐ畔⒄撗芯康膶ο蠛湍康难芯繉ο螅盒畔⒄撌且婚T應(yīng)用概率論、隨機(jī)過程、數(shù)理統(tǒng)計和代數(shù)的方法，來研究廣義的信息傳輸、提取和處理系統(tǒng)中一般規(guī)律的工程學(xué)科。研究目的：提高信息系統(tǒng)的可靠性、有效性和安全性以便達(dá)到系統(tǒng)最優(yōu)化。1.1信息的概念信息是信息論中最基本、最重要的概念，既抽象又復(fù)雜信息在日常生活中被認(rèn)為是“消息”、“知識”、“情報”等“信息”不同于消息（在現(xiàn)代信息論形成之前，信息一直被看作是通信中消息的同義詞，沒有嚴(yán)格的數(shù)學(xué)含義），消息是表現(xiàn)形式，信息是實質(zhì)；“信息”不同于情報，情報的含義比“信息”窄的多，一般只限于特殊的領(lǐng)域
8、，是一類特殊的信息；信息不同于信號，信號是承載消息的物理量；信息不同于知識，知識是人們根據(jù)某種目的,從自然界收集得來的數(shù)據(jù)中整理、概括、提取得到的有價值的信息，是一
