信息論與編碼第一章緒論

《信息論與編碼第一章緒論》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫。

1、信息論與編碼主講：許鴻奎副教授/博士山東建筑大學(xué)信息與電氣工程學(xué)院電話：13808938626Email:xhkui2009@163.com2012年2月教材及參考書教材：曹雪虹、張宗橙，《信息論與編碼》，清華大學(xué)出版社參考書：1.傅祖蕓，《信息論—基礎(chǔ)理論與應(yīng)用》，電子工業(yè)出版社2.方軍、俞槐栓，《信息論與編碼》，電子工業(yè)出版社3.吳伯修、祝宗泰、錢霖君，《信息論與編碼》，東南大學(xué)出版社4.姜丹，《信息論與編碼》，中國科學(xué)技術(shù)大學(xué)出版社。。。。。。前修課程1、《概率論與數(shù)理統(tǒng)計(jì)》，概率的計(jì)算2、《線性代數(shù)》，矩陣及其運(yùn)算，線性空間的概念后續(xù)課程1、語音信號(hào)處理2、數(shù)字圖像處理通信

2、工程和電子信息工程專業(yè)的專業(yè)基礎(chǔ)課考核方法：1、平時(shí)成績：20%（包括考勤、作業(yè)、測驗(yàn)）2、期末考試：80%第一章緒論主要內(nèi)容：信息論的形成和發(fā)展通信系統(tǒng)的模型信息論是關(guān)于信息的本質(zhì)和傳輸規(guī)律的科學(xué)理論，是研究信息的度量、發(fā)送、傳遞、交換、接收和儲(chǔ)存的一門新興學(xué)科。它為各種具體的信息技術(shù)提供理論依據(jù)，而信息技術(shù)則以此為根據(jù)去研究如何實(shí)現(xiàn)、怎樣實(shí)現(xiàn)的問題。信息論的定義：舉例說明：電話通信中的PCM編碼是一種具體的信息技術(shù)。語音信號(hào)以8KHz的速率抽樣后，進(jìn)行對(duì)數(shù)量化，然后進(jìn)行8位二進(jìn)制編碼，變換成數(shù)字信號(hào)。這個(gè)過程叫做PCM(脈沖編碼調(diào)制)。其理論基礎(chǔ)就是信息論。又如：圖像壓縮哪些圖

3、像文件格式？它們的大小？哪些壓縮工具？為什么能壓縮？如何壓縮？理論依據(jù)為信息論信息的定義，不下百種，其中30多種比較典型、有代表性。它們從不同的角度對(duì)信息進(jìn)行定義?？梢詺w納如下：1、用人們熟知的與信息有某種聯(lián)系的概念來定義信息如：信息是消息；信息是數(shù)據(jù)。這種定義比較表面化，未反映信息的本質(zhì)。消息可能含有信息，也可能不含任何信息，消息不是信息本身。（舉例）一、信息的基本概念數(shù)據(jù)也是記錄信息的一種形式，如：工資報(bào)表。但數(shù)據(jù)并不是信息的唯一形式，信息還可以表現(xiàn)為文字、圖像等。2、用某些學(xué)科的專門術(shù)語和名詞來定義信息如：信息是信號(hào)；信息是一種場。。。3、從控制論的角度來定義信息信息是控制的

4、指令，是與控制系統(tǒng)相聯(lián)系的一種功能現(xiàn)象。4、從隨機(jī)不確定性的角度來定義信息信息是指各個(gè)事物運(yùn)動(dòng)的狀態(tài)及狀態(tài)變化的形式。信息是事物運(yùn)動(dòng)狀態(tài)或存在方式的不確定性的描述。（香農(nóng)---信息論的奠基人）（舉例：天氣預(yù)報(bào)）5、從廣義或哲學(xué)的角度來定義信息信息是事物之間的差異；信息就是信息，既不是物質(zhì)，也不是能量。（維納-----控制論的奠基人）第一次將信息上升到“最基本概念”。20世紀(jì)20年代奈奎斯特（Nyquist，H.瑞典—美國）和哈特萊（Hartley，L．V．R．美國）最早提出了信息的定義1924年奈奎斯特解釋了信號(hào)帶寬和信息速率之間的關(guān)系1928哈特萊最早研究了通信系統(tǒng)傳輸信息的能力

5、，給出了信息度量方法1936年阿姆斯特朗（Armstrong）提出了增大帶寬可以使抗干擾能力加強(qiáng)1941～1944年香農(nóng)用概率論的方法研究通信系統(tǒng)（通信中的數(shù)學(xué)理論），揭示了通信系統(tǒng)傳遞的對(duì)象就是信息，并對(duì)信息給以科學(xué)的定量描述，提出了信息熵的概念。指出通信系統(tǒng)的中心問題是在噪聲下如何有效而可靠地傳送信息以及實(shí)現(xiàn)這一目標(biāo)的主要方法是編碼等。香農(nóng)因此成為信息論的奠基人。二、、信息論的形成與發(fā)展50年代信息論在學(xué)術(shù)界引起了巨大的反響60年代信道編碼技術(shù)有較大進(jìn)展，使它成為信息論的又一重要分支；信源編碼的研究落后于信道編碼。香農(nóng)1959年的文章(Codingtheoremsforadis

6、cretesourcewithafidelitycriterion)系統(tǒng)地提出了信息率失真理論，它是數(shù)據(jù)壓縮的數(shù)學(xué)基礎(chǔ)，為各種信源編碼的研究奠定了基礎(chǔ)到70年代，有關(guān)信息論的研究，從點(diǎn)與點(diǎn)間的單用戶通信推廣到多用戶系統(tǒng)的研究。1972年蓋弗（Caer）發(fā)表了有關(guān)廣播信道的研究，以后陸續(xù)有關(guān)于多接入信道和廣播信道模型的研究，但由于這些問題比較難，到目前為止，多用戶信息論研究得不多，還有許多尚待解決的課題。理論上還有突破嗎？內(nèi)奎斯特（香農(nóng)）抽樣定理信息是指各個(gè)事物運(yùn)動(dòng)的狀態(tài)及狀態(tài)變化的方式。人們從來自對(duì)周圍世界的觀察得到的數(shù)據(jù)中獲得信息。信息是抽象的意識(shí)或知識(shí)。消息是指包含有信息的語言

7、、文字和圖像等，例如我們每天從廣播節(jié)目、報(bào)紙和電視節(jié)目中獲得各種新聞及其它消息。消息是具體的，它承載信息，但它不是物理性的。在通信中，消息是表示信息的符號(hào)或符號(hào)序列。信號(hào)是消息的物理體現(xiàn)，是信息的載體。為了在信道上傳輸消息，就必須把消息加載（調(diào)制）到具有某種物理特征的信號(hào)上去。信號(hào)是物理性的，如電信號(hào)、光信號(hào)等。三、信息、消息和信號(hào)之間的關(guān)系信息論主要應(yīng)用方向之一是通信領(lǐng)域。信源信源編碼u加密密鑰信道編碼信道干擾源竊聽者信道解碼解密解密密鑰信宿信源解碼加密xyzZ’y