信息論與編碼-實(shí)驗(yàn)報告

《信息論與編碼-實(shí)驗(yàn)報告》由會員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在行業(yè)資料-天天文庫。

1、信息論與編碼實(shí)驗(yàn)報告題目：關(guān)于信源熵的實(shí)驗(yàn)學(xué)院：信息科學(xué)與工程學(xué)院專業(yè)班級：電子信息工程1002班指導(dǎo)老師：趙穎學(xué)號：0909101123姓名：楊家駿2012年12月一、實(shí)驗(yàn)?zāi)康?.掌握離散信源熵的原理和計算方法。2.熟悉?matlab?軟件的基本操作，練習(xí)使用?matlab?求解信源的信息熵。3.自學(xué)圖像熵的相關(guān)概念，并應(yīng)用所學(xué)知識，使用?matlab?或其他開發(fā)工具求解圖像熵。4.掌握?Excel?的繪圖功能，使用?Excel?繪制散點(diǎn)圖、直方圖。二、實(shí)驗(yàn)原理1.離散信源相關(guān)的基本概念、原理和計算公式產(chǎn)生離散信息的信源稱為離散信源。離散信源只能產(chǎn)生有限種符號。隨機(jī)事件

2、的自信息量?I（xi）為其對應(yīng)的隨機(jī)變量?xi?出現(xiàn)概率對數(shù)的負(fù)值。即：I（xi）=?-log2?p(xi)隨機(jī)事件?X?的平均不確定度（信源熵）H（X）為離散隨機(jī)變量?xi?出現(xiàn)概率的數(shù)學(xué)期望，即：2.二元信源的信息熵設(shè)信源符號集?X={0，1}，每個符號發(fā)生的概率分別為?p(0)=p，p(1)=q，p+?q=1，即信源的概率空間為ú則該二元信源的信源熵為：H(X)?=??-??p?log?p?–?q?log?q?=?-??p?log?p?–?(1-?p)?log?(1-??p)即：H?(p)?=?-??p?log?p?–?(1-?p)?log?(1-??p)其中?0?

3、??≤??p???≤13.MATLAB?二維繪圖用?matlab?中的命令?plot(x,?y)就可以自動繪制出二維圖來。例?1-2，在?matlab?上繪制余弦曲線圖，y?=?cos?x，其中?0???≤??x???≤?2p。>>x=0:0.1:2*pi；??%生成橫坐標(biāo)向量，使其為?0，0.1，0.2，…，6.2>>y=cos(x)；%計算余弦向量>>plot(x,y)%繪制圖形4.MATLAB?求解離散信源熵求解信息熵過程：1)??輸入一個離散信源，并檢查該信源是否是完備集。2)??去除信源中符號分布概率為零的元素。3)??根據(jù)平均信息量公式，求出離散信源的熵。5.

4、圖像熵的相關(guān)知識圖像熵是一種特征的統(tǒng)計形式，它反映了圖像中平均信息量的多少。圖像的一維熵表示圖像中灰度分布的聚集特征所包含的信息量，令?Pi??表示圖像中灰度值為?i?的像素所占的比例，則定義灰度圖像的一元灰度熵為：圖像熵計算過程：1)??輸入一幅圖像，并將其轉(zhuǎn)換成灰度圖像。2)??統(tǒng)計出圖像中每個灰度階象素概率。3)??計算出一幅圖像的一維熵。6.Excel?的繪圖功能比如：用?Excel?或制作二元熵函數(shù)曲線。具體步驟如下：1）啟動?Excel?應(yīng)用程序。2）準(zhǔn)備一組數(shù)據(jù)?p。在?Excel?的一個工作表的?A?列（或其它列）輸入一組?p，取步長為?0.01，從?0?

5、至?100?產(chǎn)生?101?個?p（利用?Excel?填充功能）。3）使用?Excel?的計算功能，在?B?列中用二元熵函數(shù)計算公式，求得?A?列中各數(shù)值對應(yīng)的二元熵值。比如：在單元格?B2?中輸入公式：=-A2*LOG(A2,2)-(1-A2)*LOG(1-A2,2)。4）使用?Excel?的圖表向?qū)?，圖表類型選“XY?散點(diǎn)圖”，子圖表類型選“無數(shù)據(jù)點(diǎn)平滑散點(diǎn)圖”，繪制二元熵函數(shù)散點(diǎn)圖。三、實(shí)驗(yàn)內(nèi)容1.使用?matlab?軟件繪制二元信源熵函數(shù)曲線，并說明其物理意義。實(shí)驗(yàn)結(jié)果：物理意義：信源熵為信源的平均不確定性，而概率的大小決定了信息量的大小。由圖上可知概率為1時，信息

6、量最小，不確定性最低；概率等于0.5時熵最大。源代碼：p=0.00001:0.001:0.99999;h=-p.*log2(p)-(1-p).*log2(1-p);plot(p,h);title('二進(jìn)制熵函數(shù)曲線');ylabel('H(p,1-p)')2.源代碼：p1=[1/3,1/5,1/5,4/15];%代表甲信源對應(yīng)的概率p2=[7/8,1/8];%代表乙信源對應(yīng)的概率H1=0.0;H2=0.0;I=[];J=[];fori=1:4H1=H1+p1(i)*log2(1/p1(i));I(i)=log2(1/p1(i));enddisp('自信息量分別為：');I

7、disp('H1信源熵為：');H1forj=1:2H2=H2+p2(j)*log2(1/p2(j));J(j)=log2(1/p2(j));enddisp('自信息量分別為：');Jdisp('H2信源熵為：');H23：源代碼：clearall;closeall;fid=fopen('lena.img','r');A=fread(fid,[256,256],'uint8');fclose(fid);subplot(1,2,1);imshow(A,[]);[M,N]=size(A);A_size=M*N;L=256;H1=0