資源描述：
《信息論 連續(xù)信源和波形信道new》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫(kù)。
1、回顧信源的分類(lèi)離散信源：輸出消息數(shù)為有限或可數(shù)的，每次只輸出一個(gè)消息隨機(jī)變量X分層（量化）描述信源連續(xù)信源：輸出消息數(shù)不可數(shù)，每次只輸出一個(gè)消息輸出的消息第八章連續(xù)信源和波形信道非平穩(wěn)信源：描述信源輸出消息的隨機(jī)序列是非平穩(wěn)隨機(jī)序列——馬爾可夫信源（記憶長(zhǎng)度有限）隨機(jī)序列X平穩(wěn)信源：描述信源輸出消息的隨機(jī)序列X是平穩(wěn)的隨機(jī)序列取離散無(wú)記憶信源的N離散平穩(wěn)信源：輸出隨機(jī)樣次擴(kuò)展：X中各隨機(jī)序列X中每個(gè)隨機(jī)變量Xi定變量統(tǒng)計(jì)獨(dú)立，且取取值離散，且各維概率分理自同一概率空間2009-12-22布不隨時(shí)間而改變。有限記憶信源：X中隨機(jī)過(guò)程{x(t)}:連續(xù)平穩(wěn)信源：輸出隨
2、機(jī)各隨機(jī)變量之間有依隨機(jī)波形信源，序列X中每個(gè)隨機(jī)變量Xi賴(lài)關(guān)系，但記憶長(zhǎng)度信源輸出消息是取值連續(xù)，且各維概率密有限時(shí)間和取值都連度函數(shù)不隨時(shí)間而改變。2續(xù)的函數(shù)回顧信道的分類(lèi)主要內(nèi)容?按輸入/輸出信號(hào)的幅度和時(shí)間特性劃分：數(shù)學(xué)模型數(shù)學(xué)模型幅度時(shí)間信道分類(lèi)名稱(chēng)熵的求解熵的求解?連續(xù)信源和波形信源微分熵微分熵//差熵差熵離散離散離散信道（數(shù)字信道），對(duì)討論糾錯(cuò)編碼時(shí)有用最大差熵定理最大差熵定理連續(xù)離散連續(xù)信道?連續(xù)信道和波形信道連續(xù)連續(xù)模擬信道（波形信道），是實(shí)際信道，有重要意義！離散連續(xù)（理論和實(shí)用價(jià)值均很?。?41.1數(shù)學(xué)模型1.1連續(xù)信源的概率密度函數(shù)￠連續(xù)信
3、源的數(shù)學(xué)模型ppx=()Δii??()ab,?R(,)?∞+∞?XX::??????px()?px()?b+∞∫p(x)dx=1pxdx()=1a∫?∞?連續(xù)隨機(jī)變量X的取值分割成n個(gè)等寬區(qū)間，Δ=(b-a)/n。則a+iΔP(a+(i?1)Δ≤X≤a+iΔ)=p(x)dx=p(x)Δ∫ia+(i?1)Δ?其中xi是a+(i-1)Δ到a+iΔ之間的某一值。當(dāng)p(x)是X的連續(xù)函數(shù)時(shí)，由中值定理可知，必存在一個(gè)xi值使上式成立。5611.2連續(xù)信源的信息熵1.2連續(xù)信源的信息熵–微分熵/差熵ΔΔ→0￠信息熵：X??→?XX??→nnnnHX()=lim{?Δ?Δ∑∑
4、px()log()iiipxpx()log}ΔΔ→0H(X)=?∑plogpii==11niinni=1bn∑p(xi)Δ=∑pi=∫p(x)dx=1=?∑p(x)Δlog[p(x)Δ]i=1i=1aiii=1nnb=?∑∑px()log()iiiΔpx?px()logΔΔ=?∫ap(x)logp(x)dx?limlogΔΔ→0ii==11Δ→0,nX→∞,則→Xn微分熵：h(X)無(wú)限大常數(shù)項(xiàng)HX()lim()=HXn又稱(chēng)為差熵Δ→0nn=?lim{∑∑px()log()iiiΔpx?px()log}ΔΔΔ→0ii==11781.2差熵–兩個(gè)連續(xù)隨機(jī)變量的熵1.2
5、差熵–波形信源的差熵￠兩個(gè)連續(xù)隨機(jī)變量的聯(lián)合熵：?平穩(wěn)隨機(jī)過(guò)程可通過(guò)時(shí)間取樣分解為取值連續(xù)的無(wú)窮平穩(wěn)隨機(jī)序列→X=XXKXhXY()=?∫∫pxy()log()pxydxdy12N→→→→2條件熵：Rh(X)=h(X1X2KXN)=?∫p(X)logXdXRhYX(
6、)=?∫∫pxy()log(
7、)pyxdxdy?平穩(wěn)隨機(jī)過(guò)程{x(t)}的差熵為：Δ→h(x(t))=limh(X)2RN→∞hXY(
8、)=?∫∫pxy()log(
9、)pxydxdy?對(duì)于限時(shí)T，限頻F的隨機(jī)過(guò)程，可用N=2FT的有限2R相互關(guān)系：維隨機(jī)矢量表示→hXY()(
10、)()(
11、)()=+hY
12、XhX=+hXYhYh(X)=h(X1X2KXN)hYX(
13、)()≤hY=h(X1)+h(X2
14、X1)+h(X3
15、X1X2)+...+h(XN
16、X1X2...XN?1)hXY(
17、)()≤hX9101.2連續(xù)信源的微分熵/差熵–例題1.2連續(xù)信源的微分熵/差熵–例題例8.1求均勻分布的隨機(jī)變量的微分熵：例8.2求高斯分布的連續(xù)信源的微分熵：21()xm???xab∈[,]1?2px()=e2σX:(,)?∞∞px()=?ba?2?2πσ?0elsewise2(x?m)?解：bb11p(x)=1e2σ2hX()=?∫px()log()pxdx=?∫logdx2πσ2a
18、ab?ab?a∞=log(b?a)m是X的均值m=E[X]=∫?∞xp(x)dx∞ba?=1()0hX=2222σ是X的方差σ=E[(X?m)]=∫(x?m)p(x)dx?∞ba?<1()0hX<微分熵?zé)o非負(fù)性，可為負(fù)值2∞2m=0時(shí)，σ是隨機(jī)變量的平均功率P=∫xp(x)dx?∞ba?>1()0hX>11則：隨機(jī)變量X代表的信源稱(chēng)為高斯分布的連續(xù)信源。1221.2連續(xù)信源的微分熵/差熵–例題1.2高斯分布隨機(jī)變量的微分熵分析2()xm?1?2解：px()=?e2σX:(,)∞∞22πσ￠高斯分布的微分熵與方差有關(guān)，與均值無(wú)關(guān)hX()=?∫p()logxp()xd
19、x()xm
