資源描述：
《大學(xué)物理-熱學(xué).ppt》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在行業(yè)資料-天天文庫(kù)。
1、*熵與信息簡(jiǎn)介1*熵與信息簡(jiǎn)介一.信息、信息價(jià)值評(píng)估1.信息早年：信息—消息現(xiàn)代：信息—?五官所感受的一切2.信息價(jià)值評(píng)估?質(zhì)的差別?人類(lèi)所有的文化知識(shí)?量的不同例如，有名的短詩(shī)與無(wú)味的小說(shuō)的比較。2對(duì)信息價(jià)值在質(zhì)的方面的評(píng)估有困難：?超出自然科學(xué)的范圍?尚無(wú)為大家接受的客觀準(zhǔn)則目前采用電報(bào)局的辦法：只計(jì)字?jǐn)?shù)不問(wèn)內(nèi)容當(dāng)代“信息論”的出發(fā)點(diǎn)：只在信息量的問(wèn)題上下功夫3二.信息量與信息熵1.信息量信息需要載體（語(yǔ)言文字、音符、圖表…），比較不同載體傳遞的信息量很困難。1948年信息論的創(chuàng)始人香農(nóng)（Shannon）從概率的角度給出信息的定義：（1）信息的獲得意味著在各種可能性中概率分布的集中4?若只
2、知某人住某樓（50間房），則在每間房找到他的概率為多少??若又知某人住三樓（10間房），?若又知某人住301室，則在301找到他的概在三樓的每間房找到他的概率為多少?在其它樓層找到他的概率為多少?則率為多少?在其它房找到他的概率為多少?例如，在不同信息下，要去某樓找某人：5缺乏信息（情況不明）獲得了信息（情況進(jìn)一步明了）——概率分布分散——概率分布集中（2）信息量的度量1比特（bit）?！昂诤桶住?、“有和無(wú)”、“二進(jìn)制的0和1”中作出判斷。在沒(méi)有信息的情況下，?規(guī)定從兩種可能性中作出判斷所需信息量為例如要在“是和否”、的概率均為1/2，以上每種可能性出現(xiàn)要作出判斷需1bit信息量。6?從4種可
3、能性中作出判斷所需信息量為2bit。例如甲持一張撲克牌讓乙猜是什么花色的?對(duì)乙的提問(wèn)甲只能回答“是”和“否”，“是黑桃嗎？”正確問(wèn)法：“是桃嗎？”所以，從4種可能性中作出判斷所需要的“是黑的嗎？”信息量為2bit。（為何不能這樣問(wèn)？）提問(wèn)次數(shù)最少而能猜中的問(wèn)法應(yīng)該如何？錯(cuò)誤問(wèn)法：那么乙7?從8種可能性中作出判斷所需信息量為3bit。?從16種可能性中作出判斷所需信息量為4bit。?從N種可能性中作出判斷所需信息量為：K=1/ln2=1.4427或作出判斷所需bit數(shù)越大，所缺信息量越多。8例題1.13個(gè)外觀相同的金幣，其中一個(gè)是假的，其余均相同，用一臺(tái)無(wú)砝碼天平，稱(chēng)幾次可辯偽?可能情況26最大
4、信息熵每稱(chēng)一次可能情況3每稱(chēng)一次最大信息熵需稱(chēng)次數(shù)解：9例題2.遺傳密碼問(wèn)題可能情況（氨基酸數(shù)）20字符數(shù)（堿基數(shù)）4核酸：遺傳信息的攜帶者和傳遞者用4種堿基編碼20種氨基酸，每個(gè)密碼的最少字符數(shù)？用4個(gè)字符排列的遺傳語(yǔ)言脫氧核糖核酸DNA核糖核酸RNA102.信息熵（概率都相等），這時(shí)作出完全的判斷所需要的比特?cái)?shù)為：香農(nóng)稱(chēng)此S為信息熵，它意味著信息量的缺損。（1）在對(duì)N種可能性完全無(wú)知的情況下，只能假定每種可能性出現(xiàn)的概率P都為1/N即P=1/N，記作11（2）各可能性概率不等情況信息熵定義為：>0若Pi=1/N，則過(guò)渡到各可能性等概率的情況。?“明天有雨”，這給了1bit的信息?“明天有8
5、0％概率下雨”，P1=0.8（有雨）；P2=0.2（無(wú)雨）信息熵例如天氣預(yù)報(bào)：i=1,2：有兩種可能，12這比全部確定所需信息（1bit）少0.722bit。該天氣預(yù)報(bào)所含信息量：I=1?S=0.278bit?“明天有90％概率下雨”，可算出：S=0.469，I=1?S=0.531bit所以信息熵S的減少意味著信息量I的增加。在一個(gè)過(guò)程中，信息量的增量?I=??S∴信息可轉(zhuǎn)化為負(fù)熵——信息的負(fù)熵原理133.信息熵公式和玻爾茲曼熵公式信息熵（K=1/ln2=1.4427）或信息熵單位：bit玻氏熵（k=1.38?10-23J/K）玻氏熵單位：J/K兩者相比：?1bit=kln2（J/K）K=k1
6、4“1bit=kln2（J/K）”的物理意義：的熵必定減少kln2=0.957?10-23（J/K），這至少要消耗kTln2=0.693kT（J）的能量。例如T=300K，則信息量存儲(chǔ)增加1bit，參考書(shū)：《新概念物理教程》熱學(xué)趙凱華，羅蔚茵要使計(jì)算機(jī)里信息量存儲(chǔ)增加1bit，則它要消耗能量為2.87?10-21J?！辍?5
