資源描述：
《轉(zhuǎn)載最大熵產(chǎn)生原理系列論》由會(huì)員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在應(yīng)用文檔-天天文庫(kù)。
1、轉(zhuǎn)載最大熵產(chǎn)生原理系列論文原文地址：最大熵產(chǎn)生原理系列論文作者：我有一個(gè)夢(mèng)E.T.Jaynes的《Informationtheoryandstatisticalphysics》+《BrandeisLectures(1963)》1、兩句廢話很多人看到統(tǒng)計(jì)物理四個(gè)字就頭疼，原因是，里面有太多難以理解的概念，以及艱深的數(shù)學(xué)。其實(shí)，這并不完全是讀者的錯(cuò)誤，發(fā)明這些概念的科學(xué)家也有很大的責(zé)任。盡管很多偉大的科學(xué)家都曾在這個(gè)領(lǐng)域做出過貢獻(xiàn)，比如麥克斯韋、普朗克、愛因斯坦，但是統(tǒng)計(jì)物理中的最基本的概念，比如熵卻一直沒有搞
2、清楚。這個(gè)學(xué)科一直處于非常尷尬的境地，一方面，該學(xué)科確實(shí)解決了很多應(yīng)用的問題；另一方面，統(tǒng)計(jì)物理的核心概念：熵，卻一直沒有真正地被人們理解。直到20世紀(jì)50年代，Jaynes提出了一整套全新的解釋熵的思路，才使得人們可以重新認(rèn)識(shí)熵，包括整個(gè)統(tǒng)計(jì)物理。而且最關(guān)鍵的是，Jaynes的這套方法是目前所有統(tǒng)計(jì)物理各個(gè)學(xué)派中最簡(jiǎn)潔的一個(gè)！《Informationtheoryandstatisticalphysics》發(fā)表于1950's年，到如今卻仍然有著重要的意義?？傮w來看，該文提供了一整套數(shù)學(xué)結(jié)構(gòu)，雖然該數(shù)學(xué)結(jié)構(gòu)最
3、早起源于平衡態(tài)統(tǒng)計(jì)物理，即它有著明確的物理研究對(duì)象。但是，經(jīng)過Jaynes的加工和處理，這套數(shù)學(xué)結(jié)構(gòu)一下子可以"騰空而起"了，即它不僅僅可以描述氣體、分子、自旋玻璃，它可以研究一類完全不同的，跟熱現(xiàn)象可以類比的系統(tǒng)。比如，我們常說股市最近持續(xù)"升溫"、經(jīng)濟(jì)發(fā)展過熱，這里面的溫度和熱究竟是什么意思?Jaynes的框架就能給你一定的回答，在滿足一些數(shù)學(xué)條件下，熱、溫度、熵等等是一種必然的概念。2、簡(jiǎn)單算例例子1讓我們先來看一個(gè)小例子：有一枚篩子，每個(gè)面都有一個(gè)數(shù)字：1~6。很顯然，你會(huì)傾向于認(rèn)為這6個(gè)面出現(xiàn)的概
4、率是相等的，也就是，你傾向認(rèn)為：P(x1)=P(x2)=…=P(x6)=1/6其中，P(xi)表示出現(xiàn)數(shù)字xi的概率。假如，我告訴你，這枚篩子與其它篩子不同，似乎，他很容易滾到4或者5這個(gè)面上，所以這個(gè)篩子滾了好多次以后，它出現(xiàn)的平均值是4.5。這個(gè)時(shí)候，你會(huì)怎樣分配P(x1)~P(x6)的概率呢?顯然，為了實(shí)現(xiàn)4.5這個(gè)平均值，你給篩子每個(gè)面分配的概率應(yīng)該滿足：如果把p(xi)看作是未知數(shù)的話，那么它存在著無窮的解。你甚至可以讓p(x4)=p(x5)=0.5，其它都是0。但是這樣的分配并不保險(xiǎn)，因?yàn)槟愕玫?/p>
5、的平均值是4.5這條信息，并不能讓你肯定拒絕篩子也有可能出現(xiàn)1或者6。你還是傾向于，篩子每個(gè)面出現(xiàn)的概率盡量是平均的。如何刻畫這種概率分布的平均度呢?這就引出了熵的定義。我們可以定義熵為：我們粗淺的可以把S理解為刻畫分布p(x1),p(x2)…均勻程度的量。當(dāng)分布越均勻，S的值也就越大。這樣，在第一種情況下，p(x1)=p(x2)=…=p(x6)=1/6可以得到最大的S：ln(6)。在第二種情況下，我們也應(yīng)該讓S最大才是我們心目中認(rèn)為的最可能的分布，但是顯然S不能任意大，它必須滿足測(cè)量平均值是4.5這個(gè)前提
6、，所以我們實(shí)際上得到了一個(gè)求最大值的數(shù)學(xué)題：在滿足平均值為4.5的前提下，盡量調(diào)整P(xi)的數(shù)值，使得S能最大化。寫成數(shù)學(xué)問題就是：s.t.(1)(2)這里面有兩個(gè)約束，第二個(gè)約束就是保證平均值為4.5。第一個(gè)約束前面沒有提，它也是很顯而易見的，就是要保證概率的歸一化條件。也就是我們分配給每個(gè)面的概率加起來應(yīng)該是1。這個(gè)優(yōu)化問題不能一下求解，因?yàn)槟阋獜膬蓚€(gè)約束中解出p(xi)來很困難。一個(gè)比較好的辦法是利用拉格朗日(Langrange)乘子法。這套方法，說白了很簡(jiǎn)單，我可以先把條件(1)、(2)分別變?yōu)椋?/p>
7、然后，把它加到目標(biāo)函數(shù)中，這樣目標(biāo)函數(shù)就變?yōu)椋哼@樣，我就可以在不考慮約束的情況下，通過調(diào)節(jié)p(xi)和αβ就能直接最大化Y了，同時(shí)滿足(1)和(2)的約束。首先最大化Y顯然能夠最大化S。同時(shí)，為了讓函數(shù)Y最大，就需要：對(duì)Y求α的導(dǎo)，它就是約束(1)。同樣Y對(duì)β求導(dǎo)=0就能得到約束(2)。所以最大化Y這個(gè)函數(shù)就等價(jià)于滿足條件(1)、(2)的情況下最大化S。下面，我們就來求出具體的p(xi)來，這樣我們求解下面的方程組：也就是說這里有6個(gè)方程，再加上(1)和(2)，一共就有8個(gè)方程，未知數(shù)的個(gè)數(shù)剛好也是8個(gè)，這
8、就能完全解出來(注意到S這個(gè)函數(shù)是總是正數(shù)(當(dāng)沒有p=0),且當(dāng)p-0的時(shí)候，S可以任意接近0，所以上式所求必然是最大值)。通過Mathematica，得到：{p[1]0.0543532,p[2]0.0787715,p[3]0.11416,p[4]0.165447,p[5]0.239774,p[6]0.347494,a-2.2833,b0.371049}我們可以把p(x1),p(x2),…,p(x6)畫在圖上：我
