生命之流
《生命之流》系張江老師2008年至2009年，利用閑暇時間所構(gòu)思的一本科普集。主要內(nèi)容包括：從復(fù)雜到生命、自主生命體簡史、重新發(fā)現(xiàn)時間、從永動機到人工智能、連接上帝的紐帶——熵等章節(jié)?，F(xiàn)將已公開部分刊出，希望能夠和大家共同學(xué)習(xí)。
究竟熱力學(xué)第二定律是怎么來的？要知道，在微觀物理理論中并不存在我們熟悉的那個時間之箭。當(dāng)然，我們完全可以既接受牛頓物理對世界的描述，同時又接受熱力學(xué)這樣一套完全平行、不相關(guān)的描述。但是這樣的分離狀況不能讓我們滿意，上帝不太可能費事兒地設(shè)計兩套不相干的物理規(guī)律，這兩者之間必然存在著某種聯(lián)系?？藙谛匏沟撵馗拍钜呀?jīng)把這個問題用簡單清晰的數(shù)學(xué)公式表達出了，但是這還遠遠不夠，因為我們?nèi)匀徊恢浪奈锢砗x。
正在這時，一個世紀(jì)偉人：玻爾茲曼（Ludwig Boltzmann，1844～1906）登場了。通過把熱力學(xué)現(xiàn)象解釋成大量分子相互作用的統(tǒng)計行為，玻爾茲曼成功地創(chuàng)立了統(tǒng)計物理這門學(xué)科。這樣，熵、熱量、溫度、功等等概念全部具有了合理的解釋，那條險些斷裂的連接經(jīng)典物理和熱物理的紐帶又被重新拼接起來，這一切都要歸功于玻爾茲曼提出的統(tǒng)計熵概念。然而，在19世紀(jì)末，因為原子論尚是一個存在著很大爭議的課題，玻爾茲曼把他的理論奠定在原子論的基礎(chǔ)上顯然是一種大膽、叛逆的行為。因此，他的觀點遭到了主流科學(xué)家的批判，并最終導(dǎo)致了他的自殺——歷史上一個最可悲的不可逆事件！然而，玻爾茲曼的工作并沒有就此死掉，美國的物理學(xué)家、化學(xué)家吉布斯（Gibbs Josiah Willard, 1839-1903）擔(dān)當(dāng)起了進一步發(fā)展統(tǒng)計物理的重任。他通過運用另外一種不同的方法定義熵，從而大大拓展了熱力學(xué)的應(yīng)用領(lǐng)域。受到了吉布斯和玻爾茲曼等人工作的影響，天才的信息論創(chuàng)始人申農(nóng)（Claude Elwood Shannon,1916-2001）將熵的含義進一步抽象，使其能在通信和信息科學(xué)中大放異彩。到此，熵已經(jīng)可以作為一個系統(tǒng)概念（而不是物理概念）而存在了，因此我們得到了一條從熱物理到統(tǒng)計物理，再到信息論的發(fā)展路徑。然而，吉尼斯（E. T. Jaynes）卻并不這樣看，他反過來認(rèn)為信息論以及最大化信息熵應(yīng)該作為統(tǒng)計物理的新假設(shè)。因此，他獨立建立起了一套“主觀”的統(tǒng)計物理理論。
本章將從玻爾茲曼熵開始一直到吉尼斯的統(tǒng)計物理，并盡量安排一些具體的例子來說明問題。沿著條思路，我們將看到系統(tǒng)之中的目的性行為：時間之箭是如何一步一步與觀察者的主觀判斷聯(lián)系到一起的，這一章的討論將為后面的流動問題奠定基礎(chǔ)。
第一個例子看似與熱物理并不相關(guān)，但實際上玻爾茲曼的思想和方法已經(jīng)被完全包含其中了。
例1 隨機數(shù)程序
這是一個簡單的計算機程序，它在每一周期都隨機產(chǎn)生N個隨機數(shù)，如x1,x2,…,xN，并且每個數(shù)的值都要么是0要么是1。假設(shè)你看不到這個程序內(nèi)部的運行機理，但能夠看到每一個周期這N個數(shù)的和，記為M=x1 x2 … xN。每一周期運行的偽代碼如下：
RandomNum(Integer N){
Integer M=0;
For(i=1 to N){
R= Random(0,1);
M=M R;
}
Return M;
}
反復(fù)運行該程序你將看到什么結(jié)果？答案很簡單，你將經(jīng)常觀察到N/2這個數(shù)，也會偶爾觀察到N/2-1或者 1等附近的數(shù)。比如，當(dāng)N=6，那么你將很可能會觀察到3，偶爾會看到4、2等，而不太可能觀察到0或者6。當(dāng)N變得越來越大的時候，結(jié)果N/2出現(xiàn)的次數(shù)也會變大。
通過簡單運算，就能得到假如N=6，那么出現(xiàn)M=0就意味著所有的隨機變量x1,x2,…,x6=0，也就是說要實現(xiàn)M=0這個結(jié)果，那些隨機變量就有一種可能取值：它們都等于0。
如果x1~x6之中有一個出現(xiàn)1，其它都是0，那么就可以讓M=1，這樣要實現(xiàn)M=1這個結(jié)果，就可以有6種可能性，即x1~x6分別取100000或者010000或者001000，……等等。
當(dāng)M=2的時候，只要6個數(shù)中有兩個取1，其它都是0就可以了。即包括：110000, 101000, 100100, 100010, 100001, 011000, 010100, 010010, 010001, 001100, 001010, 001001, 000110, 000101, 000011這15種情況。
更一般的，一共有
在這個簡單例子中，對這些隨機變量xi的一次全部賦值稱為系統(tǒng)的一個微觀態(tài)。例如，100100、000000、101010就都是系統(tǒng)的微觀態(tài)。而我們稱這些隨機數(shù)的一種可能和值M叫做系統(tǒng)的一個宏觀態(tài)。例如M=0,2,6…都是可能的宏觀態(tài)。Ω(k)的自然對數(shù)，即當(dāng)宏觀態(tài)是M=k的時候?qū)?yīng)的lnΩ(k)就是該系統(tǒng)的熵（或者叫做玻爾茲曼熵），即：
為了看清楚這幾個量之間的關(guān)系，可以畫出下面的示意圖。
圖5-1 隨機數(shù)實例中各種概念之間的關(guān)系
一般來講，系統(tǒng)產(chǎn)生的宏觀結(jié)果（宏觀態(tài)）可能是由很多種微觀因素造成的。而觀察者往往看不到那些微觀因素，僅僅能看到系統(tǒng)的宏觀表現(xiàn)。這就導(dǎo)致了一種從微觀狀態(tài)到宏觀狀態(tài)的映射，所以該例子中的求和過程就相當(dāng)于是一種觀察引起的壓縮作用，它使得我們可以從宏觀狀態(tài)來把握系統(tǒng)，但是不可避免地就會損失對系統(tǒng)精確描述的信息，這就對應(yīng)了每個宏觀態(tài)實際上“壓縮”的微觀狀態(tài)數(shù)目，即Ω(k)。由于Ω可能是一個很大的數(shù)，所以取對數(shù)值之后計算熵值可以縮小這個數(shù)目而方便比較和操作，但卻不改變函數(shù)的性質(zhì)（例如單調(diào)性，最大值），這就是熵。
顯然我們可以擴展這個例子，例如把M改為計算x1x2…xN，即N個數(shù)的乘積。這樣，我們得到的宏觀態(tài)就只有0和1兩種可能性。但是按照同樣的方法，仍然可以計算這兩個宏觀狀態(tài)的熵：S(0)=ln(2N-1)，S(1)=ln1=0。當(dāng)然我們還可以用其它的方法計算從x1,x2,…,xN到M的函數(shù)，每種函數(shù)原則上都可以定義熵。這個例子告訴我們，其實熵的計算只不過是一種計數(shù)方法。針對一個系統(tǒng)，只要我們能夠定義微觀態(tài)、宏觀態(tài)，我們就能計算出每個宏觀量對應(yīng)多少微觀態(tài)，從而就可以計算熵。
然而，這樣一種抽象的例子和實際相差太遠，讓我們再看下面這個更接近熱力學(xué)系統(tǒng)的例子。
例2：氣體分子模型
設(shè)有N個氣體分子（一些剛性小球）分配到一個大的容器里，如下圖所示：
圖5-2 6個氣體分子小球分配到一個容器中
為了簡單起見，我們假設(shè)每個分子可以隨機地在所有小方格中跳來跳去，并且一個小格可以容納任意多個小球，那么這和例1就非常相似了。同樣，對這個系統(tǒng)的描述也可以從兩種視角。因為每個小球就有16*8=128（小個子的個數(shù)）種可能位置，那么6個小球就一共可以包括1286種不同的微觀狀態(tài)。例如下列各圖就表示了各種不同的系統(tǒng)微觀狀態(tài)：
圖5-3 氣體系統(tǒng)可能處的微觀狀態(tài)
同樣，對于這個系統(tǒng)的觀察還存在著一個完全不同的視角：宏觀視角。假設(shè)一個觀察者站在很遠的地方觀察該系統(tǒng)，那么他看不到具體的一個一個小格子，而只能看到黑色邊框分割的大格子（把系統(tǒng)分成了左、右兩側(cè)）。這個觀察者也不再能夠分辨出具體的小球，而僅僅能看到一團東西（多個小球）在容器的左側(cè)，另一團東西在容器的右側(cè)，并且觀察者能夠判斷出某一邊的球數(shù)。這樣，我們可以用下面的圖來表示系統(tǒng)的宏觀狀態(tài)，例如：
圖5-4 與圖5-3對應(yīng)的氣體系統(tǒng)宏觀態(tài)
（數(shù)字表示處于該半個容器中的分子數(shù)目）
很顯然，每一個宏觀狀態(tài)就可能對應(yīng)了多個不同的微觀狀態(tài)。因為對于這個僅僅有6個分子的氣體系統(tǒng)來說，所有可能的微觀態(tài)數(shù)目和可能的宏觀態(tài)數(shù)目都是有限的，所以我們可以計算出每個宏觀態(tài)對應(yīng)的可能微觀狀態(tài)數(shù)，我們用下圖表示：
圖5-5 每個宏觀狀態(tài)可能對應(yīng)的微觀狀態(tài)，
以及產(chǎn)生該宏觀狀態(tài)的所有可能的微觀狀態(tài)總數(shù)
計算(8*8)6是因為每個大方格都包含了8*8=64個小方格，并且每個小球當(dāng)被限定在一個大方格里面的時候，它還可以在這64個小方格中任意選擇一個。CNk表示將這N個分子分割成一種左邊k個，右邊N-k個宏觀態(tài)（分成左、右兩側(cè)）的方法數(shù)。所以更一般的，對于一個宏觀態(tài)（k, N-k），它所對應(yīng)的微觀狀態(tài)數(shù)是：
圖5-6 Ω(k)在不同參數(shù)N下的函數(shù)圖
觀察圖5-6，可以看到當(dāng)k=N/2的時候，CNk最大。并且，當(dāng)參數(shù)N變大的時候曲線的形狀也變得越來越陡。當(dāng)然，我們還可以推廣，如對系統(tǒng)的劃分可以有h個大格子，每個大格子對應(yīng)的小格子數(shù)是不一樣的等情況，這里就不討論了。
在這個例子中，我們也可以類似地定義玻爾茲曼熵，即：
這里玻爾茲曼熵S是關(guān)于宏觀狀態(tài)k的函數(shù)，它正比于該宏觀狀態(tài)k所對應(yīng)的微觀狀態(tài)數(shù)Ω(k)的對數(shù)值。其中kB為玻爾茲曼常數(shù)，它的數(shù)值是：1.3806505(24) × 10?23 J/K，它的取值是為了與克勞修斯熵保持一致，以便于這套統(tǒng)計方法可以還原所有的熱力學(xué)規(guī)律。（在后面討論）。
下面，我們不妨設(shè)計一個計算機模擬程序，可以讓這個氣體模擬系統(tǒng)跑起來。假定系統(tǒng)的初始狀態(tài)如圖5-7(a)所示：
圖5-7 氣體系統(tǒng)模型的演化
并且在每個時間步，所有的小球都隨機地朝上、下、左、右四個相鄰方格中的一個進行移動，當(dāng)分子碰到器壁的時候會反彈回來。假設(shè)經(jīng)過一段時間之后，該系統(tǒng)可能停留在5-7(b)所示的狀態(tài)。從宏觀態(tài)上來講，該系統(tǒng)從圖5-7(c)的宏觀狀態(tài)(6,0)演化到了圖5-7(d)的宏觀狀態(tài)(3,3)?？梢灶A(yù)料，如果我們多次重復(fù)這個實驗，那么盡管系統(tǒng)最終的微觀狀態(tài)并不一定會與圖5-7(b)一致，但是系統(tǒng)的宏觀態(tài)將更有可能傾向于(3,3)這個狀態(tài)，即圖5-7(d)。當(dāng)小球的總數(shù)N非常大的時候，這個趨勢將會更加明顯。從宏觀狀態(tài)來講，最終系統(tǒng)就會“停留在”(N/2, N/2)上，甚至系統(tǒng)中的每個粒子在微觀上仍然會隨機、無序地變換它們的微觀狀態(tài)。
下面，我們可以稍微變化一下這個系統(tǒng)運動的規(guī)則，例如可以讓每個小球按照牛頓運動定律以不同的速度運動，并且還可以假設(shè)兩個小球相遇的時候會發(fā)生完全彈性碰撞。當(dāng)我們再次運行這個模擬，會發(fā)現(xiàn)整個系統(tǒng)仍然趨向于(N/2,N/2)這個宏觀狀態(tài)。因此，看起來我們能夠得到一個與系統(tǒng)微觀的規(guī)則無關(guān)的結(jié)論：氣體分子系統(tǒng)將最有可能演化并停留到(N/2,N/2)這樣的宏觀狀態(tài)下。但是，這個結(jié)論并不非常準(zhǔn)確，因為對于某些規(guī)則，例如當(dāng)任意兩個小球只要碰撞就粘在一起，這個結(jié)論就不成立。
為了避免這些特殊情況，使得結(jié)論更具普遍性，玻爾茲曼當(dāng)年做出了一個非常聰明，但也是備受爭議的各態(tài)歷經(jīng)假說，或稱等概率假說：每個分子小球?qū)韵嗤母怕试诿總€微觀狀態(tài)中取值。在這個假說前提下，他得到了確切的結(jié)論：氣體分子系統(tǒng)將最有可能演化并停留到(N/2,N/2)這樣的宏觀狀態(tài)下。我們知道，這種(N/2,N/2)對應(yīng)的宏觀狀態(tài)恰恰就是玻爾茲曼熵S最大的狀態(tài)（因為宏觀態(tài)(N/2,N/2)對應(yīng)的可能微觀狀態(tài)數(shù)最多，所以系統(tǒng)實現(xiàn)并停留在這個狀態(tài)下的機會也就最多）。最后，盡管系統(tǒng)從微觀上講可能仍然處于不斷變化的過程中，但在宏觀上，系統(tǒng)將會以最大的概率停留在熵最大的宏觀狀態(tài)。這時，我們將傾向于說系統(tǒng)處于了一種不再變化的平衡態(tài)，即熱力學(xué)平衡態(tài)。這是一種表觀的平衡，但實際上內(nèi)部分子仍然在做著激烈的運動。
這個試驗可以給我們解釋時間之箭的產(chǎn)生提供一定的解釋。正如各態(tài)歷經(jīng)假說中所提到的，本來對于系統(tǒng)來說，任何一種微觀狀態(tài)都是完全對稱、無區(qū)別的。但是因為觀察者觀察上的“缺陷”，他只能看到一些宏觀狀態(tài)，這就會導(dǎo)致每一種宏觀狀態(tài)對應(yīng)的不同的可實現(xiàn)的微觀狀態(tài)數(shù)，從而也就導(dǎo)致了熵的出現(xiàn)。當(dāng)系統(tǒng)處于不斷的變化過程中的時候，這個熵的數(shù)值就會傾向于最大化。這給我們解釋時間之箭的產(chǎn)生提供了很好的暗示。我們知道，對于經(jīng)典牛頓力學(xué)描述的動力系統(tǒng)來說，一切都是可逆的，所以時間沒有方向性。小球按照牛頓運動定律在小方格之上的運動正是這種可逆的運動。但是，在宏觀層面我們?nèi)匀挥^察到了不可逆的趨勢：即系統(tǒng)會更加傾向于那種對應(yīng)的熵值最大的宏觀狀態(tài)。一種明顯的不可逆的時間方向就這樣涌現(xiàn)而出。究竟為什么會產(chǎn)生如此現(xiàn)象呢？原因就在于觀察者觀察能力上的缺陷，所以時間之箭只不過是觀察者眼中的一種“幻覺”。用下面的圖可以清楚的表達時間之箭是如何由觀察而涌現(xiàn)出來的。
如圖5-8所示，隨著時間的流逝，系統(tǒng)將會等可能地遍歷所有的微觀狀態(tài)，在這個層次觀察者將看不到任何微觀狀態(tài)之間的本質(zhì)差別，因此也不能分辨出時間流逝的方向。隨著微觀狀態(tài)的遍歷（各態(tài)歷經(jīng)假說），系統(tǒng)將會在不同的宏觀狀態(tài)之間轉(zhuǎn)變，并且大多數(shù)時間會處于那種最可能的狀態(tài)（即熵最大的狀態(tài)）。所以，觀察者就能看到一種明顯的時間流逝方向了（朝向最可能狀態(tài)的演化，熵必然增加）。但是，即便對于宏觀狀態(tài)來說，系統(tǒng)的演化仍然是時間對稱的，即如果我們能夠等待足夠長的時間，那么很有可能仍然會觀察到如圖右側(cè)圓圈表示的那個宏觀狀態(tài)。但是由于這類事件發(fā)生概率極其微?。▽τ谕ǔ５臍怏w系統(tǒng)來說，粒子的數(shù)目是1023這個數(shù)量級，系統(tǒng)將幾乎不可能出現(xiàn)在最大熵以外的狀態(tài)），所以觀察者將看不到這類事情的發(fā)生。
我們知道熱力學(xué)第二定律可以看作是強加在力學(xué)定律之上的一條新的定律。玻爾茲曼引入這套統(tǒng)計解釋的目的是為了從微觀牛頓力學(xué)導(dǎo)出熱力學(xué)第二定律。但是，玻爾茲曼雖然部分解釋了熵和時間箭頭，但他也同時引入了新的假設(shè)：各態(tài)歷經(jīng)（或稱等概率）假說。所以，玻爾茲曼自己也認(rèn)為，他并沒有完全解答時間之箭的問題。
讓我們再回過頭來看看這個例子中的熵。首先，玻爾茲曼把熵定義為宏觀狀態(tài)的函數(shù)。這一點是符合人們的熱力學(xué)知識的。因為當(dāng)粒子數(shù)非常多的時候，系統(tǒng)處于最可能（熵最大）的狀態(tài)的概率將遠遠多于其它宏觀態(tài)的概率。所以人們就把這種最可能的宏觀態(tài)作為系統(tǒng)的熱力學(xué)平衡態(tài)。通常人們說一個系統(tǒng)的熵就是指處于這種熱力學(xué)平衡態(tài)下系統(tǒng)的熵。其次，熵是對一個宏觀態(tài)對應(yīng)的微觀狀態(tài)數(shù)取對數(shù)。這個微觀數(shù)目可以看作是種連接微觀層次到宏觀層次的紐帶，因為從微觀觀察過渡到宏觀觀察必然伴隨著熵的產(chǎn)生。根據(jù)這個認(rèn)識，我們可以看出，實際玻爾茲曼熵并不一定非要應(yīng)用到分子系統(tǒng)，只要存在著微觀態(tài)和宏觀態(tài)，我們原則上都可以應(yīng)用玻爾茲曼的方法。
最后，之所以熵要對狀態(tài)數(shù)取對數(shù)是因為人們希望熵具有可延展性。即對于一個氣體系統(tǒng)A，它的熵是S(A)（平衡態(tài)下的熵）。以及另一個系統(tǒng)B，熵是S(B)，將它們混到一起組成一個大系統(tǒng)A B。那么顯然，對于任意一個宏觀態(tài)將是A和B兩個系統(tǒng)宏觀態(tài)的組合。這樣對應(yīng)的可能微觀態(tài)數(shù)目將是兩個子系統(tǒng)微觀態(tài)數(shù)目的乘積ΩA B=ΩAΩB，所以總的熵為SA B=ln(ΩA B)=ln(ΩA) ln(ΩB)=SA SB。這樣熵就變成了一個可以隨著系統(tǒng)的加合而可加合的量。
有了玻爾茲曼的統(tǒng)計方法，我們實際上完全可以還原上一章所討論的熱力學(xué)了。我們知道熱力學(xué)關(guān)心的是壓強、溫度、熵、熱、功等一系列宏觀物理量，它們都可以被一一還原為微觀統(tǒng)計量。仍然用例2來討論，在這里小球的速度被忽略不考慮。這樣，壓強就是小球?qū)ζ鞅诘钠骄鲎泊螖?shù)，溫度可以近似理解為系統(tǒng)中小球的平均密度。
因為沒有速度，所以可以把小球本身就看作小的能量單位，這樣系統(tǒng)的總能量就是小球的個數(shù)。而一個系統(tǒng)對另一個系統(tǒng)傳遞熱量就是從一個系統(tǒng)向另一個系統(tǒng)傳遞小球。這樣圖5-7所示的現(xiàn)象剛好就是熱量從高溫（左側(cè)系統(tǒng)，小球初始密度高）傳向低溫（右側(cè)系統(tǒng)，小球初始密度低）的過程。同樣，對系統(tǒng)作功就相當(dāng)于把小球壓縮到一些較小的區(qū)域內(nèi)。
對處于平衡態(tài)（最可能狀態(tài)，熵最大的狀態(tài)）的系統(tǒng)，我們還可以定性地導(dǎo)出克勞修斯熵的定義式，即dS=dQ/T（定量的推導(dǎo)需要精確定義溫度、熱量等量，請參見《從有序到混沌》一書）。當(dāng)小球均勻分布在大方格中的時候（小球平均密度就是溫度），我們增加一個小球，它會使得Ω呈指數(shù)增長（考慮圖5-5對Ω的定義式），這樣取ln之后，熵就成比例增加。并且這兩者的比例是與T（小球密度）呈反比的：小球的密度越高，新增加一個小球?qū)ο到y(tǒng)熵的影響就越小。
在上面討論的模型中，我們實際上并沒有考慮每個粒子的速度問題。在現(xiàn)實的氣體系統(tǒng)中，每個分子不僅有位置，而且還會有速度。所以，我們需要把上面模型中的平面空間擴充到包含了速度信息的狀態(tài)空間（或稱相空間中，見第三章）。這樣，每個小球所處的容器就不再是一個平面的容器，而可能是四維空間中的一個立方區(qū)域。那么，按照動力系統(tǒng)的觀點，每個小球的運動就是從高維的相空間中的一點跳到另一點。但是，這點擴充對于我們的統(tǒng)計模型沒有本質(zhì)影響。因為我們的模型中僅僅涉及了小格子、大格子還有分子小球，而至于小格子、大格子是幾維空間中的幾何體并沒有太大的關(guān)系。我們可以假設(shè)圖5-3表示的是狀態(tài)空間，即水平方向是小球位置，豎直方向是小球的不同速度。每個小方格就是小球的一種可能狀態(tài)（位置和速度的組合），大方格就是對這些小狀態(tài)歸并之后的宏觀狀態(tài)，等等。不過，在加入了速度因素之后，能量、溫度就不僅僅是小球和小球密度了。（更加嚴(yán)格的數(shù)學(xué)討論，請參考相關(guān)的統(tǒng)計物理的教科書）。
上面的討論雖然可以得出熵的表達式和整個熱力學(xué)，但是仍然存在著缺陷。上例中劃分大方格、小方格的方法完全是我們?nèi)藶閯澐值?，而這個結(jié)果又會影響計算得出的熵。實際上，我們對物理系統(tǒng)的觀測本身就是宏觀的觀測，而微觀狀態(tài)只是我們的一種假設(shè)，它是沒辦法被測量到的。所以，上例中的小格子就沒有實際意義了，我們僅僅能觀察到大格子構(gòu)成的宏觀狀態(tài)。那么這個時候，我們?nèi)绾蝸矶x熵呢？正是基于對這個問題的考慮，吉布斯提出了一套不同的統(tǒng)計物理方法。
還考慮圖5-2中的氣體分子運動模型。只不過這里每一個小格子已經(jīng)是我們可以觀測到的宏觀狀態(tài)了，每個格子表示一個我們可以觀測到的小球的宏觀狀態(tài)。如果開始的時候所有小球都像圖5-7(a)中那樣集中在容器的左下角，按照隨機游走的動力學(xué)規(guī)則演化，那么經(jīng)過一段時間，小球?qū)浡谡麄€容器中。我們可以重復(fù)這個實驗多次，每次的初始條件都一樣，只不過試驗最終的結(jié)果都不盡相同。但是在重復(fù)多次試驗的情況下，每個方格被訪問就會呈現(xiàn)出不同的概率。例如我們做100000次試驗，其中有小球運動過左上角第一個方格的次數(shù)是500，那么這個格子被訪問的概率就是500/(6*100000)=1/1200。這樣，我們可以得到每一個格子的概率。那么對于整個空間我們就可以得到一個概率分布，如下圖：
圖5-9 一個概率分布示意圖
（其中每一個方格中的顏色表示概率的大小，即多次試驗中該方格被小球訪問的次數(shù)比例，顏色越深表示訪問該方格的概率越大）
在每一個周期，我們都能得到一個這樣的概率分布。針對一種可能的概率分布，吉布斯發(fā)明了一套不同的計算熵的方法：
其中n表示所有的方格數(shù)，i表示其中的某一個小方格。pi表示該方格被訪問的概率（即顏色）。SGibbs就是吉布斯定義的熵，它是關(guān)于一系列概率分布（p1,p2,…,pn）的函數(shù)。這樣，確定了一組概率就相當(dāng)于確定了系統(tǒng)的一個狀態(tài)，那么不同的狀態(tài)就對應(yīng)了不同的熵值。
那么，對應(yīng)的平衡態(tài)的概率分布是什么樣子呢？這將是一個所有的格子都呈現(xiàn)出相同顏色的狀態(tài)，即pi=1/n（對所有的i=1~n）。因為根據(jù)玻爾茲曼的各態(tài)歷經(jīng)假說，每個小球?qū)⒌瓤赡艿卦L問每一個小方格，所以當(dāng)系統(tǒng)處于平衡態(tài)，所有方格的概率都相同，這樣就得到了一個均勻顏色的分布。從數(shù)學(xué)上可以證明，當(dāng)pi=1/n（對所有的i=1~n）的時候，SGibbs取最大值。所以，氣體系統(tǒng)的平衡態(tài)就是熵最大的狀態(tài)，這一點和玻爾茲曼熵得到的結(jié)果是完全一致的。
進一步，通過數(shù)學(xué)上的推導(dǎo)還可以看到玻爾茲曼定義的熵（1）式實際上是和（2）式等價的。如果我們把這里的每個小方格看作是例2中的大方格，并且把每個大方格中的分子數(shù)/總分子數(shù)看作是訪問該方格的概率，那么經(jīng)過數(shù)學(xué)上的推導(dǎo)，我們完全可以從（1）式得到（2）式。
吉布斯不僅僅從另一個角度重新定義了玻爾茲曼熵，而且還給我們提供了一個嶄新的思路來理解系統(tǒng)。因為原則上講，系統(tǒng)的微觀狀態(tài)是我們不可觀測到的，所以討論它也變得沒有意義。這樣，我們所能觀察到的僅僅是系統(tǒng)的一些可觀測狀態(tài)，最大熵狀態(tài)是所有可觀測狀態(tài)中最可能被觀測到的那個狀態(tài)。
吉布斯熵的另一個好處是它在數(shù)學(xué)形式上的簡潔性。當(dāng)我們忘掉(2)中每一個pi的具體含義，而僅僅是某種抽象的概率分布，那么SGibbs仍然是一個良定義的量。例如，我們考慮拋擲一枚硬幣，那么這枚硬幣出現(xiàn)正面和反面的概率就都是1/2。對于這樣簡單的概率分布，我們也可以計算吉布斯熵：S=-(1/2 ln0.5 1/2 ln0.5)=ln2。這里，我們可以把系統(tǒng)可能處于的所有狀態(tài)看作一個大的容器，一次拋硬幣事件就相當(dāng)于是一個在該容器中運動的小球。這樣，小球訪問容器的概率就相當(dāng)于是硬幣的一次正反面。所以，我們?nèi)匀豢梢杂嬎沆亍?一般的，如果一個系統(tǒng)可能處在n種狀態(tài)，并且每種狀態(tài)的概率分別是p1,p2,…,pn，那么這個系統(tǒng)就有申農(nóng)信息熵：
其中I叫做系統(tǒng)所包含的信息量，它是申農(nóng)熵（Shannon Entropy）的相反數(shù)。申農(nóng)熵和吉布斯熵具有相同的形式，但是，在這兩種描述中，系統(tǒng)以及i的含義是不完全一樣的。在前面吉布斯的定義中，一個系統(tǒng)是指一個容器，里面有多個小球，這樣小球訪問容器的不同部分可以導(dǎo)致一個分布。因此，給定一系列容器不同部分的概率分布，就給定了該系統(tǒng)的狀態(tài)，因此也就能夠定義該系統(tǒng)的吉布斯熵（即吉布斯熵是描述系統(tǒng)狀態(tài)的量）。但是在申農(nóng)熵定義中，一個系統(tǒng)本身的狀態(tài)，以及這些狀態(tài)上的概率分布是系統(tǒng)本身已經(jīng)決定了的，因此申農(nóng)熵也決定了，它是描述系統(tǒng)（而不是狀態(tài)）的量。
為看清吉布斯熵和申農(nóng)熵的區(qū)別，讓我們再次回憶例1，即那個產(chǎn)生0、1隨機數(shù)并求和的程序。如果我們把這個程序看作一個系統(tǒng)，那么該系統(tǒng)就有0,1,…,N這幾種狀態(tài)。當(dāng)程序運行起來以后，我們就得到了一個在各個狀態(tài)上的概率分布p(k)=CNk/2N，因此可以給這個系統(tǒng)計算申農(nóng)熵：
根據(jù)例1的討論，我們又知道，實際上這每一個狀態(tài)又是一個宏觀態(tài)，它可能對應(yīng)了多種微觀態(tài)。那么，也就是說該程序的每一個狀態(tài)又可以計算出一個吉布斯熵。比如狀態(tài)k，也就是說程序得到的和數(shù)是k。那么這N個隨機數(shù)就相當(dāng)于是要占領(lǐng)0和1兩個格子的粒子。要得到和數(shù)是k，那么我們知道這需要格子1被占領(lǐng)的概率應(yīng)該是N中的k次，即k/N，而占領(lǐng)0的概率就是(N-k)/N。這樣，狀態(tài)k的吉布斯熵是:
所以，在這個例子中，對于系統(tǒng)整體有一個申農(nóng)熵來描述，而對于每一個具體狀態(tài)，又有一個吉布斯熵來描述。
申農(nóng)熵的意義還表現(xiàn)在它可以表達我們主觀世界中的不確定性。假設(shè)有兩枚硬幣，第一枚硬幣出現(xiàn)正反面的次數(shù)完全相同，而第二枚硬幣出現(xiàn)正面的概率是0.1，出現(xiàn)反面的概率是0.9。那么很顯然，你一定會覺得第一枚更加捉摸不定，而第二枚硬幣則好一些，因為你有很大的把握知道它會出現(xiàn)反面。我們這種主觀的不確定性感覺可以被申農(nóng)熵來刻畫。申農(nóng)熵越大表示該系統(tǒng)越不確定。例如，如果p1=0.1,p2=0.9，也就是系統(tǒng)有很大的概率出現(xiàn)反面，則SShannon=0.325，它小于當(dāng)p1=p2=0.5情況下的申農(nóng)熵：ln2。
對于主觀來說，系統(tǒng)不確定性的另一面意味著信息。當(dāng)我們對一個系統(tǒng)掌握的信息越多，相當(dāng)于它們對我們來說它越確定。所以（3）式還可以看作是信息量的一種定義。當(dāng)我們對某個系統(tǒng)一無所知的時候，我們傾向于最大化（3）式，也就是對該系統(tǒng)的信息量掌握得很少。而隨著我們對系統(tǒng)的逐漸了解，它變得越來越確定，這就會改變系統(tǒng)中各狀態(tài)的概率分布，使得總的申農(nóng)熵減小，這就導(dǎo)致對該系統(tǒng)的信息量的增加。
還用硬幣的例子來說，假如我把一枚硬幣壓在手下讓你猜是正面還是反面。由于你對于該系統(tǒng)沒有任何信息，所以你會傾向于認(rèn)為硬幣出現(xiàn)正面和反面是等可能的，即p1=p2=0.5，這個時候申農(nóng)熵最大。然后，我把手張開，你看到了硬幣是反面，于是你得到了p1=0,p2=1的結(jié)論，再次計算申農(nóng)熵，會發(fā)現(xiàn)現(xiàn)在它等于0了。也就是說，你對系統(tǒng)了解的過程就相當(dāng)于是一個讓申農(nóng)熵不斷減小的過程。
更明顯的一個例子是叫做“21問”的小游戲。例如我腦子中想出一個人，讓你猜他是誰。而你每次只能問一些一般疑問句，因為我只能用是或否來回答你的問題。這樣你會通過不斷問一系列問題而猜出我想的人是誰。例如，你會問這個人是男的嗎？我說是。你再問，他還活著嗎？我說否……。
用申農(nóng)的模型來看，在最開始的時候你對這個人一無所知，就相當(dāng)于你對此人的信息為0，即申農(nóng)熵最大。當(dāng)你每次問一個問題得到答案的時候，就相當(dāng)于你獲得了這個人的一個特征，因此改變了一次概率分布，同時使得申農(nóng)熵減小了一些。最后，你知道了那個人是誰，于是系統(tǒng)完全確定了，申農(nóng)熵變?yōu)榱?。所以，我們對系統(tǒng)的觀察獲得信息就會伴隨著該系統(tǒng)的申農(nóng)熵減小。
當(dāng)熵的理論形式發(fā)展到信息論的時候，客觀物理世界已經(jīng)開始深深地與觀察主體的主觀世界聯(lián)系到一起了。信息量其實就是一種針對主體而言的“主觀量”。那么，這種認(rèn)識的飛越又有什么意義呢？
20世紀(jì)中葉的物理學(xué)家吉尼斯（Jaynes）向我們展示，這種對系統(tǒng)的“主觀”認(rèn)識可能更加本質(zhì)、透徹。因為，它從信息論出發(fā)，可以反過來推導(dǎo)出整個統(tǒng)計物理。而且，這種推導(dǎo)方法比早先的統(tǒng)計物理更加簡單、明了（參見Jaynes的文章《Information theory and statistical physics》）。
針對一個具體的物理系統(tǒng)，人們對它的認(rèn)識相當(dāng)于是去猜一個概率分布，這個分布如何導(dǎo)出呢？由于我們對該系統(tǒng)一無所知，所以我們實際上就是要最大化該系統(tǒng)的申農(nóng)熵。也就是說，吉尼斯把信息熵的最大化當(dāng)作一條公理加進了統(tǒng)計物理中。當(dāng)然，對于實際的物理系統(tǒng)，我們還知道另外一些宏觀的性質(zhì)，例如該系統(tǒng)的平均能量等一些可觀測宏觀量，那么這些信息都當(dāng)作是最大化信息熵過程中的約束條件。最終，我們會得到系統(tǒng)的確切的概率分布，而這個分布就能夠很好的預(yù)測整個系統(tǒng)的性質(zhì)。
在這套統(tǒng)計物理中，玻爾茲曼的各態(tài)歷經(jīng)假說被最大化信息熵所替代。我們?nèi)匀恍枰粋€公理來解釋統(tǒng)計物理。而最大信息熵的含義相當(dāng)于我們對系統(tǒng)了解最少，也相當(dāng)于自然系統(tǒng)的一種最可能狀態(tài)。或者用中國學(xué)者張學(xué)文的話說，是一種自然系統(tǒng)最復(fù)雜的狀態(tài)。
雖然信息論和統(tǒng)計物理理論哪一個更加根本，我們無從得知。但是吉尼斯思路的簡潔性非常值得我們認(rèn)真思考。畢竟我們對客觀世界的認(rèn)識全部都來源于我們觀察者所做的主觀判斷。所以，吉尼斯甚至認(rèn)為統(tǒng)計物理只不過是一種算法而已。很多人不喜歡吉尼斯的思路，認(rèn)為他過于主觀，而且他并沒有給出任何全新的結(jié)論。但是，我們將在下幾章展示，當(dāng)把吉尼斯的主觀統(tǒng)計物理運用到非平衡態(tài)的時候，會得到一套全新的結(jié)論。
總結(jié)來看，這一章用一系列簡單的例子介紹了從玻爾茲曼熵到吉布斯熵再到申農(nóng)熵的過程。熵究竟是什么？本章介紹的探索歷史本身就是一個對這一概念的逐漸深化認(rèn)識過程。如果非要用一句話來回答這個問題，我寧愿說，熵其實就是一條連接的紐帶。玻爾茲曼熵連接的是宏觀與微觀；申農(nóng)熵連接的是主觀世界與客觀世界。在這條紐帶面前，被傳統(tǒng)科學(xué)割裂得很深的主客觀分離的界限已經(jīng)變得逐漸模糊。正是基于這種信念，吉尼斯才提出了一套非常不同的“主觀”統(tǒng)計物理學(xué)。
我們關(guān)心的熱力學(xué)第二定律、時間之箭的問題又怎樣呢？盡管歷史上很多偉人都試圖從經(jīng)典物理出發(fā)而給出熱力學(xué)第二定律新的解釋，但是，他們卻或多或少的引入了新的假設(shè)。例如玻爾茲曼和吉布斯的統(tǒng)計物理都需要各態(tài)歷經(jīng)假設(shè)，吉尼斯的統(tǒng)計物理需要引入自動最大化熵的假設(shè)。我們是否能夠擺脫這些假設(shè)而完全理解時間之箭之謎呢？我傾向于不太可能，這恰恰是復(fù)雜系統(tǒng)的涌現(xiàn)概念所刻畫的。對于系統(tǒng)的不同層次我們需要不同的描述。時間之箭就是這種不可化約為微觀物理的一種涌現(xiàn)屬性。吉尼斯的統(tǒng)計解釋告訴我們，這種不可逆的涌現(xiàn)性質(zhì)其實可以解釋為我們對世界的一種主觀的傾向，即最大化信息熵。
編輯：wangting
