信息論（克勞德·香農(nóng)提出的統(tǒng)計(jì)學(xué)理論）

名稱由來

信息論將信息的傳遞作為一種統(tǒng)計(jì)現(xiàn)象來考慮，給出了估算通信信道容量的方法。信息傳輸和信息壓縮是信息論研究中的兩大領(lǐng)域。這兩個(gè)方面又由信息傳輸定理、信源－信道隔離定理相互聯(lián)系。

香農(nóng)被稱為是“信息論之父”。人們通常將香農(nóng)于1948年10月發(fā)表于《貝爾系統(tǒng)技術(shù)學(xué)報(bào)》上的論文《A Mathematical Theory of Communication》（通信的數(shù)學(xué)理論）作為現(xiàn)代信息論研究的開端。這一文章部分基于哈里·奈奎斯特和拉爾夫·哈特利先前的成果。在該文中，香農(nóng)給出了信息熵（以下簡稱為“熵”）的定義：

信息論中熵的概念與物理學(xué)中的熱力學(xué)熵有著緊密的聯(lián)系。玻耳茲曼與吉布斯在統(tǒng)計(jì)物理學(xué)中對熵做了很多的工作。信息論中的熵也正是受之啟發(fā)。

互信息(Mutual Information)是另一有用的信息度量，它是指兩個(gè)事件集合之間的相關(guān)性。兩個(gè)事件X和Y的互信息定義為：

發(fā)展簡史

信息論是20世紀(jì)40年代后期從長期通訊實(shí)踐中總結(jié)出來的一門學(xué)科，是專門研究信息的有效處理和可靠傳輸?shù)囊话阋?guī)律的科學(xué)。

切略（E.C.Cherry）曾寫過一篇早期信息理論史，他從石刻象形文字起，經(jīng)過中世紀(jì)啟蒙語言學(xué)，直到16世紀(jì)吉爾伯特（E.N.Gilbert）等人在電報(bào)學(xué)方面的工作。

20世紀(jì)20年代奈奎斯特（H.Nyquist）和哈特萊（L.V.R.Hartley）最早研究了通信系統(tǒng)傳輸信息的能力，并試圖度量系統(tǒng)的信道容量?，F(xiàn)代信息論開始出現(xiàn)。

1948年克勞德·香農(nóng)（Claude Shannon）發(fā)表的論文“通信的數(shù)學(xué)理論”是世界上首次將通訊過程建立了數(shù)學(xué)模型的論文，這篇論文和1949年發(fā)表的另一篇論文一起奠定了現(xiàn)代信息論的基礎(chǔ)。

由于現(xiàn)代通訊技術(shù)飛速發(fā)展和其他學(xué)科的交叉滲透，信息論的研究已經(jīng)從香農(nóng)當(dāng)年僅限于通信系統(tǒng)的數(shù)學(xué)理論的狹義范圍擴(kuò)展開來，而成為現(xiàn)在稱之為信息科學(xué)的龐大體系。

基本內(nèi)容

傳統(tǒng)的通信系統(tǒng)如電報(bào)、電話、郵遞分別是傳送電文信息、語聲信息和文字信息的；而廣播、遙測、遙感和遙控等系統(tǒng)也是傳送各種信息的，只是信息類型不同，所以也屬于信息系統(tǒng)。有時(shí)，信息必須進(jìn)行雙向傳送，例如電話通信要求雙向交談，遙控系統(tǒng)要求傳送控制用信息和反向的測量信息等。這類雙向信息系統(tǒng)實(shí)際上是由兩個(gè)信息系統(tǒng)構(gòu)成。所有信息系統(tǒng)都可歸納成如圖所示的模型來研究它的基本規(guī)律。

信源：信息的源泉或產(chǎn)生待傳送的信息的實(shí)體，如電話系統(tǒng)中的講話者，對于電信系統(tǒng)還應(yīng)包括話筒，它輸出的電信號(hào)作為含有信息的載體。

信宿：信息的歸宿或接受者，在電話系統(tǒng)中這就是聽者和耳機(jī)，后者把接收到的電信號(hào)轉(zhuǎn)換成聲音，供聽者提取所需的信息。

信道：傳送信息的通道，如電話通信中包括中繼 器在內(nèi)的同軸電纜系統(tǒng)，衛(wèi)星通信中地球站的收發(fā)信機(jī)、天線和衛(wèi)星上的轉(zhuǎn)發(fā)器等。

編碼器：在信息論中是泛指所有變換信號(hào)的設(shè)備，實(shí)際上就是終端機(jī)的發(fā)送部分。它包括從信源到信道的所有設(shè)備，如量化器、壓縮編碼器、調(diào)制器等，使信源輸出的信號(hào)轉(zhuǎn)換成適于信道傳送的信號(hào)。

譯碼器：是編碼器的逆變換設(shè)備，把信道上送來的信號(hào)轉(zhuǎn)換成信宿能接受的信號(hào)，可包括解調(diào)器、譯碼器、數(shù)模轉(zhuǎn)換器等。

當(dāng)信源和信宿已給定、信道也已選定后，決定信息系統(tǒng)性能就在于編碼器和譯碼器。設(shè)計(jì)一個(gè)信息系統(tǒng)時(shí)，除了選擇信道和設(shè)計(jì)其附屬設(shè)施外，主要工作也就是設(shè)計(jì)編譯碼器。一般情況下，信息系統(tǒng)的主要性能指標(biāo)是它的有效性和可靠性。有效性就是在系統(tǒng)中傳送盡可能多的信息；而可靠性是要求信宿收到的信息盡可能地與信源發(fā)出的信息一致，或者說失真盡可能小。最佳編譯碼器就是要使系統(tǒng)最有效和最可靠。但是，可靠性和有效性往往是相互矛盾的。越有效常導(dǎo)致不可靠，反之也是如此。從定量意義上說，應(yīng)使系統(tǒng)在規(guī)定的失真或基本無失真的條件下，傳送最大的信息率；或者在規(guī)定信息率的條件下，失真最小。計(jì)算這最大信息率并證明達(dá)到或接近這一值的編譯碼器是存在的，就是信息論的基本任務(wù)。只討論這樣問題的理論可稱為仙農(nóng)信息論般認(rèn)為信息論的內(nèi)容尚應(yīng)更廣泛一些，即包括提取信息和保證信息安全的理論。后者就是估計(jì)理論、檢測理論和密碼學(xué)。

信息論是建立在概率論基礎(chǔ)上而形成的，也就是從信源符號(hào)和信道噪聲的概率特性出發(fā)的。這類信息通常稱為語法信息。其實(shí)，信息系統(tǒng)的基本規(guī)律也應(yīng)包括語義信息和語用信息。語法信息是信源輸出符號(hào)的構(gòu)造或其客觀特性所表現(xiàn)與信宿的主觀要求無關(guān)，而語義則應(yīng)考慮各符號(hào)的意義，同樣一種意義，可用不同語言或文字來表示，各種語言所包含的語法信息可以是不同的。一般地說，語義信息率可小于語法信息率；電報(bào)的信息率可低于表達(dá)同一含義的語聲的信息率就是一個(gè)例子。更進(jìn)一步，信宿或信息的接受者往往只需要對他有用的信息，他聽不懂的語言是有意義的，但對他是無用的。所以語用信息，即對信宿有用的信息一般又小于語義信息。倘若只要求信息系統(tǒng)傳送語義信息或語用信息，效率顯然會(huì)更高一些。在目前情況下，關(guān)于語法信息，已在概率論的基礎(chǔ)上建立了系統(tǒng)化的理論，形成一個(gè)學(xué)科；而語義和語用信息尚不夠成熟。因此，關(guān)于后者的論述通常稱為信息科學(xué)或廣義信息論，不屬于一般信息論的范疇。概括起來，信息系統(tǒng)的基本規(guī)律應(yīng)包括信息的度量、信源特性和信源編碼、信道特性和信道編碼、檢測理論、估計(jì)理論以及密碼學(xué)。

應(yīng)用

編碼學(xué)

密碼學(xué)與密碼分析學(xué)

數(shù)據(jù)傳輸

數(shù)據(jù)壓縮

檢測理論

估計(jì)理論

政治學(xué)（政治溝通）

信息論是一門用數(shù)理統(tǒng)計(jì)方法來研究信息的度量、傳遞和變換規(guī)律的科學(xué)。它主要是研究通訊和控制系統(tǒng)中普遍存在著信息傳遞的共同規(guī)律以及研究最佳解決信息的獲限、度量、變換、儲(chǔ)存和傳遞等問題的基礎(chǔ)理論。

信息論的研究范圍極為廣闊。一般把信息論分成三種不同類型：

(1)狹義信息論是一門應(yīng)用數(shù)理統(tǒng)計(jì)方法來研究信息處理和信息傳遞的科學(xué)。它研究存在于通訊和控制系統(tǒng)中普遍存在著的信息傳遞的共同規(guī)律，以及如何提高各信息傳輸系統(tǒng)的有效性和可靠性的一門通訊理論。

(2)一般信息論主要是研究通訊問題，但還包括噪聲理論、信號(hào)濾波與預(yù)測、調(diào)制與信息處理等問題。

(3)廣義信息論不僅包括狹義信息論和一般信息論的問題，而且還包括所有與信息有關(guān)的領(lǐng)域，如心理學(xué)、語言學(xué)、神經(jīng)心理學(xué)、語義學(xué)等。

信息

確定性的增加

信息

物質(zhì)、能量、信息的標(biāo)示

信息是

事物及其屬性標(biāo)識(shí)的集合

信息就是一種消息，它與通訊問題密切相關(guān)。1948年貝爾研究所的香農(nóng)在題為《通訊的數(shù)學(xué)理論》的論文中系統(tǒng)地提出了關(guān)于信息的論述，創(chuàng)立了信息論。維納提出的關(guān)于度量信息量的數(shù)學(xué)公式開辟了信息論的廣泛應(yīng)用前景。1951年美國無線電工程學(xué)會(huì)承認(rèn)信息論這門學(xué)科，此后得到迅速發(fā)展。20世紀(jì)50年代是信息論向各門學(xué)科沖擊的時(shí)期，60年代信息論不是重大的創(chuàng)新時(shí)期，而是一個(gè)消化、理解的時(shí)期，是在已有的基礎(chǔ)上進(jìn)行重大建設(shè)的時(shí)期。研究重點(diǎn)是信息和信源編碼問題。到70年代，由于數(shù)字計(jì)算機(jī)的廣泛應(yīng)用，通訊系統(tǒng)的能力也有很大提高，如何更有效地利用和處理信息，成為日益迫切的問題。人們越來越認(rèn)識(shí)到信息的重要性，認(rèn)識(shí)到信息可以作為與材料和能源一樣的資源而加以充分利用和共享。信息的概念和方法已廣泛滲透到各個(gè)科學(xué)領(lǐng)域，它迫切要求突破申農(nóng)信息論的狹隘范圍，以便使它能成為人類各種活動(dòng)中所碰到的信息問題的基礎(chǔ)理論，從而推動(dòng)其他許多新興學(xué)科進(jìn)一步發(fā)展。人們已把早先建立的有關(guān)信息的規(guī)律與理論廣泛應(yīng)用于物理學(xué)、化學(xué)、生物學(xué)等學(xué)科中去。一門研究信息的產(chǎn)生、獲取、變換、傳輸、存儲(chǔ)、處理、顯示、識(shí)別和利用的信息科學(xué)正在形成。

信息科學(xué)是人們在對信息的認(rèn)識(shí)與利用不斷擴(kuò)大的過程中，在信息論、電子學(xué)、計(jì)算機(jī)科學(xué)、人工智能、系統(tǒng)工程學(xué)、自動(dòng)化技術(shù)等多學(xué)科基礎(chǔ)上發(fā)展起來的一門邊緣性新學(xué)科。它的任務(wù)主要是研究信息的性質(zhì)，研究機(jī)器、生物和人類關(guān)于各種信息的獲取、變換、傳輸、處理、利用和控制的一般規(guī)律，設(shè)計(jì)和研制各種信息機(jī)器和控制設(shè)備，實(shí)現(xiàn)操作自動(dòng)化，以便盡可能地把人腦從自然力的束縛下解放出來，提高人類認(rèn)識(shí)世界和改造世界的能力。信息科學(xué)在安全問題的研究中也有著重要應(yīng)用。

信息論假說

Materialism

物質(zhì)、能量與信息是組成世界的三大要素。人們已經(jīng)很深入地了解了物質(zhì)與能量，而對信息的認(rèn)識(shí)才剛起步。那么，信息是什么？它又是以何種方式存在的？它有著怎樣的作用？以下是我的猜想，希望對人類進(jìn)一步認(rèn)識(shí)世界有一定幫助。

一、信息的定義

非世界

三要素

事物

屬性

集合

信息定義

含

三要素

1．信息是

確定性

增加

2．信息就是信息，信息是

物質(zhì)、能量、信息

屬性

標(biāo)示

信息（information）是客觀事物狀態(tài)和運(yùn)動(dòng)特征的一種普遍形式，客觀世界中大量地存在、產(chǎn)生和傳遞著以這些方式表示出來的各種各樣的信息。然而，這只是對于我們所生活的三維空間而言的，信息還有更深藏的本質(zhì)。那么，難道信息還存在于四維空間（這里所說的四維空間不包括時(shí)間，而是空間的四維狀態(tài)）中嗎？是的，但要明確一點(diǎn)，信息只存在于四維空間，三維空間中的信息只是四維空間中真實(shí)信息的影子。信息大量存在于四維空間中，其本質(zhì)是在四維空間中存在的一種信息子（informer，假想的存在于四維空間的組成信息的基本單位）的規(guī)則排布。

信息是事件（corritor）發(fā)生的根本原因，這將在第三節(jié)中細(xì)作分析。

二、信息的性質(zhì)

信息有以下性質(zhì)：客觀性、廣泛性、完整性、專一性。首先，信息是客觀存在的，它不是由意志所決定的，但它與人類思想有著必然聯(lián)系（第四節(jié)將具體分析）。同時(shí)，信息又是廣泛存在的，四維空間被大量信息子所充斥。信息的一個(gè)重要性質(zhì)是完整性，每個(gè)信息子不能決定任何事件，須有兩個(gè)或兩個(gè)以上的信息子規(guī)則排布為完整的信息，其釋放的能量才足以使確定事件發(fā)生。信息還有專一性，每個(gè)信息決定一個(gè)確定事件，但相似事件的信息也有相似之處，其原因的解釋需要信息子種類與排布密碼理論的進(jìn)一步發(fā)現(xiàn)。

三、信息論機(jī)制

在平常狀態(tài)下，信息子雜亂無章地分布于四維空間中。當(dāng)三維空間中的分子摩擦碰撞時(shí)，其中的能量逃逸到四維空間中，啟動(dòng)了信息子的規(guī)則排布，排布好的信息子又將能量釋放出來，進(jìn)入三維空間，引起其他分子的摩擦碰撞，如此循環(huán)下去。如果被引起摩擦碰撞的分子恰好是決子（decider，決定事件的因子，如引起神經(jīng)沖動(dòng)的鈉鉀離子、引起雷電的電荷），并且有一定物質(zhì)的量的決子被引起摩擦碰撞時(shí)，事件發(fā)生。當(dāng)然，不同分子摩擦碰撞產(chǎn)生的能量不同，其引起的信息子的排布形式的種類也不同，因而決定的事件也不同。

然而，在宇宙爆炸前只有信息存在，一個(gè)決定因素（現(xiàn)在還不了解這個(gè)因素是什么）導(dǎo)致了信息子的偶然規(guī)則排布，一部分信息子轉(zhuǎn)化為能量（信息子轉(zhuǎn)化為能量是有一定條件的，這只有在宇宙爆炸前或初期才能實(shí)現(xiàn)），能量再在一定條件下轉(zhuǎn)化為物質(zhì)，并繼續(xù)轉(zhuǎn)移轉(zhuǎn)化，最終形成了我們現(xiàn)在的宇宙。因此，信息子的有序排布是事件發(fā)生的根本原因，物質(zhì)摩擦碰撞是事件發(fā)生的直接原因，而能量的傳遞是事件發(fā)生的必要條件。

四、信息論假說的實(shí)例

1．思想與記憶：思想是我們一直捉摸不透的東西，而按照信息論假說來講，思想其實(shí)就是一種信息。大腦中的某些特定分子摩擦碰撞，引起了某些信息子的規(guī)則排布，在三維空間中的表現(xiàn)就是產(chǎn)生電流，引起腦細(xì)胞的活動(dòng)，這便是思想的本質(zhì)，當(dāng)然，不同信息表現(xiàn)出不同思想。然而，這不等于我們的思想是早已限定好了的嗎？其實(shí)就是這樣。只不過我們腦中分子數(shù)量是龐大的，其能引起信息子的排布形式的種類是極其多的，我們的思想不過也只開發(fā)了很少一部分?，F(xiàn)實(shí)中我們所謂的思想還要有另一個(gè)因素，那就是需要通過一個(gè)完整復(fù)雜的調(diào)節(jié)機(jī)制將其表達(dá)出來，這個(gè)調(diào)節(jié)機(jī)制對于人類來說便是神經(jīng)系統(tǒng)，因此只有我們能將復(fù)雜的思想表達(dá)出來。記憶是思想的特化，是信息引起摩擦碰撞的分子恰好是以前產(chǎn)生思想的分子（記憶的決子）時(shí)，以前的思想便會(huì)再次通過特定信息子的規(guī)則排布表達(dá)出來。這樣看來，我們的思想是連續(xù)的，前一刻的思想直接決定了后一刻的思想，只是我們并沒發(fā)覺也沒有手段去發(fā)現(xiàn)罷了。

2．生命現(xiàn)象：人的生老病死也可以通過信息論假說來解釋。人生病其實(shí)是不融合分子（細(xì)菌或病毒）與體內(nèi)分子摩擦引起的信息。成長其實(shí)是各種各樣的外界分子（如鈣離子）進(jìn)入人體內(nèi)與體內(nèi)分子摩擦引起的信息。衰老與死亡是細(xì)胞內(nèi)分子摩擦引起的信息，其宏觀表現(xiàn)為細(xì)胞的衰老與凋亡，進(jìn)而影響人。

3．預(yù)感與巧合：預(yù)感是思想的一種極特殊的形式，當(dāng)腦中某些分子摩擦引起信息子排布后，信息并未釋放全部能量，而是只將其中一部分能量先釋放出來，引起預(yù)感決子的摩擦，剩下的能量則在另外的時(shí)刻釋放出來，并由于與前一部分能量同源，恰好引起事件決子的摩擦，從而印證了預(yù)感。巧合也是一種極特殊的現(xiàn)象，其本質(zhì)是信息釋放的能量分為兩半進(jìn)入到三維空間中的不同地點(diǎn)，引發(fā)相同分子的摩擦，從而引起不同地點(diǎn)相同事情的發(fā)生，這一般出現(xiàn)在同卵雙胞胎身上，因?yàn)槠浠虻南嗨菩詻Q定了其相同分子摩擦的幾率較大。

4．夢與不實(shí)印象（untrue impressions）：夢是在無意識(shí)情況下產(chǎn)生的思想，其本質(zhì)也是信息。我們平時(shí)會(huì)產(chǎn)生不實(shí)印象，看到某情景感覺以前似乎發(fā)生過，可是以前卻并沒有發(fā)生，其實(shí)這是因?yàn)槟X內(nèi)分子摩擦引起信息，而信息并沒有將能量馬上釋放出來，而是暫時(shí)儲(chǔ)存起來，當(dāng)另一時(shí)刻又有同樣的分子摩擦?xí)r，其能量被激活，雙倍能量釋放出來，其中一半能量使我們思想，另一半能量使我們產(chǎn)生印象，這便是不實(shí)印象的本質(zhì)。

5．化學(xué)反應(yīng)：一切化學(xué)反應(yīng)的本質(zhì)都是信息。幾種分子摩擦引起特定信息，又引起其他分子摩擦，在摩擦中化學(xué)鍵斷裂與形成，完成化學(xué)反應(yīng)。

6．命運(yùn)與靈魂：古人相信命運(yùn)，可能是冥冥之中感到在另一空間中我們是早已被安排好的個(gè)體，于是出現(xiàn)了人類對靈魂、神的遐想。

五、信息論假說的意義

信息論假說將物質(zhì)與思想相統(tǒng)一，它是唯物主義發(fā)展所必經(jīng)的一步，它用唯物的觀點(diǎn)解釋了人類一直無法弄清的問題。它自身只是一個(gè)假說，需要人類長時(shí)間去探索與證明，它自身也存在缺陷，需要人類的不斷發(fā)現(xiàn)。也許它本來就是個(gè)錯(cuò)誤，但它是人類成長的見證，是人類偉大的精神財(cái)富。

用信息論假說的觀點(diǎn)看問題，可以使人類認(rèn)識(shí)到一個(gè)全新的世界，并有助于探索世界更深的本質(zhì)。它給人類提供了一個(gè)豐富的經(jīng)驗(yàn)，是人類跳出固有思想看問題的典范?？傊?，不管它是否正確，它都是人類的不朽之作。

本書共分七章，第一章為緒論，介紹信息的基本概念和定義，信息論的起源、發(fā)展和研究內(nèi)容；第二章為信源與信源熵，介紹各種熵的概念、性質(zhì)、定理等；第三章為無失真信源編碼，介紹了信源的定長和變長編碼定理、方法，以及幾種實(shí)用的無失真信源編碼；第四章為限失真信源編碼，介紹了信息率失真函數(shù)的定義、性質(zhì)、計(jì)算及語音、圖像信號(hào)的預(yù)測編碼；第五章為信道及信道容量，介紹了單符號(hào)離散信道、多符號(hào)離散信道和多用戶信道的信道模型及信道容量的計(jì)算；第六章為信道編碼，介紹了信道編碼的基本概念、信道編碼定理、線性分組碼和循環(huán)碼；第七章為網(wǎng)絡(luò)信息安全及密碼學(xué)，介紹了密碼學(xué)的基本概念、各種加密算法及數(shù)字簽名等技術(shù)。