香農(nóng)既精通通信又精通數(shù)學,將數(shù)理知識和工程很好的融合在一起。大數(shù)學家Kolmogrov很好地總結(jié)了香農(nóng)作為一個學者的才華,他說:“在我們的時代,當人的指示越來越專業(yè)化的時候,香農(nóng)是科學家的一個卓越的典范。他把深奧和抽象的數(shù)學思想和概括而又很具體的對關(guān)鍵技術(shù)問題的理解結(jié)合起來。他被認為是最近幾十年最偉大的工程師之一,同時也被認為是最偉大的數(shù)學家之一?!?/span>
熵(entropy)的概念
香農(nóng)理論的重要特征是熵(entropy)的概念,他證明熵與信息內(nèi)容的不確定程度有等價關(guān)系。熵曾經(jīng)是波爾茲曼在熱力學第二定律引入的概念,我們可以把它理解為分子運動的混亂度。香農(nóng)將統(tǒng)計物理中熵的概念,引申到信道通信的過程中,從而開創(chuàng)了”信息論“這門學科。香農(nóng)定義的“熵”又被稱為“香農(nóng)熵”或“信息熵”,即其中i標記概率空間中所有可能的樣本,表示該樣本的出現(xiàn)幾率,K是和單位選取相關(guān)的任意常數(shù)。可以明顯看出“信息熵”的定義和“熱力學熵”(玻爾茲曼公式)的定義只相差某個比例常數(shù)。 眾所周知,質(zhì)量、能量和信息量是三個非常重要的量。
人們很早就知道用秤或者天平計量物質(zhì)的質(zhì)量,而熱量和功的關(guān)系則是到了19世紀中葉,隨著熱功當量的明確和能量守恒定律的建立才逐漸清楚。能量一詞就是它們的總稱,而能量的計量則通過“卡、焦耳”等新單位的出現(xiàn)而得到解決。 然而,關(guān)于文字、數(shù)字、圖畫、聲音的知識已有幾千年歷史了。但是它們的總稱是什么,它們?nèi)绾谓y(tǒng)一地計量,直到19世紀末還沒有被正確地提出來,更談不上如何去解決了。20世紀初期,隨著電報、電話、照片、電視、無線電、雷達等的發(fā)展,如何計量信號中信息量的問題被隱約地提上日程。
1928年哈特利(R.V. H. Harley)考慮到從D個彼此不同的符號中取出N個符號并且組成一個“詞”的問題。如果各個符號出現(xiàn)的概率相同,而且是完全隨機選取的,就可以得到D^N個不同的詞。從這些詞里取了特定的一個就對應一個信息量I。哈特利建議用N log D這個量表示信息量,即I=N log D。這里的log表示以10為底的對數(shù)。后來,1949年控制論的創(chuàng)始人維納也研究了度量信息的問題,還把它引向熱力學第二定律。
但是就信息傳輸給出基本數(shù)學模型的核心人物還是香農(nóng)。1948年香農(nóng)長達數(shù)十頁的論文“通信的數(shù)學理論”成了信息論正式誕生的里程碑。在他的通信數(shù)學模型中,清楚地提出信息的度量問題,他把哈特利的公式擴大到概率pi不同的情況,得到了著名的計算信息熵H的公式:H(X)= -Σp(x) logp(x) 如果計算中的對數(shù)log是以2為底的,那么計算出來的信息熵就以比特(bit)為單位。在計算機和通信中廣泛使用的字節(jié)(Byte)、KB、MB、GB等詞都是從比特演化而來。“比特”的出現(xiàn)標志著人類知道了如何計量信息量。香農(nóng)的信息論為明確什么是信息量概念作出決定性的貢獻。 香農(nóng)在進行信息的定量計算的時候,明確地把信息量定義為隨機不定性程度的減少。這就表明了他對信息的理解:信息是用來減少隨機不定性的東西?;蛳戕r(nóng)逆定義:信息是確定性的增加。
雖然香農(nóng)的信息概念比以往的認識有了巨大的進步,但仍存在局限性,這一概念同樣沒有包含信息的內(nèi)容和價值,只考慮了隨機型的不定性,沒有從根本上回答"信息是什么"的問題。
事實上,香農(nóng)最初的動機是把電話中的噪音除掉,他給出通信速率的上限,這個結(jié)論首先用在電話上,后來用到光纖,截止2013又用在無線通信上。我們能夠清晰地打越洋電話或衛(wèi)星電話,都與通信信道質(zhì)量的改善密切相關(guān)。