香農(nóng)信息論富含數(shù)學(xué)內(nèi)容，這部分內(nèi)容既是理解理論的重要途經(jīng)，也是教學(xué)中的難點。在本文中，我們以信息論中兩個基礎(chǔ)理論為例，采用物理與數(shù)學(xué)相結(jié)合的方法，對其進行了簡單明了的講解，通過這兩個例子，我們介紹了數(shù)學(xué)內(nèi)容物理化的教學(xué)改革思路。在教學(xué)實踐的反饋中，我們發(fā)現(xiàn)這一教學(xué)思路，能夠有效的幫助學(xué)生理解信息論的基礎(chǔ)理論，避免學(xué)生把精力全部投入在復(fù)雜的數(shù)學(xué)中，忽視了信息論的物理意義。

　　信息論作為介紹香農(nóng)信息論的基礎(chǔ)理論課程是通信，計算機相關(guān)專業(yè)學(xué)生的必修課。然而信息論富含數(shù)學(xué)內(nèi)容，學(xué)生普遍反應(yīng)學(xué)習(xí)起來相對困難，其中一個重要困難之處就在于各式各樣數(shù)學(xué)推導(dǎo)與證明的理解。學(xué)生在復(fù)雜的公式中繞來繞去，卻忽略了理論的基本物理意義。那么這些數(shù)學(xué)內(nèi)容是否重要呢?在教學(xué)實踐中，我們曾經(jīng)試圖忽略過這些數(shù)學(xué)證明和推導(dǎo)，然而缺乏了這些數(shù)學(xué)推導(dǎo)，學(xué)生反而更加不容易理解理論的物理意義，并且在學(xué)習(xí)中也覺得心里不踏實。通過這些經(jīng)驗教訓(xùn)，我們認為信息論的大部分數(shù)學(xué)內(nèi)容需要進行教學(xué)，但是必須要講究方式方法，不能枯燥干癟的羅列公式，而要把數(shù)學(xué)公式背后的物理意義講清楚。因此數(shù)學(xué)問題物理化是我們對信息論教學(xué)的改革思路。我們將通過下面數(shù)個例子，來介紹我們的思路。

　　1.克勞夫特不等式

　　信息論中最重要的理論之一就是信源編碼理論，而無論定長，還是變長信源編碼定理都是從克勞夫特不等式推導(dǎo)得出的。 (1) 公式(1)即為克勞夫特不等式，其中m為編碼使用的進制，i為待編碼信息的編號，Ki 為第i個信息使用的碼長。克勞夫特不等式成立，說明該碼長方案中存在即時碼，反之則不信息論教學(xué)中的數(shù)學(xué)內(nèi)容的物理化南京郵電大學(xué)通信與信息工程學(xué)院 趙 陽 趙生妹存在。那么克勞夫特不等式本身該如何理解呢?為什么這個不等式成立就存在即時碼了呢?學(xué)生在看到這個不等式時往往很難理解它與即時碼的關(guān)系。如果我們用大段的數(shù)學(xué)公式去證明這個問題，不僅學(xué)生接受起來較為困難，也沖淡了該不等式本身物理意義的教學(xué)。然而我們可以通過數(shù)學(xué)與物理的結(jié)合簡單的說明這個問題。我們知道即時碼等價于異前綴碼，與碼樹存在一一對應(yīng)的關(guān)系。因此在我們的教學(xué)中，我們是這樣講解克勞夫特不等式的。

　　對于一個2進制的碼樹，設(shè)其總的路徑數(shù)量為n。那么碼長為1的碼字，將占據(jù)掉碼樹中1/2的路徑，即n/2的路徑。碼長為Ki的碼字將占據(jù)掉的路徑。同理對于m進制的碼樹，碼長為Ki的碼字將占據(jù)掉的路徑。那么克勞夫特不等式的含義就非常清楚了，兩邊乘以n后，其左側(cè)求和就是該碼長方案所需要的路徑之和，而右邊就是該碼長方案下碼樹中最大路徑數(shù)量。滿足克勞夫特不等式說明，碼樹可以提供編碼需要的路徑，自然可以完成一個即時碼。反之，克勞夫特不等式不滿足，則碼樹中沒有足夠的路徑使用，自然不可能寫出即時碼。

　　這一說明并不是嚴格的證明，我們在其中幾乎沒有用到任何數(shù)學(xué)工具，而是從基本概念出發(fā)，結(jié)合碼樹的物理形態(tài)，自然的得出了結(jié)論。它形象的說明了克勞夫特不等式與碼樹，即時碼之間的關(guān)系。在我們教學(xué)實踐中，這種偏向物理的教學(xué)方法得到了學(xué)生的普遍認同，有效的提高了學(xué)生對克勞夫特不等式，信源編碼定理的理解。

　　2.最大離散熵定理

　　信息論中另一個重要的結(jié)論是最大離散熵定理。它指出在一個離散信源中，當(dāng)各信源信息的概率相等時，該信源具有最大的信源熵。同樣該定理的嚴格證明相當(dāng)復(fù)雜。然而我們可以通過物理意義和數(shù)學(xué)說明兩個方面來幫助學(xué)生理解該定理。首先我們從物理意義上解釋該定理。信源熵是信源不確定度的體現(xiàn)，當(dāng)一個信源概率分布不均勻時，我們對信源可能產(chǎn)生的信息就有一定判斷，概率較大的那些信息出現(xiàn)的可能性比較大。而當(dāng)信源各信息概率相等時，我們對信源下一個產(chǎn)生的信息就沒有任何有價值的判斷，對應(yīng)于不確定度最大。因此，此時信源具有最大的信源熵。至此，我們已經(jīng)完成了物理上的分析。然而，如果我們就此打住，不再進行數(shù)學(xué)上的分析的話，學(xué)生的反饋是雖然基本理解了定理的含義，但是感覺很虛，不踏實。因此，一定程度的數(shù)學(xué)講解也是有必要的。我們知道信源熵是關(guān)于信源概率分布的上凸函數(shù)。

　　即我們把信源任意兩個信息的概率平均化后，所得的信源熵一定比原來大。那么我們只要對信源所有的概率進行兩兩平均化，最后一定能使得所有概率相等，此時的信源熵最大，這樣我們就非常簡單的得出了最大離散熵定理。在這一問題中，我們依然避開了復(fù)雜的嚴格證明，轉(zhuǎn)而通過內(nèi)在的物理含義與簡單的數(shù)學(xué)討論，將最大離散熵定理講的十分清楚，獲得了相當(dāng)積極的教學(xué)反饋。

　　3.討論

　　在以上兩個例子中，我們較為詳細的介紹了我們目前采用的教學(xué)思路，該思路舍棄了嚴格而復(fù)雜的數(shù)學(xué)推導(dǎo)，轉(zhuǎn)而尋求形象易懂的物理解釋，但又盡可能巧妙的進行了數(shù)學(xué)上的簡單分析。一方面使得學(xué)生的精力集中在理論中的物理內(nèi)容，增加了學(xué)生對理論的直觀感受。另一方面也讓學(xué)生大致理解了這些理論的數(shù)學(xué)背景，提升了對理論的理解深度。

　　4.結(jié)論與展望

　　本文通過兩個重要的定理的講解，介紹了我們在信息論教學(xué)上物理數(shù)學(xué)相結(jié)合，數(shù)學(xué)內(nèi)容物理化的教學(xué)改革思路。該思路以物理為核心，盡可能的避免冗長的數(shù)學(xué)推導(dǎo)，但又不放棄小巧的數(shù)學(xué)說明，引導(dǎo)學(xué)生對相對枯燥的香農(nóng)信息論產(chǎn)生學(xué)習(xí)興趣，加深理解。并在教學(xué)實踐中取得了相對較好的教學(xué)效果，我們認為這種教學(xué)方式值得推廣。目前，在信息論課程中部分內(nèi)容上，我們已經(jīng)完成了相應(yīng)的教學(xué)改革，然而仍有很大部分教學(xué)內(nèi)容未能尋找到合適的方式進行講授，這也是我們進一步工作的目標(biāo)。

　　《信息論教學(xué)中的數(shù)學(xué)內(nèi)容的物理化》來源《電子世界》2019年15期，作者：趙陽、趙生妹。