中學(xué)物理成績信息熵的計(jì)算

劉素伶,朱詩洛,王恩過

(嶺南師范學(xué)院物理科學(xué)與技術(shù)學(xué)院,廣東湛江524048)

中學(xué)物理成績信息熵的計(jì)算

劉素伶,朱詩洛,王恩過*

(嶺南師范學(xué)院物理科學(xué)與技術(shù)學(xué)院,廣東湛江524048)

通過對(duì)離散型及連續(xù)型隨機(jī)函數(shù)的信息熵的分析,提出了信息熵計(jì)算的基本方法.研究發(fā)現(xiàn),中學(xué)物理成績具有不同的分布特征,有正態(tài)分布、瑞利分布、均勻分布等,有的甚至不能用常見的概率分布函數(shù)描述.對(duì)這些容量大小不同、分布特征各不相同的樣本,都可以得到合適的信息熵,顯示了計(jì)算方法的廣泛適用性.

信息熵;物理成績;概率分布;計(jì)算

1 引 言

熵原本是表征系統(tǒng)能量分布均勻程度或系統(tǒng)內(nèi)部粒子無序程度或混亂度的一個(gè)物理量, 20世紀(jì)40年代Shannon在信息論中提出信息熵,用以度量信源的平均信息量[1,2].信息熵的提出大大擴(kuò)展了熵的內(nèi)涵,也得到了廣泛的研究,取得了許多重大的研究成果,并在自然和社會(huì)科學(xué)的許多領(lǐng)域中得到廣泛的推廣和應(yīng)用[3-7].本文探討了信息熵的計(jì)算方法,得到了中學(xué)物理成績的信息熵,期望對(duì)信息熵計(jì)算與應(yīng)用有益.

2 計(jì)算方法

考慮一個(gè)具有n個(gè)可能結(jié)果的隨機(jī)試驗(yàn)X,該隨機(jī)事件不確定性的大小既可以用概率分布函數(shù)來描述,也可以用信息熵的大小來度量.若n個(gè)可能結(jié)果出現(xiàn)的概率分布為P=(P1,其信息熵可用(1)式計(jì)算

若X為連續(xù)型的隨機(jī)變量,該連續(xù)變量的信息熵則用(2)式表示

式中,p(x)稱為概率分布密度函數(shù).若X的取值區(qū)間為[x1,x2,…,xn],將區(qū)間該劃分成m個(gè)等分,每個(gè)小區(qū)間的長度記為Δx,則X落在第i個(gè)小區(qū)間的概率為Pi,該小區(qū)間的概率密度可表示為,p(xi)=Pi/Δx.考慮到xi→-∞或xi→∞時(shí),p(xi)log(p(xi))→0,概率分布的尾部的影響可以忽視,我們用復(fù)合梯梯形公式離散(2)式,得到(3)式.

對(duì)于一個(gè)特定的隨機(jī)變量而言,不管用什么方法計(jì)算的信息熵都應(yīng)該是相同的,至少是相近的,這是由信息熵的唯一性所決定的.然而,(1)式和(3)式明顯不同,因此需要檢驗(yàn)?zāi)囊环N算法更適合于信息熵的計(jì)算.為此,我們假設(shè)X服從標(biāo)準(zhǔn)正態(tài)分布,取Pi=i/(n+1),i=1,2,…n,計(jì)算對(duì)應(yīng)的xi,得到具有n個(gè)可能結(jié)果的隨機(jī)試驗(yàn)X=[x1,x2,…xn].將X的取值區(qū)間劃分等距離的m個(gè)小區(qū)間,小區(qū)間的長度Δx=(xn-x1)/m,m為數(shù)據(jù)分組數(shù).對(duì)該隨機(jī)試驗(yàn)X,分別用(1)式和(3)式計(jì)算其信息熵,結(jié)果見圖1.圖1(a)結(jié)果說明,用式(1)計(jì)算的信息熵隨數(shù)據(jù)分組數(shù)m的增加而增加,穩(wěn)定性差,難以滿足信息熵唯一性特征要求.從這個(gè)意義上講,(1)式并不是一個(gè)適合信息熵計(jì)算的有效方法,盡管這一方法也常常得到了應(yīng)用[2].換句話說,在用(1)式計(jì)算的信息熵時(shí),合適的數(shù)據(jù)分組數(shù)m的確定極為重要.

圖1 信息熵計(jì)算方法比較

從圖1(b)可以看出,當(dāng)數(shù)據(jù)分組數(shù)即m值增加吋,計(jì)算的信息熵最初不穩(wěn)定,表現(xiàn)為快速增加和波動(dòng),但當(dāng)m增至10之后,H值雖然仍有波動(dòng)且趨勢向下,但基本上在非常小范圍內(nèi)波動(dòng),比如m為10～100時(shí),H值其波動(dòng)范圍在1%左右;可見用(3)式計(jì)算的信息熵具有較好的穩(wěn)定性,因此更適合于信息熵的計(jì)算,因此后續(xù)信息熵的計(jì)算過程僅采用(3)式進(jìn)行.

需要指出的是,由于在(3)式推導(dǎo)過程中并沒有限定隨機(jī)變量的具體的分布函數(shù),故所有分布的隨機(jī)變量都能使用,即使我們并不清楚它的隨機(jī)概率分布函數(shù)的具體表達(dá)形式.另外,相比與(2)式,(3)式忽視了概率分布的尾部的影響,因此計(jì)算結(jié)果可能會(huì)偏小一些.但在樣品容量n較大時(shí),這種分布尾部的影響會(huì)大大降低.

3 計(jì)算結(jié)果與討論

為了探討中學(xué)生物理成績的信息熵,我們以收集的幾所中學(xué)的物理成績做為樣本,探索不同樣本大小、不同概率分布特征的隨機(jī)變量的信息熵.其中,樣本A、B為中山市古鎮(zhèn)高級(jí)中學(xué)2016年9、10月月考物理成績,樣本C、D為四會(huì)龍莆學(xué)校2016年兩次周考物理成績,樣本E為羅定中學(xué)2017高三理科一模成績物理成績,樣本F為羅定城東學(xué)校2017高三級(jí)學(xué)生一模物理成績,樣本G為羅定城東學(xué)校2016高一第一學(xué)期期末考試物理成績,樣本H為2016電白高級(jí)高級(jí)中學(xué)高一市統(tǒng)考物理成績.所有的計(jì)算過程都在MATLAB軟件上進(jìn)行.

3.1 物理成績的分布特征

物理成績的分布特征與其數(shù)字特征密切相關(guān),表1給出了研究對(duì)象即幾所中學(xué)的物理成績的數(shù)字特征.表中平均值反映了考卷對(duì)考查學(xué)生的學(xué)習(xí)效果適應(yīng)性,用標(biāo)準(zhǔn)差描述成績的集中或離散情況.樣本A～D平均值較為合理,在60分左右,試題難易適當(dāng);其他樣本的平均值過低,表明考題對(duì)于考生很難.樣本的標(biāo)準(zhǔn)差反映學(xué)生的學(xué)習(xí)成績的離散情況,其值在11至22之間,變化幅度不大.

表1 中學(xué)的物理成績的數(shù)字特征

偏度系數(shù)S反映了學(xué)生考試成績分布的對(duì)稱性,S=0為對(duì)稱分布,S≠0為偏態(tài)分布,其中S＞0為正偏態(tài)分布,S＜0為負(fù)偏態(tài)分布.表1顯示,樣本B～D的S接近0,可以看成為對(duì)稱分布,這說明考生成績較好,試題難易適當(dāng)、考試成績能夠較好反映學(xué)生的真實(shí)的學(xué)習(xí)效果.樣本A為偏度系數(shù)為-0.7181＜0,學(xué)生的成績是負(fù)偏態(tài)分布的,曲線峰向右偏移,這說明考生成績偏高,試題偏易、難度偏低,難度較低的項(xiàng)目比例偏大.樣本H為偏度系數(shù)為1.2104,學(xué)生的成績是正偏態(tài)分布,曲線峰向左偏移,這說明試題難度偏高,考生成績偏低.

峰度系數(shù)K反映了分布峰的高低或?qū)挭M.偏度系數(shù)S和峰度系數(shù)K用于檢驗(yàn)考試成績的分布規(guī)律.比如,S接近0、K接近3.0的樣品更接近正態(tài)分布.因此,樣本C、D樣品更接近正態(tài)分布,其中C樣本的QQ曲線(見圖2)接近一條直線,就能直觀證實(shí)了C樣本的正態(tài)分布的特點(diǎn).其他樣本的偏度系數(shù)S或峰度系數(shù)K偏離正態(tài)分布較大,為了確定這些樣本的分布,也可用樣本數(shù)據(jù)分布的分位數(shù)與所指定分布的分位數(shù)之間的關(guān)系曲線來進(jìn)行檢驗(yàn)的,若所有點(diǎn)基本分布在一條直線的附近,就可以初步判定該樣本服從相應(yīng)的分布.樣本B的分布特征符合均勻分布函數(shù)的特點(diǎn),其累積概率分布與學(xué)生成績接近線性關(guān)系,見圖3.

圖2 樣本C的正態(tài)分布QQ圖

圖3 樣本B的均勻分布QQ圖

如果用樣品的學(xué)生成績與均值為0、h=1的瑞利分布分位值作圖,可以檢驗(yàn)該樣本是否為瑞利分布;對(duì)樣本E,結(jié)果見圖4,圖4說明樣品E基本符合瑞利分布.同理,也可證實(shí)樣品F基本符合瑞利分布.

圖4 對(duì)樣本E的瑞利分布QQ圖

A、H樣本的偏度系數(shù)大,為非對(duì)稱分布,與常見的概率分布函數(shù)的特征差異較大,用各個(gè)概率分布函數(shù)繪制的QQ圖的線性也不佳,因此這兩個(gè)樣本的概率分布函數(shù)及分布特征尚不清楚,需要進(jìn)一步研究.

3.2 物理成績的信息熵

用(3)式計(jì)算所有樣本在不同m值下的信息熵,結(jié)果如圖5所示.圖5說明,在m大于10后,所有樣本的信息熵都具有較好的穩(wěn)定性,在m=5～40之間信息熵波動(dòng)幅度不超過1%,因此,用公式(3)計(jì)算中學(xué)生物理成績的信息熵是可行的.

圖5 物理成績的信息熵

在m=20時(shí)計(jì)算的信息熵見表2.從表2可以看出,不同樣品的信息熵各有不同,其中樣本B的信息熵最大,為1.8827;而樣本F的信息熵最小,僅為1.6339.我們知道,信息熵的大小反映了樣本不確性的大小,從物理意義上講,它與標(biāo)準(zhǔn)差一樣都與不確定度有關(guān),因此兩者之間必然存在一定的關(guān)聯(lián)度.比較表1中的標(biāo)準(zhǔn)差與表2的H值可以發(fā)現(xiàn),標(biāo)準(zhǔn)差大的樣本,其H值常常也較大.比如,樣本B的信息熵和標(biāo)準(zhǔn)差都是所有樣本中最大的.但信息熵變化幅度要遠(yuǎn)遠(yuǎn)小于標(biāo)準(zhǔn)差,在二者也不是簡單的線性關(guān)系,甚至大小次序也不同,如圖6所示,這反映了信息熵和標(biāo)準(zhǔn)差的顯著區(qū)別.

圖6 物理成績的標(biāo)準(zhǔn)差與信息熵的關(guān)系

表2 計(jì)算的物理成績的信息熵

盡管信息熵和標(biāo)準(zhǔn)差都可以反映系統(tǒng)的紊亂性和不確定性,而且信息熵常常是標(biāo)準(zhǔn)的單調(diào)遞增函數(shù),但這一遞增關(guān)系僅對(duì)相同的分布函數(shù)是準(zhǔn)確的,對(duì)不同的分布函數(shù)則未必適用.標(biāo)準(zhǔn)差與隨機(jī)變量的二階矩特征有關(guān),適用于概率分布為對(duì)稱的情況;而信息熵則可以表達(dá)隨機(jī)變量的多階矩特征,對(duì)隨機(jī)變量的分布沒有對(duì)稱性的要求,能更好地描述系統(tǒng)的不確定性,適用性更強(qiáng)[6].如前所述,本研究所用的8個(gè)樣本,既有對(duì)稱分布也有非對(duì)稱分布,其分布特征差異較大,因此用標(biāo)準(zhǔn)差來度量樣本的離散特性或不確定性顯然是不夠的,也是不準(zhǔn)確的;而信息熵度量方法使不同樣本之間的比較成為可能,這也是信息熵方法能夠得到廣泛使用的重要原因.

4 結(jié) 論

本文通過對(duì)離散型及連續(xù)型隨機(jī)函數(shù)的信息熵的分析,提出了信息熵計(jì)算的基本方法.研究發(fā)現(xiàn),中學(xué)物理成績具有不同的分布特征,有正態(tài)分布、瑞利分布、均勻分布等,有的甚至不能用常見的概率分布函數(shù)描述.對(duì)這些容量大小不同、分布特征各不相同的樣本,都可以得到合適的信息熵,顯示了這一計(jì)算方法的廣泛適用性.

[1]C.E.Shannon.Themathematicaltheoryofcommunication[J].BellSystemTechnicalJournal,1948 (27):35-38.

[2]張繼國,辛格.信息熵:理論與應(yīng)用[M].北京:北京水利水電出版社,2012.

[3]黎愛兵,張立鳳,王秋良.基于非線性誤差信息熵理論的大氣多變量系統(tǒng)可預(yù)報(bào)性分析[J].中國科學(xué):地球科學(xué),2014,44(7):1544-1555.

[4]孫海蓉,王蕊,耿軍亞.基于信息熵的BP網(wǎng)絡(luò)在熱工系統(tǒng)建模中的應(yīng)用[J].系統(tǒng)仿真學(xué)報(bào),2017,29 (1):226-233.

[5]薛慧君,張楊,呂昊,等.基于信息熵估計(jì)的生物雷達(dá)弱周期信號(hào)識(shí)別技術(shù)研究[J].中國醫(yī)療設(shè)備, 2017,32(1):22-25.

[6]趙秀菊.風(fēng)險(xiǎn)的兩種度量方法——信息熵與方差[J].襄樊學(xué)院學(xué)報(bào),2010(2):12-15.

[7]陳小軍,黃敬頻.基于信息熵的教學(xué)效果比較評(píng)估模型[J].廣西民族大學(xué)學(xué)報(bào)(自然科學(xué)版),2013,19 (1):104-108.

CalculationoftheInformationEntropyoftheExamination ScoresofPhysicsinMiddleSchools

LIUSuling,ZHUShiluo,WANGEnguo
(SchoolofPhysicsScienceandTechnology,LingnanNormalUniversity,Zhanjiang,Guangdong524048,China)

Thesamplesinourstudyaretheexaminationscoresofphysicsinmiddleschools.Anew methodfortheinformationentropycalculationispresentedbyusingthediscretizationoftheinformation entropyofcontinuousrandomvariables,andwasappliedforthecalculationoftheinformationentropyof thesamples.Thedistributionofthesampleswasalsodiscussed.Itisshowedthatthesescoresdonotobey thesamedistribution,suchasthenormaldistribution,Rayleighdistribution,anuniformdistributionfunction,andsoon.Itisalsoshowedthatthepresentmethodcanbeusefulinthecalculationoftheinformationentropyofthesampleswithdifferentsamplesizeanddistribution.Soitisveryusefulforthecalculationoftheinformationentropyofthesamplesinotherfields.

informationentropy;physicsscores;probabilitydistribution;calculation

G421

A

1006-4702(2017)03-0073-06

2017-04-21

劉素伶,女,嶺南師范學(xué)院2013級(jí)物理學(xué)本科1班學(xué)生.

* 通訊作者.