黃文鋒
摘 要: 針對傳統的數據挖掘算法存在結構復雜、耗時長、數據分析過程中易出現錯誤,數據計算結果難以準確表達結果等缺陷,提出結合神經網絡在數據挖掘中的應用方法。由于神經網絡擁有對噪聲數據承受能力高、錯誤率低等優(yōu)點,因此結合神經網絡系統對數據挖掘算法進行改進設計可大幅度提高數據準確性,該方法擁有結構簡單、表述清晰、精準度高等優(yōu)勢。為基于神經網絡的數據挖掘算法的可行性進行了嚴謹的實驗分析,對實驗數據進行認真的記錄和研究,實驗結果表明,基于神經網絡的挖掘算法相比傳統數據挖掘算法,其精度明顯提高,且整個過程耗時較短,由此可證實基于神經網絡的數據挖掘算法具有更高的實用性。
關鍵詞: 數據挖掘; 神經網絡; 粗糙集; 數據挖掘算法; 數據計算; 可行性分析
中圖分類號: TN711?34; TP183 文獻標識碼: A 文章編號: 1004?373X(2018)14?0143?04
Design of mining algorithm based on improved neural network
HUANG Wenfeng
(Henan Provincial Institute of Scientific & Technical Information, Zhengzhou 450003, China)
Abstract: In allusion to the shortcomings existing in the traditional data mining algorithm for its complex structure, long time consumption, error easily appearing in data analysis process, and difficulty in accurate result expression of data calculation results, an application method of combining neural network in data mining is put forward. As the neural network has the advantages of strong ability to withstand noise data, and low error rate, improvement design of the data mining algorithm by combining with the neural network system can greatly improve the data accuracy. This method has the advantages of simple structure, clear expression, high precision and so on. A rigorous experiment analysis for the feasibility of the data mining algorithm based on neural network is performed on the basis of the recorded experimental data. The experimental results show that the mining algorithm based on neural network has higher accuracy and shorter time consumption than the traditional data mining algorithm, which can confirm that the data mining algorithm based on neural network is more practical.
Keywords: data mining; neural network; rough set; data mining algorithm; data calculation; feasibility analysis0 引 言
數據挖掘算法是從數據庫的數據中提取隱含有用信息的過程?,F階段常用的數據挖掘算法和理論主要集中于粗糙集理論和遺傳算法等相結合的方式[1]。為了解決傳統方法結構復雜、耗時長、錯誤率高等問題,提出改進神經網絡的數據挖掘算法。首先對神經網絡進行優(yōu)化和改進,以便減少誤差,然后基于改進后的神經網絡設計數據挖掘算法。該算法擁有魯棒性強、精準度高、抗噪能力強、數據承受能力高、錯誤率低等優(yōu)勢,可廣泛應用于機器學習等領域[2]。通過仿真實驗對神經網絡挖掘算法的功能進行驗證發(fā)現其對數據的搜索能力強大、擅長全局搜索,且對數據挖掘的準確性和實時性相對較高,可成功解決傳統方法中的諸多缺陷,具有較高的使用價值。
1 神經網絡算法優(yōu)化設計
結合神經網絡自身特點以及遺傳算法的優(yōu)勢對神經網絡進行優(yōu)化[3]。本文默認網絡結構為拓撲結構,主要便于對隱層數及節(jié)點數進行計算。由于人工干預常常會對網絡隱層數及節(jié)點數造成一定破壞,難以對其進行準確測量和計算,考慮通過遺傳算法對其進行優(yōu)化從而避免人工干預次數[4]。
首先,對初始化網絡結構進行驗證和確定,然后利用遺傳算法迭代產生權值優(yōu)化解[5]。設P為初始權值,按照遺傳算法對網絡隱層數進行計算,在得到結果后進一步觀察,若網絡節(jié)點數大概滿足:
[Pli→0?Pli→0, i=1,2,…,n;l=1,2,…,m] (1)
則可以考慮將網絡節(jié)點刪除。重新用遺傳算法產生的權值進行訓練,如果達到了滿意的結果,那么證明該算法有效,從而優(yōu)化了網絡結構[6]。為了避免網絡優(yōu)化過程中出現誤差影響優(yōu)化結構,采用均方根誤差函數對系統進行驗證,計算方法如下:
[G(P)=i=1y(xy-P0)f] (2)
式中:G均方根誤差;xy表示在y隱層上的節(jié)點數為x;
f為適應度函數值[7]。通過上述算法將誤差范圍縮小到最少,并通過反復計算直至誤差為零。由于引入了驗證集導致驗證集和訓練集在可視化顯示方面存在較大差別,因此要在結合遺傳算法的神經網絡中設置優(yōu)化初始權值和訓練網絡,以促進可視化顯示達到最優(yōu)解的效果[8]。遺傳算法的全局搜索性會導致在以梯度下降法為基準的網絡訓練過程中,誤差在初始階段很快且與最優(yōu)解方向出現較大偏差,所以訓練的開始一段時間的圓圈處誤差下降很慢,為擺脫誤差情況要引入極小動量項并且逐步調整搜索方向不斷在方向上與最優(yōu)解方向更靠攏[9]。
2 基于改進神經網絡方法的數據挖掘平臺設計
基于改進神經網絡的數據挖掘系統平臺強調數據挖掘算法過程中對神經網絡應用[10]。除了對數據重要信息進行挖掘的基本系統功能外,該平臺可通過改進后的神經網絡實現數據挖掘過程中對數據進行分類和聚類效果,同時可以對處理后的數據進行重復的信息挖掘和檢測[11]。用戶根據挖掘的結果決定信息是否傳輸至數據庫進行分類保存并對將來的新數據進行分析[12]。圖1給出了基于神經網絡方法的數據挖掘平臺的系統設計圖。
由圖1可知,基于神經網絡方法的數據挖掘平臺可為用戶提供神經網絡方面的數據挖掘服務或上傳數據。該系統對信息的挖掘處理方便高效,用戶從數據文件或數據庫中儲存的數據源進行搜索和分析,并通過平臺的可視化交互功能對信息挖掘過程進行準確直觀的操作[13]。通過不同的神經網絡算法對挖掘信息參數進行設置并對挖掘結果評估,最后保存至神經網絡模型,以便再次使用。圖2展示了建立和保存神經網絡模型時序圖。
為了方便區(qū)分原始信息,圖2展示了神經網絡模型對信息進行保存和重建體系。通過該系統模型可以清晰命令挖掘用戶所需信息并對信息進行保存以便日后使用[14]。對模型中保持的信息進行應用,其方法見圖3。
圖3所示的挖掘模型可進一步提高信息挖掘性能。在對挖掘結果進行篩選后可將數據上傳到數據庫或磁盤上,以便今后應用時,服務器可根據用戶選擇的名稱快速查找到其存放的位置并調出模型。為了保障挖掘過程準確快速,建立了基于神經網絡的挖掘模塊系統,其工作流程如圖4所示。
基于神經網絡的挖掘模塊系統有利于提高挖掘算法的準確性。其擁有結構簡單、表述清晰、精準度高等優(yōu)點,方便對神經網絡挖掘數據進行分類和聚類的保存和傳送。
3 實驗結果分析
將前文提出的基于神經網絡算法應用到非線性函數的逼近問題中以驗證算法的有效性。采用系統默認參數,對比改良前后神經網絡與預期的非線性函數標準迭代次數曲線,得到結果如圖5所示。
由圖5可見,通過對試驗數據進行比對不難發(fā)現,在傳統神經網絡系統中迭代次數曲線與預期標準曲線之間存在較大誤差,而文中提出的基于改進神經網絡的挖掘技術方法得到的曲線與預期的標準曲線基本一致,可證實該方法中誤差基本為零。
為了驗證改進神經網絡的挖掘算法準確性,進行了2次實驗,分別對傳統挖掘算法、改良前的神經網絡挖掘算法和改良后的挖掘算法精準度進程測量,得到對比結果如圖6所示。
根據實驗結果進行判斷,改進神經網絡后的挖掘算法無論從迭代次數還是從挖掘精準度方面均比傳統算法及改良前的神經網絡挖掘算法有所提高,且耗時相對較少。由此說明了基于改進神經網絡的挖掘算法可以避免耗時長、數據分析過程中易出現錯誤等問題,有較強的可行性。
4 結 語
通過對神經網絡進行改進,結合數據挖掘算法可有效提高挖掘算法的精準度,且該方法能夠有效解決傳統挖掘算法中存在的不足,具有耗時少、精度高等優(yōu)點。通過仿真實驗對該方法進行驗證,對比未改進的神經網絡處理的數據挖掘結果和傳統的挖掘結果,證實改進后的神經網絡挖掘算法效果良好、便于操作、適用性強。
參考文獻
[1] 王春梅.基于神經網絡的數據挖掘算法研究[J].現代電子技術,2017,40(11):111?114.
WANG Chunmei. Research on data mining algorithm based on neural network [J]. Modern electronics technique, 2017, 40(11): 111?114.
[2] 鄭斌.基于改進遺傳算法的不完整大數據填充挖掘算法[J].微電子學與計算機,2016,33(2):96?99.
ZHENG Bin. Incomplete data filling mining algorithm based on the improved genetic algorithm [J]. Microelectronics & computer, 2016, 33(2): 96?99.
[3] 李濱旭,姚姜虹.基于改進QPSO和RBF神經網絡的文本分類方法[J].計算機系統應用,2016,25(7):264?267.
LI Binxu, YAO Jianghong. Document classification based on improved QPSO and RBF neural networks [J]. Computer systems & applications, 2016, 25(7): 264?267.
[4] 張華,王金蘭.基于物聯網和SOM算法的信息監(jiān)控系統設計[J].計算機測量與控制,2017,25(4):84?86.
ZHANG Hua, WANG Jilan. Design of information monitoring system based on Internet of Things and SOM algorithm [J]. Computer measurement & control, 2017, 25(4): 84?86.
[5] 田野,張程,毛昕儒,等.運用PCA改進BP神經網絡的用電異常行為檢測[J].重慶理工大學學報,2017,31(8):125?133.
TIAN Ye, ZHANG Cheng, MAO Xinru, et al. Research on abnormal behavior of power consumption based on BP neural network with PCA [J]. Journal of Chongqing Institute of Technology, 2017, 31(8): 125?133.
[6] 陸安江,金力,楊家紅,等.基于改進的BP神經網絡在車牌識別中的應用研究[J].貴州大學學報(自然科學版),2015,32(6):71?74.
LU Anjiang, JIN Li, YANG, Jiahong, et al. Application research based on improved BP neural network algorithm in license plate recognition [J]. Journal of Guizhou University (Natural science), 2015, 32(6): 71?74.
[7] 張連濱,葛浙東,鞠明遠,等.改進型神經網絡在木件打磨機器人中的應用[J].林業(yè)機械與木工設備,2017,45(4):19?22.
ZHANG Lianbin, GE Zhedong, JU Mingyuan, et al. Application of improved neural network in woodpiece polishing robot [J]. Forestry machinery & woodworking equipment, 2017, 45(4): 19?22.
[8] 趙建華.基于SOM神經網絡的半監(jiān)督分類算法[J].西華大學學報(自然科學版),2015,34(1):36?40.
ZHAO Jianhua. Semi?supervised classification algorithm based on SOM neural network [J]. Journal of Xihua University (Natural science edition), 2015, 34(1): 36?40.
[9] 伍華麗,任心怡.基于模糊約束的數據庫特定數據挖掘算法[J].計算機仿真,2016,33(10):240?243.
WU Huali, REN Xinyi. Specific data mining algorithm based on fuzzy constraint database [J]. Computer simulation, 2016, 33(10): 240?243.
[10] 白麗揚,趙金海,劉占新,等.基于數據挖掘算法的底板破壞深度預測[J].煤炭工程,2017,49(6):92?95.
BAI Liyang, ZHAO Jinhai, LIU Zhanxin, et al. Depth prediction of floor damage based on data mining algorithm [J]. Coal engineering, 2017, 49(6): 92?95.
[11] 邢開顏,李梅.數據挖掘分類算法在信號分類中的應用[J].軟件,2016,37(6):1?6.
XING Kaiyan, LI Mei. Application of data mining classification algorithm in classification and recognition of signals [J]. Software, 2016, 37(6): 1?6.
[12] 任關友,王昕,李英娜,等.基于粒子群優(yōu)化神經網絡算法的用戶防竊電研究[J].軟件,2017,38(8):215?219.
REN Guanyou, WANG Xin, LI Yingna, et al. Research on user′s anti?stealing power based on particle swarm optimization neural network algorithm [J]. Software, 2017, 38(8): 215?219.
[13] HUCHAO L I, SHAO A, DENGXIN H E, et al. Application of back?propagation neural network in predicting non?systematic error in numerical prediction model [J]. Plateau meteorology, 2015, 42(6): 1198?1201.
[14] THEANDER E, JONSSON R, SJ?STR?M B, et al. Prediction of Sjogren′s syndrome years before diagnosis and identification of patients with early onset and severe disease course by autoantibody profiling [J]. Arthritis & rheumatology, 2015, 67(9): 2427?2436.