系泊作業(yè)系纜力大數(shù)據(jù)近似查詢(xún)預(yù)測(cè)方法

宋旭東,陳啟剛,蔡晨陽(yáng),邱占芝，宋麗芳

(1.大連交通大學(xué) 軟件學(xué)院，遼寧 大連 116028; 2. 中車(chē)大連機(jī)車(chē)車(chē)輛有限公司，遼寧 大連 116022； 3.大連科技學(xué)院 信息科學(xué)學(xué)院，遼寧 大連 116052) *

系泊作業(yè)系纜力大數(shù)據(jù)近似查詢(xún)預(yù)測(cè)方法

宋旭東1,陳啟剛1,蔡晨陽(yáng)2,邱占芝1，宋麗芳3

(1.大連交通大學(xué) 軟件學(xué)院，遼寧 大連 116028; 2. 中車(chē)大連機(jī)車(chē)車(chē)輛有限公司，遼寧 大連 116022； 3.大連科技學(xué)院 信息科學(xué)學(xué)院，遼寧 大連 116052)*

開(kāi)敞式碼頭系泊作業(yè)中，纜力是保證安全的一個(gè)重要指標(biāo).目前在系泊纜力預(yù)測(cè)主要集中在船舶與纜繩之間的物理變化上，采用的方法主要有觀測(cè)法、物理模型及數(shù)值模型等.提出一種以大量的歷史數(shù)據(jù)為驅(qū)動(dòng)的預(yù)測(cè)方法，結(jié)合大數(shù)據(jù)MapReduce模型機(jī)制，使用近似查詢(xún)方法獲取與當(dāng)前影響船舶纜力因素最接近的歷史纜力值；考慮到船舶纜力影響因素的所占比重不同，采用模糊數(shù)學(xué)的方法來(lái)確定各個(gè)因素的權(quán)值分配.仿真實(shí)驗(yàn)表明方法的預(yù)測(cè)結(jié)果具有較高的可行性和實(shí)用性.

系纜力；大數(shù)據(jù)；近似查詢(xún)；預(yù)測(cè)方法

0 引言

船舶系纜力的影響因素十分復(fù)雜，既受風(fēng)、浪、流等因素的影響，也受船型、作業(yè)狀態(tài)等參數(shù)的制衡.隨著船舶大型化和泊位深水化的日益發(fā)展，以及工程實(shí)踐中各種影響條件的千變?nèi)f化，單純的靠人為經(jīng)驗(yàn)等判斷船舶作業(yè)安全的狀態(tài)這是很難做到的，理想狀態(tài)下的數(shù)模計(jì)算和物模實(shí)驗(yàn)[1-3]已經(jīng)遠(yuǎn)遠(yuǎn)不能滿(mǎn)足系纜力方面理論和應(yīng)用的進(jìn)一步發(fā)展.

近似查詢(xún)技術(shù)在計(jì)算機(jī)科學(xué)領(lǐng)域是一個(gè)被關(guān)注的問(wèn)題，它被廣泛的應(yīng)用于各種領(lǐng)域，如互聯(lián)網(wǎng)、醫(yī)療衛(wèi)生、數(shù)據(jù)挖掘、數(shù)據(jù)庫(kù)以及生物科學(xué)技術(shù)等[4-6].而傳統(tǒng)的查詢(xún)方法不能滿(mǎn)足數(shù)據(jù)因素不確定的條件，在此基礎(chǔ)上本文引入了模糊數(shù)學(xué)的概念，以確定各種因素之間的權(quán)重分配.在面對(duì)大量數(shù)據(jù)處理過(guò)程中，模糊近似查詢(xún)查詢(xún)技術(shù)不能很好的滿(mǎn)足要求，本文提出了一種在Hadoop平臺(tái)上結(jié)合近似查詢(xún)技術(shù)和模糊數(shù)學(xué)的方法，利用MapReduce并行處理模型解決了大量數(shù)據(jù)查詢(xún)和計(jì)算時(shí)間慢的問(wèn)題，實(shí)現(xiàn)了對(duì)系泊碼頭船舶作業(yè)纜繩拉力值模糊近似查詢(xún)，對(duì)于船舶作業(yè)過(guò)程中的安全預(yù)警有著重要的支持作用.

1 大數(shù)據(jù)MapReduce處理模型

MapReduce模型是由Google在2003～2004年發(fā)表的兩篇論文中首次提出，其分布式并行編程模型在海量的數(shù)據(jù)中進(jìn)行計(jì)算具有明顯的優(yōu)勢(shì)，因此在學(xué)術(shù)界和工業(yè)界引起來(lái)了關(guān)注和使用[7].

MapReduce的基本思想是將一個(gè)大的數(shù)據(jù)分成若干個(gè)數(shù)據(jù)塊(datablock)，每一個(gè)數(shù)據(jù)塊都會(huì)被分成成千上萬(wàn)個(gè)數(shù)據(jù)集split.MapReduce定義了Map和Reduce兩個(gè)抽象的接口，Map會(huì)對(duì)每個(gè)提交上來(lái)的數(shù)據(jù)塊按行解析成鍵值對(duì)，并按照一定的規(guī)則生成新的鍵值對(duì) ， 將具有相同的鍵的鍵值對(duì)組合在一起；Map函數(shù)的輸出數(shù)據(jù)將會(huì)作為Reduce函數(shù)的輸入數(shù)據(jù)，按照并行計(jì)算要求最終產(chǎn)生新的鍵值對(duì).

MapReduce并行計(jì)算模型如圖1所示.

圖1 MapReduce并行計(jì)算模型

2 基于MapReduce的模糊近似查詢(xún)算法

本文研究的是基于大數(shù)據(jù)MapReduce對(duì)系泊纜力的模糊近似查詢(xún)預(yù)測(cè)方法，首先需要明確的是影響系泊纜力的風(fēng)速、風(fēng)向、流速、流向、波高等因素對(duì)纜力值所占的權(quán)重，然后根據(jù)模糊數(shù)學(xué)確定數(shù)據(jù)之間的歐氏距離值，最后將查找計(jì)算在并行框架中實(shí)現(xiàn).

2.1 權(quán)重確定方法

假設(shè)x是討論域U中的任意一個(gè)元素，有一個(gè)關(guān)系式A(x) ∈[0，1]與之對(duì)應(yīng)，這時(shí)A(x)稱(chēng)之為x對(duì)A的隸屬度.當(dāng)x在U中進(jìn)行變換時(shí)，隸屬度A(x)越接近0，表示x屬于A的程度越低，隸屬度A(x)越接近1，表示x屬于A的程度越高.隸屬度函數(shù)是模糊數(shù)學(xué)中應(yīng)用于模糊控制的關(guān)鍵因素之一，由于隸屬度函數(shù)的確定目前主要有模糊統(tǒng)計(jì)法、例證法、二元對(duì)比排序法以及本次使用的專(zhuān)家經(jīng)驗(yàn)法.

專(zhuān)家經(jīng)驗(yàn)法是根據(jù)專(zhuān)家的實(shí)際經(jīng)驗(yàn)給出模糊信息的處理算式或相應(yīng)權(quán)系數(shù)值來(lái)確定隸屬函數(shù)的一種方法.風(fēng)、浪、流、噸位等因素對(duì)于纜力值的影響有著直接的影響，對(duì)于其權(quán)值的確定，直接影響著數(shù)據(jù)查找的準(zhǔn)確性.專(zhuān)家經(jīng)驗(yàn)法，在一定程度上避免了因個(gè)人不能客觀把握情況而導(dǎo)致結(jié)果失真.

2.2 數(shù)據(jù)模糊近似計(jì)算

造成系泊纜力變化的因素主要有風(fēng)、浪、流、噸位等，不同的影響因素其數(shù)值和單位不同，為了使其不在后續(xù)的查找匹配中出現(xiàn)某一因素產(chǎn)生較大的影響，使用歸一化對(duì)數(shù)據(jù)進(jìn)行處理，去除掉量綱的影響，將不同的單位的數(shù)值進(jìn)行格式化，使之在指定的范圍內(nèi)(0～1).將定原始數(shù)據(jù)集為X={xi|xi∈R，i=1,2,…,n}，歸一化后的數(shù)據(jù)集為

歷史數(shù)據(jù)會(huì)按行存放在文件中，假定每行的歷史數(shù)據(jù)集經(jīng)過(guò)歸一化處理以后為D={di|di∈R，i=1,2,…,n}，待預(yù)測(cè)影響因素?cái)?shù)據(jù)集經(jīng)過(guò)歸一化處理以后為C={ci|ci∈R，i=1,2,…,n}，兩組數(shù)據(jù)之間的加權(quán)歐式距離可表示為

2.3 預(yù)測(cè)方法框架結(jié)構(gòu)

系泊作業(yè)過(guò)程中在過(guò)去數(shù)據(jù)檢測(cè)中存儲(chǔ)了大量的歷史數(shù)據(jù)，每個(gè)被分解的數(shù)據(jù)塊可以單獨(dú)的在每個(gè)計(jì)算機(jī)上進(jìn)行處理，很適合在MapReduce并行模型上進(jìn)行計(jì)算[8].在規(guī)模集群上運(yùn)行的MapReduce分布式編程模型計(jì)算處理過(guò)程可以抽象為Map和Reduce兩個(gè)函數(shù)，這兩個(gè)函數(shù)分別繼承了Hadoop中的Mapper和Reducer類(lèi)，用戶(hù)只需要按照要求來(lái)實(shí)現(xiàn)這兩個(gè)類(lèi)即可.其整體方法框架如圖2所示.

在數(shù)據(jù)采集以后，還需要根據(jù)船舶綁定纜繩的實(shí)際情況，在數(shù)據(jù)庫(kù)中選擇出適合當(dāng)前情況的數(shù)據(jù)，對(duì)選擇出來(lái)的數(shù)據(jù)進(jìn)行預(yù)處理，刷除那些數(shù)據(jù)不完全、檢測(cè)明顯不符合標(biāo)準(zhǔn)的數(shù)據(jù)，將規(guī)范的數(shù)據(jù)以供后續(xù)使用.

(1)在Map階段，將歷史存儲(chǔ)的數(shù)據(jù)文件作為預(yù)測(cè)方法的輸入文件，從程序輸入中讀取預(yù)測(cè)數(shù)據(jù)，這樣完成初始化操作；Map函數(shù)會(huì)按行讀取歷史數(shù)據(jù)，然后將歷史數(shù)據(jù)和預(yù)測(cè)數(shù)據(jù)進(jìn)行歸一化處理，然后再計(jì)算這兩組數(shù)據(jù)的歐式距離，將計(jì)算的中間變量存儲(chǔ)在中間變量中，當(dāng)計(jì)算完第二組歐式距離以后，把第一次的歐式距離值與第二次歐氏距離值進(jìn)行比較，如果小，則中間變量存放第二次的歐式距離值，依次類(lèi)推，直到計(jì)算完整個(gè)數(shù)據(jù)塊的歷史數(shù)據(jù)，將最后的歐氏距離值寫(xiě)入鍵值對(duì)中，以供后續(xù)Reduce階段使用;

(2)在Reduce階段，會(huì)接收來(lái)自各個(gè)Map的結(jié)果作為輸入，會(huì)將具有同一個(gè)key的鍵值對(duì)組成一組，交由一個(gè)Reduce函數(shù)處理，Reduce函數(shù)會(huì)從同一組value值中找到歐式距離最小的歷史數(shù)據(jù)，其中key為纜繩的數(shù)量，value為歷史影響因素?cái)?shù)據(jù)和各個(gè)纜繩纜力的歷史檢測(cè)值.最后將這組歷史數(shù)據(jù)寫(xiě)入HDFS文件中.

圖2 基于MapReduce模糊近似查詢(xún)框圖

在上述的Map和Reduce階段中，文本中的數(shù)據(jù)都是用便于保存的字符串格式存儲(chǔ)，在計(jì)算過(guò)程中需要多字符串進(jìn)行轉(zhuǎn)換成適合計(jì)算的類(lèi)型.

3 預(yù)測(cè)方法分析評(píng)價(jià)

3.1 分布式預(yù)測(cè)運(yùn)行環(huán)境

分布式運(yùn)行集群由4臺(tái)PC組成，其中1臺(tái)PC為NameNode，3臺(tái)PC為DataNode，硬件環(huán)境配置均為InterCorei5-3210M處理器，2GB內(nèi)存，500GB硬盤(pán)；軟件環(huán)境為CentOS-7.0-1406、JDK1.6.0_20以及Hadoop-1.1.2.

3.2 運(yùn)行結(jié)果分析

根據(jù)文獻(xiàn)[9]中關(guān)于系泊實(shí)測(cè)數(shù)據(jù)類(lèi)型及其數(shù)據(jù)范圍進(jìn)行數(shù)據(jù)仿真實(shí)驗(yàn)，生成目標(biāo)數(shù)據(jù)作為歷史數(shù)據(jù)共4 000 000行記錄，數(shù)據(jù)以文本格式存放，數(shù)據(jù)項(xiàng)之間使用Tab鍵進(jìn)行分割.在歷史數(shù)據(jù)中每行數(shù)據(jù)包括影響系泊纜繩拉力的因素?cái)?shù)據(jù)(風(fēng)速、風(fēng)向、流速、流向、波高、波向及載量)和一段時(shí)間以后的纜繩時(shí)間拉力數(shù)據(jù).

實(shí)驗(yàn)中將待預(yù)測(cè)環(huán)境動(dòng)力等因素作為預(yù)測(cè)影響因素輸入，使用近似查詢(xún)方法獲取與當(dāng)前影響船舶纜力因素最接近的歷史纜力值作為未來(lái)一段時(shí)間的系纜力為預(yù)測(cè)結(jié)果.

圖3 纜力目標(biāo)值與預(yù)測(cè)值標(biāo)準(zhǔn)差折線圖

3.3 分析評(píng)價(jià)

從預(yù)測(cè)值和目標(biāo)值的數(shù)據(jù)可以看出，處于船舶首尾兩個(gè)位置的纜繩1和纜繩8上的纜力值較大；處于船舶中間的首道纜和尾道纜位置的纜繩4和纜繩5所受的纜力值其次；處于船舶的首橫纜和尾橫纜位置的纜繩2、纜繩3、纜繩6和纜繩7所受的纜力值最小.在平均誤差中，受力較小的纜繩6誤差最小，說(shuō)明其預(yù)測(cè)準(zhǔn)確率最高，纜繩5誤差最大，說(shuō)明其預(yù)測(cè)準(zhǔn)確率最低.

從圖3可以看出目標(biāo)值標(biāo)準(zhǔn)差和預(yù)測(cè)值標(biāo)準(zhǔn)差折線基本接近，纜繩5的目標(biāo)與預(yù)測(cè)標(biāo)準(zhǔn)差相差最小，說(shuō)明其纜力值波動(dòng)較??；纜繩1的目標(biāo)值與預(yù)測(cè)值標(biāo)準(zhǔn)差相差最大，說(shuō)明其纜力值波動(dòng)較大.

4 結(jié)論

針對(duì)系泊作業(yè)過(guò)程中纜繩纜力預(yù)測(cè)的問(wèn)題，本文給出了基于大數(shù)據(jù)Hadoop平臺(tái)的數(shù)據(jù)模糊近似度預(yù)測(cè)方法，實(shí)現(xiàn)了在大量的歷史數(shù)據(jù)中根據(jù)當(dāng)前檢測(cè)到的影響因素?cái)?shù)據(jù)來(lái)預(yù)測(cè)一段時(shí)間后的纜力值.仿真實(shí)驗(yàn)表面在大量的數(shù)據(jù)中通過(guò)模糊近似查找的方法可以匹配出與當(dāng)前因素最接近的纜力值，并且在準(zhǔn)確性和查詢(xún)速度上具有高效性，隨著數(shù)據(jù)量的越大越具有明顯的優(yōu)勢(shì).基于大數(shù)據(jù)平臺(tái)的系泊纜力預(yù)測(cè)方法在船舶作業(yè)過(guò)程中具有現(xiàn)實(shí)的意義.

[1]ZHOU DECAI , MIAO QUANMING. Nonlinear Characteristics Simulation of Mooring Lines and Fenders of Binding Ships in Model Tests [J]. Journal of Ship Mechanics, 2005, 9(6): 48-55.

[2]鄒志利, 張日向, 張寧川,等. 風(fēng)浪流作用下系泊船系纜力和碰撞力的數(shù)值模擬[J]. 中國(guó)海洋平臺(tái), 2002, 17(2):22-27.

[3]STOCKSTILL R L，BERGER R C. A three-dimensional numerical model forflow in a lock filling system[C]//ASCE. World Environmental and Water Resources Congress.U.S.：ASCE Press ，2009：2737- 2746.

[4]UYSAL M S, BEECKS C, SABINASZ D, et al. Large-scale Efficient and Effective Video Similarity Search[C]// Workshop on Large-scale & Distributed System for Information Retrieval. ACM, 2015:3-8.

[5]TSYMBAL A, MEISSNER E, KELM M, et al. Towards cloud-based image-integrated similarity search in big data[C]// 2014 IEEE-EMBS International Conference on Biomedical and Health Informatics (BHI). 2014:593-596.

[6]李昕, 孟祥福. 基于相似性推薦的電子商務(wù)Web數(shù)據(jù)庫(kù)關(guān)鍵字近似查詢(xún)方法[J]. 小型微型計(jì)算機(jī)系統(tǒng), 2015(7):1487-1491.

[7]LAMMEL R. Google′s MapReduce Programming Model-Revisited[J]. Science of Computer Programming , 2008 ,70(1)：1-30.

[8]SRIRAMA S N, JAKOVITS P, VAINIKKO E. Adapting scientific computing problems to clouds using MapReduce[J]. Future Generation Computer Systems, 2012, 28(1):184-192.

[9]郝慶龍. 超大型船舶系纜力實(shí)測(cè)研究[D]. 大連：大連海事大學(xué), 2014.

Mooring Line Force Prediction Method based on Big Data Approximate Query

SONG Xudong1, CHEN Qigang1, CAI Chenyang2, QIU Zhanzhi1,SONG Lifang3

(1.Software Institute, Dalian Jiaotong University, Dalian 116028, China; 2. CRRC Dalian Co., Ltd, Dalian 116022, China; 3.School of Information Science, Dalian Institute of Science and Technology, Dalian 116052, China)

Mooring line force is an important indicator for mooring operation safety in the open wharf. The prediction method of the mooring line force focuses on the physical changes of the ship and the mooring lines. The prediction methods mainly include observation, physical model and data model. A data driven prediction method is provide, based on massive historical data. Using approximate query method and big data MapReduce model framework, mooring line force prediction value is obtained which is the similar mooring line force value of the closest force influencing factors. Considering the different weights of influencing factors, fuzzy mathematics method is used to determine the weights of influencing factors. Simulation results show that the prediction method has higher feasibility and practicability.

mooring line force; big data; approximate query; prediction method

1673- 9590(2017)02- 0117- 04

2016-03-01 基金項(xiàng)目：遼寧省自然科學(xué)基金資助項(xiàng)目(201602131)；大連市科技計(jì)劃資助項(xiàng)目(2014A11GX006)

宋旭東(1969-)，男，教授，博士，主要從事大數(shù)據(jù)、數(shù)據(jù)挖掘、智能算法、決策支持系統(tǒng)方面的研究 E- mail:xudongsong@126.com.

A