郭先超,林宗繆,姚文勇
(上海市質量監(jiān)督檢驗技術研究院 科技信息化處,上海 201114)
互聯(lián)網(wǎng)+質量檢測平臺設計
郭先超,林宗繆,姚文勇
(上海市質量監(jiān)督檢驗技術研究院 科技信息化處,上海 201114)
在互聯(lián)網(wǎng)時代,質量檢測機構要應對企業(yè)、政府和社會公眾各自對產品質量的不同需求,同時質量檢測機構本身也需要利用“互聯(lián)網(wǎng)+”創(chuàng)造一種全新的檢驗檢測服務模式。為了滿足這些需求,構建互聯(lián)網(wǎng)+質量檢測平臺。該平臺是一個全面參與、互聯(lián)互通的平臺,連接著質量檢測機構、企業(yè)客戶、政府機構、社會公眾等各利益相關方。通過該平臺,質量檢測機構能夠開展在線檢測業(yè)務。企業(yè)客戶能夠在線下單,在線支付,在線報告信息查詢等。在數(shù)據(jù)積累到一定程度后,利用大數(shù)據(jù)技術,能夠分析出一段時期內產品的質量狀況,為政府對產品質量監(jiān)管提供數(shù)據(jù)支撐,同時也為社會公眾購買商品提供質量數(shù)據(jù)支持。利用云計算、移動互聯(lián)網(wǎng)技術,為各方提供方便快捷的產品質量檢測與數(shù)據(jù)分析服務。
互聯(lián)網(wǎng)+;質量檢測;大數(shù)據(jù);MapReduce
李克強總理在政府工作報告中提出,制定“互聯(lián)網(wǎng)+”行動計劃,推動移動互聯(lián)網(wǎng)、云計算、大數(shù)據(jù)、物聯(lián)網(wǎng)等與現(xiàn)代制造業(yè)相結合,促進電子商務、工業(yè)互聯(lián)網(wǎng)和互聯(lián)網(wǎng)金融健康發(fā)展,引導互聯(lián)網(wǎng)企業(yè)拓展國際市場[1]。所謂互聯(lián)網(wǎng)+就是利用信息通信技術以及互聯(lián)網(wǎng)平臺,讓互聯(lián)網(wǎng)與傳統(tǒng)行業(yè)進行深度融合,創(chuàng)造新的發(fā)展生態(tài)[2]?;ヂ?lián)網(wǎng)與各個行業(yè)深度融合,改變了各個行業(yè)的生產和服務模式。作為高技術、生產性、科技性的服務業(yè)的質量檢測行業(yè),順應時代要求,需要利用互聯(lián)網(wǎng)+來對自身進行業(yè)務流程再造,更好地為企業(yè)客戶、政府、社會公眾提供全方位的產品質量服務。
文中擬構建了互聯(lián)網(wǎng)+質量檢測平臺。通過這一平臺,將質檢機構、企業(yè)、政府機關、社會公眾連接起來,實現(xiàn)各個利益相關方資源信息共享。創(chuàng)造一種全方位的服務模式,推動質量檢測機構自身業(yè)務流程再造,為企業(yè)提供產品質量檢測等服務,為政府機構對產品質量監(jiān)管提供產品質量狀況分析和風險分析等服務,為社會公眾提供產品質量數(shù)據(jù)分析服務。
互聯(lián)網(wǎng)與質量檢測相結合,創(chuàng)造了一種全新的服務模式。通過平臺,連接著質檢機構、企業(yè)客戶、政府機構、社會公眾。通過該平臺,企業(yè)能夠在線下單,質檢機構能夠在線業(yè)務受理。當平臺的數(shù)據(jù)積累到一定程度后,通過大數(shù)據(jù)技術能夠對質檢數(shù)據(jù)進行分析,分析出一段時期內某種產品的質量狀況,哪些產品有嚴重的質量問題。為政府對產品監(jiān)管提供技術和數(shù)據(jù)支撐,也為社會公眾提供消費上的指導。質檢機構要進行業(yè)務流程再造,適應新的服務模式。
互聯(lián)網(wǎng)+質量檢測平臺提供的服務模式如圖1所示。
圖1 互聯(lián)網(wǎng)+質量檢測平臺提供的服務模式
該平臺擬提供以下服務:
為質量檢測機構提供:
(1)入駐資質審核:質量檢測機構如要入駐平臺,則需提交相關資質證明。之后,審核人員對其進行審核。
(2)產品質量檢驗檢測服務信息發(fā)布:質檢機構入駐后,根據(jù)自身的資質能力,發(fā)布產品檢測服務信息。
(3)訂單管理:質檢機構能夠管理自己的訂單,隨時更新訂單狀態(tài)。
(4)客戶管理:質檢機構能夠對自己的客戶信息進行管理。
(5)標準管理:質檢機構能夠根據(jù)標準與自身的資質發(fā)布檢測服務信息。
(6)檢測數(shù)據(jù)交換接口:平臺能夠提供與質檢機構內部的信息系統(tǒng)進行數(shù)據(jù)交換的功能。例如,訂單信息能夠導入質檢機構的信息系統(tǒng)。檢測數(shù)據(jù)能夠及時有效地導入到平臺,供客戶查詢。
(7)支付接口:平臺提供支付接口與質檢機構財務對接,實現(xiàn)線上收款。
(8)物流接口:質檢機構能夠將紙質版的檢驗報告通過物流寄送到客戶,此時能夠跟蹤物流狀態(tài)。
(9)市場推廣服務:平臺提供廣告模塊,為質檢機構進行廣告推廣服務。
為企業(yè)客戶提供:
(1)在線下單服務:企業(yè)客戶在平臺上查找相關有資質的質檢機構,然后在線下訂單。
(2)支付服務:下單時能夠通過平臺進行支付。
(3)物流服務:下單的同時,可以將樣品通過物流寄送到質檢機構。
(4)在線檢測進度查詢:隨時查看訂單的進度狀態(tài)。
(5)在線檢驗報告查詢:企業(yè)客戶能夠在線查詢到委托檢驗的產品檢驗報告信息。
(6)本企業(yè)檢測數(shù)據(jù)分析:平臺能夠提供本企業(yè)所檢測的產品質量狀況。
為政府機構提供:
(1)產品質量數(shù)據(jù)分析服務:當數(shù)據(jù)積累到一定時期,平臺能夠為政府部門提供權威的產品質量大數(shù)據(jù)分析服務。例如,某類產品在一定時期內的質量狀況。
(2)產品質量安全預警:對有嚴重質量問題的產品,平臺能夠為政府提供及時準確的預警服務。
為社會公眾提供:
(1)產品質量狀況信息發(fā)布:市場上某類產品的質量狀況。
(2)消費指南:能夠為社會公眾提供產品的質量信息以及消費指南等。
常用的服務有:
(1)即時通訊:為各方提供交流平臺。
(2)標準查詢:各方都能夠查詢某種產品用哪個標準檢測,檢測項目都有哪些。
(3)產品類別管理:能根據(jù)產品類別進行分類查詢。
如圖2所示,互聯(lián)網(wǎng)+質量檢測平臺系統(tǒng)架構遵循云+端的模式,分為云計算中心、數(shù)據(jù)層、功能層、用戶接口層以及信息安全體系。
(1)云計算中心包括各種計算、存儲、網(wǎng)絡等資源池。該層提供計算、存儲、網(wǎng)絡等基礎設施,為上層應用奠定基礎[3]。
(2)數(shù)據(jù)層包括數(shù)據(jù)庫以及大數(shù)據(jù)相關組件。該層提供數(shù)據(jù)管理等服務。
(3)功能層是平臺的核心,實現(xiàn)平臺的全部業(yè)務功能邏輯。主要包括入駐資質審核、檢測服務信息發(fā)布、在線業(yè)務受理、訂單管理、客戶管理、標準管理、檢測數(shù)據(jù)交換接口、報告信息查詢、支付接口、物流接口、大數(shù)據(jù)分析等。
(4)用戶接口層是連接用戶與平臺的紐帶,包括門戶網(wǎng)站、APP、微信等豐富的服務展現(xiàn)形式。用戶不管是用計算機還是用手機等智能終端,都可以與平臺進行隨時隨地的交互,獲取平臺所提供的服務。
(5)信息安全貫穿整個系統(tǒng)平臺。在互聯(lián)網(wǎng)時代,信息安全尤為重要,用戶的信息不能被泄露、篡改。從網(wǎng)絡層、數(shù)據(jù)層到應用層都需要安全防護,包括用戶身份識別和認證、日志審計管理、防火墻、防病毒系統(tǒng)、入侵防御、數(shù)據(jù)備份等模塊。
圖2 互聯(lián)網(wǎng)+質量檢測平臺系統(tǒng)架構圖
互聯(lián)網(wǎng)+質檢平臺其中一個關鍵的功能是企業(yè)客戶在線下單,質檢機構在線受理。如圖3所示,文中設計了在線檢測業(yè)務的數(shù)據(jù)結構。質檢機構具有哪些資質,能檢測哪些類的產品。根據(jù)這些資質,發(fā)布相關的檢測服務信息??蛻羧绻枰獧z測某些樣品,則填寫訂單相關信息。訂單與樣品信息、支付信息、以后的報告信息都有關聯(lián)。
圖3 在線檢測業(yè)務數(shù)據(jù)結構圖
4.1 質檢機構在線業(yè)務受理、企業(yè)客戶在線下單功能設計
圖4為質檢機構在線業(yè)務受理、企業(yè)客戶在線下單整個過程。首先,質檢機構申請入駐,平臺相關人員對其進行審核。審核通過后,質檢機構就能根據(jù)資質能力發(fā)布相關檢測服務信息。企業(yè)客戶通過查詢,找到檢測服務信息后,就可以下單了??蛻籼顚懳袉?、在線支付后,訂單確認。之后通過物流寄送樣品,質檢機構收到樣品后,可開始檢驗工作。檢驗結束后,將檢測數(shù)據(jù)返回到平臺,同時向企業(yè)客戶發(fā)送相關消息。之后,質檢機構通過物流將紙質版的檢驗報告寄送給客戶??蛻羰盏胶?,確認此次檢測服務結束,平臺與質檢機構結算費用。最后,客戶對此次檢測服務進行評價。
圖4 質檢機構在線業(yè)務受理、企業(yè)
針對在線檢測流程,需設計各個功能模塊:入駐申請與審核、檢測服務信息發(fā)布、訂單信息管理、檢測數(shù)據(jù)交換、費用結算以及最后的服務評價等。
4.2 大數(shù)據(jù)分析模塊設計
當檢測數(shù)據(jù)積累到一定程度后,傳統(tǒng)的分析工具都不能滿足大數(shù)據(jù)量的分析要求。所以,文中用新一代大數(shù)據(jù)分析Hadoop MapReduce框架Yarn[4-11]對數(shù)據(jù)進行分析。例如,對政府來說,要找出一段時期內哪類產品的質量有嚴重問題,需要嚴加監(jiān)管。從海量檢測數(shù)據(jù)中,統(tǒng)計出各個產品的不合格率,然后追溯到各個不合格產品中,是哪家企業(yè)生產的,哪些批次,哪些項目不合格。
以下通過實例來說明:首先,搭建Hadoop集群;然后,根據(jù)需求開發(fā)MapReduce數(shù)據(jù)分析模塊;最后,將檢驗數(shù)據(jù)輸入到框架中,得到輸出結果。
根據(jù)相關標準[12-14],對若干乳制品和牙膏產品進行檢驗。表1是檢驗原始數(shù)據(jù),將該數(shù)據(jù)輸入到Hadoop框架中,得到的輸出結果見表2。
關鍵代碼如下:
Map偽代碼:
public void map(LongWritable ikey, Text value, Context context){
String line=value.toString();
String str[]=line.split(“ ”);//解析輸入的數(shù)據(jù)片
inspectBean rb=new inspectBean();
rb=str[0...m]; //填充到inspectBean中
Text mykey=new Text(str[1]);//將樣品類別作為key
context.write(mykey, rb); //輸出到框架上下文環(huán)境中
}
Reduce偽代碼:
public void reduce(Text _key,Iterable
int noResult=0, totalNum=0;
StringnoResultDetail =“”;
for(inspectBean ib:values){
totalNum=totalNum+1;
if(“不合格”.equals(ib.getResult())) { //找出不合格數(shù)據(jù)
noResult =noResult+1; //計算不合格批次
noResultDetail=noResultDetail+ib.toString(); //不合格具體數(shù)據(jù)
}
}
floatnoResultRate=(float)noResult/(float) totalNum; //計算不合格率
String myOutPut=_key.toString() +" 不合格率為:+ noResultRate+" 不合格列表為:"+ noResultDetail;
Text tempOutput=new Text(myOutPut);
context.write(_key, tempOutput); //輸出某類產品不合格率以及列表
}
表1 檢驗數(shù)據(jù)
注:本數(shù)據(jù)只是為了說明大數(shù)據(jù)分析的過程而舉的例子。
表2 輸出結果
4.3 用戶接口層模塊設計
用戶接口層是連接用戶與平臺的紐帶,包括門戶網(wǎng)站、APP、微信等豐富的服務展現(xiàn)形式。用戶不管是用計算機還是用手機等智能終端,都可以與平臺進行隨時隨地的交互,獲取平臺所提供的服務。門戶網(wǎng)站用Html5,CSS3技術實現(xiàn)。APP要覆蓋主流的智能系統(tǒng),包括蘋果版、Android版等。通過微信接口,開發(fā)微信商城。通過這些用戶接口的設計,方便用戶使用質量檢測平臺,獲得了較好的用戶體驗。
在互聯(lián)網(wǎng)時代,為了更好地為質量檢測機構、企業(yè)、政府和公眾服務,構建了互聯(lián)網(wǎng)+質量檢測平臺。該平臺創(chuàng)造了一種全方位的服務模式,連接著各利益相關方,實現(xiàn)了在線產品質量檢測和質檢大數(shù)據(jù)分析服務,真正實現(xiàn)了以用戶為中心的互聯(lián)網(wǎng)模式。
[1] 2015年政府工作報告[R/OL].2015-03-17.http://politics.people.com.cn/n/2015/0317/c1024-26702211.html.
[2] 互聯(lián)網(wǎng)+[EB/OL].2015.http://baike.baidu.com/link?url=2onGGEjBsYHqjE6Xxe5k8yOfEQ_Krj7WfuUwE8CLoDUL 90AtWDRCbsFbFfHSKAM7ukwAAN1QmHyhVgwx7JQ8La.
[3] 王繼業(yè),程志華,彭 林,等.云計算綜述及電力應用展望[J].中國電力,2014,47(7):108-112.
[4] Dean J,Ghemawat S.MapReduce:simplified data processing on large clusters[J].Communications of the ACM,2008,51(1):107-113.
[5] Apache Hadoop NextGen MapReduce (YARN)[EB/OL].2014-06-21.http://hadoop.apache.org/docs/r2.4.1/hadoop-yarn/hadoop-yarn-site/YARN.html.
[6] Hadoop:writing YARN applications[EB/OL].2015-06-29.http://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/WritingYarnApplications.html.
[7] MapReduce tutorial[EB/OL].2015-06-29.http://hadoop.apache.org/docs/current/hadoop-mapreduce-client/hadoop-mapreduce-client-core/MapReduceTutorial.html.
[8] HDFS users guide[EB/OL].2015-06-29.http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/HdfsUserGuide.html.
[9] 李靜梅,張寶權,丁 楠.Yarn架構下基于GA的Web日志挖掘技術[J].計算機應用研究,2014,31(11):3388-3391.
[10] 李瑞軒,廖東杰,辜希武,等.YARN平臺上的并行主題標引算法[J].計算機科學與探索,2014,8(12):1409-1421.
[11] 李建江,崔 健,王 聃,等.MapReduce并行編程模型研究綜述[J].電子學報,2011,39(11):2635-2642.
[12] 國家質量監(jiān)督檢驗檢疫總局.GB/T 22388-2008,原料乳與乳制品中三聚氰胺檢測方法[S].北京:國家質量監(jiān)督檢驗檢疫總局,2008.
[13] 中華人民共和國衛(wèi)生部.GB4789.4-2010,食品安全國家標準 食品微生物學檢驗 沙門氏菌檢驗[S].北京:中華人民共和國衛(wèi)生部,2010.
[14] 國家質量監(jiān)督檢驗檢疫總局.GB8372-2008,牙膏[S].北京:國家質量監(jiān)督檢驗檢疫總局,2008.
Design of Platform for Internet+ Quality Inspection
GUO Xian-chao,LIN Zong-miao,YAO Wen-yong
(Division of Sci-tech & Information,Shanghai Institute of Quality Inspection and Technical Research,Shanghai 201114,China)
In the Internet age,enterprise,government and social public have the different needs of product quality.Quality inspection agencies themselves are also required to use the Internet+ to create a new inspection and testing service model.In order to meet these requirements,the platform for Internet+ Quality Inspection is built.The platform is comprehensive for interoperability participation,and connected with the quality inspection agencies,business customers,government,the social public and other stakeholders.Quality inspection agencies can carry out online testing business,and enterprise customers can finish online orders,online payment,online reporting information query.The data accumulated to a certain extent,the use of big data technology,the quality of the product can be analyzed for a period of time,the results of the analysis can provide data support for the government to provide quality supervision,and also provide quality data support for the social public to buy goods.The platform for all parties provides convenient and efficient product quality testing and data analysis services by cloud computing,mobile Internet technology.
Internet+;quality inspection;big data;MapReduce
2015-07-29
2015-11-04
時間:2016-05-05
上海市經(jīng)濟和信息化項目(滬經(jīng)信推(2012)556號)
郭先超(1983-),男,碩士研究生,工程師,研究方向為數(shù)據(jù)挖掘。
http://www.cnki.net/kcms/detail/61.1450.TP.20160505.0817.056.html
TP311
A
1673-629X(2016)05-0120-05
10.3969/j.issn.1673-629X.2016.05.025