基于人工智能技術(shù)的多媒體記錄工藝裝備的研究

， ，富成，

(桂林航天電子有限公司，廣西桂林，541002)

1 引言

“型號元器件多媒體記錄作為產(chǎn)品質(zhì)量與可靠性的客觀實證，保證了元器件研制生產(chǎn)的可追溯性，在元器件固有質(zhì)量問題歸零與質(zhì)量復(fù)查工作中發(fā)揮了巨大作用，多媒體記錄是九院型號元器件質(zhì)量保證過程中的一項重要工作。”

以上內(nèi)容摘自九院相關(guān)文件，根據(jù)文件精神和公司實際情況出發(fā)，多媒體記錄系統(tǒng)實施的目的應(yīng)能夠反映現(xiàn)場工件制造的實際情況，做好生產(chǎn)和質(zhì)量管理的預(yù)控工作，確保各工序作業(yè)質(zhì)量符合設(shè)計要求，為生產(chǎn)和質(zhì)量管理工作提供圖片和影像資料，也為可能發(fā)生的歸零活動提供有力證據(jù)。在生產(chǎn)制造活動中，提供和拍攝現(xiàn)場工件的圖片資料，將是公司現(xiàn)場生產(chǎn)和質(zhì)量管理的一項重要工作。本文以我廠某型號用固體繼電器產(chǎn)品的印制板來件檢查工序的拍攝為例來闡述基于人工智能技術(shù)的多媒體記錄工藝裝備(以下簡稱“智能工藝裝備”)的主要開發(fā)內(nèi)容。

2 傳統(tǒng)多媒體記錄過程介紹

傳統(tǒng)的拍攝手段有數(shù)碼相機拍攝和高拍儀等形式，在用數(shù)碼相機拍攝照片時，需尋找到合適光照和位置后才能拍攝，拍攝后照片存儲在SD卡中，SD卡要到PC機上導入，人工預(yù)覽照片后做出清晰度是否滿足要求、涂膠周長是否合格、圖片是否拍攝完整和讀取編號等繁復(fù)的人工操作，然后按照命名規(guī)范編輯照片的檔案名稱存到指定磁盤路徑，并將該操作步驟記錄到相應(yīng)記錄介質(zhì)上。我們經(jīng)過統(tǒng)計，平均每張照片操作要1分鐘以上，這個過程還沒有包括上傳圖片到服務(wù)器和數(shù)據(jù)庫中所需要的時間。

圖1 傳統(tǒng)拍攝方式

上述傳統(tǒng)多媒體記錄操作方法雖然可以滿足拍攝要求，但在提高拍攝效率、智能防錯、自動歸檔、危情預(yù)警和實現(xiàn)信息化管理要求上卻很難實現(xiàn)，只能通過人工的方式來進行預(yù)判、傳遞、錄入和示警，而這樣的記錄方式可能出現(xiàn)人為的錯漏情況，產(chǎn)生質(zhì)量隱患。

3 智能工藝裝備要滿足的要求

根據(jù)車間生產(chǎn)實際，結(jié)合九院和公司信息化建設(shè)的要求，該裝置應(yīng)滿足以下要求：

?拍攝照片不僅要能全面反映涂膠關(guān)鍵部位的情況，而且單位面積像素數(shù)應(yīng)不少于200 萬/平方分米；

?應(yīng)能滿足車間生產(chǎn)工程化要求，作業(yè)效率高；

?與公司服務(wù)器互聯(lián)，拍攝的照片檔案實現(xiàn)物理異地存儲，便于智能管理需要和數(shù)據(jù)的災(zāi)難恢復(fù)；

?人工智能識別單元運行可靠、穩(wěn)定；

?照片存儲唯一性，保證無異名同文件的情況；

?拍攝的照片畸變小，便于辨識和視覺算法的處理。

4 智能工藝裝備設(shè)計方案

針對上述要求，我們提出了本文智能工藝裝備的設(shè)計方案，如圖2所示，智能工藝裝備由光學成像模塊、數(shù)據(jù)運算處理模塊、數(shù)據(jù)存儲模塊以及顯示管理模塊組成，各模塊聯(lián)動完成各自功能，從而實現(xiàn)智能工藝裝備的整體功能。

圖2 智能工藝裝備系統(tǒng)構(gòu)成

5 多媒體記錄的作業(yè)過程

?作業(yè)步驟1：打開計算機，用自己的賬號登錄公司局域網(wǎng)，打開多媒體記錄系統(tǒng)進入照片采集軟件界面，軟件自檢服務(wù)器和數(shù)據(jù)庫鏈接是否正常；

?作業(yè)步驟2：打開光學系統(tǒng)光源，將工件放入定位座，在軟件中編輯工號、批號；點擊軟件中的“拍照”按鈕，軟件的人工智能模塊開始運行，模擬人工操作步驟自動對圖片進行清晰度是否達標、圖片拍攝是否完整和涂膠面積是否合格等進行相關(guān)計算，并給出量化依據(jù)以及合格與否的判定結(jié)果。如出現(xiàn)涂膠面積低于警戒水平，軟件將自動發(fā)送報警信息給相關(guān)人員。

?作業(yè)步驟3：點擊軟件中“保存”按鈕，軟件自動將照片命名后保存在本機，同時上傳照片到服務(wù)器，再將本次拍攝的時間、記錄人、生產(chǎn)信息錄入到公司數(shù)據(jù)庫。這時，公司網(wǎng)站管理平臺可同步查看到該照片和相關(guān)記錄。拍攝操作結(jié)束。

?定期工作：軟件定時對存儲的照片文件進行掃描，尋找異名同文件的圖片并剔除，避免同一個文件的多次使用。

圖3 現(xiàn)場操作過程

以上步驟由于大部分工作都是計算機和網(wǎng)絡(luò)在進行處理和傳遞，整個過程最快可以在10～20秒內(nèi)可以完成。

6 人工智能防錯的實現(xiàn)

本文中的人工智能防錯功能有照片完整性檢查、清晰度檢查、涂膠面積檢查、自動讀取編號和重復(fù)照片剔除等，這些功能主要是基于圖像處理技術(shù)和圖像的模式識別。機器視覺系統(tǒng)中，視覺信息的處理主要是對圖像數(shù)據(jù)的處理，包括圖像增強、平滑、邊緣銳化、分割、特征抽取、圖像識別、模板匹配等步驟。上述處理過程，達到了改善了圖像質(zhì)量，便于計算機對圖像進行分析、處理和識別的目的。本文的圖像處理核心算法流程見下圖。

圖4 核心算法流程圖

下面就實現(xiàn)的主要函數(shù)進行說明。

6.1 OnCheckGlue()-涂膠區(qū)域周長檢查

該過程的關(guān)鍵是將涂膠區(qū)域完整地從原圖中分割出來。為避免算法在自動分割圖像劃分區(qū)域時出現(xiàn)噪聲的影響，先對圖像進行了降噪和濾波處理。另外，在很多情況下，由于光照的影響，物體和背景的對比度很難保證每張照片都會一樣。因此在進行分割時，采用了自適應(yīng)閾值的方式，雖然比全局閾值耗時，但分割出來的區(qū)域較可靠。下圖為經(jīng)過預(yù)處理后的涂膠區(qū)域圖片。經(jīng)過計算區(qū)域，得出區(qū)域周長，實現(xiàn)自動判斷涂膠區(qū)域是否滿足工藝要求的功能。

圖5 涂膠區(qū)域的矢量圖

6.2 OnLapLace()-清晰度檢查

照片進行清晰度計算，不僅可以成為評價照片質(zhì)量的量化標準，而且也是調(diào)整相機物距和焦距的重要依據(jù)?？紤]到圖片像素值較高，運用傳統(tǒng)的邊緣檢測方法計算清晰度將比較耗時。光學成像方式因為有著穩(wěn)定的光源和比較高的對比度，適合運用拉普拉斯方程式轉(zhuǎn)換后進行圖像清晰度計算。

拉普拉斯算子是一個微分算子，具有旋轉(zhuǎn)不變性。一個二維圖像函數(shù)的拉普拉斯變換是各向同性的二階導數(shù)，定義為：

為了更適合于數(shù)字圖像軟件處理，將該方程表示為離散形式：

▽2f=[f(x+1,y)+f(x-1,y)+f(x,y+1)+f(x,y-1)]-4f(x,y)

算法基于以上方程實現(xiàn)原理：如果圖片具有較高方差，那么它就有較廣的頻響范圍，代表著正常、聚焦準確的圖片。但是如果圖片具有較小方差，那么它就有較窄的頻響范圍，意味著圖片中的邊緣數(shù)量很少。正如我們所知道的，圖片越模糊，其邊緣就越少。只需要將圖片中的某一通道(但一般用灰度值)用拉普拉斯算法做卷積運算，然后計算方差。如果某圖片方差低于預(yù)先定義的閾值，那么該圖片就可以被認為是模糊的。高于閾值，就不是模糊的。

根據(jù)上面的理論，軟件中CImgProcess類的成員函數(shù)OnLapLace ()實現(xiàn)拉普拉斯清晰度評估數(shù)值的計算操作，在對圖像計算清晰度時時直接調(diào)用OnLapLace ()函數(shù)即可。以下是OnLapLace ()函數(shù)的部分代碼實現(xiàn)。

……

//列處理

for (j= inputX0; j

inputW + inputX0 + 1; j++)

{

//指向第i行第j列像素的指針

pDst = m_pImgDataOut + lineByte *(m_imgHeight -1 - i) + j;

value=0;

//計算

for (k = 0; k < inputH; k++)

{

for (l = 0; l < inputW; l++)

{

……

//計算平均數(shù)

value += (*pSrc) * pTemplate[k * inputW + l];

}

}

//取結(jié)果的絕對值

value = (float)fabs(value);

圖6 清晰度評估：5300 圖7 清晰度評估：1200

7 應(yīng)用情況

系統(tǒng)配備專業(yè)工業(yè)相機和鏡頭，配套智能防錯信息化軟件，不僅做到了拍照清晰完整，并且還做到了以下幾點。

1)存儲可靠安全。由于實現(xiàn)了異地存儲，無論哪一方出現(xiàn)存儲故障，都能夠快速還原，滿足了災(zāi)難恢復(fù)的要求。增加的垃圾文件掃描機制，保證了照片的唯一性和準確性。

2)人工智能算法模塊按照專業(yè)軟件測試規(guī)程進行調(diào)試，運行穩(wěn)定。

3)車間投入使用后，效率較原來操作有大幅提升，并降低了操作者工作強度，滿意度較高。

4)信息化功能實現(xiàn)了數(shù)據(jù)的同步傳輸，縮短了基層與管理者之間的距離。

8 技術(shù)遠景

在該設(shè)備軟硬件基礎(chǔ)上，進一步拓展通用能力，開發(fā)適合各類工件防錯記錄特性的算法，作為插件的形式部署在軟件中，使軟件具備“膠水”特性。在使用時，只需調(diào)整軟件插件庫，就可完成其它各類型工件的智能防錯多媒體記錄工作。

本文的這種實現(xiàn)方法可以廣泛應(yīng)用在公司繼電器生產(chǎn)中需要進行多媒體記錄的各個環(huán)節(jié)。

9 結(jié)束語

系統(tǒng)雖然完成的是一個軟硬件結(jié)合的拍照裝置，但也可以構(gòu)架出一類新的工藝管理環(huán)境，它將現(xiàn)場實時的工件影像信息與操作者、工藝管理系統(tǒng)、車間管理者、質(zhì)量管理者、公司主管領(lǐng)導和用戶聯(lián)動起來，并為公司的ERP、MES和決策系統(tǒng)提供量化依據(jù)，使得職能管理和生產(chǎn)工藝現(xiàn)場之間的聯(lián)系更加緊密。

通過將信息化技術(shù)、物理異地存儲技術(shù)、圖示化使用界面、人工智能技術(shù)、數(shù)據(jù)同步更新架構(gòu)等相關(guān)領(lǐng)域的融合，該系統(tǒng)能將生產(chǎn)、工藝和質(zhì)量管理所需的各類角色整合在一起，將這些影像信息以圖文并茂的形式用 Web 或其他通知方式及時準確地傳送給上述各類使用者監(jiān)看，這樣的環(huán)境不僅使得各相關(guān)職能監(jiān)管模式從技術(shù)上得到了加強，而且當發(fā)生緊急情況時，還能實時提供現(xiàn)場緊急狀態(tài)的信息，并以最快速度通知相關(guān)使用者。這樣的模式將會降低沒有附加價值的活動對營運的影響，進而提高生產(chǎn)效益，改善職能監(jiān)管環(huán)境。