基于3D視覺制鞋自動成型關(guān)鍵技術(shù)研究*

鐘治魁

（泉州華中科技大學(xué)智能制造研究院，福建泉州 362000）

0 引言

中國不僅是制鞋大國，全球較大的鞋業(yè)制造基地，而且也是全球較大的鞋類產(chǎn)品消費市場。2019年中國鞋類產(chǎn)量為135 億雙左右，約占全球產(chǎn)量的56%[1-3]。制鞋是勞動密集型制造，隨著國內(nèi)勞動力成本的上升，中國傳統(tǒng)手工制鞋業(yè)逐漸失去了優(yōu)勢。但隨著中國制鞋行業(yè)眾多要素特別是人力成本的不斷上升，國際貿(mào)易環(huán)境日趨復(fù)雜多變，制鞋產(chǎn)業(yè)開始向東南亞等地快速轉(zhuǎn)移，我國鞋業(yè)面臨的國際競爭不斷加劇，產(chǎn)量占世界的份額已經(jīng)連續(xù)數(shù)年呈下降趨勢[4-5]。因此，提升制鞋成型自動化來突破傳統(tǒng)勞動密集型制鞋的現(xiàn)狀顯得尤為重要。

由于制鞋工藝的復(fù)雜性，目前多數(shù)工藝采用人工完成，其中打磨和噴膠工藝是制鞋成型工藝中影響制鞋質(zhì)量最重要的因素之一，占用人工最多，花費工時最長，且膠水中的化學(xué)物質(zhì)對人體健康有一定的影響[6]。因此，制鞋成型迫切需要引入機器視覺等先進技術(shù)解決傳統(tǒng)人工涂膠、打磨等工藝。

隨著機器視覺技術(shù)飛躍發(fā)展，尤其在3D視覺成像技術(shù)方面[7]，通過3D 傳感器獲得物體的三維信息，利用點云處理技術(shù)提取鞋材的關(guān)鍵信息，結(jié)合工業(yè)機器人實現(xiàn)制鞋成型過程中的噴膠和打磨等工藝，解決現(xiàn)有人工打磨、噴膠存在的問題，不斷實現(xiàn)機器代替人工的過程。如何設(shè)計合理的3D視覺制鞋成像測量系統(tǒng)，提取鞋材的關(guān)鍵信息，以及基于3D視覺工藝技術(shù)的研究，是制鞋自動成型的關(guān)鍵。

1 制鞋成型測量系統(tǒng)

本文研究的測量系統(tǒng)主要針對制鞋成型中段的3D視覺關(guān)鍵技術(shù)研究，鞋材經(jīng)過復(fù)雜多種的工藝，如打磨、噴膠等，最終完成制鞋成型過程。制鞋成型3D視覺測量系統(tǒng)包括成像系統(tǒng)、光條提取、標定等內(nèi)容。測量系統(tǒng)的性能直接影響鞋材輪廓數(shù)據(jù)獲取的速度和精度，間接影響制鞋成型工藝，最終影響制鞋成型質(zhì)量。因此，如何搭建制鞋成型3D視覺測量系統(tǒng)至關(guān)重要。

通過對激光三角測距技術(shù)的研究，設(shè)計符合制鞋成型掃描的測量系統(tǒng)，根據(jù)鞋材成型成像需求，提出一種基于嵌入式的制鞋成像系統(tǒng)方案和一種基于FPGA 實現(xiàn)光條提取算法的研究。

1.1 激光三角測距技術(shù)

激光三角法測量系統(tǒng)主要由激光光源、透鏡和光敏傳感器組成[8]，其中激光器可分為點激光、線激光和其他形式激光。通過激光照射被測物體表面，然后在某一個方向的成像面上觀察反射光斑的位置，從而計算出激光光條在成像平面的位置。根據(jù)入射光與被測面法線之間的關(guān)系可將測量系統(tǒng)分為直射式和斜射式兩大類[9]，其原理如圖1和圖2所示。激光測量具有精度高，抗干擾能力強等特點，非常適合應(yīng)用于制鞋成型掃描。

圖1 直射式激光三角法

圖2 斜射式激光三角法

1.2 成像系統(tǒng)設(shè)計

為了設(shè)計方面，采用基于直射式激光三角測距技術(shù)，考慮直射式測量視野的局限性，以及鞋材形狀及成型工藝的要求，引進Scheimpflug 測量原理，如圖3所示，即在光路設(shè)計時成像平面旋轉(zhuǎn)一個固定角α。

圖3 Scheimpflug測量光路

常用3D視覺掃描測量的方式是通過計算機集成相機API 獲取每一幀全幅圖像，經(jīng)過每幀圖像處理，獲取測量數(shù)據(jù)，由于數(shù)據(jù)經(jīng)過網(wǎng)絡(luò)傳輸，掃描速率受到很大的影響，且這種方案成本也較高[7]。

基于制鞋成型工藝，提出一種更適合制鞋成型的3D掃描成像系統(tǒng)，如圖4所示，掃描系統(tǒng)框架包括兩部分：成像軟件和成像硬件。其中成像硬件由CCD、處理器、機器人或輸送線和光學(xué)系統(tǒng)組成。處理器采用一種基于ARM+FPGA 微處理器的嵌入式三維重建系統(tǒng)圖像采集平臺，ARM 通過CCD 采集圖像，經(jīng)過FPGA 處理，將數(shù)據(jù)發(fā)送成像軟件進行顯示和處理，構(gòu)建三維重建系統(tǒng)，通過成像軟件的操作來控制嵌入式三維重建系統(tǒng)的工作，實現(xiàn)整個三維重建系統(tǒng)的軟件操作性。

圖4 掃描成像系統(tǒng)框架

圖5 成像軟件

基于ARM+FPGA 的嵌入式平臺，軟硬件兼容性高，系統(tǒng)集成化程度高，硬件平臺所占的空間比較少，而且系統(tǒng)內(nèi)核源碼較小，系統(tǒng)通過裁剪比較精簡，實際的開發(fā)周期短，適合用于需要實時性處理的場景中。FPGA架構(gòu)的導(dǎo)入，彌補ARM 算力不足的問題，同時為后續(xù)點云處理算法的研究提供硬件支持。

1.3 基于FPGA光條提取算法實現(xiàn)

光條提取是3D 視覺成像中的關(guān)鍵，提取質(zhì)量直接影響三維重建精度[10]。本文基于FPGA提出一種鞋材掃描成像的光條提取算法，算法流程如圖6所示，通過逐行讀取圖像信息，圖像預(yù)處理、圖像處理。圖像預(yù)處理包括高斯濾波、中值濾波和膨脹濾波，主要作用是濾除圖像的高斯噪聲、椒鹽噪聲濾，消除高斯濾波與中值濾波對于邊界灰度值的影響。根據(jù)光條算法，基于FPGA 平臺設(shè)計的光條提取電路如圖7所示。

圖6 FPGA光條提取算法流程

圖7 FPGA光條提取電路

圖像二值化過程采用固定閾值的方式，實現(xiàn)圖像二值化預(yù)處理，為了克服噪點過大對灰度重心法的干擾，在圖像二值化后對圖像進行腐蝕與膨脹運算。通過計算二值化后圖像每行灰度的重心來獲取光條位置的坐標，利用坐標轉(zhuǎn)換獲得三維空間點。

基于FPGA 內(nèi)建光條提取系統(tǒng)可被抽象為5 個模塊，模塊與模塊之間的連接關(guān)系以及數(shù)據(jù)傳輸如圖8所示。

圖8 FPGA光條提取系統(tǒng)模塊

節(jié)點1：表示AXI接口FPD模塊通過總線，將ARM中DDR4所存的圖片數(shù)據(jù)傳輸?shù)阶x控制器緩沖FIFO的過程。

節(jié)點2：表示讀控制器將圖片數(shù)據(jù)從緩沖FIFO讀出，并將其作為光條提取算法的數(shù)據(jù)輸入的過程。

節(jié)點3：表示將光條提取算法的運算結(jié)果（光條水平位置）傳輸?shù)綄懣刂破骶彌_FIFO的過程。

節(jié)點4：表示寫控制器將緩沖FIFO 中的運算結(jié)果寫入片內(nèi)BRAM 的過程，最后ARM 只需要通過AXI 接口LPD模塊就可以訪問片內(nèi)BRAM讀取數(shù)據(jù)了。

2 鞋面點云配準技術(shù)

點云配準技術(shù)是通過一定的算法或統(tǒng)計學(xué)規(guī)律，利用計算機計算兩塊點云之間的錯位，達到兩片點云自動配準效果，其實質(zhì)是把在不同的坐標系中測量得到的數(shù)據(jù)點云進行坐標變換，以得到整體的數(shù)據(jù)模型。常用的配準技術(shù)有一對點云配準、對應(yīng)估計、對應(yīng)關(guān)系去除、變換矩陣估算、迭代最近點點位算法和采樣一致性初始對齊算法等[11-12]。

2.1 ICP配準算法

在精匹配算法中，最近迭代點（Iterative Closest Point，ICP）算法是使用最廣泛的算法[13]。ICP 算法由Besl 和Mckay 在1992年提出，是一種基于自由形態(tài)曲面的匹配算法。ICP 算法的目的是求得旋轉(zhuǎn)變換R和平移變換T，使得目標點云經(jīng)過R、T變換后能夠與參考點云最大限度重合。ICP 是基于最小二乘法的最優(yōu)匹配算法，通過重復(fù)尋找最近點對、計算變換矩陣、應(yīng)用變換矩陣的迭代過程，直到滿足點云間距離和最小或其他限制條件（如最大迭代次數(shù)、距離和變化幅度）。

ICP 算法的實現(xiàn)：已知目標點云P，坐標為{pi,i=1,2,…,np}，源點云Q，其坐標為{qi,i=1,2,…,nq}，按照一定的約束條件，找到最鄰近點，計算最優(yōu)的匹配參數(shù)R和T（R為旋轉(zhuǎn)矩陣，T為平移向量），通過式（1）計算誤差函數(shù)E，使其最小。

ICP 配準是一個不斷迭代，直到收斂的過程。第k次迭代過程，尋找Q與點云P距離最近的點云，設(shè)其坐標為{Qki,i=1,2,…,np}和{Pki,i=1,2,…,np}，由對應(yīng)點計算Pk與Qk之間的變換矩陣Rk、Tk，并對點云Pk應(yīng)用新變換，直到點云P和點云Q之間的平均距離小于給定值τ，即滿足迭代收斂要求。具體迭代步驟如下：

（1）目標點云P中取點云Pki∈P(i=1,2,…,np)；

（2）源點云Q中搜索Pki對應(yīng)點Qki∈Qk，使得最小，k++；

（3）計算旋轉(zhuǎn)矩陣Rk與平移向量Tk；

（4）計算Pk+1，如式（2）：

（5）計算dk+1，如式（3）：

總之，“以人為本”的教育管理精髓可以詮釋為：點亮人性的光輝，回歸生命的價值，尊重個性的豐富發(fā)展，共創(chuàng)人類的繁榮和幸?！盵4]。教育管理者只有重視弘揚被管理者的個性，尊重人性，才能培養(yǎng)真正的人。因此，管理者轉(zhuǎn)變管理理念、注重管理的人本化、關(guān)注人性的回歸已經(jīng)成為教育管理改革的主旋律和時代最強音。

若dk+1＞τ，返回步驟（2），直至dk+1＜τ或者達到設(shè)置的迭代次數(shù)為止（k＜mmax），鞋面點云配送迭代流程如圖9所示。

圖9 點云配準算法流程

2.2 基于配準算法鞋面軌跡提取技術(shù)

制鞋成型生產(chǎn)過程中，鞋面因材質(zhì)、樣式等，導(dǎo)致鞋面的款式復(fù)雜、多樣，在實現(xiàn)自動化過程中變得更加復(fù)雜，如何結(jié)合3D視覺掃描實現(xiàn)不同款式的生產(chǎn)也是研究的關(guān)鍵問題，基于對配準算法的研究，提出一種鞋款模板提取方法，建立不同鞋款的模板數(shù)據(jù)，并通過配準糾正生產(chǎn)過程中的誤差，以某鞋碼為例，具體步驟如下。

（1）貼黑色美紋紙：將鞋面貼上一層黑色美紋紙，完全包裹整個鞋面。

（2）第一掃描鞋面：將貼好的鞋面，通過3D掃描測量系統(tǒng)，采集鞋面輪廓數(shù)據(jù)M，作為鞋面配準的點云模板數(shù)據(jù)。

（3）劃線：將步驟（1）貼好的鞋面與同碼鞋底進行貼合，沿著鞋底的輪廓，在鞋面上畫出相應(yīng)的輪廓線，輪廓線顏色必須與鞋面顏色保證較大的對比度。

（4）貼白色美紋紙：根據(jù)步驟（3）畫出的輪廓線，沿著輪廓線，貼上白色美紋紙。

（5）第二次掃描：設(shè)置合適的掃描參數(shù)，使得掃描只成像白色美紋紙輪廓，采集相應(yīng)的點云輪廓N，如圖10所示。

圖10 噴膠軌跡提取效果圖

（7）配準修正軌跡：通過實時掃描鞋面輪廓，獲取點云O，點云M與O進行配準獲得配準矩陣，如圖11所示，以此來修正步驟（6）提取的噴膠軌跡模板。如果實際視覺引導(dǎo)效果較差，重新回到步驟（6），優(yōu)化軌跡，直到達到生產(chǎn)要求。

圖11 鞋面點云配準

3 基于聚類算法的鞋底打磨軌跡提取

鞋底打磨軌跡提取技術(shù)的研究，基于本文研究的3D掃描測量系統(tǒng)，掃描獲取鞋底的輪廓信息，提出基于聚類算法的打磨軌跡提取方法，具體步驟如下。

（1）鞋底掃描數(shù)據(jù)預(yù)處理，計算鞋底的中心點坐標，將該中心點坐標對應(yīng)的法向量作為基準法向量V1。

（2）指定K值，對于鞋底點云，通過其K個近鄰點計算其法向量V2，K的取值范圍為：75 ≤K≤85，計算法向量V2與基準法向量V1的夾角θ，如式（4）所示。

（3）設(shè)定閾值θ1（25°≤θ1≤35°），將小于θ1的坐標點組成點集A，將A作為鞋底底部的點云數(shù)據(jù)，。

（4）以L間距對鞋底側(cè)邊的點云進行等分分割，L的取值范圍為：0.5 mm ≤L≤1.5 mm，得到多個子點集，分別計算各子點集的最高點坐標和最低點坐標，最低點坐標群組成點集B，得到鞋底打磨的軌跡坐標。

（5）取各子數(shù)據(jù)的最高點坐標和最低點坐標的平均值，并將平均值坐標組成點集C，計算點集C的面法矢，將面法矢的方向作為工具的Z向矢量，Cn到Cn+1的方向作為對應(yīng)點集C內(nèi)的第n個點的X向矢量，通過Z向矢量和X向矢量求出第n個點對應(yīng)的Y向矢量，并根據(jù)X、Y和Z向矢量求出第n個點對應(yīng)的工具姿態(tài)歐拉角。

計算工具姿態(tài)歐拉角：設(shè)X向矢量為(nx,ny,nz)、Y向矢量為(ox,oy,oz)和Z向矢量為(ax,ay,az)，通過式（5）計算工具姿態(tài)歐拉角RPY(φ,θ＇,φ)：

式中：c為余弦函數(shù)；s為正弦函數(shù)。

（6）計算每一個軌跡坐標與點集C中各點之間的距離，取最小距離的點所對應(yīng)的工具姿態(tài)歐拉角作為該軌跡坐標對應(yīng)的工具姿態(tài)，以此類推，遍歷所有的軌跡坐標，得到鞋底打磨的軌跡路徑，軌跡規(guī)劃路徑包括各軌跡坐標及其對應(yīng)的工具姿態(tài)，打磨軌跡提取效果如圖12所示。

圖12 打磨軌跡提取效果

4 結(jié)束語

根據(jù)制鞋中段成型工藝研究，基于嵌入式、點云處理、光學(xué)測量等技術(shù)，設(shè)計并搭建了嵌入式制鞋成型測量系統(tǒng)，實現(xiàn)制鞋成型鞋材的三維重建；基于FPGA 光條提取算法電路設(shè)計，提升了鞋材三維重建速率，也為后續(xù)HDR 算法的實現(xiàn)做技術(shù)鋪墊；鞋面點云配準技術(shù)的研究，提出基于ICP 配準的鞋面噴膠視覺引導(dǎo)方法，解決鞋面款式復(fù)雜、多樣等生產(chǎn)問題；通過聚類算法的研究，提出基于聚類算法的鞋底打磨軌跡提取算法，實時生成鞋底打磨軌跡，提升打磨效率。本文通過對面向制鞋成型的3D視覺關(guān)鍵技術(shù)研究，加快實現(xiàn)制鞋自動成型的步伐。