基于機器視覺與物聯(lián)網(wǎng)云平臺的無人掃路車路徑規(guī)劃系統(tǒng)設計

仝 光，李 解，徐 飛，周漢杰

（1.上海電機學院機械學院，上海 201306；2.上海海關機電產(chǎn)品檢測中心，上海 200120）

環(huán)衛(wèi)行業(yè)越來越重要，現(xiàn)有環(huán)衛(wèi)專用車不能適應城市建設要求。近年來，隨著我國城市建設進程不斷加快，城市生活垃圾以及道路機械化作業(yè)面積逐漸擴大，給環(huán)衛(wèi)車輛駕駛員帶來了更重的工作負擔。作為特定環(huán)境下的低速掃路車，國內(nèi)部分學者已經(jīng)進行了無人駕駛技術(shù)的研究［1-4］，大多聚焦于基于數(shù)字地圖的路徑導航，這種導航方法導航精準度高，但對系統(tǒng)的處理能力要求較嚴格且成本偏高。本文針對掃路車的特定運行環(huán)境，提出了基于機器視覺與云端服務相結(jié)合的路徑導航方法。

1 機器視覺系統(tǒng)設計

1.1 圖像處理

圖像處理作為機器視覺的關鍵，借助微處理器對圖像進行分析。本試驗中的圖像處理包括圖像灰度化、圖像去噪、圖像邊緣提取和導航線提?。?］。

1.1.1 圖像灰度化

一般彩色圖像又稱RGB 圖像，每一個像素點都由R（RED）、G（GREEN）、B（BLUE）3 個通道組成。在RGB 模型中，如果R、G、B 3 個通道值相等，則為單通道的灰度圖像。灰度化之后的圖像處理運算量明顯小于RGB 圖像?？紤]到路徑規(guī)劃對實時性的要求，需要對RGB 圖像進行灰度化處理，提高運算速度減少處理時間［6］。

目前，有常用的3 種灰度處理的辦法。第1 種為平均值法［7］：

第2種為最大值法，取R、G、B顏色通道的像素最大值作為灰度值：

第3 種為加權(quán)平均法。根據(jù)人眼敏感度，將3個分量進行加權(quán)。經(jīng)過研究最符合人類視覺的R、G、B分量的系數(shù)分別為0.299、0.587、0.114［8］。圖像灰度值的公式為

車道線灰度化結(jié)果如圖1所示。

圖1 車道線灰度化處理Fig.1 Graying processing results of lane lines

1.1.2 圖像去噪

圖像噪聲是指存在于圖像數(shù)據(jù)中干擾信息［9］，一般濾波消除噪聲的方法有均值濾波和中值濾波［10］。均值濾波就是將臨近的若干個像素點的值加起來取均值，賦給中心像素點的濾波方法，公式如下：

中值濾波就是對指定的一個像素點周圍的像素點進行排序，將中值賦給中間的像素點［11］，其公式如下：

濾波處理效果也與模板有很大關系，為了驗證兩個算法的有效性，對灰度圖像采用5×5 和 9×9 的模板分別進行均值濾波和中值濾波，結(jié)果如圖2所示。

圖2 灰度圖均值濾波和中值濾波處理結(jié)果Fig.2 Processing results of mean filtering and median filtering of grayscale images

從結(jié)果可以看出：均值濾波后的圖像不清楚，車道線邊緣變模糊，噪聲也沒有完全去除；中值濾波既抑制了噪聲，又保留了圖片的道路邊緣的細節(jié)。因此，選取中值濾波作為導航線圖像濾波的處理算法。

1.1.3 圖像的邊緣提取

邊緣就是像素值發(fā)生躍遷的地方，如圖3所示。

圖3 圖像像素點分布函數(shù)Fig.3 Image pixel distribution function

在圖3的標記處f（t）變化較大，即像素值發(fā)生躍遷的地方。對f（t）求導數(shù)，導數(shù)圖像如圖4所示。

從圖4 中可以看出，在導函數(shù)取最大值時，灰度值變化最明顯。所以對于圖像來說，可以用微分表示圖像灰度的變化率基本定義如下：

圖4 圖像像素點分布函數(shù)導數(shù)圖像Fig.4 Image pixel distribution function derivative image

圖像是一個離散的二維函數(shù)，η不能無限小。圖像是按照像素離散，最小η就是1像素。因此，上面的圖像微分又變成了如下的形式（η=1）：

式（7）是圖像在（x，y）點處x方向的梯度，式（8）是圖像在（x，y）點處y方向的梯度，圖像的梯度相當于2 個相鄰像素之間的差值。Sobel 算子是邊緣檢測中最重要的算子之一［13］。如果以I代表原始圖像，Gx、Gy分別代表水平梯度和垂直梯度：

圖像每一個像素總梯度為

設置一組高低閾值來輸出二值圖像，T1、T2為閾值，凡是高于T2的都保留，凡是小于T1都丟棄，從高于T2的像素出發(fā)，凡是大于T1而且相互連接的都保留。最終得到一個輸出二值圖像，如圖5所示。

圖5 邊緣提取后的圖像Fig.5 Image after edge extraction

1.1.4 導航線提取

提取車道線的中點，將提取出來的中點連接起來形成小車前進的導航線。然后測量出車道線實際的中心位置，計算提取出的導航線M與實際的中心位置的偏移量Δ：

采用兩個直流電機控制掃路車的行進，采用差速轉(zhuǎn)向的控制原理控制小車的轉(zhuǎn)向。給兩個電機不同的脈沖寬度調(diào)制（Pulse Width Malulation，PWM）占空比來控制它們的轉(zhuǎn)速，Δ值主要用來確定給的PMW占空比大小。

1.2 二維碼地標的生成與識別

二維碼在一維碼的基礎上加上了另一維的碼，用黑白矩形表示二進制數(shù)據(jù)［14］。二維碼有糾錯碼，在二維碼破損一定程度的情況下也能讀出其內(nèi)容。無人掃路車的工作環(huán)境大多是在戶外，傳統(tǒng)地標易磨損，采用二維碼地標可以在一定程度上減少地標受損帶來的意外情況。

1.2.1 二維碼的制作原理

制作一個二維碼首先要進行數(shù)據(jù)分析，確定編碼的字符類型，選擇糾錯等級，進行數(shù)據(jù)編碼。根據(jù)模式指示表，如表1所示將數(shù)據(jù)字符轉(zhuǎn)換為位流。

表1 二維碼數(shù)據(jù)編碼模式指示表Tab.1 QR code data encoding mode indication table

二維碼容錯主要由糾錯編碼來實現(xiàn)，將碼字序列分塊，并根據(jù)糾錯等級和分塊的碼字，產(chǎn)生糾錯碼字［15］。將每一個糾錯碼放到序列碼的后面以用來糾錯。如：D1，D12，D23，D35，D2，D13，D24，D36，…，E24，E46，E68，…［16］最后一步就是構(gòu)造矩陣。一個普通二維碼的基本結(jié)構(gòu)如圖6所示。

圖6 二維碼基本結(jié)構(gòu)Fig.6 QR code basic structure diagram

把上面的完整序列填充到相應規(guī)格的二維碼矩陣的區(qū)域中，最后形成的二維碼，如圖7所示。

圖7 填充信息之后的二維碼Fig.7 The QR code after filling in the information

為了可靠性，使用掩碼圖形讓矩陣中的黑白色塊比例接近1∶1 分布，最后將生成格式和版本信息放入相應區(qū)域內(nèi)。數(shù)據(jù)位前2 位是糾錯等級，糾錯等級表如表2所示。

表2 糾錯等級表Tab.2 Error correction scale

第3 到第5 位是掩碼標識，然后根據(jù)糾錯算法算出10位糾錯碼，加在5位數(shù)據(jù)位后面。

1.2.2 二維碼的解碼原理

二維碼的解碼其實就是二維碼編碼的逆向過程：第1步定位圖形，根據(jù)黑白色塊轉(zhuǎn)成0、1組成的數(shù)組，確定一個閾值，用該值將圖像轉(zhuǎn)化為一系列深色和淺色像素；第2 步識別格式和版本信息；第3步去掉掩碼；第4 步恢復數(shù)據(jù)碼字和糾錯碼字，使用糾錯碼字進行錯誤檢查并糾錯；最后解碼數(shù)據(jù)碼［17］。流程圖如圖8所示。

圖8 二維碼解碼流程圖Fig.8 Two-dimensional code decoding flow chart

1.3 機器視覺系統(tǒng)實驗結(jié)果

攝像頭識別到直線時，掃路車沿直線行駛。當識別到導航線偏右時，右電機轉(zhuǎn)速降低，左電機轉(zhuǎn)速增加，掃路車右轉(zhuǎn)。當識別到導航線偏左時，左電機轉(zhuǎn)速降低，右電機轉(zhuǎn)速增加，掃路車左轉(zhuǎn)。當攝像頭檢測到不同的二維碼地標時，掃路車分別執(zhí)行前進后退、左拐和右拐。

2 數(shù)據(jù)上傳至物聯(lián)網(wǎng)云平臺

在5G 時代，物聯(lián)網(wǎng)領域?qū)玫綐O大的促進和發(fā)展［18］。在這樣的背景下，提出在二維碼中寫入車輛的位置信息，在攝像頭讀取到二維碼信息的時候，不僅能實現(xiàn)轉(zhuǎn)向還可以將讀取到的位置信息發(fā)送至物聯(lián)網(wǎng)云平臺，以便我們遠程監(jiān)測無人掃路車是否正常工作。

2.1 物聯(lián)網(wǎng)平臺的概念

物聯(lián)網(wǎng)使物與物之間能夠進行信息交換和通信。要想實現(xiàn)萬物互聯(lián)，物聯(lián)網(wǎng)云平臺就是關鍵［19］。一般情況下，一個物體無法和非同一個局域網(wǎng)下的其他硬件設備直接點對點通信，這種情況下就需要一個云平臺作為“中轉(zhuǎn)站”來實現(xiàn)兩個或者多個遠程的設備相連接。

2.2 數(shù)據(jù)上傳

要將識別的掃路車位置信息上傳至物聯(lián)網(wǎng)云平臺，首先要在物聯(lián)網(wǎng)平臺創(chuàng)建產(chǎn)品，在每個產(chǎn)品下可添加多個設備，每個設備有獨立的三元組信息，如表3所示。

表3 產(chǎn)品的三元組信息表Tab.3 Triple information table for the product

通過程序編寫對服務器進行配置，并通過協(xié)議將無人掃路車和云連接起來。為了以后程序可以移植到多輛掃路車上，本文最終將程序封裝成一個動態(tài)鏈接庫。程序采用C#語言來編寫，連接協(xié)議采用http協(xié)議。物聯(lián)網(wǎng)平臺的配置主要包括：配置三元組信息，配置服務器，設置訂閱和發(fā)布的Topic，對指定格式的數(shù)據(jù)進行編碼，最后物聯(lián)網(wǎng)平臺才能接收到信息。

物聯(lián)網(wǎng)平臺中，服務端和設備端通過Topic 來實現(xiàn)消息通信，如圖9 所示，Topic 就是無人掃路車信息傳輸?shù)年P鍵。

圖9 Topic的功能示意圖Fig.9 Functional schematic of Topic

將消息原文轉(zhuǎn)換成二進制數(shù)據(jù)，并進行Base64編碼，從而生成消息主體。經(jīng)過這樣處理的數(shù)據(jù)才可以被Topic所接收，并成功存儲到云上。

2.3 數(shù)據(jù)與物聯(lián)網(wǎng)連接實驗結(jié)果

在地標二維碼中寫入無人掃路車的位置信息，在識別到二維碼的轉(zhuǎn)向信息同時接收到其中的位置信息并發(fā)送到云端，試驗結(jié)果如圖10所示。

圖10 物聯(lián)網(wǎng)平臺顯示小車位置Fig.10 The Internet of Things platform shows the car position

從試驗結(jié)果可以看出，位置信息已經(jīng)發(fā)送到了云端，遠程訪問云端可以查詢無人掃路車的工作狀態(tài)，實際運行狀態(tài)如圖11所示。

圖11 無人掃路車實際運行狀態(tài)Fig.11 Actual running state of unmanned road sweeper

3 結(jié)語

本文在掃路車上搭建了一個機器視覺系統(tǒng)，通過攝像頭檢測并識別車道線和二維碼地標，實現(xiàn)掃路車的自動行駛，并且將二維碼中的位置信息上傳到云平臺，用戶可以通過遠程訪問云物聯(lián)網(wǎng)平臺實時監(jiān)測無人掃路車是否工作正常。