基于慣性傳感器的智慧工廠產(chǎn)線管控系統(tǒng)*

盧 贏，歐 文，王衛(wèi)東，劉 洋

(1. 中國(guó)科學(xué)院大學(xué) 微電子學(xué)院，北京 100029；2. 中國(guó)科學(xué)院物聯(lián)網(wǎng)研究發(fā)展中心 智能傳感器工程中心，江蘇 無(wú)錫 214315)

基于慣性傳感器的智慧工廠產(chǎn)線管控系統(tǒng)*

盧 贏1,2，歐 文1,2，王衛(wèi)東1,2，劉 洋1,2

(1. 中國(guó)科學(xué)院大學(xué) 微電子學(xué)院，北京 100029；2. 中國(guó)科學(xué)院物聯(lián)網(wǎng)研究發(fā)展中心 智能傳感器工程中心，江蘇 無(wú)錫 214315)

在智慧工廠中，可以利用物聯(lián)網(wǎng)技術(shù)和設(shè)備監(jiān)控技術(shù)對(duì)員工進(jìn)行管控。在工業(yè)生產(chǎn)線的評(píng)價(jià)體系中，生產(chǎn)線的生產(chǎn)質(zhì)量可以根據(jù)最終產(chǎn)品的品質(zhì)和數(shù)量進(jìn)行判斷，但是生產(chǎn)線上的每一名工人卻無(wú)法以此評(píng)價(jià)。為了評(píng)價(jià)每一個(gè)工人的工作效率，提出了一種基于慣性傳感器的管控系統(tǒng)。工人在生產(chǎn)線上工作時(shí)佩戴帶有慣性傳感器的手環(huán)，該手環(huán)可以實(shí)時(shí)檢測(cè)工人手腕的運(yùn)動(dòng)軌跡，然后通過(guò)運(yùn)動(dòng)軌跡來(lái)判斷工人從生產(chǎn)線上取件和放件的過(guò)程，進(jìn)而得到該工人完成一個(gè)工件的時(shí)間和單位時(shí)間內(nèi)完成的工件數(shù)量，這樣就可以評(píng)價(jià)該工人的工作效率。實(shí)驗(yàn)結(jié)果表明，該方法可以較為準(zhǔn)確地檢測(cè)出工人在單位時(shí)間完成的工件數(shù)量。

慣性傳感器；手環(huán)；管控；工作效率

0 引言

隨著“中國(guó)制造2025”概念的提出，我國(guó)的制造產(chǎn)業(yè)高速發(fā)展。為提高生產(chǎn)效率，越來(lái)越多的工廠采用流水化作業(yè)。流水化的作業(yè)方式在裝配企業(yè)中不僅可以提高工廠的裝配效率、加快生產(chǎn)進(jìn)度，而且可以統(tǒng)計(jì)每個(gè)工人的生產(chǎn)信息狀況以供管理人員調(diào)查[1-2]。但是，在一條流水線生產(chǎn)系統(tǒng)中，某一個(gè)工人的裝配速度都有可能影響整條流水線的效率。因此，需要一套流水線管控系統(tǒng)來(lái)監(jiān)控每個(gè)工人的工作效率。

目前的流水線監(jiān)控系統(tǒng)主要是工人使用采集器掃描工件上的條形碼，通過(guò)采集器中工人的工號(hào)和掃描條形碼的時(shí)間來(lái)判定一個(gè)工人的操作時(shí)間和操作的工件數(shù)量。這種方式雖然可以準(zhǔn)確地檢測(cè)工人的操作時(shí)間，但是需要在生產(chǎn)線上額外加上條形碼系統(tǒng)和采集器，增加了工人的工作量，降低了流水線的工作效率[3-4]。文獻(xiàn)[5-7]中提出了基于計(jì)算機(jī)視覺(jué)的監(jiān)控工人裝配動(dòng)作的方法，但這種監(jiān)控方式只適合于流水線中的傳送帶上無(wú)遮擋物的情況下，并且基于圖像的檢測(cè)方法存在一定的檢測(cè)誤差，容易被遮擋，并不適用于大部分的流水線裝配系統(tǒng)。

為此，本文提出了一種基于慣性傳感器的產(chǎn)線管控系統(tǒng)。工人在工作期間需要佩戴上帶有慣性傳感器的手環(huán)，該手環(huán)可以檢測(cè)工人的實(shí)時(shí)狀態(tài)和運(yùn)動(dòng)軌跡，檢測(cè)工人在傳送帶上取件和往傳送帶上放回工件的動(dòng)作。實(shí)驗(yàn)結(jié)果表明，該方法可以比較準(zhǔn)確地檢測(cè)工人的取件和放回工件動(dòng)作，從而可以評(píng)價(jià)工人的工作效率。

1 系統(tǒng)概述

本系統(tǒng)要實(shí)現(xiàn)的主要功能是檢測(cè)操作工人在工作時(shí)的動(dòng)作狀態(tài)。操作工人在正常工作時(shí)，主要會(huì)進(jìn)行3個(gè)操作：從傳送帶上取工件、加工工件、將工件放回傳送帶。為了檢測(cè)操作工人加工完成的工件數(shù)量和相應(yīng)的工件加工時(shí)間，本系統(tǒng)主要檢測(cè)如下4個(gè)動(dòng)作：空手取件、帶件返回、放回工件、縮手。裝配流水線示意圖如圖1所示。

圖1 裝配流水線示意圖

本系統(tǒng)主要是運(yùn)行在手環(huán)內(nèi)部，手環(huán)內(nèi)部主要包含3個(gè)部分：數(shù)據(jù)采集、數(shù)據(jù)處理、數(shù)據(jù)傳輸。系統(tǒng)結(jié)構(gòu)圖如圖2所示。數(shù)據(jù)采集部分采用九軸慣性傳感器，它主要包含加速度計(jì)、陀螺儀和電子羅盤(pán)，用以采集工人在工作時(shí)的加速度、角速度和地磁場(chǎng)信息。數(shù)據(jù)處理部分采用STM32單片機(jī)，它是本系統(tǒng)的核心部分，用于數(shù)據(jù)濾波、姿態(tài)解算、軌跡追蹤和動(dòng)作檢測(cè)。數(shù)據(jù)傳輸部分采用無(wú)線藍(lán)牙傳輸方式，主要負(fù)責(zé)與流水線上的上位機(jī)監(jiān)控系統(tǒng)進(jìn)行通信，發(fā)送操作工人的操作工件數(shù)和相應(yīng)的操作時(shí)間到流水線上的上位機(jī)信息監(jiān)控系統(tǒng)。

圖2 系統(tǒng)結(jié)構(gòu)圖

硬件部分，本系統(tǒng)的數(shù)據(jù)采集部分采用InvenSense公司生產(chǎn)的九軸慣性傳感器MPU9250，該傳感器是全球首例整合九軸運(yùn)動(dòng)姿態(tài)檢測(cè)的數(shù)字傳感器，其內(nèi)部集成了三軸加速度計(jì)、三軸陀螺儀和三軸電子羅盤(pán)。加速度測(cè)量范圍可以達(dá)到±16 g，角速度測(cè)量范圍±2 000°/s。MPU9250傳感器的輸出數(shù)據(jù)采用串行外設(shè)接口SPI(Serial Peripheral Interface)或者I2C(Inter-Integrated Circuit)總線方式與單片機(jī)進(jìn)行高速通信。本系統(tǒng)采用SPI方式與微處理器進(jìn)行數(shù)據(jù)交互，傳輸速度可以達(dá)到1 MHz。數(shù)據(jù)處理部分采用STM32單片機(jī)，型號(hào)為STM32F302K8。該處理器體積小、功耗低，同時(shí)其內(nèi)部帶有DSP(Digital Signal Processor)和FPU(Float Point Unit)，可以快速地進(jìn)行姿態(tài)解算和動(dòng)作檢測(cè)。無(wú)線數(shù)據(jù)傳輸部分采用藍(lán)牙串口透?jìng)髂KHC-05，該模塊體積小、功耗低，最大發(fā)射功率為8 db，最大傳輸距離80 m，可以比較方便地和上位機(jī)監(jiān)控系統(tǒng)進(jìn)行無(wú)線通信。

軟件部分，主要分為數(shù)據(jù)采集和濾波、姿態(tài)解算、軌跡追蹤、動(dòng)作檢測(cè)和數(shù)據(jù)發(fā)送5個(gè)部分。系統(tǒng)流程圖如圖3所示。數(shù)據(jù)采集和濾波部分主要是微處理器通過(guò)SPI總線讀取九軸慣性傳感器內(nèi)的寄存器信息得到原始加速度、角速度和地磁場(chǎng)數(shù)據(jù)，然后經(jīng)過(guò)零漂補(bǔ)償、平滑濾波和低通濾波得到較為準(zhǔn)確的加速度、角速度和地磁場(chǎng)數(shù)據(jù)。姿態(tài)解算部分[8]采用基于四元數(shù)的捷聯(lián)式慣性導(dǎo)航方法解算出運(yùn)動(dòng)載體的歐拉角，即偏航角、翻滾角和俯仰角，這三者可以描繪出運(yùn)動(dòng)載體在空間中的實(shí)時(shí)姿態(tài)。軌跡追蹤[9]是根據(jù)姿態(tài)解算出的四元數(shù)確定出狀態(tài)矩陣進(jìn)行載體坐標(biāo)系和地理坐標(biāo)系之間的坐標(biāo)轉(zhuǎn)換，然后計(jì)算出去除重力后的運(yùn)動(dòng)加速度數(shù)據(jù)，通過(guò)二次積分可以得到載體在空間中的運(yùn)動(dòng)軌跡。動(dòng)作檢測(cè)部分是根據(jù)軌跡和實(shí)時(shí)的歐拉角數(shù)據(jù)檢測(cè)空手取件、帶件返回、放回工件和縮手四個(gè)動(dòng)作，進(jìn)而判斷何時(shí)完成一個(gè)工件的完整加工過(guò)程。數(shù)據(jù)發(fā)送部分是當(dāng)工人加工完成一個(gè)工件后，發(fā)送工件數(shù)量和時(shí)間信息到上位機(jī)信息監(jiān)控系統(tǒng)中。

圖3 動(dòng)作檢測(cè)流程圖

2 基于慣性傳感器的動(dòng)作檢測(cè)方法

為了檢測(cè)工人的操作動(dòng)作，首先需要確定出工人在工作時(shí)手環(huán)的實(shí)時(shí)位置信息，進(jìn)而繪制出完整的運(yùn)動(dòng)軌跡。因此，在檢測(cè)動(dòng)作之前需要對(duì)工人的工作軌跡進(jìn)行實(shí)時(shí)追蹤。

2.1基于慣性傳感器的軌跡追蹤

載體的運(yùn)動(dòng)軌跡是根據(jù)慣性傳感器采集到的運(yùn)動(dòng)數(shù)據(jù)經(jīng)過(guò)一系列的處理得到的位置信息繪制而成，其原理圖如圖4所示。

圖4 軌跡追蹤原理圖

加速度、角速度和地磁場(chǎng)數(shù)據(jù)經(jīng)過(guò)濾波、姿態(tài)解算和卡爾曼濾波可以解算出表示載體空間狀態(tài)信息的四元數(shù)[9-10]。四元數(shù)是一個(gè)超復(fù)數(shù)，表達(dá)式為：

Q(q0,q1,q2,q3)=q0+q1i+q2j+q3k

(1)

(2)

由式(2)可以求得載體在空間位置相對(duì)于地面的加速度：

(3)

(4)

根據(jù)式(4)，對(duì)運(yùn)動(dòng)速度再次進(jìn)行積分可以得到載體運(yùn)動(dòng)的位移：

(5)

2.2動(dòng)作檢測(cè)方法

本系統(tǒng)主要檢測(cè)的動(dòng)作為以下4個(gè)：空手取件、帶件返回、放回工件和縮手。通過(guò)慣性傳感器采集操作工人在完整的裝配工件過(guò)程中的所有動(dòng)作，經(jīng)過(guò)軌跡追蹤之后可以得到如圖5所示的運(yùn)動(dòng)軌跡圖(XY平面)。從圖5中可以看出，空手取件和帶件返回的軌跡基本重合，可以歸結(jié)為取件過(guò)程；在工作過(guò)程中會(huì)長(zhǎng)時(shí)間停留在工作臺(tái)上；放回工件動(dòng)作和縮手的動(dòng)作基本重合，可以歸結(jié)為放件過(guò)程。

圖5 運(yùn)動(dòng)軌跡圖

圖6 動(dòng)作判斷流程圖

根據(jù)圖5所示的運(yùn)動(dòng)軌跡圖可以比較準(zhǔn)確地判斷出工人在操作時(shí)所處的位置區(qū)域。

得到實(shí)時(shí)的位置坐標(biāo)后，可以根據(jù)坐標(biāo)中x和y的大小判斷出工人操作時(shí)是處在工作過(guò)程、取件過(guò)程還是放回工件過(guò)程。判斷的具體流程如圖6所示。

判斷出工人是處在取件過(guò)程還是放回工件過(guò)程后還要對(duì)工人是否完成了一次完整的工件操作進(jìn)行判斷。在取件和放回工件過(guò)程中，工人的運(yùn)動(dòng)軌跡存在著重合，這就需要對(duì)運(yùn)動(dòng)方向進(jìn)行判斷。這兩個(gè)過(guò)程存在一定的相似性，接下來(lái)將以放回工件的過(guò)程為例來(lái)介紹如何進(jìn)行運(yùn)動(dòng)方向判斷。

在運(yùn)動(dòng)方向判定上，采用載體運(yùn)動(dòng)坐標(biāo)的一階微分計(jì)算。即：

Δx(ti)=x(ti)-x(ti-1)

(6)

Δy(ti)=y(ti)-y(ti-1)

(7)

式中，x(ti)、y(ti)為i時(shí)刻載體位置的坐標(biāo)。

載體運(yùn)動(dòng)中的方向向量為：

(8)

由式(8)得到方向向量后，就可以判斷出在取件過(guò)程中是空手取件還是帶件返回動(dòng)作，在放件過(guò)程中是放回工件還是縮手動(dòng)作。

當(dāng)連續(xù)檢測(cè)到完整的取件過(guò)程、工作過(guò)程和放件過(guò)程，則可以判定為工人完成了一次工件的操作，此時(shí)應(yīng)將工人完成的工件數(shù)量增加一個(gè)，同時(shí)記錄下完成這個(gè)過(guò)程所需要的時(shí)間，最后將數(shù)據(jù)以藍(lán)牙方式發(fā)送到生產(chǎn)線上的信息監(jiān)控系統(tǒng)中。至此，就完成了一次動(dòng)作檢測(cè)過(guò)程。

3 實(shí)驗(yàn)結(jié)果分析

為了驗(yàn)證本文提出的基于慣性傳感器的動(dòng)作檢測(cè)方法的性能，進(jìn)行了多次現(xiàn)場(chǎng)測(cè)試。在實(shí)驗(yàn)過(guò)程中，首先將工人的操作過(guò)程分解為三個(gè)部分分別進(jìn)行測(cè)試，即工作過(guò)程、取件過(guò)程和放件過(guò)程，實(shí)驗(yàn)結(jié)果如表1所示。

表1 分解過(guò)程實(shí)驗(yàn)數(shù)據(jù)

從表1中可以看出本方法在分解動(dòng)作識(shí)別過(guò)程中可達(dá)到較高的準(zhǔn)確率。這為整體測(cè)試提供了較好的基礎(chǔ)數(shù)據(jù)。

在評(píng)價(jià)工人工作效率中，主要檢測(cè)的是連貫的一套動(dòng)作，所以本文后續(xù)進(jìn)行了連續(xù)動(dòng)作的測(cè)試，通過(guò)記錄工人每次操作所需要的時(shí)間來(lái)進(jìn)行判斷，如果準(zhǔn)確測(cè)出連續(xù)動(dòng)作則記錄測(cè)出的時(shí)間，如果未測(cè)出連續(xù)操作動(dòng)作則將測(cè)出的時(shí)間記為0。測(cè)試結(jié)果如圖7所示。

圖7 完整動(dòng)作測(cè)試結(jié)果

從圖7可以看出，在100次實(shí)驗(yàn)中本系統(tǒng)有95次可以正確地識(shí)別出完整的動(dòng)作，正確率達(dá)到95%。經(jīng)過(guò)計(jì)算可以得出時(shí)間誤差平均為2.3 s。實(shí)驗(yàn)結(jié)果表明，本系統(tǒng)可以比較準(zhǔn)確地測(cè)出操作工人操作工件的數(shù)量和相應(yīng)的操作時(shí)間，進(jìn)而確定出工人的工作效率。

4 結(jié)論

本文提出了一種基于慣性傳感器的產(chǎn)線管控系統(tǒng)。首先介紹了實(shí)現(xiàn)該系統(tǒng)的硬件和軟件平臺(tái)，然后著重介紹了基于慣性傳感器的軌跡追蹤算法和動(dòng)作檢測(cè)方法。實(shí)驗(yàn)結(jié)果表明，本文設(shè)計(jì)的產(chǎn)線管控系統(tǒng)在檢測(cè)工人的取件和放件過(guò)程中有較高的準(zhǔn)確率，可以為工廠評(píng)價(jià)工人的工作效率提供重要參考。

[1] 王麗萍.流水線:世界經(jīng)濟(jì)助推器[J].理財(cái)， 2009(10):41-42.

[2] 方敏，周蟬.淺談傳統(tǒng)傳送帶式流水線生產(chǎn)方式與細(xì)胞式生產(chǎn)方式的比較[J].中國(guó)商界，2010(7):164-165.

[3] 楊海, 楊小虎.基于流水線裝配型生產(chǎn)的計(jì)算機(jī)輔助工序質(zhì)量管理[J].計(jì)算機(jī)集成制造系統(tǒng)，2000,6(3):86-90.

[4] 李哲林，姜立軍，羅杜宇. 裝配型企業(yè)生產(chǎn)現(xiàn)場(chǎng)質(zhì)量監(jiān)控系統(tǒng)[J]. 江蘇大學(xué)學(xué)報(bào)(自然科學(xué)版)，2006,27(S1):5-8.

[5] 尚淑玲. 基于計(jì)算機(jī)視覺(jué)的物流暴力分揀行為識(shí)別[J].計(jì)算機(jī)仿真，2013,30(12):430-433.

[6] BOWYER K W, CHANG K, FLYNN P. A survey of approaches and challenges in 3D and multimodal 2d+3d face recognition[J]．Couputer Vision and Image Understanding,2006,101(1):1-15.

[7] CHEN H M, LEE S, RAO R M, et al. Imaging for concealed weapon detection[J]. IEEE Signal Processing Magazine,2005,22(2):52-61.

[8] 孫冬梅，田增山，韓令軍. 捷聯(lián)慣導(dǎo)系統(tǒng)中四元素法求解姿態(tài)角仿真模擬[J].彈箭與制導(dǎo)學(xué)報(bào)，2009,29(1):51-53.

[9] 鄧正隆. 慣性導(dǎo)航原理[M]. 北京:宇航出版社, 1994.

[10] 秦永元. 慣性導(dǎo)航[M]. 北京:科學(xué)出版社, 2006.

Production line management and control system based on inertial sensor

Lu Ying1,2, Ou Wen1,2, Wang Weidong1,2, Liu Yang1,2

(1. School of Microelectronics, University of Chinese Academy of Sciences, Beijing 100029, China;2. Intelligent Sensors Engineering Center, Chinese Academy of Sciences R&D Center for Internet of Things, Wuxi 214315, China)

In the smart factory, staff can be managed and controlled by the Internet of Things technology and equipment monitoring technology. The quality of an industrial product line can be judged from the quality and quantity of the product, but we cannot evaluate the efficiency of each worker from the final product quality. This paper proposed a management-control system based on inertial sensor in order to test the efficiency of each worker. Workers wear bracelets with inertial sensors when they work on the assembly line. This bracelet can detect the movement of workers arm, from the movement, we can judge the process of picking and placing, and then calculate the time for the worker to complete a piece of work and quantity completed per unit time, so as to evaluate the efficiency of the workers. The experimental results show that this method can accurately detect the number of workpieces completed per unit time and the time of completion of each workpiece.

inertial sensor; bracelet; monitoring; work efficiency

TP274+.3

：A

10.19358/j.issn.1674- 7720.2017.17.002

盧贏，歐文，王衛(wèi)東，等.基于慣性傳感器的智慧工廠產(chǎn)線管控系統(tǒng)[J].微型機(jī)與應(yīng)用，2017,36(17)：4-7,14.

2017-04-12)

江蘇省科技支撐重點(diǎn)項(xiàng)目(BE2014003)；江蘇省自然科學(xué)基金(BK20161149)

盧贏(1991-)，男，碩士研究生，主要研究方向：智能傳感器及其網(wǎng)絡(luò)。

歐文(1966-)，男，研究員，碩士生導(dǎo)師，主要研究方向：半導(dǎo)體器件物理、超大規(guī)模集成電路技術(shù)。

王衛(wèi)東(1982-)，男，副研究員，碩士生導(dǎo)師，主要研究方向：智能傳感器及其網(wǎng)絡(luò)。