基于計算機視覺的手勢識別康復(fù)系統(tǒng)研究與應(yīng)用

唐 莉

（景德鎮(zhèn)學(xué)院，江西 景德鎮(zhèn) 333000）

手部疾病不僅對個人、家庭造成醫(yī)療負擔(dān)，還會增加國家在醫(yī)療方面的支出，影響經(jīng)濟發(fā)展。雖然現(xiàn)在市面上出現(xiàn)一些以分析病患手掌信息的數(shù)據(jù)手套，或是以手部觸覺為技術(shù)基礎(chǔ)的手部康復(fù)系統(tǒng)，但是卻存在價格昂貴、設(shè)備重量過大、靈活性不足等問題，并不適用于大面積推廣。因此，本文將以計算機視覺角度，對于手勢識別康復(fù)系統(tǒng)做全面分析。

1 手勢識別康復(fù)系統(tǒng)基本結(jié)構(gòu)

當(dāng)前，治療手部疾病主要有兩種智能化方案可供選擇：一是以數(shù)據(jù)手套為技術(shù)基礎(chǔ)的手部遠程虛擬康復(fù)系統(tǒng)。這種治療方案需預(yù)先創(chuàng)設(shè)虛擬場景，由病患通過數(shù)據(jù)手套對場景中的小球進行抓握，緩慢恢復(fù)手部正常功能，實現(xiàn)手部康復(fù)訓(xùn)練。但整體設(shè)備擁有一定重量，會帶給病患較大的負重感，極容易在康復(fù)訓(xùn)練中出現(xiàn)二次傷害，影響手部正?；謴?fù)。并且現(xiàn)在數(shù)據(jù)手套的一些技術(shù)尚未突破，無法實現(xiàn)批量試生產(chǎn)，導(dǎo)致整個康復(fù)設(shè)備的價格偏高，并不適合大面積推廣應(yīng)用。二是以人體觸覺為基礎(chǔ)的虛擬康復(fù)系統(tǒng)。這種治療方案是在虛擬場景的基礎(chǔ)上增加人體觸覺系統(tǒng)，從而設(shè)計用于手部康復(fù)的“3D迷宮”，病患通過舉起、放下杯子，或者對小球抓握等手部動作，控制圖像完成迷宮任務(wù)，在任務(wù)過程中進行手部訓(xùn)練[1]。雖然這種治療方案可以提升患者對手部訓(xùn)練的積極性，但是受限于技術(shù)，導(dǎo)致系統(tǒng)僅支持數(shù)個特定動作，病患的恢復(fù)訓(xùn)練不具備動作的靈活性。

本文設(shè)計的手勢識別康復(fù)系統(tǒng)基本結(jié)構(gòu)見圖1。

圖1 手勢識別康復(fù)系統(tǒng)基本結(jié)構(gòu)

2 手勢識別康復(fù)系統(tǒng)結(jié)構(gòu)功能模塊

本系統(tǒng)應(yīng)用PyCharm編輯器，可以有效提高編程速度，控制系統(tǒng)開發(fā)時間。以Anaconda管理數(shù)據(jù)包，并以開源視覺庫OpenCV為主，卷積神經(jīng)網(wǎng)絡(luò)為輔，負責(zé)處理圖像數(shù)據(jù)，sklearn用于模型訓(xùn)練，PyQt則用于界面設(shè)計，實現(xiàn)數(shù)據(jù)可視化[2]。

2.1 圖像采集

通過PC端攝像頭實現(xiàn)采集病患的康復(fù)手勢，OpenCV在接收圖片信息后，會將其細分為許多像素點，構(gòu)成表述圖片的像素圖，并把圖像移動至文件夾，通過命名文件夾的方式標(biāo)記圖像內(nèi)容。

2.2 圖像預(yù)處理

2.2.1 圖像分割

PC端攝像頭負責(zé)采集各個等級的灰度圖像，但是在許多應(yīng)用場景中，僅需要純黑、純白兩種類型的圖像[3]。例如卷積神經(jīng)網(wǎng)絡(luò)提取圖像特征信息時，只需輸入線條、文字構(gòu)成的圖像，以此加快信息提取速度，提高模型訓(xùn)練精度。本文將應(yīng)用自適應(yīng)閾值二值化算法，對圖像做分割處理。對于攝像頭獲得的彩色圖片做灰度化處理，再通過二值化處理灰度圖像，獲得一個閾值。如果閾值小于灰度，則將該區(qū)域設(shè)置為255像素；如果閾值大于灰度，則將該區(qū)域設(shè)置為0像素。該方法是針對一些擁有較大的光影變化圖像，利用其灰度直方圖獲得契合圖像信息的二值化閾值，通過兩個合適高斯，在兩者相交的灰度值，就是應(yīng)用的閾值。圖像二值化自適應(yīng)閾值通過最大類間方差法（OTSU）獲得。閾值把圖像劃分成前景、后景兩個部分，現(xiàn)設(shè)定閾值為T，像素對應(yīng)的灰度級設(shè)定為f(x，y)，通過閾值分割得到的圖像g(x，y)則被設(shè)為

式中：T為分割閾值；1為前景；0為后景；兩者共同構(gòu)成圖像二值化。

在選擇最符合應(yīng)用條件的閾值時，需保證目標(biāo)和背景擁有最大化差別，可使用OTSU進行推導(dǎo)。

圖像總平均灰度U的表達式為

前景與后景的方差S的表達式為

式中：W0為前景點數(shù)在圖像中的占比；U0為前景平均灰度；W1為后景點數(shù)在圖像中的占比；U1為后景平均灰度。

只有在S最大時，才能讓前景與后景擁有最大差距，獲得的灰度即為最佳閾值。

2.2.2 圖像平滑處理

作為計算機視覺實現(xiàn)相對簡單、應(yīng)用頻率高的圖像平滑處理，其主要負責(zé)降低圖像噪點，控制分辨率。圖像如果沒有經(jīng)過處理，會攜帶例如噪音等高頻信息，直接做卷積運算會造成運算成本額外支出。因此，需要通過濾波器去除噪音，將圖像做模糊處理。本文將應(yīng)用均值平滑濾波的圖像做平滑處理。作為一種線性濾波算法，均值濾波是向目標(biāo)像素值提供濾波模板，這個模板擁有目標(biāo)像素附近m×n個臨近像素，即將目標(biāo)像素預(yù)先取出，以目標(biāo)像素附近的像素平均值描述目標(biāo)像素值。m×n構(gòu)成的矩陣被稱作核，利用核對像素點進行處理，在去噪處理后，即可獲得結(jié)果圖像。均值濾波處理公式為

5×5矩陣即為模糊內(nèi)核，本文將采用blur（）方法對圖像做平滑處理。

2.3 圖像分類

因為計算機是以像素值方式識別圖片，并不是以人類視覺分辨事物、類別，因此需要以圖像分類方式對圖片做區(qū)分。本文將通過卷積神經(jīng)網(wǎng)絡(luò)圖像分類算法進行圖像分類。使用主成分分析（Principal Components Analysis，PCA）技術(shù)，對圖像特征和需要分類處理的圖像特征碼做提取操作，以特征碼獲得輸入項，圖像標(biāo)簽當(dāng)成輸出項使用，并將兩項送入神經(jīng)網(wǎng)絡(luò)中做訓(xùn)練操作，讓神經(jīng)網(wǎng)絡(luò)對各個類別圖像特征進行學(xué)習(xí)，并在最后把待分類特征碼輸入，測試神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)效果，利用神經(jīng)網(wǎng)絡(luò)輸出項分析圖像的類別。

2.4 圖像識別

計算機是以顏色輪廓區(qū)分圖像，由三原色構(gòu)成的顏色可以利用調(diào)色方式獲得各類圖像顏色。在圖像識別中，本文應(yīng)用RGB（Red，Green，Blue）通道對圖像做識別操作。OpenCV最常見的圖像通道有單通道與三通道。使用灰度描述色彩的黑白圖像，即為單通道。比如黑色像素值為0，白色像素值為255，因此灰度范圍處于0～255范圍內(nèi)。彩色圖像需要使用RGB通道進行描述，即為三通道，比如白色是（255，255，255），黑色是（0，0，0）。為讓本文內(nèi)容更具有應(yīng)用價值，將應(yīng)用三通道進行圖像識別。

3 基于計算機視覺的手勢識別康復(fù)系統(tǒng)設(shè)計

3.1 康復(fù)系統(tǒng)運行流程

3.1.1 樣本采集

由病患在系統(tǒng)界面的識別方框中做出手勢，通過攝像頭進行識別，并將拍攝內(nèi)容保存于文件夾中，通過文件夾命名標(biāo)記手勢。本文在查閱大量手部疾病醫(yī)療檔案后，現(xiàn)定義幾種手勢，分別為等待動作的懸垂、鍛煉兩個手指的二指捏、運動手腕的擊打、四指聯(lián)動的柱狀抓握、單個手指獲得的勾拉、手指與手腕聯(lián)動的側(cè)捏，由此構(gòu)建康復(fù)手勢數(shù)據(jù)庫。使用cv2.VideoCapture(0)調(diào)用PC端攝像頭，對于病患的手勢進行采集。為了讓系統(tǒng)更加具有適用性，服務(wù)更多病患，選擇10歲及以下、11歲到50歲、50歲以上3個年齡段的人群，拍攝500張手勢圖，圖片規(guī)格設(shè)定為306×306。以正午陽光作為光源，在室內(nèi)進行正常拍攝收集。并且采集手勢保持男女比例平衡，擴大系統(tǒng)適用性。

3.1.2 圖片預(yù)處理

為讓手勢訓(xùn)練期間的過擬合與處理圖片計算量得到有效控制，要對圖片做預(yù)處理。使用cv2.Imread()加載圖片，并通過Numpy array()歸一化處理圖片，使模型獲得更快的收斂速度，有效提高精度，再通過LabelBinarizer()對圖片做二值化處理，把原本攝像頭采集的彩色圖像轉(zhuǎn)化為黑白圖像，此時圖像被稱為二值化灰度圖像。利用blur()實現(xiàn)平滑處理二值化灰度圖像，有效控制圖像攜帶噪聲。通過pickle dump(lb，f)把圖像的標(biāo)簽數(shù)據(jù)更改成dat文件，便于后續(xù)神經(jīng)網(wǎng)絡(luò)訓(xùn)練與模型測試。

3.1.3 神經(jīng)網(wǎng)絡(luò)訓(xùn)練

對于本文設(shè)計的手部康復(fù)系統(tǒng)，在神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中涉及5個擁有相同卷積核規(guī)格的卷積層，并使用全零填充模式，應(yīng)用Relu激活函數(shù)；3個規(guī)格為2×2、步長為2的池化層，要求池化操作最大化；以及2個全連接層。在設(shè)置全連接層前，本文設(shè)計的系統(tǒng)還使用Dropout模式，將50%的神經(jīng)元參數(shù)進行隨機丟棄，通過將這些參數(shù)在現(xiàn)在的神經(jīng)網(wǎng)絡(luò)訓(xùn)練中排除，實現(xiàn)預(yù)防過擬合目標(biāo)。最后，使用Softmax函數(shù)于輸出層，實現(xiàn)分類輸出訓(xùn)練結(jié)果。

3.1.4 模型測試

確保模型使用的精度，要對模型做安全測試。先通過pickle load()對標(biāo)簽數(shù)據(jù)進行加載，同時load_model()調(diào)動神經(jīng)網(wǎng)絡(luò)運行，并通過inverse_transform()把已經(jīng)標(biāo)準(zhǔn)化處理的數(shù)據(jù)轉(zhuǎn)變成原始數(shù)據(jù)，通過調(diào)用cv2.VideoCapture(0)，將PC端攝像頭打開，并于界面區(qū)域作出存儲在數(shù)據(jù)庫中的病患手勢，利用cv2.putText()把手勢類型投影在屏幕上，利用識別區(qū)域做出手勢，對屏幕顯示類型進行對比，判斷模型是否擁有良好的準(zhǔn)確度。模型測試要進行重復(fù)多次，直到模型測試對于手勢判斷擁有較高的準(zhǔn)確度，并且模型測試結(jié)果逐漸趨于穩(wěn)定時，才能將該模型應(yīng)用在后續(xù)的手部康復(fù)訓(xùn)練中。

除此之外，本系統(tǒng)還提供康復(fù)歷史查詢功能，病患可根據(jù)需求查詢以往手部康復(fù)訓(xùn)練情況。

3.2 病患康復(fù)訓(xùn)練過程

患有手部疾病的病患，在接觸本文設(shè)計的康復(fù)系統(tǒng)時需要確認是否是首次使用，如果是，則要由病患根據(jù)康復(fù)訓(xùn)練要求，將各類手勢輸入到系統(tǒng)中；如果不是，則跳過該環(huán)節(jié)。康復(fù)系統(tǒng)會將病患輸入的各種手勢作為一組，一個療程擁有多組手勢訓(xùn)練，引導(dǎo)病患做康復(fù)訓(xùn)練。在訓(xùn)練期間，病患要以設(shè)備屏幕顯示的文字信息為準(zhǔn)，于界面區(qū)域做出屏幕要求的手勢，做出本療程的全部手勢后，本療程結(jié)束。在手部訓(xùn)練結(jié)束后，會將其作為數(shù)據(jù)送入數(shù)據(jù)庫儲存，病患可以通過歷史查詢選項，查看數(shù)據(jù)庫對過去療程中的康復(fù)訓(xùn)練反饋信息，由系統(tǒng)分析病患在過去療程中手部訓(xùn)練完成度，并對訓(xùn)練計劃展開科學(xué)調(diào)整。在初次接觸康復(fù)訓(xùn)練系統(tǒng)時，病患可以將療程的組數(shù)設(shè)置為1～3組，用于適應(yīng)性訓(xùn)練。等到病患已經(jīng)適應(yīng)當(dāng)前康復(fù)訓(xùn)練強度后，則通過增加單個療程訓(xùn)練組數(shù)的方式，提升訓(xùn)練難度。這種循序漸進的康復(fù)訓(xùn)練模式，可以讓病患逐漸提升康復(fù)訓(xùn)練信心，也能利用這種難度引導(dǎo)方式，提升病患手部恢復(fù)質(zhì)量。

近些年，我國人工智能領(lǐng)域積極和其他領(lǐng)域進行融合發(fā)展，手勢識別康復(fù)就是人工智能與醫(yī)療結(jié)合的最新產(chǎn)物。未來若想讓手勢識別康復(fù)系統(tǒng)得到更廣泛應(yīng)用，降低生產(chǎn)成本，提升康復(fù)訓(xùn)練效果，就需要積極和手部醫(yī)療相關(guān)醫(yī)院展開深度合作，將更多醫(yī)護知識應(yīng)用在系統(tǒng)中，以此實現(xiàn)優(yōu)化訓(xùn)練類型、過程設(shè)計。