Python人工智能視語雙聯(lián)合交互臂

張仕遠(yuǎn) 盧彪 楊晨 倪冰倩

摘 要：整個(gè)系統(tǒng)的協(xié)調(diào)需要有一套完整又優(yōu)良的程序支撐。需要做到，既能實(shí)現(xiàn)相應(yīng)的單個(gè)功能，又要?jiǎng)?chuàng)新將各個(gè)功能進(jìn)行聯(lián)系而不僅限于實(shí)現(xiàn)。各模塊相互協(xié)調(diào)，功能的實(shí)現(xiàn)與優(yōu)化存在多方面的依賴。系統(tǒng)的完整性、穩(wěn)定性、交互性都是開發(fā)時(shí)需要考慮的重點(diǎn)。

關(guān)鍵詞：人工智能;機(jī)械臂;交互;YOLO

一、引言

當(dāng)前人工智能領(lǐng)域正在不如我們的日常生活，人工智能領(lǐng)域的研究為人們的生活帶來了極大的改變。除此之外，應(yīng)用于商業(yè)的人工智能研究也在不斷進(jìn)步。對于當(dāng)前的人工智能領(lǐng)域的研究，重點(diǎn)之一是模式識別。說起模式識別，一些主流的算法為設(shè)計(jì)者搭建自己的項(xiàng)目也提供了一些方便，同時(shí)讓更多人更容易參與其中的開發(fā)，也就為更多人工智能領(lǐng)域的作品能夠應(yīng)運(yùn)而生。特別是對于一些還在使用人力的單調(diào)工作，為了解決此類問題，智能化的機(jī)械臂代替人工操作也就由此開始研究、開發(fā)。

二、項(xiàng)目架構(gòu)

Python人工智能視語雙聯(lián)合交互臂的研究針對于大多數(shù)產(chǎn)業(yè)及一些其他普通工作的智能自動化。項(xiàng)目采用了Python語言設(shè)計(jì)，內(nèi)部嵌入式環(huán)境為Linux衍生的Ubuntu系統(tǒng)。項(xiàng)目開發(fā)之所以采用嵌入式，原因在于該方式可以極大程度上降低項(xiàng)目的開發(fā)周期，同時(shí)能夠在項(xiàng)目開發(fā)過程中出現(xiàn)問題時(shí)便于調(diào)試。

YOLOv5在圖像識別方面采用多方面圖像處理算法。在圖像處理上，通過卷積神經(jīng)網(wǎng)絡(luò)來對開發(fā)人員的數(shù)據(jù)集進(jìn)行訓(xùn)練。反復(fù)訓(xùn)練能夠提高對于同樣一個(gè)模型的角度的準(zhǔn)確率。模型訓(xùn)練過程中能夠自適應(yīng)圖像的位置，能夠?qū)τ谝R別物體的特征進(jìn)行分析，同時(shí)屏蔽掉一些干擾，識別中通過調(diào)整對目標(biāo)檢測的相似度來保證得到的訓(xùn)練結(jié)果能夠更加精確。

模型檢測中，在視頻輸入流下，對于攝像模塊的適配需要注意。視頻流的目標(biāo)檢測是通過對于視頻中的每一幀進(jìn)行單獨(dú)檢測輸出到屏幕從而實(shí)現(xiàn)視頻流檢測功能。如果視頻的刷新率為25Hz，那么就要求程序在檢測時(shí)，需要保證在一秒內(nèi)能夠?qū)α髦凶x取到的幀檢測能力超過25次，由此可見，對于目標(biāo)的檢測時(shí)間必須要保證在較短的時(shí)間里把一張圖像的檢測結(jié)果分析處理，否則就無法流暢地進(jìn)行視頻流目標(biāo)檢測，用戶也就無法有更好的體驗(yàn)。

視頻流帶寬需要滿足：帶寬≥刷新頻率×視頻尺寸×視頻灰度等級

語言功能開發(fā)包括兩個(gè)方面：一是需要對外界的語音進(jìn)行識別。二是能夠把需要輸出的文字轉(zhuǎn)化為音頻輸出。語音的交互能力是機(jī)器走向智能化的趨向，當(dāng)機(jī)器能夠通過自然語言把欲表達(dá)的信息能夠通過語音輸出模塊輸出為音頻后能夠友好地與人匯報(bào)時(shí)，對于人機(jī)交互的實(shí)現(xiàn)就成功了一半。另一半是能夠?qū)⑷祟愓Z言能夠通過一定的算法，轉(zhuǎn)化為一個(gè)參數(shù)從而能夠被機(jī)器理解，通過一定的處理后做出合理的動作，此時(shí)的人機(jī)語音交互能力就提升了一大臺階。

語言的應(yīng)用目前十分熱門，其開發(fā)熱度不亞于圖像處理。語言的處理不僅僅停留于將自然語言轉(zhuǎn)化為相應(yīng)的文字即可，也不是對于同樣的文字執(zhí)行固定的指令，而是執(zhí)行相應(yīng)的指令。這里的“相應(yīng)的指令”是指在不同的環(huán)境下能夠通過同樣的一句話做出不同的動作并且達(dá)到交互者預(yù)期的動作。

三、程序設(shè)計(jì)

Python人工智能視語雙聯(lián)合交互臂的視覺開發(fā)主要依賴于cv2及numpy等主流圖像處理庫。開發(fā)中要盡量只導(dǎo)入工程開發(fā)需要的函數(shù)，整個(gè)工程中過多地導(dǎo)入冗余函數(shù)會使得工程過大，運(yùn)行速度也會受到影響。

client = AipBodyAnalysis（APP_ID， API_KEY， SECRET_KEY）

調(diào)用百度官方API實(shí)現(xiàn)機(jī)械臂的手勢識別，同時(shí)也可以通過模型訓(xùn)練實(shí)現(xiàn)無需API即可識別使用者手勢。通過手勢的識別，為多種返回的識別結(jié)果進(jìn)行定義，以此實(shí)現(xiàn)機(jī)械臂的簡單視覺交互功能。對于較完善的視覺交互還需要一定地深度學(xué)習(xí)。通過長期地訓(xùn)練得到更加智能化的人機(jī)交互。

人臉采用PID算法過濾：

import cv2 as cv

import PID

import Arm_Lib

人臉識別的人機(jī)交互能夠?qū)崿F(xiàn)對于不同的人，機(jī)械臂得到同樣一個(gè)參數(shù)時(shí)做出的不同反映。程序結(jié)果在可控情況下的多樣性是機(jī)械臂往人工智能方向發(fā)展的一大進(jìn)步。

在人機(jī)交互上，如果要實(shí)現(xiàn)語音方面的人機(jī)交互，對于機(jī)械臂的自動協(xié)調(diào)能力要有較高的能力。在不同的人說出不同的語言時(shí)通過機(jī)械臂的自動化智能識別，需要根據(jù)用戶的語言判斷語種，從而做出準(zhǔn)確判斷。其形成初期是需要用戶在切換語種時(shí)需要事先傳達(dá)切換指令，但是在成熟時(shí)期，就需要作品能夠自我協(xié)調(diào)，能夠有識別出語種切換的能力。

四、開發(fā)導(dǎo)引

智能交互臂的開發(fā)進(jìn)步具體的算法實(shí)現(xiàn)還有很大的提升空間。例如，當(dāng)我們進(jìn)行人機(jī)交互時(shí)，對于每一次的交互結(jié)果進(jìn)行函數(shù)計(jì)算，動態(tài)更新判斷資料庫，對于偏差較大的值能夠忽略，達(dá)到優(yōu)則用，劣則棄的目的。語言上的學(xué)習(xí)和視覺上的學(xué)習(xí)是能夠進(jìn)行聯(lián)合分析進(jìn)步的，兩者雖然在人工智能領(lǐng)域上各自獨(dú)占一方，但是在人工智能方向的發(fā)展兩者密不可分。

人機(jī)交互的結(jié)果能夠通過定制機(jī)器語言字典，結(jié)合一定的隨機(jī)性算法，構(gòu)建出獨(dú)特的機(jī)器神經(jīng)網(wǎng)絡(luò)，機(jī)器獨(dú)立裁決及機(jī)器提疑答疑。

五、結(jié)語

Python人工智能視語雙聯(lián)合交互臂的定義是：在Python環(huán)境下為開發(fā)者提供了更便捷快速的開發(fā)環(huán)境。

人機(jī)交互是讓人工智能走向平民化的一大研究，其研究重要程度不可忽視。即人工智能的研究的最終目的不是局限于相關(guān)專業(yè)人員，也不是部份工廠，而是能夠與普通的人民群眾進(jìn)行“友好相處”。

參考文獻(xiàn)：

[1] 薛廣月， 任雪梅. 基于任務(wù)空間的無標(biāo)定視覺機(jī)械臂自適應(yīng)跟蹤控制[J]. 控制與決策， 2013， 28（7）：5.

[2] 許建剛， 任萱， 包磊，等. 基于視覺機(jī)械臂的變電房高壓柜旋轉(zhuǎn)機(jī)構(gòu)操作[J]. 高電壓技術(shù)， 2018， 44（zk）.

[3] 蘇萌韜. 面向運(yùn)動物品的視覺機(jī)械臂自動抓取方法與系統(tǒng)：， CN112518748A[P]. 2021.

[4] 譚盛江， 曹暉， 郭書超. 基于ROS視覺機(jī)械臂的目標(biāo)抓取研究[J].? 2021.

[5] 薛廣月， 任雪梅. 參數(shù)不確定的視覺機(jī)械臂自適應(yīng)逆動力學(xué)跟蹤控制[C]// 中國多智能體系統(tǒng)與控制會議. 中國人工智能學(xué)會， 2011.

[6] 張建民，許志輝，龍佳樂，陳富健，羅順祺，羅鑫春，林根源，李鴻彬. 三維立體視覺機(jī)械臂智能抓取分類系統(tǒng)的開發(fā)[J]. 計(jì)算機(jī)工程與應(yīng)用（235-240）.

[7] 譚盛江， 曹暉， 郭書超. 基于ROS視覺機(jī)械臂的目標(biāo)抓取研究[J]. 中國寬帶， 2021（6）：1.