基于彎曲度傳感器的智能鋼琴手套設(shè)計(jì)

胡瀚文　黃強(qiáng)

摘 要 手是人類與外界進(jìn)行交互操作的重要人體器官。音樂(lè)是眾所周知的用于表達(dá)情感和思想的媒介。學(xué)習(xí)彈鋼琴，是開(kāi)發(fā)人的智力最有效的途徑之一。本文針對(duì)鋼琴訓(xùn)練對(duì)設(shè)備及資金投入要求較高的問(wèn)題，設(shè)計(jì)了一款不需要外界設(shè)備，就能進(jìn)行鋼琴指法和曲譜練習(xí)的鋼琴手套。本手套涉及Arduino編程、傳感器、3D打印、通訊、音樂(lè)等知識(shí)。本研究屬于智能教學(xué)教具開(kāi)發(fā)，具有較好的教育和社會(huì)價(jià)值。

關(guān)鍵詞 智能音箱 steam教具 Arduino單片機(jī) 3D打印

中圖分類號(hào)：TP212.9文獻(xiàn)標(biāo)識(shí)碼：A

0引言

在我們的日?；顒?dòng)中，手是人類與外界進(jìn)行交互操作的重要人體器官。人們用手來(lái)抓取物體，表達(dá)思想，感知物質(zhì)世界。數(shù)據(jù)手套常被用來(lái)采集手部信息。1977年，Thomas Defanti發(fā)明了第一個(gè)數(shù)據(jù)手套“Sayre Glove”。它是基于光學(xué)原理的柔性光纖傳感器，它所采用的光纖的一端有一個(gè)光源，另一端是一個(gè)光電接收器。其測(cè)量狀態(tài)的原理是當(dāng)傳感器彎曲時(shí)光電接收器所接收到的光通量會(huì)發(fā)生變化，以檢測(cè)手指的動(dòng)作。1981年， Bell實(shí)驗(yàn)室Gary Grimes設(shè)計(jì)了一種新型的數(shù)據(jù)手套用來(lái)代替?zhèn)鹘y(tǒng)的鍵盤，它用到接近傳感器、慣性傳感器、關(guān)節(jié)彎曲傳感器等多種傳感器。接近傳感器檢測(cè)操作者的大拇指是否與手的其它部位或手指相接觸，當(dāng)發(fā)生接觸時(shí)向計(jì)算機(jī)發(fā)送數(shù)據(jù)信息;關(guān)節(jié)彎曲傳感器檢測(cè)手指的彎曲角度;慣性傳感器測(cè)量前臂和手腕的姿態(tài)。這種數(shù)據(jù)手套可以用來(lái)檢測(cè)手敲鍵盤姿勢(shì)，從而為糾正手勢(shì)提供數(shù)據(jù)基礎(chǔ)。

音樂(lè)是眾所周知的用于表達(dá)情感和思想的媒介。學(xué)習(xí)彈鋼琴，是開(kāi)發(fā)人的智力最有效的途徑之一。特別是兒童自幼開(kāi)始學(xué)習(xí)彈鋼琴，除了可以提高素質(zhì)，陶冶情操和提升文化修養(yǎng)之外，在開(kāi)發(fā)智力方面，還有著特殊的功效。成熟掌握彈鋼琴技能需要長(zhǎng)時(shí)間的訓(xùn)練、熟練記憶指法和曲譜，同時(shí)需要較多的資金投入，包括對(duì)設(shè)備的資金投入和學(xué)習(xí)培訓(xùn)的資金投入。

2012年7月18日，佐治亞理工學(xué)院的研究人員與Shepherd中心的研究者合作創(chuàng)造了一種無(wú)線音樂(lè)手套——MMT手套，也叫“移動(dòng)的音樂(lè)手”。手套能與電腦、MP3播放器或智能電話配合，將一首歌曲的音符通過(guò)無(wú)線電傳輸?shù)脚c手套連接的設(shè)備中，通過(guò)讓人的手指振動(dòng)的方式來(lái)傳達(dá)出該按哪個(gè)鍵盤鍵。這項(xiàng)發(fā)明可以幫助因?yàn)樗闹c瘓導(dǎo)致手部觸覺(jué)或活動(dòng)受限的人進(jìn)行康復(fù)治療。

在信息化水平飛速發(fā)展的今天，研究適于應(yīng)用智能、文化開(kāi)放的教學(xué)設(shè)備是具有、較好的意義及良好的社會(huì)效益。本文設(shè)計(jì)了一款不需要外界設(shè)備，就能進(jìn)行鋼琴指法和曲譜練習(xí)的鋼琴手套。

1整體結(jié)構(gòu)

智能鋼琴手套，包括：手套組件和音箱組件。練習(xí)者帶上手套后，只需根據(jù)手指彎曲的狀態(tài)，就可發(fā)出相應(yīng)的聲音，從而達(dá)到練習(xí)鋼琴指法和曲目的目的。其中手套組件包括手套、指關(guān)節(jié)處的彎曲度傳感器、信號(hào)發(fā)射模塊、第一控制單元等。其中手套根據(jù)中華人民共和國(guó)國(guó)家標(biāo)準(zhǔn)：成年人手部號(hào)型（GB/T 16252-1996）確定。音箱組件包括：殼體、信號(hào)接收模塊、揚(yáng)聲器模塊、第二控制單元。其中，第一控制單元和彎曲度傳感器以及信號(hào)發(fā)射模塊電連接;第二控制單元和揚(yáng)聲器模塊以及信號(hào)接收模塊電連接。

1.音箱組件 2.電池盒 3.手套組件

圖1：智能鋼琴手套實(shí)體圖

2關(guān)鍵設(shè)計(jì)

2.1功能設(shè)計(jì)

在做基于彎曲度傳感器手套控制的藍(lán)牙音箱時(shí)，主要設(shè)計(jì)了三種功能：（1）音箱能夠播放不同音調(diào);（2）可以通過(guò)手勢(shì)來(lái)控制音箱的音調(diào);（3）手套和音箱之間的連接屬于無(wú)線連接。

2.2外觀設(shè)計(jì)

基于彎曲度傳感器手套控制的藍(lán)牙音箱的外觀分為上位機(jī)和下位機(jī)兩部分，如圖2：（1）上位機(jī)把傳感器和我們生活中常使用的手套相結(jié)合;（2）下位機(jī)音箱使用3D打印方形且?guī)в幸欢ㄇ娴耐鈿?，這樣更能夠把聲音放大。

2.3交互方式

基于彎曲度傳感器手套控制的藍(lán)牙音箱的方式包括：（1）彎曲度傳感器測(cè)量手指的彎曲程度;（2）揚(yáng)聲器發(fā)出音調(diào)。

2.4供電方式

基于彎曲度傳感器手套控制的藍(lán)牙音箱設(shè)計(jì)的使用場(chǎng)景為舞臺(tái)表演，供電方式選擇是電池直接供電。

3實(shí)體設(shè)計(jì)

3.1元器件

智能鋼琴音箱元器件包括Arduino Nano控制器、Arduino Nano擴(kuò)展板、彎曲度傳感器、10K 電阻、藍(lán)牙模塊、揚(yáng)聲器和音箱外殼等，如圖3。其中音箱外殼由3D打印技術(shù)打印。

3.1.1 Arduino Nano控制器

上位機(jī)和下位機(jī)都采用Arduino Nano為控制核心，能夠支持彎曲度傳感器、藍(lán)牙通訊、揚(yáng)聲器等。Arduino Nano是一塊基于開(kāi)放原始代碼的超小Simple i/o平臺(tái)，與之前的USB版Arduino duemilanove 相比較，Arduino Nano在體積上占很大優(yōu)勢(shì)，Arduino既可以用來(lái)開(kāi)發(fā)出需要獨(dú)立運(yùn)行，并且具有互動(dòng)效果的電子用品;也可以用來(lái)開(kāi)發(fā)出與電腦相連接，同F(xiàn)lash，Processing，Max/Msp，PD，VVVV等軟件一同合作完成的互動(dòng)作品。

Arduino Nano擁有12個(gè)數(shù)字輸入/輸出端口D2～D13;8個(gè)模擬輸入端口A0～A7;1對(duì)TTL電平串口收發(fā)端口RX/ TX;6個(gè)PWM端口，D3、D5、D6、 D9、D10、D11。Arduino Nano采用Atmel Atmega328P-AU單片機(jī)，支持USB下載及供電，支持外接5V～12V直流電源供電，支持9V電池供電，支持ISP下載，具體如圖4。

3.1.2彎曲度傳感器

flex 2.2彎曲傳感器，當(dāng)傳感器的金屬面向外彎曲時(shí)，該傳感器的電阻值會(huì)發(fā)生變化，從而可以檢測(cè)到彎曲度。非彎曲狀態(tài)電阻： ～9000 ;90度彎曲電阻：～14000 ;180度彎曲電阻：～22000 。 實(shí)驗(yàn)室，彎曲傳感器連接了一個(gè)10K 電阻，與Arduino Nano相連接。

彎曲度傳感器為模擬傳感器，讀取傳感器值對(duì)應(yīng)的函數(shù)是analogRead（ ），對(duì)應(yīng)的取值范圍是0-1023。本作品共使用5個(gè)彎曲傳感器，傳感器與Arduino Nano連線如圖4。

彎曲度傳感器的金屬面彎曲時(shí)，彎曲度傳感器的電阻值會(huì)發(fā)生變化，從而檢測(cè)對(duì)應(yīng)手指關(guān)節(jié)處是否彎曲。在使用中，第一控制單元根據(jù)彎曲度傳感器測(cè)量的手指關(guān)節(jié)處是否彎曲生成相應(yīng)的字符信號(hào)，并且將該字符信號(hào)傳輸至信號(hào)發(fā)射模塊，設(shè)置于殼體內(nèi)的信號(hào)接收模塊接收該字符信號(hào)并且將該字符信號(hào)傳輸至第二控制單元，第二控制單元根據(jù)接受到的字符信號(hào)控制揚(yáng)聲器模塊發(fā)出相應(yīng)的聲音（例如，仿鋼琴聲）。

3.1.3 HC-05主從機(jī)一體藍(lán)牙模塊

它的最大特點(diǎn)是當(dāng)藍(lán)牙設(shè)備與藍(lán)牙設(shè)備配對(duì)連接成功后，我們可以忽視藍(lán)牙內(nèi)部的通信協(xié)議，直接將藍(lán)牙當(dāng)做串口用。藍(lán)牙HC-05，空曠地帶傳輸距離10米左右，默認(rèn)波特率為9600、默認(rèn)配對(duì)密碼為1234。該作品使用2個(gè)HC-05藍(lán)牙模塊，一塊作為發(fā)射模塊，一塊作為接受模塊使用。設(shè)置波特率函數(shù)為Serial.begin（9600），發(fā)射信號(hào)對(duì)應(yīng)的函數(shù)為Serial.println（ ），讀取信號(hào)值對(duì)應(yīng)的函數(shù)為Serial.Read（ ）。上位機(jī)和下位機(jī)HC-05藍(lán)牙模塊接線一樣。

揚(yáng)聲器模塊，相當(dāng)于一個(gè)無(wú)源蜂鳴器。蜂鳴器分為有源蜂鳴器和無(wú)源蜂鳴器。有源蜂鳴器內(nèi)部有震蕩、驅(qū)動(dòng)電路，加電源就可以響。優(yōu)點(diǎn)是用起來(lái)省事，缺點(diǎn)是頻率固定了，只有一個(gè)單音。無(wú)源蜂鳴器聲音頻率可控，可以做出“多來(lái)米發(fā)索拉西”的效果。常用的函數(shù)包括tone（ ），和noTone（ ）。在編曲過(guò)程中，我們選用了“多來(lái)米發(fā)索拉西多（高音）”，合計(jì)8個(gè)音調(diào)。（見(jiàn)表1表2）

3.1.4程序設(shè)計(jì)

采用Arduino IDE進(jìn)行程序編寫，程序主要實(shí)現(xiàn)功能為，當(dāng)做某一特定手勢(shì)的時(shí)候，音箱會(huì)發(fā)出對(duì)應(yīng)音調(diào)的聲音。首先，要對(duì)手勢(shì)進(jìn)行編碼。

上位機(jī)程序要實(shí)現(xiàn)功能為，當(dāng)做某特定手勢(shì)的時(shí)候，發(fā)出不同的字符信號(hào)。

下位機(jī)要實(shí)現(xiàn)功能為，當(dāng)接收到字符信號(hào)時(shí)，音箱會(huì)發(fā)出對(duì)應(yīng)音調(diào)的聲音。（見(jiàn)表3、表4、表5、表6、表7）

3.2測(cè)試

當(dāng)彎曲傳感器接好線之后，分別測(cè)出各個(gè)手指頭彎曲（見(jiàn)表6）和不彎曲時(shí)傳感器值（見(jiàn)表7）?；趶澢葌鞲衅魇痔卓刂频乃{(lán)牙音箱，通過(guò)短暫的訓(xùn)練，即可以完成各個(gè)音調(diào)的控制。使用熟練可以依靠手勢(shì)變化彈出一首簡(jiǎn)單的曲子。讓每個(gè)感興趣的人很快就能上手，并且知識(shí)含量也比較豐富。

為了讓傳感器能夠直觀測(cè)出彎曲和不彎曲的狀態(tài)，根據(jù)測(cè)量值，定義了各個(gè)彎曲傳感器彎曲和非彎曲的取值范圍。

4結(jié)論

（1）該作品涉及知識(shí)包括開(kāi)源硬件、編程、藍(lán)牙通訊、聲音、音樂(lè)、3D打印等跨學(xué)科知識(shí)。作品本身使用的是開(kāi)源軟硬件，通過(guò)一定學(xué)習(xí)，每個(gè)人可以通過(guò)自己編碼方式，制作一個(gè)屬于自己風(fēng)格的音箱。

（2）該作品可實(shí)現(xiàn)1個(gè)音節(jié)、8個(gè)音調(diào)的聲音，后續(xù)音階有待開(kāi)發(fā)。

（導(dǎo)師：黃強(qiáng)）

作者簡(jiǎn)介：胡瀚文（2000-），男，常德芷蘭實(shí)驗(yàn)學(xué)校;導(dǎo)師：黃強(qiáng)（1989-），男，北京因科未來(lái)教育科技有限公司。

參考文獻(xiàn)

[1] 梁善林.一種基于視覺(jué)手勢(shì)識(shí)別的虛擬演奏[D].北京：北方工業(yè)大學(xué)，2017.

[2] David J. Stunnan，and David ZeltZer.A Survey of Glov-based Input[C].IEEE ComPuter Craphics & Applications， January，1994.

[3] 劉賢梅，李從信，賈惠柱.桌面虛擬現(xiàn)實(shí)系統(tǒng)中數(shù)據(jù)手套的應(yīng)用研究[J].系統(tǒng)仿真學(xué)報(bào)，2001.

[4] T. G. Zimmerman et al.A Hand Gesture Interface Device[C].Proc. Human Factors in Computing System and Graphics Interface， ACM Press， New York， April ，1987.

[5] 馬曉鳴.學(xué)習(xí)鋼琴與智力開(kāi)發(fā).林區(qū)教學(xué)，2008，132（03）：97-98.

[6] 孫江波.彈鋼琴擬人機(jī)器手設(shè)計(jì)與研究[D].長(zhǎng)春工業(yè)大學(xué)，2015.

[7] GB/T 16252-1996，中華人民共和國(guó)國(guó)家標(biāo)準(zhǔn)：成年人手部號(hào)型[S].