基于LLM和CV的AI個人健身教練系統(tǒng)設(shè)計與實現(xiàn)

摘 要：【目的】為了給用戶提供個性化健身指導(dǎo)，設(shè)計出一種基于LLM大語言模型和計算機(jī)視覺（CV）的AI個人健身教練系統(tǒng)?！痉椒ā坎捎肞P-TinyPose進(jìn)行關(guān)鍵點匹配，并使用微調(diào)后的InternLM2大語言模型，使系統(tǒng)能通過攝像頭捕捉用戶運(yùn)動姿態(tài)并進(jìn)行分析，從而提供個性化的健身指導(dǎo)?！窘Y(jié)果】測試結(jié)果表明，該系統(tǒng)能準(zhǔn)確識別運(yùn)動姿態(tài)，并提供實時反饋和建議，顯著提高健身效果。【結(jié)論】基于PP-TinyPose和微調(diào)后的InternLM2模型的AI健身教練系統(tǒng)能為用戶提供有效的個性化健身指導(dǎo)，具有廣泛的應(yīng)用前景。

關(guān)鍵詞：人工智能；PP-TinyPose；XTuner；InternLM2；個人健身教練

中圖分類號：TP18；TP391.41" "文獻(xiàn)標(biāo)志碼：A" "文章編號：1003-5168（2025）02-0024-05

DOI：10.19968/j.cnki.hnkj.1003-5168.2025.02.005

Abstract：[Purposes] To provide personalized fitness guidance to users， an artificial intelligence （AI） personal fitness coach system based on a large language model （LLM） and computer vision （CV） is proposed. [Methods] The system utilizes PP-TinyPose for key point detection and a fine-tuned InternLM2 large language model. By capturing and analyzing users' exercise postures through the camera， the system generates personalized fitness guidance.[Findings] The test results demonstrate that the system can accurately recognize exercise postures and provide real-time feedback and suggestions， significantly improving fitness outcomes. [Conclusions] The AI fitness coach system proposed in this paper， based on PP-TinyPose and the fine-tuned InternLM2 model， effectively provides users with personalized fitness guidance and shows great potential for wide application.

Keywords： AI; PP-TinyPose; XTuner; InternLM2; certified personal trainer

0 引言

隨著健康知識的普及和生活水平的提升，人們越來越重視身體健康。然而，對于缺乏專業(yè)指導(dǎo)的初學(xué)者，想要掌握正確的運(yùn)動姿勢和有效的訓(xùn)練方法并不容易，而健身教練現(xiàn)場指導(dǎo)的高昂費(fèi)用和時間、地點的限制一直困擾著健身愛好者。AI個人健身教練系統(tǒng)作為新型的“AI+體育”［1］健身指導(dǎo)方式，能提供個性化、低成本的服務(wù)。通過AI和CV技術(shù)，可開發(fā)出虛擬AI個人健身教練系統(tǒng)，通過嵌入式設(shè)備和輔助系統(tǒng)［2］提供實時、個性化的指導(dǎo)，幫助用戶糾正動作，制定科學(xué)的健身計劃，提高訓(xùn)練效果，減少受傷風(fēng)險。這種方式不僅成本低，還能極大地提高健身的便利性和可達(dá)性。

本研究利用大語言模型實現(xiàn)對話功能，提供個性化健身建議和指導(dǎo)。研究內(nèi)容如下：基于健身訓(xùn)練特點，利用大語言模型原理和實現(xiàn)方法進(jìn)行優(yōu)化；構(gòu)建健身訓(xùn)練對話數(shù)據(jù)集，利用大語言模型進(jìn)行訓(xùn)練和優(yōu)化；根據(jù)用戶問題和需求，實現(xiàn)個性化回答和建議，提供實時交互和幫助。在實際應(yīng)用中，健身訓(xùn)練數(shù)據(jù)的個性化和特殊性可能導(dǎo)致大語言模型無法直接應(yīng)用。利用XTuner［3］微調(diào)技術(shù)，對大語言模型進(jìn)行少量數(shù)據(jù)集微調(diào)，提高用戶訓(xùn)練效果和體驗。通過以上研究，本研究可實現(xiàn)基于計算機(jī)視覺和自然語言處理技術(shù)的AI個人健身教練系統(tǒng)，從而為初學(xué)者提供個性化、實時和高精度的健身訓(xùn)練指導(dǎo)和幫助。

1 關(guān)鍵技術(shù)

PaddlePaddle擁有豐富的模型庫和工具鏈路支持，PP-TinyPose能實時檢測人體關(guān)鍵點，InternLM2結(jié)合XTuner微調(diào)技術(shù)，可對健身場景進(jìn)行場景優(yōu)化，從而提供自然流暢的多輪對話體驗。

1.1 PaddlePaddle

PaddlePaddle是由百度研發(fā)并維護(hù)的開源深度學(xué)習(xí)框架。在AI個人健身教練項目中，使用PaddlePaddle對人體姿態(tài)估計模型進(jìn)行訓(xùn)練和部署。

1.2 PP-TinyPose和PPicoDet

PP-TinyPose是一種為移動和實時應(yīng)用設(shè)計的輕量級人體姿態(tài)估計模型，是PaddleDetection項目中基于PicoDet優(yōu)化的實時關(guān)鍵點檢測模型，適用于移動設(shè)備上的多人姿態(tài)估計任務(wù)。使用PP-Tinypose［4］算法對人物身體關(guān)鍵點進(jìn)行檢測和匹配，結(jié)果如圖1所示。該算法用于檢測和匹配關(guān)鍵點，并基于匹配結(jié)果識別和評估健身動作，為用戶提供實時反饋和指導(dǎo)。

PP-PicoDet由百度公司開發(fā)，具有低參數(shù)量、高效率和高準(zhǔn)確率的目標(biāo)檢測性能，其關(guān)鍵技術(shù)包括網(wǎng)絡(luò)架構(gòu)優(yōu)化、特征融合策略、動態(tài)標(biāo)簽分配策略、損失函數(shù)優(yōu)化、神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索及其他策略。

PP-PicoDet架構(gòu)如圖2所示。PP-PicoDet在移動設(shè)備上具有優(yōu)異的目標(biāo)檢測性能，其小模型（PicoDet-S）在保持0.99 M參數(shù)量的同時，達(dá)到30.6%的mAP，超越了其他輕量級模型。

1.3 InternLM2大語言模型

InternLM2［5］由上海人工智能實驗室、商湯科技集團(tuán)和香港中文大學(xué)聯(lián)合開發(fā)，是一個開源的大型語言模型（LLM），在長文本建模和開放式主觀評估方面表現(xiàn)卓越。

1.4 XTuner

XTuner是一個高效、靈活、全能的輕量化大模型微調(diào)工具庫，支持大語言模型和多模態(tài)圖文模型的預(yù)訓(xùn)練和微調(diào)，適用于8 GB顯存下的7 B模型和多節(jié)點跨設(shè)備的更大尺度模型。

2 設(shè)計與實現(xiàn)

2.1 系統(tǒng)架構(gòu)

AI個人健身教練系統(tǒng)由多個模塊組成，包括數(shù)據(jù)采集模塊、姿態(tài)估計模塊、對話生成模塊、模型微調(diào)模塊和反饋模塊。系統(tǒng)架構(gòu)如圖3所示。

數(shù)據(jù)采集模塊通過攝像頭實時獲取用戶的健身視頻，并將視頻幀傳輸至姿態(tài)估計模塊中進(jìn)行處理。

模型微調(diào)模塊使用Xtuner對預(yù)訓(xùn)練的大語言模型進(jìn)行微調(diào)，確保其能準(zhǔn)確生成針對健身和營養(yǎng)的建議和對話。

反饋模塊結(jié)合用戶的動作識別結(jié)果和對話生成結(jié)果，實時提供個性化健身指導(dǎo)和營養(yǎng)建議。該模塊通過API與其他模塊進(jìn)行數(shù)據(jù)交換，實現(xiàn)系統(tǒng)的整體功能。

2.2 姿態(tài)估計與識別

2.4 系統(tǒng)實現(xiàn)

系統(tǒng)界面和姿態(tài)識別如圖5所示。系統(tǒng)采用Qt開發(fā)，提供跨平臺的圖形用戶界面，利用模塊化設(shè)計，各模塊通過API通信，保證靈活性和可擴(kuò)展性。實現(xiàn)過程如下。

①前端界面。使用Qt開發(fā)，提供用戶友好的交互界面，支持跨平臺操作。

②后端服務(wù)。采用Python和Flask框架實現(xiàn)處理數(shù)據(jù)采集、姿態(tài)估計和對話生成等功能。

③數(shù)據(jù)處理。系統(tǒng)不存儲用戶數(shù)據(jù)，所有數(shù)據(jù)處理均在內(nèi)存中進(jìn)行，確保用戶隱私和數(shù)據(jù)安全。

系統(tǒng)整體架構(gòu)保證了高效的數(shù)據(jù)處理和實時反饋，為用戶提供個性化的健身指導(dǎo)和營養(yǎng)建議。

2.5 PP-Tinypose關(guān)鍵點匹配的算法和XTuner微調(diào)的實現(xiàn)

在處理骨骼點數(shù)據(jù)時，首先根據(jù)人體檢測框?qū)?shù)據(jù)進(jìn)行歸一化處理，實現(xiàn)數(shù)據(jù)的標(biāo)準(zhǔn)化，確保不同尺寸和姿態(tài)的人體數(shù)據(jù)能進(jìn)行有效比較。其次使用余弦距離計算不同骨骼點數(shù)據(jù)之間的相似度，從而快速評估兩個姿態(tài)或動作的相似性。上述過程的實現(xiàn)代碼如下。

3.2 結(jié)果分析

對LLM個性化對話表現(xiàn)分析后發(fā)現(xiàn)，InternLM2模型通過XTuner微調(diào)后，在健身指導(dǎo)對話中表現(xiàn)出色，能準(zhǔn)確理解用戶需求，并提供個性化建議，展示出大語言模型在個性化對話指導(dǎo)中的潛力。未來，可優(yōu)化對話數(shù)據(jù)集，增強(qiáng)復(fù)雜對話場景表現(xiàn)。

對帕梅拉動作識別表現(xiàn)分析后發(fā)現(xiàn)，PP-TinyPose模型在動作識別中具有高精度和實時性的特點，表明其在健身指導(dǎo)中具有廣闊的應(yīng)用前景。然而，在復(fù)雜動作或快速運(yùn)動中，檢測精度仍需提升。未來，可引入多樣化數(shù)據(jù)集和改進(jìn)模型結(jié)構(gòu)，提高動作識別的準(zhǔn)確性和魯棒性。

4 結(jié)語

本研究使用Python和計算機(jī)視覺技術(shù)開發(fā)出AI個人健身教練系統(tǒng)，通過PaddlePaddle深度學(xué)習(xí)框架和PP-Tinypose人體姿態(tài)估計算法，完成健身動作的關(guān)鍵點檢測和匹配；采用XTuner微調(diào)技術(shù)，提高大模型的健身動作識別準(zhǔn)確性。通過對LLM和PP-TinyPose模型的測試與分析，驗證AI個人健身教練系統(tǒng)在個性化對話和動作識別方面的有效性。在項目實現(xiàn)過程中，還設(shè)計了用戶友好界面，支持自定義健身計劃，并提供實時的健身動作反饋和糾錯建議。測試結(jié)果顯示，優(yōu)化和微調(diào)后的模型能提供準(zhǔn)確、實時和個性化的健身指導(dǎo)，并帶來良好的用戶體驗。未來，可聚焦于提升模型的泛化能力和用戶交互體驗，進(jìn)一步完善AI健身教練系統(tǒng)。

參考文獻(xiàn)：

［1］張榜顯.“AI+體育”助力全民健身公共服務(wù)數(shù)字創(chuàng)新發(fā)展研究［C］//中國體育科學(xué)學(xué)會.第十三屆全國體育科學(xué)大會論文摘要集：墻報交流（體育信息分會）.2023：163-165.

［2］王暢.基于人體姿態(tài)估計的嵌入式AI健身輔助訓(xùn)練系統(tǒng)研究［D］.重慶：西南大學(xué)，2024.

［3］HU E J，SHEN Y L，WALLIS P，et al.LoRA： Low-rank adaptation of large language models［J］.arXiv，2021.

［4］YU G H，CHANG Q Y，LV W Y，et al.PP-PicoDet： A better real-time object detector on mobile devices［J］.arXiv，2021.

［5］CAI Z，CAO M S，CHEN H J，et al.Internlm2 technical report［J］.arXiv，2024.