Research and application of automatic extraction of 3D human body feature points
摘要: 人體特征點(diǎn)準(zhǔn)確快速地提取是三維人體尺寸測量、三維人體建模、體型分類等的基礎(chǔ),文章綜述了三維人體特征點(diǎn)提取的重要性與困難,以及幾何形狀分析法、函數(shù)法、模板法這三種主要提取方法的原理、特點(diǎn)和應(yīng)用現(xiàn)狀。幾何形狀分析法計(jì)算較為簡單,但受體型差異影響較大;函數(shù)法方法簡單,但擬合精度較低;模板法精度較高但計(jì)算量大,且模型庫構(gòu)建成本高。最后,指出了三維人體特征點(diǎn)自動提取的研究應(yīng)重點(diǎn)突破特征點(diǎn)提取過程中由體型差異、姿態(tài)變化等因素帶來的難點(diǎn),開發(fā)具備更高魯棒性、適用性強(qiáng)的自動化算法,以實(shí)現(xiàn)更精確、快速的三維人體特征點(diǎn)自動提取。
關(guān)鍵詞: 三維人體;特征點(diǎn)自動提取;幾何形狀分析法;函數(shù)法;模板法
中圖分類號: TS941.2
文獻(xiàn)標(biāo)志碼: A
文章編號: 1001-7003(2025)02期數(shù)-0075起始頁碼-07篇頁數(shù)
DOI: 10.3969/j.issn.1001-7003.2025.02期數(shù).009(篇序)
目前,三維人體掃描技術(shù)進(jìn)行人體自動測量已經(jīng)被服裝行業(yè)所采用。通過三維人體掃描技術(shù)獲取的三維人體點(diǎn)云數(shù)據(jù),已被廣泛應(yīng)用于三維服裝CAD制版技術(shù)、三維人體建模、虛擬試衣、人體體型分類、計(jì)算機(jī)動畫、醫(yī)學(xué)診斷等領(lǐng)域。運(yùn)用傳統(tǒng)的手工操作方式進(jìn)行特征點(diǎn)位置的標(biāo)定,可以找到位于人體復(fù)雜位置的特征點(diǎn),但其操作過程相對比較煩瑣,且不能進(jìn)行批量化的標(biāo)定操作,操作過程較為費(fèi)時(shí)。與手工標(biāo)定人體部位特征點(diǎn)的傳統(tǒng)操作方式進(jìn)行比較,自動識別和提取人體三維點(diǎn)云的特征點(diǎn)位置及計(jì)算相應(yīng)尺寸數(shù)據(jù)的方法,具有獲取速度相對更快、獲取精度相對更高、自動化程度高的優(yōu)點(diǎn)。
但是,運(yùn)用三維人體掃描儀進(jìn)行人體掃描,獲得的三維人體模型為人體點(diǎn)云數(shù)據(jù),許多三維人體掃描系統(tǒng)在處理特殊的人體體型時(shí)[1],會經(jīng)常出現(xiàn)特征點(diǎn)位置識別錯(cuò)誤的問題,需要使用者手動調(diào)整、修改和確認(rèn)特征點(diǎn)的位置[2],以此來避免系統(tǒng)自動提取不同人體體型特征點(diǎn)時(shí)可能出現(xiàn)的錯(cuò)誤。因此,為了實(shí)現(xiàn)通過三維人體自動測量得到精確可靠的人體尺寸數(shù)據(jù)等,快速準(zhǔn)確的特征點(diǎn)識別與提取技術(shù)是非常重要的。
本文重點(diǎn)闡述了三維人體特征點(diǎn)提取的重要性、存在的困難,以及從人體三維點(diǎn)云數(shù)據(jù)中進(jìn)行特征點(diǎn)提取的三種主要使用的方法(幾何形狀分析法、函數(shù)法、模板法)的原理、特點(diǎn)和應(yīng)用現(xiàn)狀,并指出三維人體特征點(diǎn)自動提取的研究目前仍存在很大的空間,還需進(jìn)一步地深入研究其關(guān)鍵技術(shù),以提高其識別的精確度及提取的速度。
1"三維人體特征點(diǎn)提取的重要性與困難
1.1"三維人體特征點(diǎn)提取的重要性
人體測量學(xué)是測量人體的一門科學(xué)研究,主要用于測量人體數(shù)據(jù),并被運(yùn)用到許多相關(guān)的研究領(lǐng)域和行業(yè)[3]。其中,在服裝領(lǐng)域,人體尺寸數(shù)據(jù)的測量是進(jìn)行服裝樣板設(shè)計(jì)時(shí)確定服裝樣板尺寸大小的基礎(chǔ),需要嚴(yán)格根據(jù)人體數(shù)據(jù)測量的標(biāo)準(zhǔn)與要求進(jìn)行人體的測量。由于傳統(tǒng)的手工測量方法會因?yàn)闇y量人員的不同而引起人為的測量誤差,且操作過程復(fù)雜費(fèi)時(shí),不適宜于大規(guī)模的人體測量。采用三維人體掃描技術(shù),可以高效便捷且自動化地提取人體特征部位的尺寸數(shù)據(jù)?;谌S人體點(diǎn)云數(shù)據(jù)獲取精確的人體特征點(diǎn)位置是實(shí)現(xiàn)人體特征部位數(shù)據(jù)有效精確測量的關(guān)鍵,可為后續(xù)人體數(shù)據(jù)的參數(shù)化設(shè)計(jì)、服裝樣板設(shè)計(jì)、服裝號型制定、虛擬仿真等奠定基礎(chǔ)。
為了建立人體數(shù)據(jù)庫,許多研究者采用不同的方法進(jìn)行人體體型的分類研究,包括人體體型數(shù)據(jù)的定性分析和定量分析。其中,人體體型的定量分析目前主要有以下分類方法:根據(jù)胸腰差分類、根據(jù)特征指數(shù)分類、根據(jù)人體截面形態(tài)分類、根據(jù)體表角度分類等[4]。根據(jù)人體截面形態(tài)與體表角度等進(jìn)行人體體型分類,需要通過識別與提取人體特征部位的點(diǎn)云數(shù)據(jù),再進(jìn)行人體截面與角度等數(shù)據(jù)的提取、分析與計(jì)算操作。
隨著計(jì)算機(jī)視覺技術(shù)的發(fā)展,三維人體建模技術(shù)獲得了國內(nèi)外研究者的廣泛關(guān)注。三維人體建模技術(shù)可以分為非參數(shù)化建模與參數(shù)化建模兩種方法,其中參數(shù)化建模技術(shù)主要通過數(shù)學(xué)模型與參數(shù)表示人體的形狀、姿勢等。在該建模過程中,需要利用人體特征點(diǎn)的檢測技術(shù),進(jìn)而提取人體的特征參數(shù)進(jìn)行參數(shù)化人體進(jìn)一步地修改與優(yōu)化[5],為三維人體模型的虛擬仿真等操作提供技術(shù)支持。同時(shí),為了滿足消費(fèi)者對于服裝個(gè)性化的需求,許多研究者根據(jù)三維人體數(shù)據(jù)進(jìn)行參數(shù)化原型樣板自動生成等的研究,其需構(gòu)建人體特征參數(shù)的測量體系,進(jìn)行個(gè)性化虛擬人體特征點(diǎn)的識別與定位,并提取人體的三維特征數(shù)據(jù),從而實(shí)現(xiàn)參數(shù)化服裝原型樣板的自動生成設(shè)計(jì)。
三維人體特征點(diǎn)的識別與提取是人體尺寸數(shù)據(jù)測量、人體體型分類、參數(shù)化三維人體構(gòu)建、個(gè)性化原型樣板自動生成等操作中的重要環(huán)節(jié),三維人體特征點(diǎn)識別與提取的精確程度與穩(wěn)定性直接影響著后續(xù)處理過程中操作的準(zhǔn)確性與研究結(jié)果數(shù)據(jù)的精度。
1.2"三維人體特征點(diǎn)提取的困難
在人體測量學(xué)中,人體的特征點(diǎn)是指用于表示人體測量位置的界點(diǎn)。在人體手工測量時(shí),最主要的誤差是因?yàn)闇y量人員產(chǎn)生的誤差,其中包括人體特征點(diǎn)標(biāo)定產(chǎn)生的誤差、手工測量尺寸數(shù)據(jù)時(shí)造成的誤差和測量設(shè)備本身存在的誤差等。在手工測量的過程中,特征點(diǎn)所處位置的準(zhǔn)確識別是減少測量人員產(chǎn)生誤差的重要方式。識別三維人體特征點(diǎn)的要求主要有兩個(gè)方面:被測試者需保持一個(gè)標(biāo)準(zhǔn)姿勢且身上全部裸露或只穿著內(nèi)衣;根據(jù)人體測量學(xué)的定義,設(shè)定能夠被統(tǒng)一使用的人體體表特征點(diǎn)的定義。Yu[6]羅列了一些影響測量數(shù)據(jù)精確度的因素:人體姿勢、特征點(diǎn)識別、儀器的位置與定向等。
在三維人體自動測量時(shí),三維人體特征點(diǎn)的提取是人體特征識別技術(shù)中不可缺少的預(yù)處理環(huán)節(jié),其定位的精確性直接與后續(xù)工作的進(jìn)一步開展緊密相關(guān),是點(diǎn)云數(shù)據(jù)被進(jìn)一步分析與運(yùn)用的基礎(chǔ)。三維人體的點(diǎn)云數(shù)目龐大,在人體的三維掃描過程中,三維掃描儀器硬件存在誤差、點(diǎn)云數(shù)據(jù)測量存在誤差及多個(gè)視角點(diǎn)云的融合誤差,導(dǎo)致了人體點(diǎn)云數(shù)據(jù)可能存在一些測量的噪聲[7]。為了使生成的人體點(diǎn)云模型具有一定的精度,需采用合適的算法,對獲得的人體三維點(diǎn)云數(shù)據(jù)進(jìn)行預(yù)處理,如對生成的三維人體點(diǎn)云數(shù)據(jù)進(jìn)行去除噪聲、簡化數(shù)據(jù)、區(qū)域分割等處理,從而使通過人體點(diǎn)云數(shù)據(jù)生成的人體模型能符合精度的需求。同時(shí),三維人體特征點(diǎn)自動提取還存在以下三個(gè)方面的難題[8]:在三維人體掃描過程中,人體有些部位的點(diǎn)云數(shù)據(jù)存在局部遺漏、孔洞的現(xiàn)象,影響了點(diǎn)云數(shù)據(jù)的完整性,如果人體的特征點(diǎn)正好處于缺失部分的點(diǎn)云范圍內(nèi),易于造成人體特征點(diǎn)識別的困難;三維人體掃描測量的算法是根據(jù)中間體的人體體型結(jié)構(gòu)而設(shè)計(jì),在識別特殊人體體型的特征點(diǎn)時(shí)會出現(xiàn)錯(cuò)誤分析,難以標(biāo)定特殊體型的特征點(diǎn)位置;以幾何學(xué)方式定義人體特征點(diǎn)位置,標(biāo)準(zhǔn)的特征點(diǎn)識別方法存在語義定義不明確的地方,許多特征點(diǎn)的位置定義很難被直接運(yùn)用到三維人體點(diǎn)云數(shù)據(jù)后期的處理分析、尺寸計(jì)算等過程。
基于三維人體特征點(diǎn)識別與提取存在的困難,國內(nèi)外研究者不斷探索和研究三維人體特征點(diǎn)識別與提取的技術(shù)與方法,用以獲得具有精確性和穩(wěn)定性的人體特征點(diǎn),從而減少人體測量數(shù)據(jù)存在的誤差。
2"三維人體特征點(diǎn)提取的方法
三維人體特征點(diǎn)的提取是根據(jù)掃描獲取的三維人體點(diǎn)云數(shù)據(jù),然后對其進(jìn)行體表特征點(diǎn)位置數(shù)據(jù)的確定。國內(nèi)外專家對三維人體模型體表關(guān)鍵點(diǎn)位置的識別展開了相關(guān)的研究與應(yīng)用,主要依賴以下三種自動識別的技術(shù)[9]:幾何形狀分析法[10]、函數(shù)法、模板法。
2.1"幾何形狀分析法
通過分析人體特征部位存在的特定比例關(guān)系,結(jié)合人體體表的結(jié)構(gòu)特征,并根據(jù)特征點(diǎn)位置的幾何形狀特征的定義描述,進(jìn)行三維人體模型表面特征點(diǎn)位置的識別與獲取,該方法被稱為幾何形狀分析法。
Dourous等[11]將水平的橫截面與人體特征部位點(diǎn)云相交,可以獲得一個(gè)二維的點(diǎn)云橫截面,然后通過利用B樣條曲線進(jìn)行二維人體點(diǎn)云截面的擬合操作,并通過擬合曲線的結(jié)構(gòu)特點(diǎn)來檢測特征點(diǎn)。Ju等[12]將三維人體點(diǎn)云數(shù)據(jù)進(jìn)行切片劃分,然后依據(jù)點(diǎn)云的幾何特性進(jìn)行人體粗略地劃分區(qū)段,對粗略分段的各部分周長輪廓再進(jìn)行細(xì)分段,進(jìn)而實(shí)現(xiàn)對特征點(diǎn)的提取,但利用該方法提取人體特征部位的關(guān)鍵點(diǎn),會出現(xiàn)特征點(diǎn)可被識別的數(shù)量與類型存在一定限制的問題,而且特征點(diǎn)提取的精確度不高。Wang等[13]從人體點(diǎn)云建立網(wǎng)格曲面,并通過模糊規(guī)則的數(shù)學(xué)方法,以及人體表面體型特征與人體其余特征部位關(guān)鍵點(diǎn)之間的關(guān)系,進(jìn)行網(wǎng)格曲面特征點(diǎn)的確定與識別,但該研究關(guān)注人體特征模型的產(chǎn)生,而沒有證明特征點(diǎn)的精確性。Park等[14]根據(jù)人體表面特征點(diǎn)的曲率大小關(guān)系來分析特征點(diǎn)的位置(圖1),以此生成老年女性的參數(shù)化虛擬下體。
Suberbulk等[15]根據(jù)曲率分布的特點(diǎn)識別點(diǎn)的位置,首先通過獲取特征點(diǎn)所在的三維表面區(qū)域內(nèi)的曲率大小,然后根據(jù)每個(gè)特征點(diǎn)的曲率情況進(jìn)行所處具體位置的識別。Subburaj等[16]通過分析特征點(diǎn)區(qū)域范圍的曲率分布情況,為每個(gè)特征點(diǎn)進(jìn)行所在位置范圍的劃分,并根據(jù)劃分的位置范圍進(jìn)行特征點(diǎn)最合適位置的識別。但在提取人體表面局部區(qū)域的曲率變化不具特征性的點(diǎn)云時(shí),該方法具有較大的難度。蔡曉裕[17]為消除人體截面某些區(qū)段曲率小而影響實(shí)驗(yàn)的后續(xù)開展,運(yùn)用曲率半徑替代曲率進(jìn)行曲線彎曲程度的評判數(shù)據(jù)。Han等[18]對人體的部位進(jìn)行體型分析,判斷其體型情況(圖2),采用人體特征部位關(guān)鍵點(diǎn)所處位置的幾何特征識別方法,自動識別不同軀干體型表面的特征點(diǎn)位置,然后通過平均差、平均絕對差和單因素方差分析這三種方式進(jìn)行特征點(diǎn)識別準(zhǔn)確度和穩(wěn)定性的驗(yàn)證。
陳國安等[9]在人體三維點(diǎn)云上應(yīng)用截面法變步長進(jìn)行搜索,且運(yùn)用基于改進(jìn)的降拋物線型隸屬函數(shù)的模糊規(guī)則和坐標(biāo)值比較方法來分析識別特征點(diǎn)的最佳位置。在模糊規(guī)則中,采用基于降拋物線型的隸屬函數(shù)來分析各個(gè)點(diǎn)夾角(圖3)的隸屬度,對角度的區(qū)分更細(xì)致合理,提取精度較高。溫佩芝等[19]根據(jù)國標(biāo)上面的基礎(chǔ)數(shù)據(jù)劃分特征點(diǎn)范圍,然后在特征點(diǎn)所處范圍內(nèi),通過比較點(diǎn)的坐標(biāo)值和點(diǎn)到直線投影距離的方法,并綜合這兩種方法來識別人體的截面輪廓變化極值點(diǎn)和分叉點(diǎn)的位置(圖4)。張洪偉[20]根據(jù)局部領(lǐng)域的人體特征確定特征點(diǎn)的大致范圍,運(yùn)用網(wǎng)格篩選技術(shù)找到特征點(diǎn)所存在的小網(wǎng)格,并通過人體測量的相關(guān)術(shù)語定義進(jìn)行人體特征點(diǎn)的提取。綜上,這三位研究者根據(jù)算法提取的人體尺寸數(shù)據(jù)在誤差允許范圍內(nèi),說明該算法對特征點(diǎn)位置的提取是比較準(zhǔn)確的。
鮑陳等[21]采用了陳國安等[9]研究的方法,運(yùn)用變步長法搜索人體的特征截面,通過幾何形狀分析法進(jìn)行人體特征點(diǎn)和特征截面點(diǎn)云的自動識別與獲取,且實(shí)現(xiàn)了基于用戶交互方式選擇特征點(diǎn)的操作方法,用以提取非正常體型的特征點(diǎn)。
運(yùn)用傳統(tǒng)虛擬設(shè)計(jì)方法進(jìn)行服裝定制存在服裝與用戶體型匹配度差、設(shè)計(jì)時(shí)間長等問題,為了滿足消費(fèi)者個(gè)性化定制的需求,Hou等[22]提出了一種基于三維圖像的服裝定制虛擬設(shè)計(jì)方法。通過相機(jī)成像的方式,采用線性回歸的方法建立三維人體模型,得到人體的三維點(diǎn)云圖。根據(jù)特征點(diǎn)的幾何特征,自動提取肩部點(diǎn)、頸部點(diǎn)、胯部底點(diǎn)等三維人體關(guān)鍵點(diǎn),并根據(jù)關(guān)鍵點(diǎn)提取結(jié)果,將定制服裝與三維人體模型進(jìn)行配準(zhǔn)。仿真結(jié)果表明,該方法與用戶體型匹配良好,設(shè)計(jì)時(shí)間短。
幾何形狀分析法根據(jù)人體表面的形態(tài)特征進(jìn)行特征點(diǎn)的識別,但人體體型間差異較大,特征點(diǎn)位置的定義容易受到人
體體型差異的影響。因此,幾何形狀分析法較適用于符合特征點(diǎn)位置定義的人體體型,不適用于特殊的人體體型。
2.2"函數(shù)法
通過分析人體特征部位點(diǎn)之間的統(tǒng)計(jì)關(guān)系,然后確定特征點(diǎn)所在的位置,該方法為每個(gè)特征點(diǎn)構(gòu)建了一個(gè)特定的判別函數(shù),用于確定并提取特征點(diǎn)的位置,該人體特征點(diǎn)的識別與提取方法被稱為函數(shù)法。
Dekker等[23]根據(jù)人體體表形態(tài)特征與其他特征點(diǎn)之間的關(guān)系,對人體模型建立判別函數(shù),并以此方法確定與提取特征點(diǎn)的位置,但該研究只證明了所測量尺寸的精確度,而沒有證明特征點(diǎn)位置的準(zhǔn)確度。Leong等[24]為了描述人體形態(tài)的特征情況,使用了邏輯數(shù)學(xué)的方式,然后運(yùn)用計(jì)算機(jī)圖像處理與計(jì)算幾何這兩種技術(shù),確定與識別人體體表特征部位的點(diǎn)。
Azouz等[25]根據(jù)學(xué)習(xí)特征點(diǎn)集間存在的空間特征關(guān)系(圖5),然后形成馬爾可夫網(wǎng)來分析判斷人體特征部位點(diǎn)的位置情況。其研究結(jié)果證實(shí)了人體特征部位關(guān)鍵點(diǎn)識別的準(zhǔn)確性,但結(jié)果未能進(jìn)一步展示其在不同體型狀態(tài)識別時(shí)的準(zhǔn)確性。
人體手臂的肘部標(biāo)志點(diǎn)對一些功能性的服裝來說很重要,且與其他人體特征部位的關(guān)鍵點(diǎn)相比,提取肘部位置的特征點(diǎn)更難。當(dāng)手臂處于伸直狀態(tài)時(shí),手臂的肘部位置會存在特征點(diǎn)沒有明顯的幾何特征現(xiàn)象;而當(dāng)手臂處于彎曲狀態(tài)時(shí),由于手臂和肘部位置的高自由度,因此很難通過幾何特征差異的方式識別與提取人體的肘部點(diǎn)[26]。Liu等[27]研究發(fā)現(xiàn)人的身高與手臂的上臂長度之間存在一定的線性關(guān)系,但并沒有明確說明其測量的具體方式。因此,Hou等[22]對378個(gè)三維人體模型進(jìn)行了人工測量,并得到了上臂歐氏距離,然后根據(jù)上臂的歐氏距離和人體高度建立線性模型,其中高度近似為站立人體邊界框的高度,以此提取人體肘部的特征點(diǎn)。
函數(shù)法通過構(gòu)建相應(yīng)的判別函數(shù)進(jìn)行特征點(diǎn)位置的識別,需對人體表面的曲線或者曲面進(jìn)行擬合,擬合過程中數(shù)據(jù)的處理過程較為復(fù)雜、耗時(shí)較長,擬合過程中點(diǎn)云數(shù)據(jù)存在的噪聲可能會導(dǎo)致特征點(diǎn)的丟失,且擬合結(jié)果無法精準(zhǔn)地保持人體體表的形態(tài)特征。因此,容易對特征點(diǎn)位置的識別造成一定的誤差。
2.3"模板法
模板法[28]是通過點(diǎn)云數(shù)據(jù)映射到預(yù)定義的人體模板,將人體特征點(diǎn)與預(yù)定義模板相匹配進(jìn)行特征點(diǎn)的識別,該方法需要建立三維人體模型數(shù)據(jù)庫?;谀0宓奶卣鼽c(diǎn)提取技術(shù)不會受到特征點(diǎn)識別數(shù)量和其所處曲面形狀的約束,該特征點(diǎn)提取方法僅需在人體模板上預(yù)設(shè)所要尋找的特征點(diǎn)位置,并建立起目標(biāo)人體與模板人體之間的對應(yīng)關(guān)系,然后通過這個(gè)對應(yīng)關(guān)系用以自動識別目標(biāo)人體表面的特征點(diǎn)位置。
Nurre[29]通過將人體的頭部、手臂、腿部和軀干這四個(gè)部位看成是棍形模板,然后把人體點(diǎn)云模型按照此模板進(jìn)行分段,此方法結(jié)合了全局形狀描述和相對位置的領(lǐng)域標(biāo)準(zhǔn)分析進(jìn)行特征點(diǎn)的識別與提取。Au等[30]將標(biāo)有標(biāo)記點(diǎn)的軀干模型(圖6)與三維人體的點(diǎn)云進(jìn)行匹配,以此尋找與確定人體特征點(diǎn)的位置,但大多數(shù)人體表面的特征點(diǎn)需通過手工的方法進(jìn)行配對,且經(jīng)過簡化處理后的體型模型使得特征點(diǎn)的檢測難度增加。
Allen等[31]通過運(yùn)用模板人體網(wǎng)格,然后將其與CAESAR數(shù)據(jù)庫里面掃描所獲得的數(shù)據(jù)之間構(gòu)建相應(yīng)的數(shù)學(xué)關(guān)系,然后給模板中的每個(gè)預(yù)定義的特征點(diǎn)建立一個(gè)優(yōu)化函數(shù),且維持網(wǎng)格表面光滑自然的曲面狀態(tài),并通過計(jì)算目標(biāo)函數(shù)來識別人體特征部位的點(diǎn)。在研究過程中,模板人體表面的特征點(diǎn)一般是由人工進(jìn)行標(biāo)識,且需專業(yè)人員進(jìn)行相關(guān)的操作,整個(gè)標(biāo)定的過程較為耗費(fèi)時(shí)間。同時(shí),運(yùn)用此方法提取特征點(diǎn)的精度主要取決于輸入模型和模板的相似程度,因此運(yùn)用該方法提取特征點(diǎn)不具有一般性。在Allen等[31]的研究基礎(chǔ)上,Anguelov等[32]使用了柔性無約束的模板法,在模板人體上選取200個(gè)特征點(diǎn),且同時(shí)在待測人體的點(diǎn)云中選取相同數(shù)量對應(yīng)的特征點(diǎn),然后通過馬爾科夫網(wǎng)絡(luò)來尋找人體特征點(diǎn)的位置,以結(jié)合機(jī)器學(xué)習(xí)的方法優(yōu)化了變形函數(shù)的求解。李靈杰等[33]根據(jù)模板匹配進(jìn)行三維人體語義特征的提取,通過模板的拓?fù)湟恢滦?,拓展了語義特征的采樣點(diǎn)。朱俊儒[34]在標(biāo)準(zhǔn)人體模板上選取并標(biāo)注了81個(gè)人體特征部位的關(guān)鍵點(diǎn),根據(jù)測量所得的人體尺寸數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)人體模板大小的縮放,以此可以高效率地識別體表特征點(diǎn)的位置。但這幾位研究者的方法仍需通過手工的形式進(jìn)行模板人體一系列標(biāo)志點(diǎn)的定位,難以保證其結(jié)果的準(zhǔn)確性。
上述特征點(diǎn)一般為專業(yè)人員手工標(biāo)記,操作較費(fèi)時(shí)。Li等[35]自動搜索掃描的人體數(shù)據(jù),然后進(jìn)行特征點(diǎn)位置的確定,并構(gòu)建待測人體與模板人體特征點(diǎn)之間的數(shù)學(xué)關(guān)系。該技術(shù)通過旋轉(zhuǎn)圖像法(圖7)可以將三維人體網(wǎng)格的模式轉(zhuǎn)化為二維表達(dá)的模式,然后依據(jù)三維網(wǎng)格表面的取向點(diǎn),將三維人體數(shù)據(jù)的形態(tài)屬性進(jìn)行壓縮處理,將其變?yōu)橐粡埗S圖像的模式,以便于識別對應(yīng)的特征點(diǎn)。同時(shí),在模板人體表面進(jìn)行29個(gè)特征點(diǎn)位置的預(yù)先標(biāo)識處理,使用旋轉(zhuǎn)圖像來表示三維網(wǎng)格形態(tài),并利用每個(gè)點(diǎn)之間存在的空間關(guān)系進(jìn)行約束,從而獲取模板人體上每個(gè)預(yù)先標(biāo)識的點(diǎn)與待測人體表面對應(yīng)范圍內(nèi)各點(diǎn)的相關(guān)系數(shù)。通過進(jìn)一步分析這些點(diǎn)的相關(guān)系數(shù),確定待測人體表面的最合適的點(diǎn),并建立相互間對應(yīng)的關(guān)系。
綜上所述,運(yùn)用模板法[36-37]對掃描所獲得的人體點(diǎn)云數(shù)據(jù)進(jìn)行擬合處理,使得掃描數(shù)據(jù)無噪點(diǎn),可與模板人體建立對應(yīng)關(guān)系。這種方法的優(yōu)點(diǎn)為模板人體表面可呈現(xiàn)完整封閉的
曲面形式,曲面的形式在擬合過程中可以消除掃描數(shù)據(jù)存在的部分噪點(diǎn),且可修補(bǔ)人體數(shù)據(jù)所存在的部分網(wǎng)格漏洞現(xiàn)象,同時(shí)也可修正人體點(diǎn)云數(shù)據(jù)中存在的有問題的拓?fù)潢P(guān)系。但采用模板匹配方法進(jìn)行人體特征點(diǎn)的識別與提取,其準(zhǔn)確率在很大程度上取決于輸入模型和模板的相似性,相似性越高準(zhǔn)確率越高。
3"結(jié)"論
目前,人體特征點(diǎn)自動識別與提取的研究和應(yīng)用已經(jīng)非常普遍,而且都有各自的特點(diǎn),很多相關(guān)研究涉及三維人體特征點(diǎn)的直接識別,不運(yùn)用二維的人體表面結(jié)構(gòu)特征,且識別方法具有準(zhǔn)確性、魯棒性。本文主要介紹了目前人體特征點(diǎn)識別與提取方面的三個(gè)主要方法。
幾何形狀分析法易在識別特征點(diǎn)的過程中因人體體型特征的差異而受到影響,不過運(yùn)用此技術(shù)識別與提取特征點(diǎn)的計(jì)算方式相對簡單、精確度也較好,同時(shí)其與人體表面特征間的聯(lián)系最為緊密。函數(shù)法在識別特征點(diǎn)的過程中需擬合人體表面曲線,在擬合過程中相對較為耗時(shí),同時(shí)擬合后的人體數(shù)據(jù)結(jié)果無法保持人體表面的形態(tài)特征。通過模板法確定與識別特征點(diǎn)位置的精度比前面兩種識別技術(shù)都稍高,可是其在處理過程中的計(jì)算量相對來說較大,同時(shí)構(gòu)建所需的人體模型庫的成本也較高。因此,運(yùn)用幾何形狀分析法進(jìn)行特征點(diǎn)識別的研究與應(yīng)用較為普遍。
人體掃描技術(shù)在許多不同的研究領(lǐng)域都已被運(yùn)用,但服裝行業(yè)一直希望找到能夠與三維人體尺寸測量共通的特征點(diǎn)定位標(biāo)準(zhǔn),以此來提高人體尺寸的精確度。同時(shí),由于人體體型差異、人體姿態(tài)差異、人體點(diǎn)云去噪精確程度、點(diǎn)云精簡程度等原因,造成人體特征點(diǎn)識別的精確度不高,人體特征點(diǎn)識別與提取依舊是一個(gè)具有相當(dāng)難度的問題。因此,需要根據(jù)不同的人體體型差異,對人體特征點(diǎn)進(jìn)行精確地定義,以此來減少特征點(diǎn)識別的誤差,提高識別的精度與速度。
參考文獻(xiàn):
[1]DEVARAJAN P, ISTOOK C L. Validation of female figure identification technique (FFIT) for apparel software[J]. Journal of Textile and Apparel, Technology and Management, 2004, 4(1): 1-23.
[2]ASHDOWN S P, DUNNE L. A study of automated custom fit: Readiness of the technology for the apparel industry[J]. Clothing amp; Textiles Research Journal, 2006, 24(2): 121-136.
[3]ROEBUCK J A. Anthropometric Methods: Designing to Fit the Human Body[M]. Chicago: Human Factors and Ergonomics Society, 1995.
[4]汪海仙. 基于三維人體測量數(shù)據(jù)的女性體型細(xì)分與分類模型[D]. 蘇州: 蘇州大學(xué), 2021.
WANG H X. The Segmentation and Classification Model of Female Body Shape Based on Three-dimensional Body Measurement Data[D]. Suzhou: Soochow University, 2021.
[5]劉文炫. 基于三維掃描技術(shù)的人體測量與虛擬展示研究[D]. 北京: 北京服裝學(xué)院, 2020.
LIU W X. Research on Human Body Measurement and Virtual Display Based on 3D Scanning Technology[D]. Beijjing: Beijing Institute of Fashion Technology, 2020.
[6]YU W. Human anthropometrics and sizing systems[J]. Clothing Appearance and Fit, 2004, 9: 169-195.
[7]王希, 陳曉波, 習(xí)俊通. 人體散亂點(diǎn)云數(shù)據(jù)的區(qū)域分割算法[J]. 機(jī)械設(shè)計(jì)與研究, 2020, 36(1): 1-6.
WANG X, CHEN X B, XI J T. Research on region segmentation algorithm of human scattered point cloud data[J]. Machine Design and Research, 2020, 36(1): 1-6.
[8]HAN H, NAM Y. Automatic body landmark identification for various body figures[J]. International Journal of Industrial Ergonomics, 2011, 41(6): 592-606.
[9]陳國安, 劉飛, 李麗. 采用模糊規(guī)則的人體點(diǎn)云特征尺寸識別與提?。跩]. 計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào), 2011, 23(8): 1393-1400.
CHEN G A, LIU F, LI L. Recognition and extraction of human body’ s feature dimensions using fuzzy rules[J]. Journal of Computer-Aided Design amp; Computer Graphics, 2011, 23(8): 1393-1400.
[10]李靜, 尹偉石, 孟品超. 基于真實(shí)三維人體點(diǎn)云的特征參數(shù)提取[J]. 長春理工大學(xué)學(xué)報(bào)(自然科學(xué)版), 2024, 47(1): 131-136.
LI J, YIN W S, MENG P C. Feature parameter extraction based on real 3D human body point cloud[J]. Journal of Changchun University of Science and Technology (Natural Science Edition), 2024, 47(1): 131-136.
[11]DOUROS I, DEKKER L, BUXTON B F. Reconstruction of the surface of the human body from 3D scanner data using B-splines[C]//Electronic Imaging’99. State of Washington: International Society for Optics and Photonics, 1999.
[12]JU X, WERGHI N, SIEBERT J P. Automatic segmentation of 3D human body scans[J]. Journal of Earthquake Engineering, 2001, 4(1): 239-244.
[13]WANG C C L, CHANG T K K, YUEN M M F. From laser-scanned data to feature human model: A system based on fuzzy logic concept[J]. Computer-Aided Design, 2003, 35(3): 241-253.
[14]PARK S, NAM Y, CHOI K. Parametric virtual lower body of elderly women for apparel industry[J]. International Journal of Clothing Science amp; Technology, 2015, 27(1): 129-147.
[15]SUIKERBUIK R. Automatic feature detection in 3D human body scans[C]. Lowa: SAE Digital Human Modeling for Design and Engineering Symposium, 2004.
[16]SUBBURAJ K, RAVI B, AGARWAL M. Automated identification of anatomical landmarks on 3D bone models reconstructed from CT scan images[J]. Computerized Medical Imaging amp; Graphics, 2009, 33(5): 359-368.
[17]蔡曉裕. 青年女性腰腹臀特征分析及建模研究[D]. 杭州: 浙江理工大學(xué), 2021.
CAI X Y. Research on Characteristics Analysis and Modeling of Young Women’s Waist-Abdomen-Hip[D]. Hangzhou: Zhejiang Sci-Tech University, 2021.
[18]HAN H, NAM Y, SHIN S J H. Algorithms of the automatic landmark identification for various torso shapes[J]. International Journal of Clothing Science amp; Technology, 2010, 22(5): 343-357.
[19]溫佩芝, 馬超, 胡俊榕, 等. 基于國家標(biāo)準(zhǔn)的三維掃描人體尺寸提取技術(shù)[J]. 計(jì)算機(jī)工程與科學(xué), 2014, 36(6): 1114-1119.
WEN P Z, MA C, HU J R, et al. Measurement of human body’s feature dimensions based on the national standards[J]. Computer Engineering amp; Science, 2014, 36(6): 1114-1119.
[20]張洪偉. 基于立體視覺的人體體型測量的研究[D]. 貴陽: 貴州大學(xué), 2021.
ZHANG H W. A Study of Human Body Size Measurement Based on Stereo Vision[D]. Guiyang: Guizhou University, 2021.
[21]鮑陳, 繆永偉, 孫瑜亮, 等. 基于散亂點(diǎn)云的三維人體自動測量[J]. 紡織學(xué)報(bào), 2019, 40(1): 120-129.
BAO C, MIAO Y W, SUN Y L, et al. Automatic measurement of three-dimensional human body based on scattered point cloud[J]. Journal of Textile Research, 2019, 40(1): 120-129.
[22]HOU F X, JI X F. Virtual design method of customized clothing based on three-dimensional image[J]. Mobile Information Systems, 2022, 2022(1): 1-11.
[23]DEKKER L, DOUROS I, BUTON B F, et al. Building symbolic information for 3D human body modeling from range data[C]. Ottawa: Second International Conference on 3-D Digital Imaging and Modeling, 1999.
[24]LEONG I F, FANG J J, TSAI M J. Automatic body feature extraction from a marker-less scanned human body[J]. Computer-Aided Design, 2007, 39(7): 568-582.
[25]AZOUZ Z B, SHU C, MANTEL A. Automatic locating of anthropometric landmarks on 3D human models[C]. Chapel Hill: Third International Symposium on 3D Data Processing, Visualization, and Transmission, 2006.
[26]HUANG Z, CHEN M. Research on clothing “zero waste” design based on 3D virtual imitation technology[J]. West Leather, 2021, 43(24): 107-109.
[27]LIU X, BAI Y. Research on the construction of virtual simulation design resources of Chinese traditional clothing based on clo3D[J]. Western Leather, 2022, 44(3): 131-133.
[28]KAASHKI N N, HU P P, MUNTEANU A. Deep learning-based automated extraction of anthropometric measurements from a single 3-D scan[J]. IEEE Transactions on Instrumentation and Measurement, 2021, 70: 1-14.
[29]NURRE J H. Locating landmarks on human body scan data[C]. Ottawa: International Conference on Recent Advances in 3-D Digital Imaging and Modeling, 1997.
[30]AU C K, YUEN M M F. Feature-based reverse engineering of mannequin for garment design[J]. Computer-Aided Design, 1999, 31(12): 751-759.
[31]ALLEN B, CURLESS B, POPOVIC Z. The space of human body shapes: Reconstruction and parameterization from range scans[J]. ACM Transactions on Graphics, 2003, 22(3): 587-594.
[32]ANGUELOV D, SRINIVASAN P, KOLLER D, et al. SCAPE: Shape completion and animation of people[J]. ACM Transactions on Graphics, 2005, 24(3): 408-416.
[33]李靈杰, 童晶, 步文瑜, 等. 基于模板匹配的三維人體語義特征提取算法[J]. 計(jì)算機(jī)與現(xiàn)代化, 2020(4): 95-103.
LI L J, TONG J, BU W Y, et al. Semantic feature extraction algorithm for 3D human body based on template matching[J]. Computer and Modernization, 2020(4): 95-103.
[34]朱俊儒. 人體三維重建的表面特征點(diǎn)標(biāo)定技術(shù)研究[D]. 西安: 西安工業(yè)大學(xué), 2023.
ZHU J R. Research on Surface Feature Point Calibration Technique for Human 3D Reconstruction[D]. Xi’an: Xi’an Technological University, 2023.
[35]LI Y, ZHONG Y Q. Automatic detecting anthropometric landmarks based on spin image[J]. Textile Research Journal, 2012, 82(6): 622-632.
[36]XU T X, AN D, JIA Y T, et al. Point cloud-based 3D human joints estimation[J]. Sensors, 2021, 21(5): 1684.
[37]夏明, 張理想, 許霄. 掃描人體外包圍計(jì)算與上衣原型應(yīng)用分析[J]. 絲綢, 2023, 60(1): 78-87.
XIA M, ZHANG L X, XU X. Scanning human body outer circumference calculation and upper prototype application analysis[J]. Journal of Silk, 2023, 60(1): 78-87.
Research and application of automatic extraction of 3D human body feature points
ZHANG Chi, WANG Xiangrong
YAO Yi1,2, MAO Yue1, MENG Ranju1, JIN Zimin2
(1.Fashion Institute of Design, Jiaxing Vocational amp; Technical College, Jiaxing 314036, China; 2.College of Textile Science andEngineering (International Institute of Silk), Zhejiang Sci-Tech University, Hangzhou 310018, China)
Abstract:
This paper discusses the importance of 3D body scanning technology in the field of apparel and related research, especially how to automatically extract human body feature points from 3D point cloud data to improve the measurement accuracy of human body size data. The traditional manual measurement operation process is cumbersome and time-consuming, while the method of automatically recognizing and extracting the 3D feature points of the human body has obvious advantages in terms of speed and accuracy. However, existing 3D body scanning systems often have feature point recognition errors when dealing with special body sizes, and still need to be adjusted manually. Therefore, the purpose of this paper is to analyze the existing 3D human body feature point extraction methods, explore their difficulties and challenges, and provide technical support for fast and accurate feature point recognition.
This paper focuses on three main 3D human feature point extraction methods: geometric shape analysis, function method and template method. The geometric shape analysis method extracts feature points by analyzing the geometric features of the human body feature parts, which is simpler to calculate, but is greatly affected by the differences in human body shapes. The function method constructs the discriminant function by counting the relationship between the feature points, which is simple, but the fitting accuracy is low. The template method matches the point cloud data with predefined human body templates, which is more accurate but computationally intensive and costly to construct the model library. The results of this paper show that the geometric shape analysis method is quite common in practical applications and is suitable for most body types, but the recognition of special body types still needs to be improved.
Future research should be devoted to the development of feature point extraction methods that are insensitive to differences in human body size to further improve recognition speed and accuracy. Meanwhile, with the wide application of 3D body scanning technology in the apparel industry, the industry needs a unified feature point localization standard to improve the accuracy of body size measurement. This paper suggests that future research should focus on breaking through the difficulties in the feature point extraction process caused by factors such as differences in body size and changes in posture, and develop automated algorithms with higher robustness and applicability to achieve more accurate and rapid automatic extraction of 3D human feature points.
Key words:
three-dimensional human body; automatic extraction of feature points; geometric shape analysis method; functional method; template method