數(shù)字孿生技術(shù)在社區(qū)老年人安全健康監(jiān)測領(lǐng)域的應(yīng)用探究

張捷，錢虹，周宏遠

1 上海中僑職業(yè)技術(shù)學(xué)院 護理與健康學(xué)院，上海市，201514

2 上海市食品藥品監(jiān)督管理局認證審評中心，上海市，200020

3 上海中僑健康智能科技有限公司，上海市，201203

0 引言

隨著人口老齡化的日益嚴重，老年人在社區(qū)中的人口比重越來越高，以上海市為例，截至2017年底，上海60歲以上戶籍老年人口483.6萬人，占戶籍人口33.2%；80歲及以上高齡老年人口80.58萬人，占5.5%[1]。另外由于子女學(xué)習、工作、結(jié)婚等原因而離家，空巢家庭基本成為或已成為老人家庭的主要形式。專家預(yù)測，不久的將來我國老年人家庭的空巢率將達到90%左右[2]，容易出現(xiàn)認知癥障礙的老年人走失，獨居老人出現(xiàn)跌倒、疾病突發(fā)的風險，及老年人集中活動場所的安全隱患。“空巢老人”隨著年齡的增長，生理功能逐漸衰退，對他人幫助的依賴性越來越高，安全健康監(jiān)測等成為剛性需求，對智慧社區(qū)的建設(shè)與管理也越來越高。

目前老年人安全與健康相關(guān)的產(chǎn)品主要分為穿戴式與非接觸式。穿戴式需要接觸人體，存在一定的風險或隱患，老人容易產(chǎn)生技術(shù)恐懼；頻繁充電、佩戴的問題，會改變老人原有生活習慣；而非接觸式屬于被動監(jiān)控，不改變老年人生活習慣，無需充電、操作、佩戴等，可遠距離健康監(jiān)測。但非接觸式的傳感器為了能夠更全面獲取用戶數(shù)據(jù)，大多使用深度攝像頭或彩色攝像頭，由此帶來用戶的肖像、身體等隱私問題，影響此類產(chǎn)品的推廣應(yīng)用。

本文介紹的數(shù)字孿生技術(shù)，正是利用非接觸式的視覺傳感器，在終端處理影像數(shù)據(jù)，不上傳和存儲任何視頻和圖片數(shù)據(jù)，確保用戶隱私數(shù)據(jù)的安全，同時實現(xiàn)了老年人在社區(qū)生活狀態(tài)的虛擬仿真呈現(xiàn)，數(shù)據(jù)由終端傳感器多維動態(tài)采集，把脫敏數(shù)據(jù)虛擬呈現(xiàn)，包括定位、人體姿態(tài)與人體行為數(shù)據(jù)，完成記錄、追蹤、風險管理，實現(xiàn)對社區(qū)內(nèi)老年人狀態(tài)的精細化管理，出現(xiàn)風險后實時報警與風險預(yù)警，解決了非接觸式老年人安全與健康產(chǎn)品的隱私這一關(guān)鍵問題，有助于視覺健康產(chǎn)品的全面推廣應(yīng)用。

1 系統(tǒng)概述

數(shù)字孿生是指在整個生命周期中，通過軟件定義，在數(shù)字虛體空間中所構(gòu)建的虛擬事物的數(shù)字模型，形成了與物理實體空間中的現(xiàn)實事物所對應(yīng)的在形、態(tài)、行為和質(zhì)地上都相像的虛實精確映射關(guān)系[3]。數(shù)字孿生系統(tǒng)起源于智能制造領(lǐng)域，隨著人工智能與傳感器技術(shù)的發(fā)展，在更復(fù)雜的更多樣的社區(qū)管理領(lǐng)域，同樣可以發(fā)揮巨大作用。本文介紹的就是以社區(qū)應(yīng)用為目的的數(shù)字孿生技術(shù)的案例，通過視覺傳感器、人工智能芯片、深度學(xué)習算法及3D建模軟件實現(xiàn)了社區(qū)內(nèi)老年人日常行為活動姿態(tài)、健康風險情況的監(jiān)測與預(yù)警，起到全面關(guān)愛老年人健康，降低服務(wù)成本，提高養(yǎng)老服務(wù)質(zhì)量，降低老年人風險隱患，實現(xiàn)社區(qū)的智能化精細化管理。

2 系統(tǒng)核心要素

該數(shù)字孿生系統(tǒng)包含四個核心要素：關(guān)聯(lián)數(shù)據(jù)、數(shù)字模型、實時監(jiān)測[4]與智能分析。其目的是基于物理實體，構(gòu)建一個數(shù)字替身，實現(xiàn)基于數(shù)據(jù)的社區(qū)內(nèi)老年人安全與健康監(jiān)測，實現(xiàn)科技服務(wù)于人的核心。

2.1 關(guān)聯(lián)數(shù)據(jù)

關(guān)聯(lián)數(shù)據(jù)包含三部分：場景數(shù)據(jù)、人物數(shù)據(jù)與個體生理健康數(shù)據(jù)。

場景數(shù)據(jù)包含老年人活動的主要場所，根據(jù)現(xiàn)場實際測量數(shù)據(jù)后通過3D建模，精準還原現(xiàn)場的情況。場景包括獨居老人居所，社區(qū)為老服務(wù)綜合體、養(yǎng)老機構(gòu)等老人集中活動的場所。

人物數(shù)據(jù)包括人體姿態(tài)數(shù)據(jù)與人體活動軌跡數(shù)據(jù)。人體姿態(tài)檢測利用終端執(zhí)行的深度學(xué)習算法，根據(jù)視頻數(shù)據(jù)，利用人體部位數(shù)據(jù)庫，至下而上得到關(guān)鍵點位置再獲得骨架，進而識別人體姿態(tài)。算法不因為畫面中出現(xiàn)的人物數(shù)量多，而增加算法的耗時。一個關(guān)節(jié)點信息包括(x,y,score)三個信息，x和y即為圖像中的坐標信息，取值范圍為(0，image.size（圖像尺寸）)，而score則表示預(yù)測評分，歸一化處理后取值范圍（0，1），越接近1值表示預(yù)測值越準確，其關(guān)節(jié)點的還原度就越高，同時姿態(tài)的還原度也就越高。將18個關(guān)鍵節(jié)點用特定的順序連接后，就形成一幅人體骨骼圖[5]。如圖1所示。

個體生理健康數(shù)據(jù)，來源于老年人在社區(qū)的健康檔案，包括基本生理數(shù)據(jù)，如身高、體重、體脂，日常的健康監(jiān)測數(shù)據(jù)，包括體溫、血壓、血糖、血氧等數(shù)據(jù)，還有老年人患有的相關(guān)疾病及患病史，如三高疾病、腦卒中、認知癥障礙等等。

圖1 算法識別的人體關(guān)鍵節(jié)點數(shù)據(jù)Fig.1 Human key node data recognized by algorithms

2.2 數(shù)字模型

數(shù)字模型包括場景數(shù)字模型和人物數(shù)字模型。

場景數(shù)字模型根據(jù)場景采集的實際尺寸數(shù)據(jù)，根據(jù)3D建模軟件，實現(xiàn)一套數(shù)字環(huán)境模型，通過結(jié)合現(xiàn)有的數(shù)字組件，包含可復(fù)用的圍墻、道路、家具、門、窗、路燈等數(shù)字組件，實現(xiàn)一個完成的可視化的沉浸式環(huán)境。

人物數(shù)字模型分為兩部分，一部分是人物關(guān)節(jié)模型，一部分是人物身份模型。人物關(guān)節(jié)模型，是根據(jù)深度學(xué)習算法識別出的人體18個關(guān)鍵點，利用3D建模軟件，根據(jù)18個關(guān)鍵點，來塑造虛擬人物關(guān)節(jié)模型，18個關(guān)鍵點可根據(jù)人體活動范圍任意活動，實現(xiàn)真實人體的關(guān)鍵節(jié)點與虛擬人物節(jié)點的精準映射。人物身份模型，以人物的衣著進行判斷，通過衣著特征來標識人物的身份，根據(jù)人物的行走速度、姿態(tài)、步幅、步頻等，識別人物身份，重點識別老年人身份。

該數(shù)字模型系統(tǒng)的優(yōu)勢是既按真實數(shù)據(jù)完成現(xiàn)實的虛擬映射，同時又規(guī)避了隱私的風險，相對傳統(tǒng)攝像頭監(jiān)測，該數(shù)字孿生系統(tǒng)不上傳視頻數(shù)據(jù)，不存儲用戶的肖像、衣著等敏感數(shù)據(jù)，僅是通過人體姿態(tài)與行為的特征數(shù)據(jù)進行分析與識別。

2.3 實時監(jiān)測

該數(shù)字孿生系統(tǒng)是充分利用物理模型、傳感器、歷史數(shù)據(jù)、人工智能算法，集成多物理量、多尺度、多概率、實時的仿真過程，從而實現(xiàn)虛擬空間中各層線路、各傳感器的有機整合，使得現(xiàn)實空間中的老年人行為狀態(tài)信息都能夠有效地反饋在虛擬數(shù)字空間中，完成完整的實時映射過程。

該數(shù)字孿生系統(tǒng)采用分布式的拓撲結(jié)構(gòu)，傳感器分布在社區(qū)內(nèi)老年人活動的關(guān)鍵場所，利用4G/5G或WiFi無線網(wǎng)絡(luò)實時傳輸采集的數(shù)據(jù)，數(shù)據(jù)經(jīng)過智能算法處理后，在云端實時展示社區(qū)內(nèi)老年人的活動狀態(tài)，出現(xiàn)風險實時報警與風險預(yù)警。

2.4 智能分析

根據(jù)深度學(xué)習算法獲得的人體的18個關(guān)鍵節(jié)點坐標，在任何一時刻就定義了一個狀態(tài)。該項目選擇了一種模板匹配法的支持向量機（SVM）方法，支持向量機方法適用于小樣本的情況，并能取得不錯的效果[6]。

支持向量機（Support Vector Machine，簡稱SVM），是一個二類分類模式，基本模式被定義為最大的線性分類特征空間的間隔，策略是使間隔盡量變大，轉(zhuǎn)化為求解一個凸二次規(guī)劃問題[7]。

支持向量機算法的關(guān)鍵是分類器的訓(xùn)練。分類器的訓(xùn)練過程包括圖像預(yù)處理、歸一化處理、特征提取與模式分類四部分。

（1）圖像預(yù)處理。主要是去除圖像中的無關(guān)信息，包括背景、光影影響、多余的人（在訓(xùn)練過程中，單個圖片僅保留一個人的圖像數(shù)據(jù)）等，同時對圖像數(shù)據(jù)進行標注，標簽主要包含三部分信息，姿態(tài)（立、坐、臥），體型（瘦、適中、胖），年齡（青年及以下、中年、老年），以上信息由人工根據(jù)圖像信息標注。

（2）歸一化處理。預(yù)處理后的圖像數(shù)據(jù)會通過人體骨架識別算法，識別出人體的18個關(guān)鍵節(jié)點在圖像中的坐標。但這個坐標的坐標系是相對于每張圖片個體的，為了方便后續(xù)的特征提取，該研究將每張圖片的各自坐標系，統(tǒng)一映射到人為設(shè)定的64×64個點的坐標系。具體方法為：

Length=Max(X1…X18)-Min(X1…X18)；//X1…X18為18個節(jié)點的橫坐標

Height=Max(Y1…Y18)-Min(Y1…Y18)；//Y1…Y18為18個節(jié)點的縱坐標

If(Height≥Length)

歸一化系數(shù)A=64/Height

Else

歸一化系數(shù)A=64/Length；

（Xi，Yi）=A*（Xi'，Yi'）;//（Xi，Yi）新坐標，（Xi'，Yi'）原坐標

為了降低運算量，歸一化后的18個坐標值取整，則所有人體的關(guān)鍵坐標都可以顯示在64×64共4 096個像素點內(nèi)。歸一化后的數(shù)據(jù)去除大量的無用信息，僅保留核心數(shù)據(jù)，并且每個數(shù)據(jù)僅占4 kByte的存儲空間。

（3）特征提取。特征提取從兩個維度進行，一個是18個關(guān)鍵節(jié)點的整體拓撲結(jié)構(gòu)，另外一個是每個關(guān)鍵節(jié)點與其關(guān)聯(lián)節(jié)點的相對位置信息。兩個維度特征提取與訓(xùn)練分別進行，18個關(guān)鍵節(jié)點的拓撲結(jié)構(gòu)信息從整體考慮，把18個節(jié)點的全部坐標信息作為輸入，根據(jù)標注信息進行訓(xùn)練，得到三種姿態(tài)的分類器。每個關(guān)鍵節(jié)點與其關(guān)聯(lián)節(jié)點的相對位置信息，可以通過局部幾個關(guān)鍵節(jié)點的相對位置信息，進行全局的推斷人體姿態(tài)，適用于在采集影像數(shù)據(jù)時，由于物品遮擋、拍攝角度等原因，沒有采集到全部18個關(guān)鍵節(jié)點的比對數(shù)據(jù)，可以通過局部信息，判斷整體的姿態(tài)信息。

（4）模式分類。支持向量機是一個二類的分類模式，根據(jù)三種既定的判斷姿態(tài)，該分類器包括了三個姿態(tài)判斷的大分類，同時每個大分類下再根據(jù)兩種不同的特征提取維度，分為兩個子分類，總計6個子分類器。識別過程是輸入未知影像數(shù)據(jù)，分別通過6個子分類器，相似度最高的子分類器的姿態(tài)狀態(tài)即為最終的結(jié)果。

3 系統(tǒng)結(jié)構(gòu)

系統(tǒng)結(jié)構(gòu)分為四層體系，包含驅(qū)動層、平臺層、算法層與應(yīng)用層，如圖2所示。

圖2 數(shù)字孿生系統(tǒng)結(jié)構(gòu)Fig.2 Digital twin system architecture

驅(qū)動層包含了分布在老年人活動關(guān)鍵場所的視覺傳感器、人工智能芯片，社區(qū)健康小屋的智能健康監(jiān)測設(shè)備，如血壓計、血糖儀、血氧儀等等，及居家使用智能健康設(shè)備、可穿戴設(shè)備等。所有的這些嵌入了大量傳感器、計算、控制部件的智能體，分布在老年人生活的環(huán)境中，既能夠全部采集老年人安全健康相關(guān)的數(shù)據(jù)，又能夠通過終端計算的方式，避免泄露用戶的隱私，保護信息與數(shù)據(jù)的安全。

平臺層主要通過驅(qū)動層上傳的數(shù)據(jù)，實現(xiàn)各種傳感器數(shù)據(jù)的融合和場景重構(gòu)。通過用戶的唯一身份識別信息，關(guān)聯(lián)全部數(shù)據(jù)，根據(jù)用戶的活動區(qū)域，利用軟件建模的方式，對人物狀態(tài)和現(xiàn)實場景進行數(shù)字孿生，并根據(jù)用戶自身的特性進行任務(wù)定義，現(xiàn)實個性化的健康管理與風險報警。

算法層主要根據(jù)人臉識別與人體姿態(tài)與行為識別的需求，利用深度學(xué)習算法，實現(xiàn)云端訓(xùn)練與終端執(zhí)行，為老年人的風險狀態(tài)判定提供數(shù)據(jù)依據(jù)。

應(yīng)用層主要是面向用戶提供軟件服務(wù)。包括面向社區(qū)管理者的老年人活動狀態(tài)的虛擬重現(xiàn)，出現(xiàn)風險狀態(tài)的實時報警，與老年人及家屬、養(yǎng)老護理員、社區(qū)志愿者的溝通交流等等。老年人及家屬可以查看本人相關(guān)的健康數(shù)據(jù)與報告，社區(qū)管理者也可以了解社區(qū)內(nèi)所有老年人的身體狀況和行為活動狀況，實現(xiàn)社區(qū)內(nèi)老年人的安全與健康的精細化管理。

4 驗證

該數(shù)字孿生系統(tǒng)的關(guān)鍵是虛擬呈現(xiàn)出的老年人的活動行為是否與現(xiàn)實場景一致，其中兩個要素是人體所在位置的視覺定位與人體骨架圖識別。

視覺定位采用相似三角形法，如圖3所示。

圖3 相似三角形法視覺定位Fig.3 Similar triangle method for visual localization

通過已知量攝像機的安裝高度，實地測量的圖像坐標中心對應(yīng)的世界坐標點與攝像機在x和y軸上的距離，鏡頭中心點的圖像坐標，測量像素點的圖像坐標，實際像素的長度，實際像素的寬度與攝像頭焦距。

通過相似三角的邊長公式：

AB/A’B’=BC/B’C’=AC/A’C’

其中ABC為攝像機的圖像坐標的三點、A’B’C’為現(xiàn)實坐標的三點。

通過5個不同場景的人體站立位置的測量，通過利用相似三角形法利用圖像坐標計算的現(xiàn)實坐標點與實際場景中的物理坐標對比，5個場景的誤差平均為4.8%。

在人體骨架圖的驗證過程中，本文選擇人體最基本的三種姿態(tài)，立、坐、臥，同時在桌椅遮擋0%、30%、50%的三種條件下，通過5個不同場景，10個不同測試人驗證測試。所判斷的準確率由18個關(guān)鍵節(jié)點的坐標偏差平均求得（被遮擋的關(guān)鍵節(jié)點不納入計算），具體驗證數(shù)據(jù)如表1所示。

表1 人體骨架圖的驗證結(jié)果Tab.1 Verification results of human skeleton maps

綜上驗證結(jié)果及天寶養(yǎng)老院實際運行情況，報警閾值可根據(jù)試運行過程中自學(xué)習算法智能調(diào)整，試運行期間，老年人行為與姿態(tài)風險漏報率0%，誤報率4.3%，達到預(yù)期用途。

5 總結(jié)與展望

本數(shù)字孿生系統(tǒng)，通過傳感器采集數(shù)據(jù)，完成數(shù)據(jù)的精準映射，數(shù)字重建老年人生活場景及狀態(tài)，不泄露隱私，對老年人可能出現(xiàn)安全與健康風險實現(xiàn)報警與預(yù)警。本系統(tǒng)已在上海市虹口區(qū)天寶養(yǎng)老院進行了試點運行，初步驗證了系統(tǒng)的可靠性與穩(wěn)定性，尤其是對該養(yǎng)老院的失智老人的護理作用極大。本系統(tǒng)實現(xiàn)了7×24 h智能監(jiān)測，對老年人尤其是失智老人的走失、跌倒、疾病突發(fā)等風險實現(xiàn)實時響應(yīng)，很大程度上降低了養(yǎng)老服務(wù)人員的人力投入，提高養(yǎng)老護理質(zhì)量。

本項目已聯(lián)合天寶養(yǎng)老院、中國鐵搭公司申報2019年度虹口區(qū)“智慧城市建設(shè)”項目，同時申請發(fā)明專利一項，實用新型專利二項，軟件著作權(quán)二項。本文介紹的數(shù)字孿生系統(tǒng)，雖然目前僅在一個區(qū)域試點，但從其應(yīng)用場景、產(chǎn)品定義、功能實現(xiàn)，是切實從養(yǎng)老服務(wù)行業(yè)的實際需求出發(fā)，如能進一步降低系統(tǒng)硬件成本，并結(jié)合全面的社區(qū)居家養(yǎng)老服務(wù)，該系統(tǒng)將在養(yǎng)老領(lǐng)域發(fā)揮巨大的作用。