梁朝暉,朱笑笑+,曹其新,馬燕紅,徐義明
(1.上海交通大學(xué) 機械與動力工程學(xué)院,上海 200240;2.上海交通大學(xué)附屬第六人民醫(yī)院 康復(fù)醫(yī)學(xué)科,上海 200233)
0 引 言
由于涉及到病人隱私與信息安全等問題,目前在康復(fù)醫(yī)療領(lǐng)域中不同醫(yī)療機構(gòu)所采集的患者數(shù)據(jù)無法互通,導(dǎo)致難以訓(xùn)練出一個泛用性強、準(zhǔn)確度高的神經(jīng)網(wǎng)絡(luò)模型。針對這一問題,聯(lián)邦學(xué)習(xí)提供了解決思路。聯(lián)邦學(xué)習(xí)是一種在各客戶端節(jié)點上進行分布式訓(xùn)練,再在服務(wù)器端對全局模型進行整合更新的機器學(xué)習(xí)框架。聯(lián)邦學(xué)習(xí)期間,所有本地數(shù)據(jù)都保存在所屬機構(gòu)內(nèi)部而無需對外開放,從而實現(xiàn)數(shù)據(jù)隱私保護。可見,將聯(lián)邦學(xué)習(xí)技術(shù)應(yīng)用于康復(fù)領(lǐng)域有助于打破不同機構(gòu)之間的數(shù)據(jù)孤島狀態(tài),通過多方協(xié)同訓(xùn)練出泛用性強、準(zhǔn)確度高的下肢康復(fù)評估模型。
由此,本文提出一種基于聯(lián)邦學(xué)習(xí)的下肢康復(fù)評估算法,搭建聯(lián)邦學(xué)習(xí)系統(tǒng)并設(shè)計GRU-Inception康復(fù)評估神經(jīng)網(wǎng)絡(luò)模型進行訓(xùn)練,實現(xiàn)下肢損傷部位分類及康復(fù)情況評分任務(wù)。
1 相關(guān)工作
隨著計算機技術(shù)發(fā)展,已有國內(nèi)外學(xué)者利用神經(jīng)網(wǎng)絡(luò)模型進行康復(fù)評估。閆航等[1]提出Pose-AMGRU模型,利用攝像系統(tǒng)采集到的視頻信息提取人體姿態(tài),實現(xiàn)康復(fù)動作識別。羅堅等[2]通過深度傳感器采集得到的點云數(shù)據(jù),結(jié)合人體特征語義,設(shè)計一種Conv GRU網(wǎng)絡(luò)實現(xiàn)下肢異常步態(tài)檢測。王金甲等[3]利用可穿戴設(shè)備采集患者下肢運動數(shù)據(jù),并設(shè)計相應(yīng)的卷積神經(jīng)網(wǎng)絡(luò),實現(xiàn)對帕金森癥患者的凍結(jié)特征識別任務(wù)。
上面的研究中可以看出,在利用傳感器采集到足夠的康復(fù)數(shù)據(jù)后,康復(fù)評估算法的研究多集中于神經(jīng)網(wǎng)絡(luò)模型的設(shè)計以及實現(xiàn)上。然而由于醫(yī)療機構(gòu)之間數(shù)據(jù)不互通,這些方法往往難以在實際的醫(yī)療領(lǐng)域應(yīng)用當(dāng)中取得滿意效果。針對患者與醫(yī)療機構(gòu)的數(shù)據(jù)隱私問題,目前已有國內(nèi)外學(xué)者將聯(lián)邦學(xué)習(xí)[4]應(yīng)用在醫(yī)療領(lǐng)域中,展開相關(guān)研究工作。Lee J等[5]利用聯(lián)邦學(xué)習(xí)平臺,在不共享患者信息情況下實現(xiàn)跨機構(gòu)的患者相似性學(xué)習(xí)。Liu D等[6]開發(fā)一種兩階段聯(lián)邦學(xué)習(xí)方法,對跨機構(gòu)病例進行患者表征學(xué)習(xí)。王生生等[7,8]在聯(lián)邦學(xué)習(xí)框架下完成了醫(yī)學(xué)影像檢測及分割等任務(wù)。
針對上面研究中康復(fù)評估神經(jīng)網(wǎng)絡(luò)模型所存在的數(shù)據(jù)安全問題,結(jié)合聯(lián)邦學(xué)習(xí)的隱私保護訓(xùn)練機制,本文所提出的基于聯(lián)邦學(xué)習(xí)的下肢康復(fù)評估算法能在本地數(shù)據(jù)不外泄的情況下高效完成模型訓(xùn)練,并取得較好的損傷分類以及評分結(jié)果,有助于提升模型在實際康復(fù)醫(yī)療場景下的表現(xiàn)。
2 算法設(shè)計與實現(xiàn)
2.1 整體系統(tǒng)框架
本文采用客戶端-服務(wù)器架構(gòu)來搭建聯(lián)邦學(xué)習(xí)系統(tǒng),其整體框架如圖1所示。每個客戶端節(jié)點代表一個醫(yī)療機構(gòu)接入到聯(lián)邦學(xué)習(xí)系統(tǒng)內(nèi)。服務(wù)器作為聯(lián)邦學(xué)習(xí)的核心節(jié)點,與各個客戶端節(jié)點構(gòu)成雙向通訊鏈路。服務(wù)器部署在可信的第三方云平臺上。聯(lián)邦學(xué)習(xí)的模型訓(xùn)練過程分為初始化、客戶端選擇、模型廣播、本地訓(xùn)練、全局更新等階段。

圖1 聯(lián)邦學(xué)習(xí)整體框架
訓(xùn)練開始前,服務(wù)器首先進行初始化,設(shè)定聯(lián)邦學(xué)習(xí)參數(shù)。為提高通訊效率,每一輪訓(xùn)練開始前需要進行客戶端選擇,選中的客戶端可參與本輪訓(xùn)練。選擇完成后,服務(wù)器向選中客戶端廣播發(fā)送上一輪全局模型。各客戶端將該模型作為初始值,利用本地數(shù)據(jù)及resSGD優(yōu)化器對其進行訓(xùn)練。模型更新值需經(jīng)量化編碼壓縮后才上傳服務(wù)器,減輕通訊負(fù)擔(dān)。最后服務(wù)器端基于高斯差分隱私機制對模型更新值進行聚合來實現(xiàn)全局更新,得到本輪全局模型。至此一輪訓(xùn)練完成,當(dāng)達(dá)到設(shè)定訓(xùn)練輪數(shù)或觸發(fā)其它終止條件后聯(lián)邦學(xué)習(xí)結(jié)束。
針對下肢康復(fù)評估問題,本文設(shè)計了GRU-Inception網(wǎng)絡(luò)模型來實現(xiàn)下肢損傷分類與評分。該模型利用GRU提取輸入的時序關(guān)節(jié)角度數(shù)據(jù)特征,并采用多個Inception模塊級聯(lián)而成的分類器處理得到受測者下肢損傷部位分類結(jié)果以及康復(fù)評分結(jié)果。通過建立聯(lián)邦學(xué)習(xí)系統(tǒng)并對所設(shè)計的GRU-Inception網(wǎng)絡(luò)模型進行訓(xùn)練,本文所提出的基于聯(lián)邦學(xué)習(xí)的下肢康復(fù)評估算法有助于打破醫(yī)療機構(gòu)間的數(shù)據(jù)壁壘,在保護數(shù)據(jù)隱私的基礎(chǔ)上通過跨機構(gòu)多方協(xié)同訓(xùn)練來提升模型效果。
2.2 客戶端節(jié)點選擇機制
在聯(lián)邦學(xué)習(xí)系統(tǒng)當(dāng)中,模型訓(xùn)練過程被分布到大量客戶端節(jié)點上。每個通訊輪次中,上行(客戶端→服務(wù)器)和下行(服務(wù)器→客戶端)傳輸都需要占用大量網(wǎng)絡(luò)帶寬及傳輸時間。在保證模型訓(xùn)練效果基礎(chǔ)上,本系統(tǒng)利用客戶端節(jié)點選擇機制來減少每輪參與訓(xùn)練客戶端節(jié)點數(shù)目,提高聯(lián)邦學(xué)習(xí)效率。該機制綜合考慮各客戶端節(jié)點網(wǎng)絡(luò)連接情況、新增患者數(shù)據(jù)量以及上次參與訓(xùn)練間隔時間等因素,計算出本輪參與訓(xùn)練的客戶端節(jié)點列表。其中網(wǎng)絡(luò)條件好,數(shù)據(jù)量多,訓(xùn)練間隔時間長的節(jié)點更有可能納入本輪訓(xùn)練節(jié)點列表中。算法具體流程如下:
算法:客戶端選擇
輸入:節(jié)點隊列d1,d2, 參與訓(xùn)練客戶端數(shù)K, 評分權(quán)重w1,w2, 本輪輪次t;
輸出:參與訓(xùn)練客戶端節(jié)點列表list;
步驟1 初始化,若t=1, 將所有節(jié)點加入d1。
步驟2 下標(biāo)i為隊列編號,當(dāng)tmodi=0, 則服務(wù)器向隊列di里的節(jié)點發(fā)送請求,列入候選。
步驟3 若某節(jié)點限定時間內(nèi)無反饋,則將其移動到d2。 其它節(jié)點加入d1并計算其得分
scorek=w1×numk+w2×interk
(1)
其中,下標(biāo)k代表該節(jié)點的編號;numk為該節(jié)點新增數(shù)據(jù)量;interk為該節(jié)點距離上次參與訓(xùn)練的輪次間隔。
步驟4 將得分top-K的節(jié)點加入本輪參與訓(xùn)練的客戶端節(jié)點列表list。
2.3 本地訓(xùn)練與模型壓縮
參與訓(xùn)練的客戶端節(jié)點列表通過選擇機制產(chǎn)生后,服務(wù)器將上一輪的全局模型廣播發(fā)送給各個選中客戶端節(jié)點。客戶端節(jié)點接收全局模型,并利用本地數(shù)據(jù)以及resSGD優(yōu)化器進行訓(xùn)練。在第t+1輪,客戶端節(jié)點本地訓(xùn)練步驟如下:
算法:本地訓(xùn)練
輸入:上輪全局模型Wtg; 學(xué)習(xí)率lr; 本地訓(xùn)練迭代次數(shù)epoch; 限制項參數(shù)μ;
輸出:局部模型參數(shù)更新ΔWt+1k, 其中上標(biāo)t+1代表聯(lián)邦學(xué)習(xí)輪次,下標(biāo)k表示客戶端節(jié)點編號,k∈[1,K];
步驟1 初始化局部模型參數(shù)W0k=Wtg。
步驟2 設(shè)定學(xué)習(xí)率lr, 迭代次數(shù)epoch, 輸入批大小bs, 設(shè)定均方誤差函數(shù)MSELoss。
步驟3 設(shè)定自定義優(yōu)化器resSGD,其更新方法為
Updres=μ(We-1k-W0k)
(2)
Wek=We-1k-lr(grad+Updres),e∈[1,epoch]
(3)
其中,上標(biāo)e為客戶端迭代次數(shù),Updres為限制項,grad為本次迭代訓(xùn)練的梯度。
步驟4 進行本地訓(xùn)練,直至預(yù)設(shè)迭代次數(shù)epoch后訓(xùn)練結(jié)束,返回局部模型參數(shù)更新
ΔWt+1k=Wepochk-W0k
(4)
下肢康復(fù)評估任務(wù)既包括損傷部位的多標(biāo)簽分類問題,也涉及到評估分值的回歸問題。而本地訓(xùn)練中所采用的均方誤差損失函數(shù)能對各類別的預(yù)測概率與真值進行對比,符合下肢康復(fù)評估模型任務(wù)要求。在resSGD優(yōu)化器中,加入如式所示(2)的限制項,其目的是使本地訓(xùn)練更新后的局部模型和全局模型之間不至于相差過大,防止客戶端節(jié)點數(shù)據(jù)異構(gòu)和系統(tǒng)異構(gòu)導(dǎo)致模型發(fā)散問題,保證局部模型和全局模型的收斂一致性[9]。
當(dāng)模型文件較大時,如果直接將本地訓(xùn)練后的局部模型更新值上傳服務(wù)器,可能會導(dǎo)致網(wǎng)絡(luò)帶寬受限的客戶端節(jié)點占用過多通訊時間,影響模型聚合更新進程。作為一個折中方案,本系統(tǒng)利用量化編碼壓縮算法,犧牲一定精度來對局部模型更新參數(shù)進行壓縮。量化編碼壓縮算法分為兩步:隨機正交變換以及量化編碼,其流程如下:
算法:模型壓縮
輸入:局部模型參數(shù)更新ΔWt+1k∈p×q, 且k∈[1,K];t+1為本輪訓(xùn)練輪次;K為本輪參與訓(xùn)練的客戶端數(shù);
輸出:壓縮模型更新參數(shù)ht+1k∈1×pq; 隨機種子seedt+1k; 最大值及最小值hmint+1k,hmaxt+1k;
步驟1 將局部模型更新參數(shù)展開成向量
Hk=flatten(ΔWt+1k)
(5)
步驟2 生成隨機種子
seedt+1k=rand()
(6)
步驟3 通過QR分解隨機矩陣,獲取隨機正交矩陣
mk=randmatrix((pq,pq),seed)
(7)
Qk,Rk=QR(mk)
(8)
步驟4 向量隨機正交變換
h*k=Qk×Hk
(9)
步驟5 向量各個分量進行量化,最終得到ht+1k
hmint+1k=min(h*k),hmaxt+1k=max(h*k)
(10)
ht+1k[i]=int(65535(h*k[i]-hmint+1k)hmaxt+1k-hmint+1k)-32768
(11)
式(9)中的隨機正交變換步驟目的是使變換后的向量在各維度上的尺度較為一致,減少量化編碼帶來的損失。Suresh等[10]的研究表明,如果在量化之前對向量應(yīng)用隨機旋轉(zhuǎn)(用隨機正交矩陣乘以待量化的向量),可使量化誤差降低一定比例。原始模型更新參數(shù)數(shù)據(jù)類型為32位浮點數(shù),通過量化步驟將其映射到-32 768~32 767范圍內(nèi)的整數(shù)區(qū)間當(dāng)中,即可使用16位整型數(shù)來表示。后續(xù)通過尺度因子以及壓縮后的整型向量,可對原始浮點數(shù)向量進行還原恢復(fù)。量化編碼方法以犧牲一定精度為代價可獲取較好的壓縮效果,將待傳輸?shù)哪P臀募笮〗禐?0%,從而大大減輕服務(wù)器與客戶端節(jié)點之間的傳輸壓力,加速聯(lián)邦學(xué)習(xí)進程。
2.4 高斯差分隱私全局更新
在服務(wù)器節(jié)點獲取到客戶端節(jié)點所上傳的局部模型更新后,需要利用全局更新算法計算出一個全局模型,完成本輪次的訓(xùn)練。本系統(tǒng)已在客戶端本地訓(xùn)練的resSGD優(yōu)化器中引入限制項,從而保證局部模型和全局模型的收斂性,因此在全局更新階段采用聯(lián)邦平均算法[11]即可獲得較好效果。然而若服務(wù)器遭遇數(shù)據(jù)攻擊,第三方可能從局部模型參數(shù)更新中推斷出客戶端節(jié)點的訓(xùn)練貢獻,甚至存在原始數(shù)據(jù)泄漏的風(fēng)險。為解決這一問題,本系統(tǒng)在聯(lián)邦平均算法基礎(chǔ)上引入高斯差分隱私機制來保護數(shù)據(jù)安全,并在計算過程中進行因子縮放來對噪聲進行限制,保證模型可用性。
差分隱私主要技術(shù)手段是往原始數(shù)據(jù)中添加一定的噪聲實現(xiàn)混淆,確保其滿足隱私要求。在差分隱私技術(shù)中,利用高斯噪聲實現(xiàn)ε-δ差分隱私的方法被稱為高斯機制。給定隱私算法M,其定義域為D,值域為R。當(dāng)算法M對任意兩個數(shù)據(jù)t,t′∈D得到結(jié)果t*∈R時,若滿足下面不等式,則算法M滿足ε-δ差分隱私
Pr[M(t)=t*]≤eε×Pr[M(t′)=t*]+δ
(12)
其中,Pr為概率分布函數(shù);ε為隱私預(yù)算,和噪聲呈負(fù)相關(guān)關(guān)系,和數(shù)據(jù)可用性成正相關(guān)關(guān)系;δ為松弛項,表示系統(tǒng)對差分隱私失效的容忍度。
σ=Δ2f2ln(1.25/δ)ε
(13)
M(D)=f(D)+N(0,σ2)
(14)
其中,Δ2f是函數(shù)f在L2范數(shù)下的敏感度,函數(shù)N(0,σ2) 生成均值為0方差為σ2的隨機高斯噪聲。綜合上述高斯差分隱私機制及聯(lián)邦平均算法,本系統(tǒng)中服務(wù)器節(jié)點全局更新算法流程如下:
算法:高斯差分隱私全局更新
輸入:壓縮模型更新參數(shù)ht+1k; 隨機種子seedt+1k; 最大值及最小值hmint+1k,hmaxt+1k; 噪聲閾值th; 隱私預(yù)算ε; 容忍度δ; 最大通訊輪數(shù)U; 上一輪全局模型Wtg;
輸出:本輪全局模型Wt+1g, 其中上標(biāo)t+1代表聯(lián)邦學(xué)習(xí)輪次;
步驟1 將壓縮模型更新參數(shù)進行反量化
h*k[i]=hmaxt+1k-hmint+1k65535(ht+1k[i]+32768)+hmint+1k
(15)
其中,i∈[1,pq] 代表向量各分量
步驟2 根據(jù)隨機種子生成正交矩陣進行反變換,并將參數(shù)向量還原為矩陣形式
mk=randmatrix((pq,pq),seedt+1k)
(16)
Qk,Rk=QR(mk)
(17)
Hk=QTk×h*k
(18)
ΔWt+1k=unflatten(Hk)
(19)
步驟3 高斯噪聲計算
將函數(shù)敏感度限制為各客戶端參數(shù)更新的L2范數(shù)中值,后續(xù)通過縮放來限制噪聲
Δ2f=median(ΔWt+1k2),k∈[1,K]
(20)
根據(jù)式(13)計算高斯噪聲標(biāo)準(zhǔn)差σ,并為各客戶端計算縮放因子
Sk=min(1,Δ2f/ΔWt+1k2)
(21)
步驟4 全局更新計算
ΔWg=1K∑Kk=1(Sk×ΔWt+1k+N(0,σ2))
(22)
Wt+1g=Wtg+ΔWg
(23)
步驟5 計算噪聲強度并判斷是否繼續(xù)訓(xùn)練
ps=(Wt+1g2)2pq,pn=σ2/K
(24)
snr=10*lg(ps/pn)
(25)
cond=(snr
(26) 其中,snr為本次全局更新的信噪比;cond為訓(xùn)練繼續(xù)條件,若為假則聯(lián)邦學(xué)習(xí)停止。 2.5 GRU-Inception模型設(shè)計在進行康復(fù)評估前,需要利用運動捕捉系統(tǒng)來采集受測者步行時的下肢運動參數(shù)。康復(fù)醫(yī)學(xué)上常用參數(shù)包括:左右側(cè)髖關(guān)節(jié)屈伸角、左右側(cè)膝關(guān)節(jié)屈伸角以及左右側(cè)踝關(guān)節(jié)屈伸角共計6個關(guān)節(jié)角度。完成數(shù)據(jù)采集后,在上海市第六人民醫(yī)院康復(fù)科醫(yī)生指導(dǎo)下確立如下康復(fù)評估任務(wù):第一,對下肢損傷部位進行識別分類,包括正常、左右膝關(guān)節(jié)損傷、左右踝關(guān)節(jié)損傷共5個類別;第二,對康復(fù)程度進行評分,分?jǐn)?shù)高說明康復(fù)情況良好。因此下肢康復(fù)評估可視為一個多分類及評分回歸問題,其輸入為6個關(guān)節(jié)角度200幀時間序列,輸出為5類關(guān)節(jié)損傷分類結(jié)果及對應(yīng)康復(fù)評分結(jié)果。 針對以上問題,本文設(shè)計一種結(jié)合循環(huán)神經(jīng)網(wǎng)絡(luò)與卷積神經(jīng)網(wǎng)絡(luò)的時間序列多分類與評分模型,即GRU-Inception模型。該模型分為循環(huán)神經(jīng)網(wǎng)絡(luò)特征提取模塊以及卷積神經(jīng)網(wǎng)絡(luò)分類預(yù)測模塊,整體結(jié)構(gòu)如圖2所示。卷積神經(jīng)網(wǎng)絡(luò)分類預(yù)測模塊中的Inception單元,其結(jié)構(gòu)如圖3所示。 
圖2 GRU-Inception模型結(jié)構(gòu) 
圖3 Inception單元結(jié)構(gòu) GRU-Inception模型中采用GRU來實現(xiàn)特征提取模塊。GRU能有效捕捉時間序列當(dāng)中的依賴關(guān)系,提取時序特征。輸入數(shù)據(jù)張量形狀為 (B,V,S),B代表輸入批大小,V代表輸入變量維度,S代表輸入序列時間步數(shù)。GRU隱藏層尺寸為hs, 表示特征提取所得的狀態(tài)張量維數(shù)。經(jīng)特征提取模塊處理后,輸出狀態(tài)張量形狀為 (B,S,hs)。 GRU-Inception模型中分類預(yù)測模塊由卷積神經(jīng)網(wǎng)絡(luò)InceptionTime[12]實現(xiàn)。如圖2所示,該模塊通過連接6個Inception單元組成,每隔3個單元引入殘差連接,防止深度增加導(dǎo)致模型退化及梯度消失。如圖3所示,每個Inception單元由3個并列卷積層及一個最大池化層拼接組成。 最后,利用全連接層來整合輸出張量形狀,利用Softmax層進行指數(shù)歸一化,形成獨熱編碼作為輸出結(jié)果。獨熱編碼one_hot這5個分量分別代表該樣本在5個類別上的預(yù)測概率,進一步計算即可得到分類結(jié)果class_id及評分結(jié)果score class_id=argmax(one_hot) (27) score=one_hot[normal_id]one_hot[class_id] (28) 其中,函數(shù)argmax用于找出獨熱編碼向量里最大值的索引編號。 3 實驗驗證與結(jié)果分析3.1 下肢康復(fù)數(shù)據(jù)集本數(shù)據(jù)集在上海市第六人民醫(yī)院一線康復(fù)科醫(yī)生合作下進行數(shù)據(jù)采集和標(biāo)注工作。本數(shù)據(jù)集利用Xsens可穿戴式動捕設(shè)備來進行下肢運動數(shù)據(jù)捕捉,采集時分別將7個可穿戴傳感器佩戴在骨盆中央、左右側(cè)大腿股骨中段、左右側(cè)小腿脛骨中段以及左右側(cè)腳跟跟骨處。隨后進行站姿標(biāo)定,確定傳感器與肢體相對位姿。接下來進行數(shù)據(jù)記錄,受測者在平地上行走,采集得到關(guān)節(jié)角度步態(tài)數(shù)據(jù)。 關(guān)節(jié)角度采集頻率為40 Hz,每幀采集得到左右髖關(guān)節(jié)屈伸、左右膝關(guān)節(jié)屈伸以及左右踝關(guān)節(jié)屈伸共計6個角度。后續(xù)處理中每隔5 s,即200幀數(shù)據(jù),劃分為一個樣本,并在醫(yī)生協(xié)助下進行數(shù)據(jù)標(biāo)注工作。數(shù)據(jù)標(biāo)注工作分為分類和評分兩步,數(shù)據(jù)集共分為5個類別:正常N、右膝損傷RK、右踝損傷RA、左膝損傷LK、左踝損傷LA。根據(jù)受測者康復(fù)程度不同,評分分值范圍為0.6~1.0。最后計算得到該樣本1×5獨熱編碼來代表各類別概率。例如,獨熱編碼(0.45,0.55,0,0,0)代表其正常概率為0.45,右膝損傷概率為0.55,其它概率為0。因此該樣本分類結(jié)果為右膝損傷,評分為0.45/0.55=0.82。本數(shù)據(jù)集共有樣本1698份,均通過上文所述方法獲得,各類樣本數(shù)量與比例見表1。 
表1 下肢康復(fù)數(shù)據(jù)集 3.2 實驗參數(shù)與環(huán)境
本實驗基本設(shè)置如下:每輪訓(xùn)練客戶端迭代次數(shù)epoch=3; 批大小設(shè)置為B=64; 學(xué)習(xí)率設(shè)置為lr=0.01; 通訊輪數(shù)U=200; 優(yōu)化器限制項參數(shù)μ=0.1; 壓縮類型compression=int16。 對于高斯差分隱私機制相關(guān)的參數(shù),設(shè)置隱私預(yù)算ε=1; 容忍度δ=0.1; 噪聲閾值th=10。 本實驗在Ubuntu 20.04系統(tǒng)上進行;深度學(xué)習(xí)框架為Pytorch 1.9.1;編程環(huán)境為Python 3.7;CPU為英特爾Core i7-9750;GPU為英偉達(dá)GeForce RTX 2060;顯存為6 G;內(nèi)存為8 G。 3.3 實驗與分析GRU-Inception模型在聯(lián)邦學(xué)習(xí)框架上進行200輪訓(xùn)練后,在測試集上對其進行驗證。如表2所示,本實驗按照5種類別進行結(jié)果整理,其中Pre、Rec代表各類別分類精確率、召回率;TP代表各類別識別正確的樣本數(shù);FP代表其它類別誤識別為本類別的樣本數(shù);FN代表本類誤識別為其它類別的樣本數(shù),則 Pre=TPTP+FP,Rec=TPTP+FN (29) 
表2 GRU-Inception模型聯(lián)邦學(xué)習(xí)分類結(jié)果 對模型的整體表現(xiàn)進行分析,在測試集上模型的總體準(zhǔn)確率為Acc=0.93。準(zhǔn)確率代表預(yù)測正確樣本數(shù)占測試集樣本總數(shù)的比值,即 Acc=num(pred=gt)num(total) (30) 采用均方根誤差對模型康復(fù)評分效果進行分析,結(jié)果為RMSE=0.023。均方根誤差計算如下 RMSE=∑mi=1(yi-xi)2/m (31) 其中,y,x分別代表預(yù)測分值以及真值分值,下標(biāo)i代表樣本編號,m代表樣本數(shù)。 除了對模型整體效果進行實驗,本文對聯(lián)邦學(xué)習(xí)過程中各重要步驟分別進行驗證。在本地訓(xùn)練過程中,resSGD優(yōu)化器在隨機梯度下降基礎(chǔ)上引入限制項,防止本地更新后的局部模型和全局模型相差過大導(dǎo)致模型發(fā)散。對帶限制項的resSGD優(yōu)化器效果進行驗證,誤差曲線對比如圖4所示,帶限制項的resSGD優(yōu)化器為BASE,不帶限制項的SGD優(yōu)化器為NR(no restriction)。 
圖4 是否使用限制項優(yōu)化器對比 由圖4可見,是否使用限制項優(yōu)化器其整體誤差曲線相似。但在訓(xùn)練開始及結(jié)束階段,不使用限制項時模型訓(xùn)練誤差有相對較大幅度的波動。在測試集上進行對比,加入限制項時模型Acc=0.93,RMSE=0.023;不加限制項時模型Acc=0.90,RMSE=0.025。由于不同節(jié)點梯度相差較大,全局更新時波動與震蕩難以避免,嚴(yán)重時會影響模型收斂。帶限制項的resSGD優(yōu)化器可減少訓(xùn)練時模型參數(shù)波動幅度,提升收斂穩(wěn)定性與模型性能。 在客戶端與服務(wù)器通訊階段,為減輕網(wǎng)絡(luò)傳輸負(fù)擔(dān),加快模型傳輸速度,采用int16量化編碼壓縮。對量化編碼壓縮效果進行驗證,誤差曲線對比如圖5所示,使用編碼壓縮為BASE,不使用編碼壓縮為NC(no compression)。 
圖5 是否使用量化編碼壓縮對比 由圖5可見,是否使用編碼壓縮其整體誤差曲線十分接近。在測試集上進行對比,使用編碼壓縮時模型Acc=0.93,RMSE=0.023;不使用編碼壓縮時模型Acc=0.93,RMSE=0.021。本模型中各層參數(shù)最大最小值相差基本小于50,而int16類型范圍為65 536,進行量化壓縮時可保證1e-3的精度。因此,量化編碼壓縮后的模型精度損失較小,但文件大小可降為50%,大幅減輕傳輸壓力。 在全局更新階段,為保護數(shù)據(jù)隱私,在聯(lián)邦平均算法基礎(chǔ)上加入高斯噪聲實現(xiàn)差分隱私機制。對高斯差分隱私機制進行驗證,誤差曲線對比如圖6所示,使用高斯機制的聯(lián)邦平均算法為BASE,普通聯(lián)邦平均算法為NN(no noise)。 
圖6 是否使用高斯差分隱私機制對比 由圖6可見,無噪聲時模型訓(xùn)練誤差低于添加高斯噪聲。在測試集上進行對比,添加噪聲時模型Acc=0.93,RMSE=0.023;無噪聲時模型Acc=0.93,RMSE=0.025。添加高斯噪聲雖使模型訓(xùn)練誤差增加,收斂速度變慢,但在測試集上其表現(xiàn)接近甚至略優(yōu)于無噪聲??梢娺m當(dāng)添加高斯噪聲既能保護數(shù)據(jù)隱私安全,防止信息泄漏,又可以使模型過擬合程度減輕,泛化性能得到一定的改善。 為驗證GRU-Inception模型在下肢康復(fù)數(shù)據(jù)集上的表現(xiàn),將其與一些最新時序網(wǎng)絡(luò)模型經(jīng)聯(lián)邦學(xué)習(xí)后在測試集上進行比較,結(jié)果見表3。 
表3 不同模型對比 表3可見,GRU-Inception在評分準(zhǔn)確度上略低于InceptionTime,但分類預(yù)測準(zhǔn)確率有較大提升。對比mWDN、LSTM_FCN與XCM,GRU-Inception模型在下肢康復(fù)數(shù)據(jù)集上的整體表現(xiàn)更好。而MINIROCKET雖在單節(jié)點訓(xùn)練時效果突出,但聯(lián)邦學(xué)習(xí)時該模型不收斂,說明其對參數(shù)擾動較為敏感。實驗結(jié)果表明,經(jīng)聯(lián)邦學(xué)習(xí)訓(xùn)練后GRU-Inception模型在下肢康復(fù)數(shù)據(jù)集上綜合表現(xiàn)較優(yōu)。除某些對參數(shù)擾動比較敏感的模型外,本文構(gòu)建的聯(lián)邦學(xué)習(xí)系統(tǒng)對各類模型結(jié)構(gòu)適應(yīng)性強,適用范圍廣。 4 結(jié)束語本文提出一種基于聯(lián)邦學(xué)習(xí)的下肢康復(fù)評估算法,用于保護數(shù)據(jù)隱私安全并進行模型訓(xùn)練與康復(fù)評估。聯(lián)邦學(xué)習(xí)系統(tǒng)的搭建上,本文采用客戶端選擇機制及量化編碼壓縮算法提高通訊效率,設(shè)計帶限制項的resSGD優(yōu)化器保證模型收斂,最后利用高斯差分隱私實現(xiàn)數(shù)據(jù)保護。在此基礎(chǔ)上設(shè)計了GRU-Inception模型完成康復(fù)評估任務(wù)。 實驗結(jié)果表明,本文提出的基于聯(lián)邦學(xué)習(xí)的下肢康復(fù)評估算法整體表現(xiàn)較優(yōu),有助于打破醫(yī)療機構(gòu)之間的數(shù)據(jù)壁壘,使多方協(xié)同訓(xùn)練出準(zhǔn)確度高、泛用性好的康復(fù)評估模型成為可能。
亚洲精品粉嫩美女一区|
淫妇啪啪啪对白视频|
最近最新免费中文字幕在线|
88av欧美|
亚洲成人久久性|
亚洲自偷自拍图片 自拍|
我的亚洲天堂|
国产成人精品无人区|
国产又爽黄色视频|
亚洲精品一卡2卡三卡4卡5卡|
国产成人av激情在线播放|
性欧美人与动物交配|
91av网站免费观看|
一区二区日韩欧美中文字幕|
精品国产一区二区久久|
在线永久观看黄色视频|
国产乱人伦免费视频|
脱女人内裤的视频|
黄色片一级片一级黄色片|
久久99一区二区三区|
乱人伦中国视频|
在线国产一区二区在线|
精品久久久久久成人av|
国产成人影院久久av|
久久精品影院6|
美女午夜性视频免费|
日韩精品青青久久久久久|
国产精品98久久久久久宅男小说|
99精品在免费线老司机午夜|
亚洲男人的天堂狠狠|
操出白浆在线播放|
十八禁人妻一区二区|
久久中文字幕一级|
99精品欧美一区二区三区四区|
亚洲美女黄片视频|
亚洲三区欧美一区|
真人做人爱边吃奶动态|
国产高清videossex|
女人被狂操c到高潮|
操出白浆在线播放|
精品福利永久在线观看|
成人免费观看视频高清|
亚洲男人天堂网一区|
欧美日本亚洲视频在线播放|
国产精品一区二区精品视频观看|
丝袜美足系列|
成人影院久久|
91麻豆av在线|
精品一区二区三区四区五区乱码|
大型av网站在线播放|
日韩三级视频一区二区三区|
亚洲成人国产一区在线观看|
波多野结衣av一区二区av|
欧美亚洲日本最大视频资源|
亚洲午夜理论影院|
伦理电影免费视频|
国产成人一区二区三区免费视频网站|
免费人成视频x8x8入口观看|
免费高清视频大片|
巨乳人妻的诱惑在线观看|
国产主播在线观看一区二区|
侵犯人妻中文字幕一二三四区|
怎么达到女性高潮|
亚洲男人的天堂狠狠|
国产精品美女特级片免费视频播放器
|
一本综合久久免费|
国产成人啪精品午夜网站|
老司机午夜十八禁免费视频|
国产色视频综合|
黄频高清免费视频|
av在线天堂中文字幕
|
日本黄色日本黄色录像|
国产精品免费一区二区三区在线|
亚洲av成人不卡在线观看播放网|
亚洲成人免费电影在线观看|
老司机深夜福利视频在线观看|
可以在线观看毛片的网站|
亚洲 欧美一区二区三区|
久久人人爽av亚洲精品天堂|
久久久久久久久免费视频了|
国产精品一区二区免费欧美|
大码成人一级视频|
午夜老司机福利片|
国产亚洲欧美98|
成人国语在线视频|
免费不卡黄色视频|
夜夜夜夜夜久久久久|
国产亚洲欧美98|
欧美中文日本在线观看视频|
精品无人区乱码1区二区|
亚洲欧美激情综合另类|
夜夜夜夜夜久久久久|
亚洲免费av在线视频|
欧美黄色淫秽网站|
熟女少妇亚洲综合色aaa.|
中出人妻视频一区二区|
精品国产一区二区久久|
欧美成狂野欧美在线观看|
亚洲国产欧美一区二区综合|
国产一区二区三区在线臀色熟女
|
色老头精品视频在线观看|
99香蕉大伊视频|
91成年电影在线观看|
99热只有精品国产|
久久人人97超碰香蕉20202|
天天躁夜夜躁狠狠躁躁|
久久欧美精品欧美久久欧美|
国产精品1区2区在线观看.|
a级毛片黄视频|
亚洲精品成人av观看孕妇|
亚洲中文字幕日韩|
国产精品一区二区精品视频观看|
色婷婷久久久亚洲欧美|
精品国产国语对白av|
xxxhd国产人妻xxx|
日日摸夜夜添夜夜添小说|
精品一区二区三区av网在线观看|
亚洲色图综合在线观看|
xxxhd国产人妻xxx|
丁香六月欧美|
午夜日韩欧美国产|
久久精品亚洲熟妇少妇任你|
av免费在线观看网站|
国产乱人伦免费视频|
午夜两性在线视频|
老汉色∧v一级毛片|
亚洲 欧美 日韩 在线 免费|
手机成人av网站|
美国免费a级毛片|
精品国产国语对白av|
色播在线永久视频|
精品久久久精品久久久|
99国产精品一区二区三区|
两性午夜刺激爽爽歪歪视频在线观看
|
亚洲av成人av|
国产成年人精品一区二区
|
99久久国产精品久久久|
欧美日韩一级在线毛片|
久99久视频精品免费|
av片东京热男人的天堂|
人人妻人人澡人人看|
女人精品久久久久毛片|
国产av又大|
一级作爱视频免费观看|
香蕉国产在线看|
av福利片在线|
国产成人av教育|
老司机午夜十八禁免费视频|
免费久久久久久久精品成人欧美视频|
精品日产1卡2卡|
91大片在线观看|
xxx96com|
久久国产精品人妻蜜桃|
黄色a级毛片大全视频|
脱女人内裤的视频|
亚洲情色 制服丝袜|
亚洲精品av麻豆狂野|
国产精品乱码一区二三区的特点
|
亚洲精品久久午夜乱码|
精品国产国语对白av|
精品卡一卡二卡四卡免费|
国产精品久久久久成人av|
欧美不卡视频在线免费观看
|
亚洲av电影在线进入|
99国产精品免费福利视频|
国产欧美日韩精品亚洲av|
国产欧美日韩精品亚洲av|
国产一区二区三区综合在线观看|
久久人妻福利社区极品人妻图片|
亚洲色图 男人天堂 中文字幕|
成年女人毛片免费观看观看9|
中文字幕最新亚洲高清|
日日摸夜夜添夜夜添小说|
99国产精品一区二区三区|
日韩免费高清中文字幕av|
亚洲精品成人av观看孕妇|
日韩免费av在线播放|
在线观看一区二区三区激情|
国产蜜桃级精品一区二区三区|
日韩中文字幕欧美一区二区|
亚洲激情在线av|
bbb黄色大片|
99国产精品一区二区蜜桃av|
成年版毛片免费区|
亚洲情色 制服丝袜|
日日摸夜夜添夜夜添小说|
老熟妇乱子伦视频在线观看|
999精品在线视频|
午夜视频精品福利|
午夜a级毛片|
黄片小视频在线播放|
久久香蕉国产精品|
国产精品爽爽va在线观看网站
|
91成年电影在线观看|
一个人免费在线观看的高清视频|
a级毛片在线看网站|
欧美成狂野欧美在线观看|
国产精品亚洲av一区麻豆|
日韩有码中文字幕|
免费在线观看黄色视频的|
欧美成人免费av一区二区三区|
正在播放国产对白刺激|
可以在线观看毛片的网站|
欧美日韩瑟瑟在线播放|
中文亚洲av片在线观看爽|
亚洲国产精品sss在线观看
|
午夜福利一区二区在线看|
欧美激情 高清一区二区三区|
国产精品自产拍在线观看55亚洲|
日本a在线网址|
真人一进一出gif抽搐免费|
亚洲成国产人片在线观看|
正在播放国产对白刺激|
怎么达到女性高潮|
午夜91福利影院|
一区二区三区激情视频|
亚洲一区二区三区色噜噜
|
久久国产精品男人的天堂亚洲|
精品国产美女av久久久久小说|
国产亚洲欧美在线一区二区|
久久精品成人免费网站|
99久久国产精品久久久|
精品久久久久久久久久免费视频
|
午夜两性在线视频|
av中文乱码字幕在线|
91精品三级在线观看|
日韩av在线大香蕉|
黄色片一级片一级黄色片|
欧美一级毛片孕妇|
亚洲色图综合在线观看|
久久国产精品影院|
国产又爽黄色视频|
亚洲av日韩精品久久久久久密|
欧美日韩乱码在线|
男人操女人黄网站|
久久伊人香网站|
老司机深夜福利视频在线观看|
亚洲 欧美 日韩 在线 免费|
在线观看免费视频网站a站|
亚洲狠狠婷婷综合久久图片|
午夜精品在线福利|
亚洲欧美日韩高清在线视频|
精品国产亚洲在线|
搡老岳熟女国产|
精品乱码久久久久久99久播|
欧美激情高清一区二区三区|
在线观看免费午夜福利视频|
男女高潮啪啪啪动态图|
无限看片的www在线观看|
亚洲中文字幕日韩|
欧美黑人精品巨大|
中文字幕另类日韩欧美亚洲嫩草|
tocl精华|
夫妻午夜视频|
亚洲自偷自拍图片 自拍|
欧美日韩亚洲高清精品|
精品国产一区二区三区四区第35|
五月开心婷婷网|
中文欧美无线码|
欧美另类亚洲清纯唯美|
亚洲一区二区三区不卡视频|
www.自偷自拍.com|
黄色女人牲交|
99国产综合亚洲精品|
香蕉国产在线看|
国产亚洲欧美精品永久|
午夜91福利影院|
麻豆久久精品国产亚洲av
|
十分钟在线观看高清视频www|
欧美最黄视频在线播放免费
|
亚洲国产看品久久|
欧美日韩中文字幕国产精品一区二区三区
|
欧美乱码精品一区二区三区|
亚洲精品国产区一区二|
男女做爰动态图高潮gif福利片
|
免费少妇av软件|
久久精品国产亚洲av高清一级|
e午夜精品久久久久久久|
亚洲午夜理论影院|
一进一出抽搐gif免费好疼
|
精品久久蜜臀av无|
在线观看舔阴道视频|
伊人久久大香线蕉亚洲五|
黄色视频不卡|
99香蕉大伊视频|
高潮久久久久久久久久久不卡|
国产99白浆流出|
亚洲激情在线av|
久久久久国内视频|
天堂影院成人在线观看|
香蕉久久夜色|
亚洲少妇的诱惑av|
精品久久久久久久毛片微露脸|
一区二区三区精品91|
国产精品秋霞免费鲁丝片|
搡老乐熟女国产|
国产视频一区二区在线看|
两个人免费观看高清视频|
欧美日韩乱码在线|
国产亚洲欧美98|
欧美人与性动交α欧美软件|
国产精品影院久久|
亚洲av电影在线进入|
在线观看日韩欧美|
日日夜夜操网爽|
纯流量卡能插随身wifi吗|
黄片小视频在线播放|
99riav亚洲国产免费|
国产高清videossex|
成年版毛片免费区|
亚洲国产看品久久|
亚洲av第一区精品v没综合|
亚洲第一欧美日韩一区二区三区|
国产伦一二天堂av在线观看|
亚洲国产精品999在线|
露出奶头的视频|
日本撒尿小便嘘嘘汇集6|
亚洲中文日韩欧美视频|
99久久人妻综合|
黑丝袜美女国产一区|
操出白浆在线播放|
黄色a级毛片大全视频|
国产一区二区三区视频了|
精品人妻在线不人妻|
免费搜索国产男女视频|
精品久久久久久成人av|
激情在线观看视频在线高清|
国产又爽黄色视频|
18禁美女被吸乳视频|
老司机午夜福利在线观看视频|
9191精品国产免费久久|
日韩欧美国产一区二区入口|
国产精品爽爽va在线观看网站
|
亚洲男人的天堂狠狠|
免费日韩欧美在线观看|
波多野结衣高清无吗|
国产免费现黄频在线看|
bbb黄色大片|
丁香六月欧美|
纯流量卡能插随身wifi吗|
久久久国产精品麻豆|
很黄的视频免费|
黑人操中国人逼视频|
女人高潮潮喷娇喘18禁视频|
亚洲狠狠婷婷综合久久图片|
女警被强在线播放|
国产精品电影一区二区三区|
久久久久久人人人人人|
美女高潮到喷水免费观看|
亚洲欧美激情综合另类|
成人精品一区二区免费|
亚洲国产欧美日韩在线播放|
免费高清视频大片|
99热国产这里只有精品6|
久久久久久久久中文|
麻豆成人av在线观看|
国产主播在线观看一区二区|
国产黄色免费在线视频|
成人影院久久|
身体一侧抽搐|
国产三级黄色录像|
极品人妻少妇av视频|
欧美性长视频在线观看|
91成人精品电影|
99精国产麻豆久久婷婷|
日本撒尿小便嘘嘘汇集6|
又黄又粗又硬又大视频|
亚洲国产看品久久|
丝袜人妻中文字幕|
丁香六月欧美|
日韩成人在线观看一区二区三区|
av网站免费在线观看视频|
日本三级黄在线观看|
黑人巨大精品欧美一区二区mp4|
www.999成人在线观看|
99精品久久久久人妻精品|
亚洲国产欧美网|
亚洲av成人不卡在线观看播放网|
亚洲人成77777在线视频|
大码成人一级视频|
中文亚洲av片在线观看爽|
国产午夜精品久久久久久|
aaaaa片日本免费|
欧美人与性动交α欧美软件|
91麻豆精品激情在线观看国产
|
九色亚洲精品在线播放|
国产精品久久久人人做人人爽|
国产精品成人在线|
久久青草综合色|
国产真人三级小视频在线观看|
成年人黄色毛片网站|
色综合婷婷激情|
国产在线观看jvid|
又大又爽又粗|
丝袜美足系列|
亚洲第一av免费看|
久久久久九九精品影院|
日日摸夜夜添夜夜添小说|
午夜福利欧美成人|
国产欧美日韩一区二区精品|
欧美人与性动交α欧美软件|
亚洲视频免费观看视频|
日韩有码中文字幕|
欧美国产精品va在线观看不卡|
免费在线观看完整版高清|
精品无人区乱码1区二区|
欧美不卡视频在线免费观看
|
免费av毛片视频|
久久中文字幕一级|
国产精品永久免费网站|
12—13女人毛片做爰片一|
成在线人永久免费视频|
多毛熟女@视频|
欧美+亚洲+日韩+国产|
日本a在线网址|
精品久久久久久久久久免费视频
|
色综合站精品国产|
色综合欧美亚洲国产小说|
又紧又爽又黄一区二区|
国产成年人精品一区二区
|
老司机靠b影院|
在线看a的网站|
精品国产乱子伦一区二区三区|
日本五十路高清|
十八禁人妻一区二区|
在线国产一区二区在线|
神马国产精品三级电影在线观看
|
女生性感内裤真人,穿戴方法视频|
女警被强在线播放|
欧美乱码精品一区二区三区|
精品一品国产午夜福利视频|
国产成人影院久久av|
国产成人免费无遮挡视频|
午夜福利欧美成人|
午夜精品久久久久久毛片777|
99热只有精品国产|
国产黄色免费在线视频|
国产熟女xx|
人人妻人人爽人人添夜夜欢视频|
国产97色在线日韩免费|
精品少妇一区二区三区视频日本电影|
亚洲精品美女久久av网站|
成人国语在线视频|
成人特级黄色片久久久久久久|
女性生殖器流出的白浆|
国产激情久久老熟女|
悠悠久久av|
69av精品久久久久久|
成人18禁高潮啪啪吃奶动态图|
国产精品综合久久久久久久免费
|
亚洲熟女毛片儿|
99在线人妻在线中文字幕|
国产97色在线日韩免费|
国产精品国产高清国产av|
琪琪午夜伦伦电影理论片6080|
在线播放国产精品三级|
嫩草影视91久久|
久久天躁狠狠躁夜夜2o2o|
9191精品国产免费久久|
精品乱码久久久久久99久播|
欧美丝袜亚洲另类
|
看黄色毛片网站|
日韩欧美一区二区三区在线观看|
热99国产精品久久久久久7|
av网站在线播放免费|
一进一出抽搐gif免费好疼
|
免费在线观看视频国产中文字幕亚洲|
欧美黄色片欧美黄色片|
www国产在线视频色|
亚洲中文字幕日韩|
夜夜爽天天搞|
久久精品亚洲精品国产色婷小说|
岛国视频午夜一区免费看|
精品国产一区二区久久|
亚洲欧美日韩另类电影网站|
丝袜美腿诱惑在线|
亚洲在线自拍视频|
国产又爽黄色视频|
黄色片一级片一级黄色片|
欧美国产精品va在线观看不卡|
欧美黑人欧美精品刺激|
一级片'在线观看视频|
97碰自拍视频|
超色免费av|
老司机在亚洲福利影院|
亚洲性夜色夜夜综合|
国产99久久九九免费精品|
av在线播放免费不卡|
极品人妻少妇av视频|
国产成人欧美|
最近最新中文字幕大全免费视频|
免费观看精品视频网站|
av视频免费观看在线观看|
可以免费在线观看a视频的电影网站|
老司机靠b影院|
久久久久九九精品影院|
色婷婷久久久亚洲欧美|
久久精品人人爽人人爽视色|
伦理电影免费视频|
一a级毛片在线观看|
一进一出抽搐动态|
在线观看www视频免费|
av网站免费在线观看视频|
亚洲午夜理论影院|
亚洲熟妇中文字幕五十中出
|
三上悠亚av全集在线观看|
www.www免费av|
美女国产高潮福利片在线看|
五月开心婷婷网|
9色porny在线观看|
搡老岳熟女国产|
女警被强在线播放|
久久国产精品影院|
在线看a的网站|
国产成+人综合+亚洲专区|
日本黄色日本黄色录像|
9色porny在线观看|
少妇被粗大的猛进出69影院|
狂野欧美激情性xxxx|
欧美日韩亚洲高清精品|
男人的好看免费观看在线视频
|
一边摸一边做爽爽视频免费|
51午夜福利影视在线观看|
9191精品国产免费久久|
久久久久久大精品|
久久人人爽av亚洲精品天堂|
国产av一区二区精品久久|
黄色片一级片一级黄色片|
久久婷婷成人综合色麻豆|
黄片大片在线免费观看|
美女国产高潮福利片在线看|
欧美日韩亚洲综合一区二区三区_|
久久国产亚洲av麻豆专区|
日本黄色日本黄色录像|
搡老乐熟女国产|
一区二区日韩欧美中文字幕|
操美女的视频在线观看|
久久久久亚洲av毛片大全|
波多野结衣一区麻豆|
欧美亚洲日本最大视频资源|
欧美乱妇无乱码|
久久国产精品影院|
夜夜爽天天搞|
激情在线观看视频在线高清|
男女之事视频高清在线观看|
9191精品国产免费久久|
videosex国产|
一级毛片女人18水好多|
亚洲精品一二三|
伦理电影免费视频|
欧美av亚洲av综合av国产av|
两人在一起打扑克的视频|
日韩精品免费视频一区二区三区|
亚洲精品av麻豆狂野|
免费人成视频x8x8入口观看|
999久久久国产精品视频|
欧洲精品卡2卡3卡4卡5卡区|
www.999成人在线观看|
亚洲自偷自拍图片 自拍|
成人黄色视频免费在线看|
美女午夜性视频免费|
窝窝影院91人妻|
久久久久久久久久久久大奶|
99久久人妻综合|
国产aⅴ精品一区二区三区波|
国产有黄有色有爽视频|
身体一侧抽搐|
亚洲男人的天堂狠狠|
亚洲av成人av|
9热在线视频观看99|
精品国产一区二区久久|
亚洲精品一二三|
亚洲自偷自拍图片 自拍|
69精品国产乱码久久久|
日韩欧美一区视频在线观看|
精品高清国产在线一区|
十八禁人妻一区二区|
国产成人系列免费观看|
一级毛片精品|
免费看十八禁软件|
亚洲成人精品中文字幕电影
|
少妇被粗大的猛进出69影院|
精品久久久精品久久久|
后天国语完整版免费观看|
男人舔女人下体高潮全视频|
久久久久久久久中文|
一区二区三区精品91|
日本欧美视频一区|
99国产精品99久久久久|
亚洲人成电影观看|
日本欧美视频一区|
美女福利国产在线|
大香蕉久久成人网|
精品国产一区二区三区四区第35|
精品高清国产在线一区|
大香蕉久久成人网|
一a级毛片在线观看|
亚洲av成人一区二区三|
欧美成狂野欧美在线观看|
午夜a级毛片|
午夜91福利影院|
欧美日韩视频精品一区|
精品人妻在线不人妻|
一本综合久久免费|
精品熟女少妇八av免费久了|
欧美午夜高清在线|
国产精品乱码一区二三区的特点
|
精品高清国产在线一区|
大香蕉久久成人网|
av欧美777|
精品久久久精品久久久|
99香蕉大伊视频|
欧美午夜高清在线|
www日本在线高清视频|
bbb黄色大片|
|