• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于單標(biāo)簽圖像標(biāo)注的損失函數(shù)分析

    2020-11-04 13:32:10鄧建國(guó)張素蘭
    關(guān)鍵詞:實(shí)驗(yàn)模型

    鄧建國(guó),張素蘭

    (太原科技大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,太原 030024)

    有監(jiān)督學(xué)習(xí)利用有標(biāo)記的樣本調(diào)整模型參數(shù),使模型具有正確預(yù)測(cè)未知數(shù)據(jù)的能力,其目的是通過(guò)讓計(jì)算機(jī)學(xué)習(xí)一組有標(biāo)記的訓(xùn)練數(shù)據(jù)集,進(jìn)而獲得新的知識(shí)或技能,這就要求計(jì)算機(jī)不斷學(xué)習(xí)樣本數(shù)據(jù),并依據(jù)樣本真實(shí)值與預(yù)測(cè)值之間的損失調(diào)整模型參數(shù),提升模型的判別能力。因此,損失函數(shù)的合適選取影響著有監(jiān)督學(xué)習(xí)的廣泛應(yīng)用。

    圖像標(biāo)注是有監(jiān)督學(xué)習(xí)中的一個(gè)典型應(yīng)用,已廣泛應(yīng)用于圖像檢索、圖像分割和目標(biāo)檢測(cè)等領(lǐng)域。圖像標(biāo)注根據(jù)圖像獲得的標(biāo)簽數(shù)量,大致分為單標(biāo)簽圖像標(biāo)注和多標(biāo)簽圖像標(biāo)注?;谟斜O(jiān)督學(xué)習(xí)的單標(biāo)簽圖像標(biāo)注方法是根據(jù)標(biāo)注規(guī)則,利用損失函數(shù)值調(diào)整模型參數(shù)為圖像分配唯一的預(yù)定義標(biāo)簽。與多標(biāo)簽圖像標(biāo)注相比,單標(biāo)簽圖像標(biāo)注模型分配的標(biāo)簽數(shù)量更少,算法更簡(jiǎn)單,模型對(duì)損失函數(shù)的影響更小,更適合研究損失函數(shù)的特性以及不同損失函數(shù)在度量數(shù)據(jù)樣本上的差異。單標(biāo)簽圖像標(biāo)注或分類中常使用MNIST數(shù)據(jù)集驗(yàn)證算法的有效性,Gu等人[1]使用MNIST驗(yàn)證了同時(shí)學(xué)習(xí)一個(gè)合成字典和一個(gè)解析字典的方法,高子翔等[2]使用MNIST驗(yàn)證了基于自適應(yīng)池化的雙路卷積神經(jīng)網(wǎng)絡(luò)。本文基于神經(jīng)網(wǎng)絡(luò)模型,在MNIST數(shù)據(jù)集上構(gòu)建單標(biāo)簽圖像標(biāo)注方法對(duì)比研究有監(jiān)督學(xué)習(xí)的常用損失函數(shù)。

    有監(jiān)督學(xué)習(xí)算法使用的損失函數(shù)比較多,典型的損失函數(shù)包括平方損失[3]、絕對(duì)損失[4]、0-1損失[5]、hinge[6]、余弦損失、對(duì)數(shù)損失[7]和交叉熵?fù)p失[8]以及它們的演化形式等。本文依次選用均方誤差(Mean Squared Error,MSE)、平均絕對(duì)誤差(Mean Absolute Error,MAE)、均方對(duì)數(shù)誤差(Mean Squared Logarithmic Error,MSLE)、鉸鏈損失(hinge)、二分類交叉熵?fù)p失、多分類交叉熵?fù)p失、余弦損失中的一個(gè)作為神經(jīng)網(wǎng)絡(luò)模型的損失函數(shù)構(gòu)建7個(gè)圖像標(biāo)注子實(shí)驗(yàn),每個(gè)子實(shí)驗(yàn)除損失函數(shù)不同外,其他的實(shí)驗(yàn)環(huán)境完全相同。通過(guò)實(shí)驗(yàn)結(jié)果分析,探索損失函數(shù)與數(shù)據(jù)集的內(nèi)在聯(lián)系,在實(shí)驗(yàn)的基礎(chǔ)上,提出新的組合損失函數(shù),并利用單標(biāo)簽圖像標(biāo)注方法驗(yàn)證了提出的組合損失函數(shù)的有效性。

    1 神經(jīng)網(wǎng)絡(luò)模型

    神經(jīng)網(wǎng)絡(luò)模型是由大量的神經(jīng)元互相聯(lián)接形成的復(fù)雜網(wǎng)絡(luò)系統(tǒng),具有大規(guī)模并行、分布式存儲(chǔ)、自組織、自適應(yīng)和自學(xué)習(xí)能力。本文以神經(jīng)網(wǎng)絡(luò)模型為基本模型,使用圖像研究領(lǐng)域的通用數(shù)據(jù)集MNIST研究損失函數(shù)的特性。目前在機(jī)器學(xué)習(xí)領(lǐng)域流行的神經(jīng)網(wǎng)絡(luò)算法框架主要有caffe、keras和tensorflow等。其中keras具有易用理解、操作簡(jiǎn)單等優(yōu)點(diǎn)已廣泛應(yīng)用于圖像處理領(lǐng)域。

    2 基于單標(biāo)簽圖像標(biāo)注的損失函數(shù)分析

    基于神經(jīng)網(wǎng)絡(luò)構(gòu)建的單標(biāo)簽圖像標(biāo)注方法是利用圖像底層特征相似性,采用損失函數(shù)度量模型的預(yù)測(cè)值與樣本真實(shí)值之間的誤差,進(jìn)而為未知圖像標(biāo)注一個(gè)預(yù)定義標(biāo)簽。算法的構(gòu)建過(guò)程包括圖像預(yù)處理、模型構(gòu)建和模型訓(xùn)練與評(píng)估。在構(gòu)建的單標(biāo)簽圖像標(biāo)注算法中,損失函數(shù)作為算法的一個(gè)輸入?yún)?shù),通過(guò)更換損失函數(shù),對(duì)比研究常用損失函數(shù)的性能差異。

    2.1 圖像預(yù)處理

    在使用神經(jīng)網(wǎng)絡(luò)模型的算法中,對(duì)圖像進(jìn)行預(yù)處理不僅能加快神經(jīng)網(wǎng)絡(luò)的收斂速度、防止梯度爆炸,而且能提高神經(jīng)網(wǎng)絡(luò)模型的預(yù)測(cè)準(zhǔn)確度。本文算法使用keras的數(shù)據(jù)讀取工具將MNIST數(shù)據(jù)集劃分為訓(xùn)練數(shù)據(jù)集、訓(xùn)練標(biāo)簽集、測(cè)試數(shù)據(jù)集和測(cè)試標(biāo)簽集,其中訓(xùn)練數(shù)據(jù)集、測(cè)試數(shù)據(jù)集中的圖像向量需降維和歸一化,訓(xùn)練標(biāo)簽集和測(cè)試標(biāo)簽集中的標(biāo)簽向量需轉(zhuǎn)換為獨(dú)熱編碼。圖像向量降維和標(biāo)簽向量轉(zhuǎn)獨(dú)熱編碼采用python函數(shù)實(shí)現(xiàn),降維后的圖像向量除以255實(shí)現(xiàn)歸一化。

    2.2 模型構(gòu)建

    算法使用keras的序列化模型構(gòu)建神經(jīng)網(wǎng)絡(luò)模型,模型結(jié)構(gòu)如圖1所示。模型構(gòu)成為:輸入層由dense_1和dropout_1組成,該層有784維輸入,512維輸出,共有401 920個(gè)參數(shù);隱層由dense_2和dropout_2組成,該層有512維輸入,512維輸出,共有262 656個(gè)參數(shù);輸出層為dense_3,該層有512維輸入,10維輸出,共有5 130個(gè)參數(shù)。

    圖1 本文構(gòu)建的模型結(jié)構(gòu)Fig.1 Model structure

    模型的損失函數(shù)、優(yōu)化器以及模型的性能評(píng)價(jià)指標(biāo)采用keras庫(kù)函數(shù)實(shí)現(xiàn)。模型的優(yōu)化器使用RMSProp、性能評(píng)價(jià)指標(biāo)使用準(zhǔn)確率和損失值。在每個(gè)子實(shí)驗(yàn)結(jié)束后,將實(shí)驗(yàn)結(jié)果寫入對(duì)應(yīng)的文件中。模型的參數(shù)設(shè)置見表1.

    表1 模型參數(shù)設(shè)置Tab.1 Model parameter setting

    2.3 訓(xùn)練與評(píng)估

    實(shí)驗(yàn)由7 個(gè)子實(shí)驗(yàn)構(gòu)成,每個(gè)子實(shí)驗(yàn)都是一個(gè)獨(dú)立的圖像標(biāo)注算法。每個(gè)子實(shí)驗(yàn)都進(jìn)行50次迭代訓(xùn)練,在每次迭代過(guò)程中,算法批量選取樣本,每批次樣本個(gè)數(shù)為128,每批次訓(xùn)練結(jié)束后計(jì)算一次訓(xùn)練準(zhǔn)確率和訓(xùn)練損失值,共需195個(gè)批次;在每次迭代結(jié)束后,計(jì)算并保存本次迭代的訓(xùn)練準(zhǔn)確率、訓(xùn)練損失值、驗(yàn)證準(zhǔn)確率和驗(yàn)證損失值。在全部迭代結(jié)束后,算法生成每個(gè)子實(shí)驗(yàn)的準(zhǔn)確率和損失值曲線圖。在每個(gè)子實(shí)驗(yàn)訓(xùn)練結(jié)束后,使用測(cè)試集評(píng)估模型的預(yù)測(cè)性能,匯總每個(gè)子實(shí)驗(yàn)評(píng)估模型算法輸出的準(zhǔn)確率和損失值,進(jìn)一步研究損失函數(shù)度量樣本的性能差異。

    3 構(gòu)建組合損失函數(shù)

    目前有監(jiān)督學(xué)習(xí)應(yīng)用推廣中損失函數(shù)的使用大致分為三種情況,一是使用模型默認(rèn)的損失函數(shù),二是在實(shí)驗(yàn)的基礎(chǔ)上選擇與求解問題相匹配的現(xiàn)有損失函數(shù),三是構(gòu)建新的損失函數(shù)。第一種情況的不足是算法選用的損失函數(shù)往往是針對(duì)原有問題的,如果仍使用默認(rèn)損失函數(shù)度量新問題,可能會(huì)因損失函數(shù)不適合度量新問題而降低模型的性能;第二種情況的不足是盡管現(xiàn)有損失函數(shù)非常多,但相對(duì)于應(yīng)用推廣中的待求解問題而言就少的多,也就是說(shuō),現(xiàn)有損失函數(shù)還不能完全準(zhǔn)確地度量待求解問題的數(shù)據(jù)樣本。與前兩種情況相比,發(fā)揮每個(gè)損失函數(shù)度量數(shù)據(jù)的優(yōu)勢(shì)共同度量待求解問題,不僅實(shí)驗(yàn)過(guò)程簡(jiǎn)單,而且往往能取得很好的預(yù)測(cè)效果。通常情況下,構(gòu)建損失函數(shù)的方法是選擇與求解問題相匹配的一個(gè)或多個(gè)損失函數(shù),改進(jìn)現(xiàn)有損失函數(shù)演化為新的損失函數(shù)或組合現(xiàn)有損失函數(shù)構(gòu)成新的損失函數(shù)。與演化損失函數(shù)相比,組合損失函數(shù)更容易實(shí)現(xiàn),更適合有監(jiān)督學(xué)習(xí)算法的快速推廣。

    組合損失函數(shù)的組成原則一般是根據(jù)求解問題的性質(zhì),利用損失函數(shù)的優(yōu)點(diǎn),將現(xiàn)有的損失函數(shù)采用四則運(yùn)算方式組合,然后在實(shí)驗(yàn)的基礎(chǔ)上調(diào)整權(quán)重,提高模型的預(yù)測(cè)準(zhǔn)確率。本文從單標(biāo)簽圖像標(biāo)注實(shí)驗(yàn)中選擇預(yù)測(cè)率高的二分類交叉熵、多分類交叉熵、MSLE和MSE構(gòu)建組合損失函數(shù),并利用單標(biāo)簽圖像標(biāo)注實(shí)驗(yàn)驗(yàn)證組合損失函數(shù)的可行性,構(gòu)造的損失函數(shù)權(quán)重α和β的值都設(shè)置為1,見表2.

    表2 組合的損失函數(shù)Tab.2 Combined loss function

    4 實(shí)驗(yàn)結(jié)果與分析

    4.1 數(shù)據(jù)集與參數(shù)設(shè)置

    MNIST是圖像處理領(lǐng)域的一個(gè)通用數(shù)據(jù)集,它由訓(xùn)練集和測(cè)試集兩部分組成,其中訓(xùn)練數(shù)據(jù)集包含60 000個(gè)樣本,測(cè)試數(shù)據(jù)集包括10 000個(gè)樣本。交叉驗(yàn)證(cross-validation)是一種評(píng)價(jià)模型分析結(jié)果是否可推廣到一個(gè)獨(dú)立的數(shù)據(jù)集上的方法。本文的單標(biāo)簽圖像標(biāo)注方法采用留出法(holdout cross validation)將MNIST數(shù)據(jù)集中的60 000個(gè)訓(xùn)練樣本劃分為訓(xùn)練集和驗(yàn)證集,其中訓(xùn)練集包括55 000個(gè)樣本,驗(yàn)證集包括5 000個(gè)樣本。

    基于神經(jīng)網(wǎng)絡(luò)的算法一般通過(guò)優(yōu)化由損失函數(shù)構(gòu)成的代價(jià)函數(shù)進(jìn)行訓(xùn)練,在不影響訓(xùn)練效果的前提下,通常要求模型必須在最短的時(shí)間內(nèi)收斂,即通過(guò)優(yōu)化算法更新參數(shù)值,使代價(jià)函數(shù)最小化。本文模型的優(yōu)化算法采用RMSProp,其參數(shù)設(shè)置見表3.

    表3 RMSProp算法參數(shù)設(shè)置Tab.3 Rmsprop algorithm parameter setting

    4.2 性能評(píng)估指標(biāo)

    性能評(píng)估指標(biāo)常用于評(píng)估模型性能的優(yōu)劣,一般情況下,模型性能的評(píng)估主要包括訓(xùn)練過(guò)程中對(duì)模型性能的評(píng)估和預(yù)測(cè)過(guò)程中對(duì)模型性能的評(píng)估。實(shí)驗(yàn)使用有監(jiān)督學(xué)習(xí)領(lǐng)域廣泛使用的精確率(Precision,P)、召回率(Recall,R)、準(zhǔn)確率(Accuracy,acc)和損失函數(shù)值(loss)作為評(píng)價(jià)指標(biāo)。

    4.3 基于單標(biāo)簽圖像標(biāo)注的損失函數(shù)對(duì)比分析

    每個(gè)子實(shí)驗(yàn)中,神經(jīng)網(wǎng)絡(luò)模型依次選用MSE、MAE、MSLE、hinge、二分類交叉熵?fù)p失、多分類交叉熵?fù)p失和余弦損失中的一個(gè)作為損失函數(shù)進(jìn)行訓(xùn)練,每個(gè)子實(shí)驗(yàn)都生成一個(gè)準(zhǔn)確率和損失值曲線圖,最后匯總多個(gè)子實(shí)驗(yàn)的預(yù)測(cè)結(jié)果形成模型預(yù)測(cè)的準(zhǔn)確率和損失值匯總圖。

    4.3.1 準(zhǔn)確率和損失值

    1)MSE的準(zhǔn)確率和損失值如圖2所示,經(jīng)過(guò)50次迭代后,訓(xùn)練準(zhǔn)確率、驗(yàn)證準(zhǔn)確率、訓(xùn)練損失值和驗(yàn)證損失值分別為:99.02%、98.23%、0.001 6和0.003 0.

    圖2 MSE的準(zhǔn)確率損失值曲線圖Fig.2 MSE accuracy loss curve

    2)MAE的準(zhǔn)確率和損失值如圖3所示,經(jīng)過(guò)50次迭代后,訓(xùn)練準(zhǔn)確率、驗(yàn)證準(zhǔn)確率、訓(xùn)練損失值和驗(yàn)證損失值分別為:98.30%、97.86%、0.003 5和0.004 3.

    圖3 MAE的準(zhǔn)確率損失值曲線圖Fig.3 Mae accuracy loss curve

    3)MSLE的準(zhǔn)確率和損失值如圖4所示,經(jīng)過(guò)50次迭代后,訓(xùn)練準(zhǔn)確率、驗(yàn)證準(zhǔn)確率、訓(xùn)練損失值和驗(yàn)證損失值分別為:99.06%、98.23%、0.000 7和0.001 4.

    圖4 MSLE的準(zhǔn)確率損失值曲線圖Fig.4 MSLE accuracy loss curve

    4)hinge的準(zhǔn)確率和損失值如圖5所示,經(jīng)過(guò)50次迭代后,訓(xùn)練準(zhǔn)確率、驗(yàn)證準(zhǔn)確率、訓(xùn)練損失值和驗(yàn)證損失值分別為:98.21%、97.78%、0.90和0.90.

    圖5 hinge的準(zhǔn)確率損失值曲線圖Fig.5 Hinge accuracy loss curve

    5)余弦損失的準(zhǔn)確率和損失值如圖6所示,經(jīng)過(guò)50次迭代后,訓(xùn)練準(zhǔn)確率、驗(yàn)證準(zhǔn)確率、訓(xùn)練損失值和驗(yàn)證損失值分別為:98.84%、98.13%、-0.989 6和-0.982 8.

    圖6 余弦損失的準(zhǔn)確率損失值曲線圖Fig.6 Accuracy loss curve of cosine loss

    6)二分類交叉熵?fù)p失的準(zhǔn)確率和損失值如圖7所示,經(jīng)過(guò)50次迭代后,訓(xùn)練準(zhǔn)確率、驗(yàn)證準(zhǔn)確率、訓(xùn)練損失值和驗(yàn)證損失值分別為:99.86%、99.66%、0.004 8和0.02.

    圖7 二分類交叉熵?fù)p失的準(zhǔn)確率損失值曲線圖Fig.7 Accuracy loss curve of cross entropy loss in binary classification

    7)多分類交叉熵?fù)p失的準(zhǔn)確率和損失值如圖8所示,經(jīng)過(guò)50次迭代后,訓(xùn)練準(zhǔn)確率、驗(yàn)證準(zhǔn)確率、訓(xùn)練損失值和驗(yàn)證損失值分別為:99.25%、98.22%、0.0276和0.119 0.

    圖8 多分類交叉熵?fù)p失的準(zhǔn)確率損失值曲線圖Fig.8 Accuracy loss curve of cross entropy loss of multi-classification

    每個(gè)對(duì)比子實(shí)驗(yàn)經(jīng)50次迭代訓(xùn)練后生成的準(zhǔn)確率和損失值如圖2-圖8所示。從整體上分析實(shí)驗(yàn)獲得的曲線圖可知,模型的準(zhǔn)確率和損失值隨迭代次數(shù)的增加分別呈上升和下降趨勢(shì),最終都處于穩(wěn)定狀態(tài)。但是,在相同的迭代次數(shù)處,每個(gè)子實(shí)驗(yàn)的準(zhǔn)確率、損失值卻不同,甚至差異比較大。在實(shí)驗(yàn)結(jié)果中,出現(xiàn)準(zhǔn)確率損失值曲線整體趨勢(shì)相同的原因是在訓(xùn)練、驗(yàn)證過(guò)程中,模型的損失函數(shù)都能正確度量樣本的真實(shí)值與預(yù)測(cè)值的差異,并且模型依據(jù)損失值不斷調(diào)整模型參數(shù),使模型逐漸穩(wěn)定。在每個(gè)子實(shí)驗(yàn)中,除模型的損失函數(shù)不同外,其它實(shí)驗(yàn)環(huán)境完全相同,但每個(gè)實(shí)驗(yàn)的結(jié)果卻不同,可知在相同實(shí)驗(yàn)環(huán)境下,不同損失函數(shù)由于其本身特性不同,導(dǎo)致其度量同一數(shù)據(jù)集中的同一樣本的性能存在差異,這就直接導(dǎo)致每個(gè)子實(shí)驗(yàn)的準(zhǔn)確率和損失值不同。

    4.3.2 準(zhǔn)確率和損失值匯總表

    經(jīng)過(guò)50次迭代后,匯總7個(gè)子實(shí)驗(yàn)的訓(xùn)練準(zhǔn)確率、驗(yàn)證準(zhǔn)確率、訓(xùn)練損失值和驗(yàn)證損失值形成匯總表,見表4。在表4中余弦損失的數(shù)據(jù)與其它數(shù)據(jù)差異較大,余弦損失的損失值出現(xiàn)負(fù)數(shù)的原因是余弦損失在度量樣本時(shí)更注重兩個(gè)向量在方向上的差異,而對(duì)具體距離數(shù)值不敏感,可見余弦損失不適合度量圖像的像素特征。從表4可知,對(duì)于灰度圖像數(shù)據(jù)集更為合適的損失函數(shù)為二分類交叉熵和多分類交叉熵。

    表4 準(zhǔn)確率和損失值匯總表Tab.4 Summary of average accuracy and loss

    4.3.3 模型預(yù)測(cè)的準(zhǔn)確率和損失值匯總圖

    為檢驗(yàn)各個(gè)子實(shí)驗(yàn)訓(xùn)練的模型在灰度圖像上的預(yù)測(cè)性能,在每個(gè)子實(shí)驗(yàn)訓(xùn)練結(jié)束后,將測(cè)試數(shù)據(jù)輸入到模型評(píng)估算法上,評(píng)估算法計(jì)算后輸出模型預(yù)測(cè)的準(zhǔn)確率和損失值,匯總結(jié)果如圖9,其中cosine的值同樣出現(xiàn)異常,為了能直觀觀察數(shù)據(jù),圖中cosine的值已做了相應(yīng)的處理。從圖9可知,適合神經(jīng)網(wǎng)絡(luò)解決圖像標(biāo)注問題的損失函數(shù)為二分類交叉熵和多分類交叉熵,這與前面的實(shí)驗(yàn)結(jié)果相匹配。

    圖9 預(yù)測(cè)準(zhǔn)確率損失值匯總圖Fig.9 Summary chart of predicted accuracy loss value

    4.4 不同模型實(shí)驗(yàn)結(jié)果對(duì)比

    針對(duì)MNIST數(shù)據(jù)集,本文選用預(yù)測(cè)準(zhǔn)確率最高的二分類交叉熵?fù)p失函數(shù)構(gòu)建的圖像標(biāo)注方法,與DPL(Dictionary Pair Learning)、DDCCNN(dual-channel convolutional neural net)和CNN[9]算法的準(zhǔn)確率進(jìn)行對(duì)比,驗(yàn)證本文構(gòu)建的模型的有效性,對(duì)比結(jié)果見表5.通過(guò)表5可以看出,與傳統(tǒng)方法相比,本文構(gòu)建的算法在MNIST上的預(yù)測(cè)精確率最高,性能有較大的提升。

    表5 不同模型實(shí)驗(yàn)結(jié)果對(duì)比Tab.5 Comparison of experimental results of different models

    4.5 組合損失函數(shù)的有效性分析

    4.5.1 篩選最優(yōu)組合損失函數(shù)

    組合損失函數(shù)的有效性驗(yàn)證實(shí)驗(yàn)由6個(gè)子實(shí)驗(yàn)構(gòu)成,每個(gè)子實(shí)驗(yàn)除損失函數(shù)不同外,其它的實(shí)驗(yàn)環(huán)境完全相同,實(shí)驗(yàn)中權(quán)重α、β的值均為1.經(jīng)過(guò)50次迭代訓(xùn)練后,每個(gè)子實(shí)驗(yàn)的最終預(yù)測(cè)匯總結(jié)果見表6.從實(shí)驗(yàn)結(jié)果可知,組合損失函數(shù)都能對(duì)圖像樣本進(jìn)行度量,并且預(yù)測(cè)效果很好,可見組合損失函數(shù)能有效提升模型的預(yù)測(cè)準(zhǔn)確率,可作為有監(jiān)督學(xué)習(xí)推廣過(guò)程中解決特定實(shí)際問題的有效手段。

    4.5.2 最優(yōu)組合損失函數(shù)的權(quán)重調(diào)優(yōu)

    本實(shí)驗(yàn)為二分類交叉熵+MSE損失函數(shù)進(jìn)一步選擇最優(yōu)權(quán)重參數(shù)。實(shí)驗(yàn)中α和β的權(quán)重依次選擇(0.05,0.95)、(0.2,0.8)、(0.4,0.6)、(0.6,0.4)、(0.8,0.2)和(0.95,0.05)進(jìn)行6次實(shí)驗(yàn),最終的預(yù)測(cè)結(jié)果見表7,從實(shí)驗(yàn)結(jié)果可知,二分類交叉熵+ MSE的最優(yōu)權(quán)重α=0.95和β=0.05.

    表7 組合損失函數(shù)的權(quán)重調(diào)優(yōu)結(jié)果Tab.7 results of weight optimization of combined loss function

    5 結(jié)束語(yǔ)

    本文主要工作包括兩個(gè)方面: 1)基于神經(jīng)網(wǎng)絡(luò)構(gòu)建單標(biāo)簽圖像標(biāo)注方法,在MNIST數(shù)據(jù)集上驗(yàn)證了算法的有效性。2)通過(guò)更換單標(biāo)簽圖像標(biāo)注算法中的損失函數(shù),研究常用損失函數(shù)的特性,以及損失函數(shù)度量圖像的性能差異,在實(shí)驗(yàn)的基礎(chǔ)上,提出了新的組合損失函數(shù),并通過(guò)實(shí)驗(yàn)驗(yàn)證了組合損失函數(shù)的可行性。下一步,論文的工作將重點(diǎn)研究組合損失函數(shù)的組合方法和權(quán)重調(diào)優(yōu)方法。

    猜你喜歡
    實(shí)驗(yàn)模型
    一半模型
    記一次有趣的實(shí)驗(yàn)
    微型實(shí)驗(yàn)里看“燃燒”
    重要模型『一線三等角』
    重尾非線性自回歸模型自加權(quán)M-估計(jì)的漸近分布
    做個(gè)怪怪長(zhǎng)實(shí)驗(yàn)
    3D打印中的模型分割與打包
    NO與NO2相互轉(zhuǎn)化實(shí)驗(yàn)的改進(jìn)
    實(shí)踐十號(hào)上的19項(xiàng)實(shí)驗(yàn)
    太空探索(2016年5期)2016-07-12 15:17:55
    FLUKA幾何模型到CAD幾何模型轉(zhuǎn)換方法初步研究
    天天影视国产精品| 日韩视频在线欧美| 熟女人妻精品中文字幕| 免费日韩欧美在线观看| 国产免费一区二区三区四区乱码| 精品卡一卡二卡四卡免费| 精品卡一卡二卡四卡免费| 亚洲精品国产av成人精品| 亚洲 欧美一区二区三区| 草草在线视频免费看| 国产白丝娇喘喷水9色精品| 亚洲美女搞黄在线观看| 久久国内精品自在自线图片| 22中文网久久字幕| 久久久国产欧美日韩av| 好男人视频免费观看在线| 观看av在线不卡| 国产又色又爽无遮挡免| 国产精品久久久久成人av| 成人国产av品久久久| 十八禁网站网址无遮挡| 少妇人妻精品综合一区二区| 人人澡人人妻人| 亚洲av.av天堂| 丝袜人妻中文字幕| 2022亚洲国产成人精品| 18在线观看网站| 日本与韩国留学比较| 男人操女人黄网站| 99香蕉大伊视频| 欧美精品一区二区免费开放| 日韩av在线免费看完整版不卡| 母亲3免费完整高清在线观看 | 妹子高潮喷水视频| 男人爽女人下面视频在线观看| av国产久精品久网站免费入址| 啦啦啦中文免费视频观看日本| av国产精品久久久久影院| 免费大片18禁| 国精品久久久久久国模美| 久久97久久精品| 啦啦啦中文免费视频观看日本| 91精品国产国语对白视频| 9色porny在线观看| 一级毛片电影观看| 亚洲av电影在线观看一区二区三区| 亚洲内射少妇av| 一级毛片电影观看| 久久综合国产亚洲精品| 综合色丁香网| 视频中文字幕在线观看| 人人妻人人添人人爽欧美一区卜| av天堂久久9| 两个人看的免费小视频| 国产高清国产精品国产三级| 久久热在线av| 欧美日韩视频高清一区二区三区二| 在线观看美女被高潮喷水网站| 视频中文字幕在线观看| 最近最新中文字幕免费大全7| 一级毛片黄色毛片免费观看视频| 国产色爽女视频免费观看| 国产精品久久久久成人av| 日本猛色少妇xxxxx猛交久久| 一级毛片黄色毛片免费观看视频| 巨乳人妻的诱惑在线观看| 在线观看www视频免费| 91精品国产国语对白视频| 欧美bdsm另类| 岛国毛片在线播放| 麻豆乱淫一区二区| 精品少妇内射三级| 亚洲成国产人片在线观看| 亚洲av国产av综合av卡| 尾随美女入室| 日本91视频免费播放| 熟女人妻精品中文字幕| 在线 av 中文字幕| 亚洲五月色婷婷综合| 婷婷成人精品国产| 久久久久久人妻| 一级爰片在线观看| 精品人妻在线不人妻| a级片在线免费高清观看视频| www.av在线官网国产| 永久免费av网站大全| 亚洲av中文av极速乱| 两性夫妻黄色片 | 国产免费一区二区三区四区乱码| 欧美xxxx性猛交bbbb| 国产一级毛片在线| 精品亚洲乱码少妇综合久久| 免费黄频网站在线观看国产| 午夜免费男女啪啪视频观看| 国产在线免费精品| 午夜福利网站1000一区二区三区| 一级片免费观看大全| 国产欧美日韩综合在线一区二区| 黑人高潮一二区| 中文字幕最新亚洲高清| 免费高清在线观看视频在线观看| 蜜臀久久99精品久久宅男| 欧美人与性动交α欧美精品济南到 | av天堂久久9| 亚洲婷婷狠狠爱综合网| 国产黄色视频一区二区在线观看| 女人被躁到高潮嗷嗷叫费观| 久久婷婷青草| 色94色欧美一区二区| 亚洲精品日韩在线中文字幕| 日本av免费视频播放| 国产精品人妻久久久影院| 夫妻午夜视频| 嫩草影院入口| 国产精品一二三区在线看| 精品亚洲成国产av| 亚洲欧美成人精品一区二区| 国产成人精品在线电影| 亚洲精品视频女| 国产精品成人在线| www.色视频.com| √禁漫天堂资源中文www| 王馨瑶露胸无遮挡在线观看| 久久久久精品性色| 国产爽快片一区二区三区| 考比视频在线观看| 日韩成人伦理影院| 制服丝袜香蕉在线| 日韩精品有码人妻一区| 中国国产av一级| 亚洲精品国产av成人精品| 欧美亚洲日本最大视频资源| 天天影视国产精品| 亚洲精品美女久久av网站| 寂寞人妻少妇视频99o| 中文字幕人妻熟女乱码| 一级a做视频免费观看| 一区二区三区乱码不卡18| 香蕉精品网在线| 国产成人午夜福利电影在线观看| 女人久久www免费人成看片| 国产永久视频网站| 久久精品国产自在天天线| 欧美精品av麻豆av| 久久国内精品自在自线图片| 亚洲美女搞黄在线观看| 赤兔流量卡办理| 欧美日韩综合久久久久久| 大香蕉久久成人网| 国产欧美另类精品又又久久亚洲欧美| 国产成人免费无遮挡视频| 一边摸一边做爽爽视频免费| 国产亚洲av片在线观看秒播厂| 久久精品国产亚洲av涩爱| 寂寞人妻少妇视频99o| 日韩不卡一区二区三区视频在线| 国产高清国产精品国产三级| 嫩草影院入口| 建设人人有责人人尽责人人享有的| 乱码一卡2卡4卡精品| 五月开心婷婷网| 国产精品国产三级专区第一集| 亚洲国产精品专区欧美| 人人澡人人妻人| 亚洲国产精品成人久久小说| 成年av动漫网址| 国产伦理片在线播放av一区| 色网站视频免费| 中文欧美无线码| 少妇的逼好多水| 国语对白做爰xxxⅹ性视频网站| 久久99热6这里只有精品| 秋霞伦理黄片| 全区人妻精品视频| 免费在线观看黄色视频的| 精品第一国产精品| 久久久久网色| 男女午夜视频在线观看 | 一边亲一边摸免费视频| 好男人视频免费观看在线| 国产精品一二三区在线看| 伊人久久国产一区二区| 18禁国产床啪视频网站| 永久网站在线| 又大又黄又爽视频免费| 黑人猛操日本美女一级片| 国产精品熟女久久久久浪| av线在线观看网站| 亚洲,欧美,日韩| 一级片免费观看大全| 精品一区二区三区四区五区乱码 | 中文字幕人妻熟女乱码| 一级片'在线观看视频| av国产久精品久网站免费入址| 飞空精品影院首页| 秋霞伦理黄片| 你懂的网址亚洲精品在线观看| 免费播放大片免费观看视频在线观看| 成人漫画全彩无遮挡| 国产成人aa在线观看| 91成人精品电影| 欧美激情极品国产一区二区三区 | 亚洲av免费高清在线观看| 久久人人97超碰香蕉20202| 欧美激情 高清一区二区三区| 狠狠婷婷综合久久久久久88av| 最黄视频免费看| 久久人人爽av亚洲精品天堂| 一本久久精品| 久久精品国产a三级三级三级| 亚洲性久久影院| 婷婷色麻豆天堂久久| 中文字幕人妻熟女乱码| 搡女人真爽免费视频火全软件| 国产成人精品婷婷| av电影中文网址| 乱码一卡2卡4卡精品| 亚洲在久久综合| 日产精品乱码卡一卡2卡三| 久久久久久伊人网av| 9191精品国产免费久久| 一级爰片在线观看| 亚洲人成77777在线视频| 制服诱惑二区| 欧美日韩视频高清一区二区三区二| 少妇熟女欧美另类| tube8黄色片| 满18在线观看网站| 中国三级夫妇交换| 最近中文字幕高清免费大全6| 亚洲精品中文字幕在线视频| 午夜免费观看性视频| 国产av码专区亚洲av| 女人精品久久久久毛片| 亚洲婷婷狠狠爱综合网| 老女人水多毛片| 亚洲精品美女久久av网站| 99热国产这里只有精品6| 校园人妻丝袜中文字幕| 麻豆乱淫一区二区| 日本欧美视频一区| 国产有黄有色有爽视频| 精品一区二区三区四区五区乱码 | 国产欧美另类精品又又久久亚洲欧美| 色哟哟·www| 亚洲四区av| 亚洲少妇的诱惑av| 九九在线视频观看精品| 久久久久精品久久久久真实原创| 最近中文字幕高清免费大全6| 美女视频免费永久观看网站| 国产毛片在线视频| 欧美亚洲 丝袜 人妻 在线| 亚洲av电影在线观看一区二区三区| 亚洲人与动物交配视频| 国产精品久久久av美女十八| 免费女性裸体啪啪无遮挡网站| 国产黄色免费在线视频| av天堂久久9| 最近2019中文字幕mv第一页| 天天影视国产精品| 天天操日日干夜夜撸| 国产成人精品婷婷| 国产精品99久久99久久久不卡 | 欧美人与性动交α欧美精品济南到 | 丝袜喷水一区| 欧美精品一区二区大全| 国产亚洲欧美精品永久| 亚洲欧美日韩另类电影网站| 亚洲,欧美精品.| 91国产中文字幕| 久久国产亚洲av麻豆专区| 久久久久久人妻| 黑丝袜美女国产一区| 国产精品人妻久久久影院| 曰老女人黄片| 亚洲丝袜综合中文字幕| 男女边摸边吃奶| 免费大片18禁| 国产一级毛片在线| 九草在线视频观看| 最黄视频免费看| 亚洲国产最新在线播放| 国产精品麻豆人妻色哟哟久久| 永久网站在线| 久久人人爽人人爽人人片va| 亚洲欧美中文字幕日韩二区| 80岁老熟妇乱子伦牲交| 欧美精品人与动牲交sv欧美| 国产片内射在线| 一边摸一边做爽爽视频免费| 国产毛片在线视频| av免费观看日本| 18禁在线无遮挡免费观看视频| 新久久久久国产一级毛片| 色网站视频免费| 国产精品人妻久久久影院| 国产精品一区www在线观看| 18+在线观看网站| 街头女战士在线观看网站| av国产精品久久久久影院| 亚洲少妇的诱惑av| 久久人妻熟女aⅴ| 午夜久久久在线观看| 国产精品久久久久久精品古装| 国产成人精品福利久久| www.色视频.com| 大香蕉97超碰在线| 精品一品国产午夜福利视频| 婷婷色麻豆天堂久久| 中国国产av一级| 中文字幕免费在线视频6| 九九在线视频观看精品| 又粗又硬又长又爽又黄的视频| 99热6这里只有精品| 精品人妻熟女毛片av久久网站| 国产麻豆69| 久久久久网色| 国产成人一区二区在线| 久久精品久久久久久噜噜老黄| 大香蕉97超碰在线| 两个人免费观看高清视频| 亚洲精品久久久久久婷婷小说| 久久99热这里只频精品6学生| 99久久人妻综合| 国产免费福利视频在线观看| 国国产精品蜜臀av免费| 少妇人妻精品综合一区二区| 在线精品无人区一区二区三| 免费播放大片免费观看视频在线观看| 好男人视频免费观看在线| 夜夜爽夜夜爽视频| 国产极品天堂在线| 欧美日韩视频高清一区二区三区二| 丁香六月天网| 国产精品 国内视频| 国产高清国产精品国产三级| 欧美日韩亚洲高清精品| 日本免费在线观看一区| 国产高清国产精品国产三级| 少妇人妻精品综合一区二区| 五月玫瑰六月丁香| 欧美成人午夜精品| 夫妻性生交免费视频一级片| 一级片'在线观看视频| 精品99又大又爽又粗少妇毛片| 欧美日韩一区二区视频在线观看视频在线| 亚洲欧洲日产国产| 晚上一个人看的免费电影| 免费观看av网站的网址| 久久人人爽av亚洲精品天堂| 十八禁高潮呻吟视频| 一级,二级,三级黄色视频| 久久ye,这里只有精品| 18禁观看日本| 最近最新中文字幕大全免费视频 | 中文乱码字字幕精品一区二区三区| 一本一本久久a久久精品综合妖精 国产伦在线观看视频一区 | 亚洲av日韩在线播放| 两个人看的免费小视频| 亚洲av在线观看美女高潮| 国产福利在线免费观看视频| 久久久精品94久久精品| 国产爽快片一区二区三区| videosex国产| 啦啦啦在线观看免费高清www| 午夜激情av网站| 亚洲国产日韩一区二区| 女人精品久久久久毛片| 99热全是精品| 免费av不卡在线播放| √禁漫天堂资源中文www| 熟妇人妻不卡中文字幕| 欧美精品人与动牲交sv欧美| 国产1区2区3区精品| h视频一区二区三区| 亚洲天堂av无毛| 精品久久久精品久久久| 久久精品熟女亚洲av麻豆精品| av免费观看日本| 黄色视频在线播放观看不卡| 国产一区二区激情短视频 | 久久久久久久久久久久大奶| 免费大片18禁| 国产乱人偷精品视频| 日韩av在线免费看完整版不卡| videossex国产| 午夜视频国产福利| 亚洲av成人精品一二三区| 曰老女人黄片| 看十八女毛片水多多多| 丰满乱子伦码专区| 久久精品国产亚洲av天美| 日韩人妻精品一区2区三区| 亚洲高清免费不卡视频| 国产又色又爽无遮挡免| 亚洲av.av天堂| 999精品在线视频| av网站免费在线观看视频| 国产成人a∨麻豆精品| 成人午夜精彩视频在线观看| 一区二区av电影网| av女优亚洲男人天堂| 日韩在线高清观看一区二区三区| 国产一区二区在线观看日韩| 亚洲av免费高清在线观看| 精品人妻熟女毛片av久久网站| 国产男人的电影天堂91| 国产一级毛片在线| av.在线天堂| 啦啦啦中文免费视频观看日本| 亚洲国产成人一精品久久久| 亚洲激情五月婷婷啪啪| 午夜福利视频精品| 国产成人午夜福利电影在线观看| 草草在线视频免费看| 在线观看www视频免费| 成年美女黄网站色视频大全免费| 黄色怎么调成土黄色| 午夜福利乱码中文字幕| 国产一区二区在线观看av| 性色av一级| 中文天堂在线官网| 99九九在线精品视频| 一本一本久久a久久精品综合妖精 国产伦在线观看视频一区 | 看免费成人av毛片| 激情五月婷婷亚洲| 美女视频免费永久观看网站| 亚洲一码二码三码区别大吗| 色视频在线一区二区三区| 日韩精品免费视频一区二区三区 | 精品卡一卡二卡四卡免费| 午夜福利,免费看| 一级a做视频免费观看| 极品少妇高潮喷水抽搐| 日本av免费视频播放| a 毛片基地| 黑丝袜美女国产一区| 制服人妻中文乱码| 美女中出高潮动态图| 日本vs欧美在线观看视频| 啦啦啦啦在线视频资源| 美女大奶头黄色视频| 最后的刺客免费高清国语| 久久久久精品人妻al黑| 夫妻午夜视频| 少妇精品久久久久久久| 中文字幕人妻熟女乱码| 99热全是精品| 人成视频在线观看免费观看| 久久精品国产综合久久久 | 日本黄大片高清| 少妇的逼好多水| 乱人伦中国视频| 男人操女人黄网站| 人妻少妇偷人精品九色| 免费观看av网站的网址| 在线观看免费高清a一片| 午夜福利,免费看| 国产精品欧美亚洲77777| 国产色爽女视频免费观看| 成人国产麻豆网| 成人二区视频| 视频在线观看一区二区三区| 国产亚洲精品久久久com| 人人妻人人澡人人爽人人夜夜| 久久人人爽av亚洲精品天堂| 久久毛片免费看一区二区三区| 中文精品一卡2卡3卡4更新| 亚洲少妇的诱惑av| 又大又黄又爽视频免费| 香蕉精品网在线| 欧美日韩成人在线一区二区| 国产精品一区www在线观看| 亚洲精品一二三| 我的女老师完整版在线观看| 中文字幕亚洲精品专区| 黄片无遮挡物在线观看| 麻豆精品久久久久久蜜桃| 男的添女的下面高潮视频| 色婷婷久久久亚洲欧美| 欧美日韩综合久久久久久| 高清不卡的av网站| 尾随美女入室| 中文字幕最新亚洲高清| 精品人妻在线不人妻| 欧美精品国产亚洲| 国产色爽女视频免费观看| 亚洲综合色惰| 久久人人97超碰香蕉20202| 只有这里有精品99| 韩国av在线不卡| 亚洲精品久久久久久婷婷小说| 下体分泌物呈黄色| 高清黄色对白视频在线免费看| 婷婷色综合www| 亚洲成人av在线免费| 国产精品久久久久久av不卡| 国产欧美亚洲国产| 日韩成人av中文字幕在线观看| 亚洲欧美成人精品一区二区| 一级毛片电影观看| 成人午夜精彩视频在线观看| √禁漫天堂资源中文www| 免费看不卡的av| 亚洲欧洲精品一区二区精品久久久 | 丝袜喷水一区| 七月丁香在线播放| 久久精品国产鲁丝片午夜精品| 精品一区二区免费观看| 国产精品久久久久久精品古装| 一区在线观看完整版| 亚洲国产欧美日韩在线播放| 亚洲天堂av无毛| 丝袜在线中文字幕| 亚洲天堂av无毛| 飞空精品影院首页| 日韩中字成人| 内地一区二区视频在线| 最新中文字幕久久久久| 中文字幕制服av| 日韩精品有码人妻一区| 狠狠精品人妻久久久久久综合| 中文字幕人妻熟女乱码| 欧美 日韩 精品 国产| 香蕉国产在线看| 999精品在线视频| 国产一区二区在线观看日韩| 亚洲国产成人一精品久久久| 国产熟女午夜一区二区三区| 久热久热在线精品观看| 91aial.com中文字幕在线观看| 久久99热6这里只有精品| 午夜日本视频在线| 秋霞在线观看毛片| 超色免费av| 啦啦啦啦在线视频资源| 亚洲熟女精品中文字幕| 亚洲国产欧美日韩在线播放| 美女主播在线视频| 天天躁夜夜躁狠狠躁躁| 亚洲欧美成人综合另类久久久| 高清毛片免费看| 搡女人真爽免费视频火全软件| 亚洲国产精品国产精品| 日日撸夜夜添| 国产色爽女视频免费观看| 亚洲精品色激情综合| 久久久久久久亚洲中文字幕| 国产男人的电影天堂91| 一区二区日韩欧美中文字幕 | 最近2019中文字幕mv第一页| 午夜日本视频在线| 麻豆精品久久久久久蜜桃| 成人手机av| 久久久久久久大尺度免费视频| 日韩精品有码人妻一区| 十八禁高潮呻吟视频| 黑人高潮一二区| 美女中出高潮动态图| 男女高潮啪啪啪动态图| 欧美老熟妇乱子伦牲交| 美女xxoo啪啪120秒动态图| 深夜精品福利| 在线观看免费高清a一片| 美女脱内裤让男人舔精品视频| 久久国内精品自在自线图片| 男的添女的下面高潮视频| 久久人人爽人人片av| 中文欧美无线码| 精品99又大又爽又粗少妇毛片| 美女国产视频在线观看| 久久国产精品男人的天堂亚洲 | 国产xxxxx性猛交| 丰满乱子伦码专区| 伦精品一区二区三区| 高清不卡的av网站| 人体艺术视频欧美日本| 丝袜脚勾引网站| 蜜臀久久99精品久久宅男| 亚洲国产欧美日韩在线播放| 日韩制服骚丝袜av| 久久久国产欧美日韩av| 国产精品三级大全| 午夜福利,免费看| 日日摸夜夜添夜夜爱| 国产有黄有色有爽视频| 国产精品久久久久久精品电影小说| 国产精品国产三级专区第一集| 如何舔出高潮| 我的女老师完整版在线观看| 精品一品国产午夜福利视频| 青春草亚洲视频在线观看| 黄色配什么色好看| 精品久久久精品久久久| 伊人亚洲综合成人网| 建设人人有责人人尽责人人享有的| 国产精品一国产av| 丝瓜视频免费看黄片| 中文精品一卡2卡3卡4更新| 欧美老熟妇乱子伦牲交| 国产1区2区3区精品| 成人亚洲欧美一区二区av| 中文字幕精品免费在线观看视频 | 99久久综合免费| 狠狠婷婷综合久久久久久88av| 欧美人与性动交α欧美软件 | 9热在线视频观看99| 91国产中文字幕| 黑人巨大精品欧美一区二区蜜桃 | 99久久人妻综合| 成人国语在线视频| 国产午夜精品一二区理论片| 在线观看美女被高潮喷水网站| 国产免费现黄频在线看|