基于B/S架構(gòu)的新生兒疼痛面容圖像標(biāo)注系統(tǒng)研發(fā)

易俊儒 諶紹林 鄧仁麗 朱南希 林 晶 江孝川 宋佳美 陳月華 詹昕凌 潘秋丹

·醫(yī)學(xué)信息技術(shù)·

基于B/S架構(gòu)的新生兒疼痛面容圖像標(biāo)注系統(tǒng)研發(fā)

易俊儒1諶紹林2鄧仁麗2朱南希2林 晶3江孝川3宋佳美2陳月華1詹昕凌2潘秋丹1

1.湖南醫(yī)藥學(xué)院護(hù)理學(xué)院，湖南懷化 418000；2.遵義醫(yī)科大學(xué)附屬醫(yī)院護(hù)理部，貴州遵義 563000；3.懷化學(xué)院計(jì)算機(jī)學(xué)院，湖南懷化 418000

構(gòu)建基于瀏覽器/服務(wù)器（browser/server，B/S）架構(gòu)的新生兒疼痛面容圖像標(biāo)注系統(tǒng)（neonatal pain face image labeling system，NPFILS），評(píng)價(jià)其質(zhì)量及效果。采集2019年9月至2020年9月在湖南醫(yī)藥學(xué)院附屬醫(yī)院產(chǎn)科住院接受足跟采血操作的新生兒疼痛面容視頻，基于B/S架構(gòu)構(gòu)建NPFILS；20名新生兒科護(hù)士先后使用labelImg和NPFILS對(duì)新生兒疼痛面容圖像進(jìn)行標(biāo)注，比較兩種標(biāo)注系統(tǒng)精確率、召回率及系統(tǒng)使用用戶體驗(yàn)評(píng)分（system usability scale，SUS）。NPFILS與labelImg標(biāo)注系統(tǒng)的模型混淆矩陣精確率分別為（0.882±0.1120.853±0.128）、召回率分別為（0.735±0.0980.741±0.075），差異無(wú)統(tǒng)計(jì)學(xué)意義（>0.05）。新生兒疼痛面容圖像標(biāo)注系統(tǒng)的用戶體驗(yàn)評(píng)分明顯高于labelImg系統(tǒng)，差異有統(tǒng)計(jì)學(xué)意義（72.500±3.53526.667±6.831，<0.05）。NPFILS標(biāo)注質(zhì)量高，用戶體驗(yàn)評(píng)分高于labelImg系統(tǒng)，為新生兒疼痛圖像標(biāo)注工作提供了一種快捷、標(biāo)準(zhǔn)化的新系統(tǒng)。

新生兒疼痛；新生兒疼痛面容；圖像標(biāo)注系統(tǒng)；機(jī)器學(xué)習(xí)

新生兒反復(fù)接受致痛性操作所產(chǎn)生的疼痛不僅會(huì)引起其生命體征和內(nèi)環(huán)境紊亂，影響新生兒生長(zhǎng)發(fā)育，還會(huì)影響其大腦神經(jīng)系統(tǒng)發(fā)育，導(dǎo)致運(yùn)動(dòng)功能或認(rèn)知功能障礙[1,2]。準(zhǔn)確識(shí)別新生兒疼痛，對(duì)及時(shí)有效采取鎮(zhèn)痛措施至關(guān)重要。但由于新生兒無(wú)法使用語(yǔ)言表達(dá)疼痛，醫(yī)護(hù)人員常用較復(fù)雜的量表對(duì)其進(jìn)行評(píng)估，操作復(fù)雜、費(fèi)時(shí)，且可能存在一定的主觀性，臨床依從性低，識(shí)別不及時(shí)。因此，智能化新生兒疼痛評(píng)估系統(tǒng)研發(fā)是一種創(chuàng)新的研究方向。但新生兒疼痛評(píng)估研發(fā)需自制標(biāo)注數(shù)據(jù)集，需要巨大的人力及物力[3]。目前通用的標(biāo)注系統(tǒng)有l(wèi)abelImg和計(jì)算機(jī)視覺標(biāo)注工具（cvision annotation t，CVAT）。LabelImg主要使用python及l(fā)xml包開發(fā)，有豐富的數(shù)據(jù)集類型支持，但數(shù)據(jù)集管理較困難[4]；CVAT是由opencv開發(fā)的一款網(wǎng)頁(yè)標(biāo)注工具，用Docker技術(shù)來(lái)部署，可通過(guò)瀏覽器訪問(wèn)標(biāo)注，具有一定的半自動(dòng)標(biāo)注功能[5]，但上述工具存在三個(gè)突出問(wèn)題：①系統(tǒng)缺乏中文界面，功能復(fù)雜，臨床標(biāo)注者難以熟練操作，耽誤數(shù)據(jù)集構(gòu)建進(jìn)度。②系統(tǒng)缺乏數(shù)據(jù)預(yù)處理功能，標(biāo)注目標(biāo)圖像中存在復(fù)雜背景環(huán)境，干擾標(biāo)注者注意力，不利于數(shù)據(jù)集標(biāo)注質(zhì)量提升。③在目標(biāo)檢測(cè)標(biāo)注工作中，需標(biāo)注者手動(dòng)框選標(biāo)注對(duì)象并賦予標(biāo)簽，造成極大的工作負(fù)擔(dān)，而不同標(biāo)注者對(duì)框選范圍可能存在判定標(biāo)準(zhǔn)差異，一定程度上影響了數(shù)據(jù)采集的標(biāo)準(zhǔn)化。因此，本團(tuán)隊(duì)針對(duì)新生兒疼痛面容數(shù)據(jù)標(biāo)注的需求，設(shè)計(jì)并實(shí)現(xiàn)了一套基于瀏覽器/服務(wù)器（browser/server，B/S）架構(gòu)的新生兒疼痛面容圖像標(biāo)注系統(tǒng)（neonatal pain face image labeling system，NPFILS），克服了上述缺點(diǎn)，大幅度降低工作負(fù)擔(dān)，提升了標(biāo)注數(shù)據(jù)集質(zhì)量，現(xiàn)報(bào)道如下。

1 資料與方法

1.1 臨床資料

將2019年9月至2020年9月在湖南醫(yī)藥學(xué)院附屬醫(yī)院產(chǎn)科住院的接受常規(guī)足跟采血操作的新生兒作為視頻采集對(duì)象。納入標(biāo)準(zhǔn)：①在湖南醫(yī)藥學(xué)院附屬醫(yī)院產(chǎn)科住院的接受足跟采血操作的健康新生兒；②在足跟采血操作中，新生兒面部編碼系統(tǒng)（neonatal facial coding system，NFCS）疼痛評(píng)分達(dá)滿分9分者；③家長(zhǎng)同意參與本研究并簽訂知情同意書。排除標(biāo)準(zhǔn)：①在足跟采血操作中，NFCS疼痛評(píng)分未達(dá)滿分9分者；②家長(zhǎng)不愿參與該研究。本臨床試驗(yàn)嚴(yán)格遵守赫爾辛基宣言的人體醫(yī)學(xué)研究倫理準(zhǔn)則、中國(guó)有關(guān)臨床試驗(yàn)法規(guī)和計(jì)算機(jī)倫理學(xué)原則進(jìn)行，已經(jīng)醫(yī)學(xué)倫理委員會(huì)批準(zhǔn)（倫理審批號(hào)：2019-010-001）。由于新生兒無(wú)自主意識(shí)，因此，尊重新生兒監(jiān)護(hù)人知情同意權(quán)，且研究經(jīng)新生兒監(jiān)護(hù)人同意并簽訂知情同意書。

1.2 方法

1.2.1 新生兒疼痛面容視頻采集過(guò)程 使用一組100°夾角無(wú)畸變雙目攝像頭模組，在距離受試嬰兒面部40～60cm處拍攝分辨率為720×1280，幀速率為30.00幀/s的視頻。拍攝內(nèi)容為新生兒足跟采血所致疼痛面容（操作前半分鐘至操作后2min或啼哭停止），均在沐浴后進(jìn)行。操作前安慰新生兒，使其保持安靜狀態(tài)；不包裹，使其肢體能自由活動(dòng)。視頻采集對(duì)象開發(fā)團(tuán)隊(duì)經(jīng)多次技術(shù)研討和專家咨詢，基于數(shù)據(jù)標(biāo)注基本流程構(gòu)建新生兒疼痛面容圖像標(biāo)注系統(tǒng)，包括預(yù)處理、標(biāo)注、存儲(chǔ)三個(gè)模塊。

①預(yù)處理模塊：從臨床采集新生兒疼痛面容后，系統(tǒng)對(duì)采集到的原始數(shù)據(jù)進(jìn)行自動(dòng)預(yù)處理。通過(guò)視頻流分析預(yù)實(shí)驗(yàn)中標(biāo)注和神經(jīng)網(wǎng)絡(luò)訓(xùn)練等過(guò)程中存在的問(wèn)題，制定一套原始數(shù)據(jù)質(zhì)量控制模式，即從光照環(huán)境、動(dòng)態(tài)模糊情況、面部區(qū)域像素密度、面部遮蓋百分比等方面自動(dòng)篩選原始新生兒面容圖片。并利用openface2.0框架構(gòu)建了一系列自動(dòng)化預(yù)處理邏輯[6]，即利用68個(gè)面部特征點(diǎn)對(duì)原始圖像的基本情況進(jìn)行檢測(cè)，從視頻流中抽取的靜態(tài)圖像經(jīng)方向矯正、截取、映射等步驟進(jìn)行歸一，最終生成尺寸為120px×120px的標(biāo)準(zhǔn)化圖像。見圖1。

圖1 預(yù)處理模塊運(yùn)行效果示意圖

圖2 標(biāo)注模塊運(yùn)行效果示意圖

②標(biāo)注模塊：以NFCS為依據(jù)開發(fā)標(biāo)注模塊，NFCS是從a皺眉；b擠眼；c鼻唇溝加深；d張口；e嘴垂直伸展；f嘴水平伸展；g舌呈杯狀；h下頜顫動(dòng)；i嘴呈“O”形等九項(xiàng)表現(xiàn)進(jìn)行評(píng)價(jià)，每項(xiàng)1分，滿分10分，具有良好的信效度[7,8]，標(biāo)注模塊依據(jù)上述條目分別賦值。將上述指標(biāo)與圖像、文字、色塊等元素組合，構(gòu)成簡(jiǎn)潔的用戶標(biāo)注界面。標(biāo)注者只需根據(jù)圖片中新生兒面部表情情況，點(diǎn)擊按鈕，即可完成標(biāo)注工作?；跇?biāo)注化圖像的標(biāo)注結(jié)果投影至由關(guān)鍵幀生成的靜態(tài)圖片，生成包含結(jié)果標(biāo)簽的目標(biāo)檢測(cè)標(biāo)注框，見圖2，最終參考PASCALVOC2007數(shù)據(jù)集的相關(guān)規(guī)范將標(biāo)注結(jié)果寫入xml文件進(jìn)行存儲(chǔ)[9]。

③存儲(chǔ)模塊：利用本地機(jī)房中的網(wǎng)絡(luò)附加存儲(chǔ)與公有云服務(wù)商提供的對(duì)象存儲(chǔ)服務(wù)及云數(shù)據(jù)庫(kù)相組合[10]，建立異地存儲(chǔ)災(zāi)備系統(tǒng)，對(duì)標(biāo)注系統(tǒng)數(shù)據(jù)定期備份，并能在意外情況下及時(shí)恢復(fù)數(shù)據(jù)，縮短標(biāo)注工作中斷時(shí)間。

1.2.2 新生兒疼痛面容圖像數(shù)據(jù)標(biāo)注系統(tǒng)構(gòu)建 ①建立多學(xué)科系統(tǒng)開發(fā)團(tuán)隊(duì) 該團(tuán)隊(duì)由軟件工程和護(hù)理專業(yè)人員組成，共27人，其中軟件工程、護(hù)理專業(yè)副教授各1人，護(hù)理信息護(hù)士1名、軟件工程師2名，新生兒科護(hù)士22人。護(hù)理副教授負(fù)責(zé)研發(fā)工作及總體管理，軟件工程副教授負(fù)責(zé)開發(fā)技術(shù)指導(dǎo)及質(zhì)量監(jiān)督，護(hù)理信息護(hù)士負(fù)責(zé)系統(tǒng)總體架構(gòu)設(shè)計(jì)，軟件工程師負(fù)責(zé)各模塊功能實(shí)現(xiàn)；2名護(hù)士負(fù)責(zé)收集整理新生兒疼痛面容數(shù)據(jù)庫(kù)，20名護(hù)士參與標(biāo)注系統(tǒng)測(cè)試。

1.3 NPFILS的效果評(píng)價(jià)

1.3.1 標(biāo)注者基本情況 20名經(jīng)系統(tǒng)的新生兒疼痛評(píng)估理論與臨床實(shí)踐學(xué)習(xí)的新生兒科護(hù)士為參與測(cè)試的標(biāo)注人員，測(cè)試前均接受同質(zhì)化的標(biāo)注系統(tǒng)培訓(xùn)，經(jīng)考核合格。

1.3.2 測(cè)試方法 在完成系統(tǒng)設(shè)計(jì)及部署后，將前述臨床采集的新生兒疼痛視頻流作為原始數(shù)據(jù)集，向系統(tǒng)內(nèi)隨機(jī)放入10段新生兒疼痛視頻流，從中隨機(jī)抽取1681張圖像，標(biāo)注者先使用市面主流的標(biāo)注系統(tǒng)LabelImg對(duì)數(shù)據(jù)集進(jìn)行標(biāo)注，間隔14d后再使用NPFILS進(jìn)行標(biāo)注。

1.3.3 評(píng)價(jià)指標(biāo)及方法 ①數(shù)據(jù)集標(biāo)注質(zhì)量：用該系統(tǒng)產(chǎn)生的數(shù)據(jù)集在YOLOv5（You Only Look Once v5）神經(jīng)網(wǎng)絡(luò)中訓(xùn)練的模型的預(yù)測(cè)性能（精確率和召回率）來(lái)判斷。YOLOv5是一種由UltralyticsLLC公司基于Pytorch實(shí)現(xiàn)并開源的目標(biāo)檢測(cè)神經(jīng)網(wǎng)絡(luò)模型，是當(dāng)前目標(biāo)檢測(cè)領(lǐng)域應(yīng)用廣泛的神經(jīng)網(wǎng)絡(luò)算法之一，同時(shí)具有較快的收斂速度[11]。通過(guò)公式計(jì)算模型性能的精確率、召回率。②用戶體驗(yàn)評(píng)分：標(biāo)注者在完成上述兩種系統(tǒng)標(biāo)注后，使用系統(tǒng)可用性量表（system usability scale，SUS）對(duì)用戶體驗(yàn)進(jìn)行評(píng)分。SUS量表由Brooke于1986年編制，其題目簡(jiǎn)單，易于理解與實(shí)施[12]，共10題，其中奇數(shù)項(xiàng)為正面陳述，偶數(shù)項(xiàng)為反面陳述。采用Likert5級(jí)評(píng)分，1非常不同意，5非常同意。計(jì)分方法：奇數(shù)題項(xiàng)：=（?1）×2.5，偶數(shù)題項(xiàng)：=（5?）×2.5；總分100分，70分為合格，具有良好的信效度，其中Cronbach系數(shù)為0.91[13]。

1.4 新生兒疼痛面容圖像標(biāo)注系統(tǒng)數(shù)據(jù)集標(biāo)注質(zhì)量

將20名護(hù)士使用LabelImg和NPFILS標(biāo)注的新生兒疼痛面容圖像數(shù)據(jù)集，分別設(shè)定為數(shù)據(jù)集A和數(shù)據(jù)集B。在相同的參數(shù)與環(huán)境下，分別以數(shù)據(jù)集A和數(shù)據(jù)集B作為輸入，用YOLOv5神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，具體訓(xùn)練批次大小為16，訓(xùn)練總輪次為300，初始學(xué)習(xí)率為e-1，分別得模型A和模型B。

1.5 統(tǒng)計(jì)學(xué)方法

2 結(jié)果

2.1 兩種模型精準(zhǔn)率與召回率比較

兩模型混淆矩陣見圖3、4。兩種標(biāo)注系統(tǒng)分別輸出的模型A和模型B的混淆矩陣精確率，差異無(wú)統(tǒng)計(jì)學(xué)意義（>0.05），見表1。

表1 模型A-模型B精確率、召回率比較（，%）

2.2 標(biāo)注者使用兩種系統(tǒng)的SUS評(píng)分比較

標(biāo)注者使用LabelImg的SUS結(jié)果顯示，在“我愿意使用這個(gè)產(chǎn)品”“我認(rèn)為這個(gè)產(chǎn)品用起來(lái)很容易”“我發(fā)現(xiàn)產(chǎn)品里的各項(xiàng)功能很好的整合在一起”三個(gè)條目中均無(wú)人選“非常同意”；85.0%的護(hù)士同意“我發(fā)現(xiàn)這個(gè)產(chǎn)品過(guò)于復(fù)雜”；85.0%的標(biāo)注者非常同意“我認(rèn)為這個(gè)產(chǎn)品用起來(lái)很麻煩”“在使用這個(gè)產(chǎn)品前，需進(jìn)行大量的學(xué)習(xí)”，見表2。

使用NPFILS的SUS結(jié)果顯示，有85.0%和100%標(biāo)注者同意“我認(rèn)為這個(gè)產(chǎn)品用起來(lái)很容易”、“使用這個(gè)產(chǎn)品時(shí)我充滿信心”；所有標(biāo)注者均不同意“我發(fā)現(xiàn)產(chǎn)品中有很多不一致的地方”，見表2。

標(biāo)注者使用NPFILS系統(tǒng)的SUS明顯高于labelImg系統(tǒng)，差異有統(tǒng)計(jì)學(xué)意義（72.500±3.53526.667±6.831，=–13.499，<0.001）。

表2 LabelImg系統(tǒng)用戶體驗(yàn)評(píng)分描述性分析結(jié)果[n（%）]

圖3 模型A的混淆矩陣

圖4 模型B的混淆矩陣

3 討論

LabelImg系統(tǒng)輸出的模型A及NPFILS系統(tǒng)輸出的模型B的精確率分別高達(dá)85%和88%，召回率分別為（0.73±0.09）、（0.74±0.07），差異無(wú)統(tǒng)計(jì)學(xué)意義（＞0.05），說(shuō)明兩種標(biāo)注系統(tǒng)質(zhì)量相似，均較好。而影響新生兒疼痛面容圖像標(biāo)注質(zhì)量的主要因素為標(biāo)注者疼痛評(píng)估能力、標(biāo)注的像素點(diǎn)、框選范圍、圖像的背景環(huán)境等，如OccamsRazo[14]、pACNN[15]、CVAT等典型面部識(shí)別標(biāo)注系統(tǒng)缺乏數(shù)據(jù)預(yù)處理功能，標(biāo)注目標(biāo)圖像中存在的復(fù)雜背景環(huán)境會(huì)干擾標(biāo)注者注意力，導(dǎo)致標(biāo)注精確率下降，數(shù)據(jù)集標(biāo)注質(zhì)量不高。在常規(guī)標(biāo)注工作中，需標(biāo)注者手動(dòng)框選標(biāo)注對(duì)象并賦予標(biāo)簽，工作負(fù)擔(dān)大，而不同標(biāo)注者對(duì)框選范圍可能判定標(biāo)準(zhǔn)不同，一定程度上影響了數(shù)據(jù)集的標(biāo)準(zhǔn)化[16]。NPFILS系統(tǒng)從光照環(huán)境、動(dòng)態(tài)模糊情況、面部區(qū)域像素密度、面部遮蓋百分比等方面自動(dòng)篩選原始圖片，減少了復(fù)雜背景環(huán)境對(duì)標(biāo)注工作的影響；此外，還利用68個(gè)面部特征點(diǎn)檢測(cè)原始圖像，并經(jīng)方向矯正、截取、映射等步驟進(jìn)行幾何歸一，最終輸出標(biāo)準(zhǔn)化圖像，大大減少了人工標(biāo)注的工作量及誤差，確保了標(biāo)注數(shù)據(jù)的質(zhì)量。

本文中，NPFILS標(biāo)注系統(tǒng)的用戶體驗(yàn)評(píng)分均值遠(yuǎn)高于LabelImg系統(tǒng)（72.500±3.53526.667±6.831，<0.05）。標(biāo)注者認(rèn)為L(zhǎng)abelImg系統(tǒng)過(guò)于復(fù)雜，使用很麻煩，需要大量的學(xué)習(xí)或?qū)I(yè)人員幫助才能熟練使用。分析其原因可能是LabelImg系統(tǒng)缺乏中文界面，且需標(biāo)注者手動(dòng)框選標(biāo)注對(duì)象并賦予標(biāo)簽，手動(dòng)標(biāo)注致標(biāo)注效率低下，工作負(fù)擔(dān)大。而NPFILS系統(tǒng)將所需指標(biāo)與圖像、文字、色塊等元素組合，構(gòu)成簡(jiǎn)潔的全中文板塊用戶標(biāo)注界面；自動(dòng)識(shí)別系統(tǒng)使操作更加簡(jiǎn)便快捷，標(biāo)注者只需根據(jù)圖片中新生兒面部表情情況，點(diǎn)擊按鈕，即可完成標(biāo)注工作，顯著降低了圖像標(biāo)注工作的繁瑣程度；異地存儲(chǔ)災(zāi)備系統(tǒng)對(duì)標(biāo)注系統(tǒng)中以圖片為主的非結(jié)構(gòu)數(shù)據(jù)和以標(biāo)注結(jié)果為主的結(jié)構(gòu)化數(shù)據(jù)進(jìn)行定期備份，能快速恢復(fù)數(shù)據(jù)，縮短標(biāo)注工作中斷時(shí)間，從而提高用戶體驗(yàn)評(píng)分。

綜上所述，NPFILS系統(tǒng)具備高質(zhì)量數(shù)據(jù)集標(biāo)注功能，為今后新生兒疼痛評(píng)估及系統(tǒng)智能化管理研發(fā)，提供了一種新的圖像標(biāo)注工具。

[1] Walker SM. Long-term effects of neonatal pain[J]. Semin Fetal Neonatal Med, 2019, 24(4): 101005.

[2] 王亞靜, 李楊, 孫靜, 等. 新生兒重癥監(jiān)護(hù)病房患兒操作性疼痛現(xiàn)狀調(diào)查[J]. 護(hù)理學(xué)雜志, 2019, 34(11): 20–23.

[3] 蔡飛. 基于三維卷積神經(jīng)網(wǎng)絡(luò)的新生兒疼痛表情識(shí)別[D].南京: 南京郵電大學(xué), 2018.

[4] 王振華, 李靜, 張?chǎng)卧? 等. 面向視頻數(shù)據(jù)的深度學(xué)習(xí)目標(biāo)識(shí)別算法綜述[J]. 計(jì)算機(jī)工程, 2022, 48(4): 1–15.

[5] Sekachev B, Manovich N, Zhavoronkov A. Computer vision annotation tool: a universal approach to data annotation[J]. Intel [Internet], 2019, 1.

[6] Baltrusaitis T, Robinson P, Morencyl-P. Openface: An open source facial behavior analysis toolkit[C]// 2016 IEEE Winter Conference on Applications of Computer Vision (WACV) [J]. IEEE, 2016: 1–10.

[7] Kappesser J, De Laffolie J, Faas D, et al. Comparison of two neonatal pain assessment tools (children and infant's postoperative pain scale and the neonatal facial coding system-respectfully yours, evised) and their relations to clinicians' intuitive pain estimates[J]. Eur J Pain, 2019, 23(4): 708–718.

[8] 程銳, 楊洋, 史源, 等. 新生兒疼痛評(píng)估與鎮(zhèn)痛管理專家共識(shí)（2020版）[J]. 中國(guó)當(dāng)代兒科雜志, 2020, 22(9): 923–930.

[9] Everingham M, Eslami S M, Van Gool L, et al. The pascal visual object classes challenge: A retrospective[J]. Int jour com vis, 2015, 111(1): 98–136.

[10] 胡建平. 新一代醫(yī)院數(shù)據(jù)中心建設(shè)指導(dǎo)[J]. 中國(guó)衛(wèi)生信息管理雜志, 2020, 17(5): 695.

[11] Thuan D. Evolution of Yolo algorithm and Yolov5: The State-of-the-Art object detention algorithm[D]. Oulu University of Applied Sciences, 2021: 1301–1361.

[12] Baumgartner J, Ruettgers N, Hasler A, et al. Questionnaire experience and the hybrid system usability scale: using a novel concept to evaluate a new instrument[J]. Int J Hum Comput Stud, 2020, 147(1): 102575.

[13] 王宇暉. 系統(tǒng)可用性量表在感知可用性縱向研究中的改進(jìn)和應(yīng)用[D]. 武漢: 華中科技大學(xué), 2020.

[14] Vielzeuf V, Kervadec C, Pateux S, et al. An occam's razor view on learning audiovisual emotion recognition with small training sets[C]// 2018: 589–593.

[15] Li Y, Zeng J, Shan S, et al. Occlusion aware facial expression recognition using CNN with attention mechanism[J].IEEE Trans Image Process, 2018, 28(5): 2439–2450.

[16] 陳哲, 黃巍, 陳昭. 基于Web應(yīng)用的醫(yī)學(xué)圖像半自動(dòng)標(biāo)注系統(tǒng)[J]. 計(jì)算機(jī)應(yīng)用與軟件, 2019, 36(10): 1–5.

Development of Neonatal Pain Face Image Labeling System based on B/S architecture

YI Junru CHEN Shaolin DENG Renli ZHU Nanxi LIN Jing JIANG Xiaochuan SONG Jiamei CHEN Yuehua ZHAN Xinling PAN Qiudan

1.School of Nursing, Hunan University of Medicine, Hunan, Huaihua 418000, China; 2.Department of Nursing, Affiliated hospital of Zunyi Medical University, Guizhou, Zunyi 563000, China; 3.School of Computing, Huaihua University, Hunan, Huaihua 418000, China

To construct a neonatal pain face image labeling system (NPFILS) based on B/S architecture and evaluate its quality and effect.Newborns’painful facial videos were collected when they were hospitalized in the obstetrics department of the Affiliated Hospital of Hunan Medical University from September 2019 to September 2020 and underwent heel puncture blood collection. The NPFILS constructed is based on B/S architecture. 20 neonatal nurses labeled 1681 neonatal pain face photoes which were randomly selected both by labelImg system and NPFILS. The annotation accuracy, recall rate and system usability scale (SUS) were compared between the two systems.The accuracy of the model confusion matrix of the NPFILS and the labelImg annotation system were (0.882±0.1120.853±0.128,>0.05) and the recall rates were (0.735±0.0980.741±0.075,>0.05) respectively, and there were no statistical differences between two systems. The user score of SUS of NPFILS was significantly higher than that of labelImg system (72.500±3.53526.667±6.831,<0.05).NPFILS has high annotation quality and higher user SUS score than of labelImg system, which provides a fast and standardized new system for neonatal pain image annotation.

Neonatal pain; Neonatal pain face image; Image labeling system; Machine learning

R47-05

A

1673–9701(2022)36–0096–05

湖南省教育廳科學(xué)研究基金優(yōu)秀青年項(xiàng)目（19B404）；珠海市產(chǎn)學(xué)研合作項(xiàng)目（ZH22017001210019PWC）

諶紹林，電子信箱：30363284@qq.com

（2022–08–16）

（2022–09–20）