基于幀率提升算法的核電大修遠程專家支持系統(tǒng)設計

羅俊 韓輝 徐奎 劉石橋 李小輝 景應剛

一、引言

在核電廠大修期間，參與工作人員數(shù)量超過千人，涉及的專業(yè)眾多，而且人員之間、團隊之間的協(xié)作關系復雜，核電廠的廠區(qū)面積大，各個區(qū)域的通信許可管控嚴格，導致傳統(tǒng)的面對面交流方式變得困難重重，不可避免地帶來了溝通、效率、成本浪費等問題。核電大修需要更加高效、便捷的溝通方式。

為了提高核電廠相關設備維修的溝通和工作效率，基于維修現(xiàn)場已搭建的無線傳輸網(wǎng)絡，移動終端、觸摸式顯示屏或臺式工作站等設備，面向核電大修溝通、對現(xiàn)場進行遠程可視化技術支持，開發(fā)一套多方視頻會議通訊網(wǎng)絡系統(tǒng)與辦公協(xié)作軟件迫在眉睫。

為此，本文設計實現(xiàn)一套遠程專家支持系統(tǒng)，目標是在核電廠智能維修系統(tǒng)中建設遠程專家支持應用，實現(xiàn)廠內大修指揮中心的大修協(xié)調人員或廠外專家與檢修現(xiàn)場的視頻通訊，通過共享實時檢修畫面、檢修記錄數(shù)據(jù)和相關技術資料，多方專家可實現(xiàn)遠程快速維修決策。并提供檢修方案，解決大修過程中產(chǎn)生的異?；驈碗s問題，有效控制大修周期和保證大修質量。具體來說，系統(tǒng)功能劃分為四大模塊，分別是遠程支持、遠程見證、遠程會議和后臺管理。其中，遠程支持模塊提供核電廠工作人員在現(xiàn)場遇到的問題，或需要請求相關領域專業(yè)人士進行支持時的問題解決功能，廠內工作人員發(fā)起遠程專家支持流程，被邀請或請求的專家在遠程或核電廠集中場所進行應答和響應。遠程見證模塊主要提供質量控制功能，包括人員遠程出席見證活動的質量見證平臺及電子簽字確認等功能。遠程會議模塊提供遠程會議相關功能，主要包括通過手持終端、PC或會議室召開會議，提供實時音視頻通話、會議室管理、遠程監(jiān)控視頻接入、會議歷史管理等功能。

二、系統(tǒng)總體設計

遠程專家支持系統(tǒng)采用B/S三層架構體系，將整個業(yè)務劃分為數(shù)據(jù)訪問層、業(yè)務邏輯層和表現(xiàn)層。

三、關鍵算法設計

遠程專家支持系統(tǒng)的技術關鍵是實時音視頻通信和傳輸，其中，傳輸視頻的幀率是影響所傳輸?shù)囊曨l流暢性的關鍵參數(shù)，也是客戶對遠程視頻支持質量判定的直觀體現(xiàn)。隨著高清多媒體技術的飛速發(fā)展，人們需要高幀率的視頻。在視頻傳輸過程中，發(fā)送端幀率受視頻采集和編碼器性能影響較大。攝像頭采集視頻數(shù)據(jù)傳輸?shù)骄幋a器，經(jīng)編碼器編碼后的實際輸入幀率并不等于攝像頭采集到的幀率，即若視頻采集圖片速度快，而編碼器編碼速度慢，則編碼器任務隊列中將累積多余的圖片幀，為滿足實時視頻會議的低時延要求，編碼器需要及時處理最新的幀，常見措施就是丟幀，即編碼器任務隊列中有多個視頻幀時，僅對最新一幀進行編碼。該策略將降低發(fā)送端幀率，在實際應用中導致接收端黑屏、卡頓等現(xiàn)象。實時視頻會議情況下，網(wǎng)絡狀況不佳將導致接收端丟幀。同時，與編碼類似，解碼也會導致丟幀。接收端的幀率減少直接影響視頻質量。針對接收端提供良好的幀率提升策略，即在接收端針對接收到的原視頻幀序列，計算并插入一組新視頻幀，是十分重要的。傳統(tǒng)的幀率提升方法包括基于運動估計和補償?shù)姆椒?，而光流算法以其良好的效果得到了學者們越來越多的關注。但光流算法多通過采用將雙向光流和附加網(wǎng)絡（如深度估計）相結合的方式來生成中間幀，難以應用于實時視頻傳輸?shù)膱鼍啊?/p>

（一） 基本思想

為了解決上述問題，本文提出一種改進的基于流的視頻幀率提升算法。該法以RIFE（Real-Time Intermediate Flow Estimation）方法為基礎，通過簡化中間光流估計模型，以達到更快的計算速度，從而滿足遠程視頻會議的實時性要求。算法由光流估計和融合網(wǎng)絡兩部分構成，其中，光流估計用于輸入圖像的中間光流估計，融合網(wǎng)絡則是一個類似U-Net的網(wǎng)絡結構。經(jīng)后向變形操作后生成對應幀的模糊中間光流，再通過融合網(wǎng)絡融合生成最終的結果。

（二） 算法流程

本文使用一種改進的L-K（Lucas-Kanade）金字塔光流法進行光流估計。Lucas-Kanade是由Bruce D. Lucas等人提出的一種兩幀差分光流估計方法，它假設光流在像素點的鄰域是一個常數(shù)，然后使用最小二乘法對鄰域中的所有像素點求解基本的光流方程。當圖片中物體的運動速度較快時會出現(xiàn)跨度較大的情況，此時算法會出現(xiàn)較大誤差。因此，在L-K方法基礎上加入圖像金字塔結構，最底層為原始圖像，越往上圖像分辨率越小，上層金字塔中的一個像素可以代表下層金字塔中的兩個像素。算法流程包括如下步驟：

1. 金字塔的構建

以原始圖像作為金字塔底層，逐層向上，不斷降低分辨率，生成上層的圖像，構建圖像金字塔。

2. 基于金字塔的光流計算

從最上層開始，計算并使得每個點的鄰域內匹配誤差和最小，以得到該層圖像中每個像素點的光流。同時，上一層的結果反饋到下一層作為輸入，繼續(xù)計算位移，重復該步驟，得到大致的圖像運動稀疏光流。

3. 殘余光流計算

在整個金字塔迭代過程中，還需要對于每一層的殘余光流進行計算，最終得到有效的光流估計。

四、系統(tǒng)實現(xiàn)

（一）系統(tǒng)開發(fā)環(huán)境

系統(tǒng)開發(fā)平臺的硬件配置為：CPU Corei5-8300H 2.30GHz，硬盤500G（SSD），內存20GB。

系統(tǒng)實現(xiàn)所需相關軟件包括：操作系統(tǒng)Windows10，數(shù)據(jù)庫MySQL5.7 社區(qū)版，開發(fā)環(huán)境JDK8和Python3.8，開發(fā)框架為SpringBoot、Mybatis、Pytorch。

（二）數(shù)據(jù)說明

算法在Vimeo90K數(shù)據(jù)集上進行訓練，包含有分辨率為448 * 256分辨率的3000多組圖像，每組圖像為三元組，即包含3張連續(xù)幀。

（三）實驗及結果分析

對系統(tǒng)執(zhí)行功能測試，并展開相關性能測試。

1. 系統(tǒng)響應能力測試

測試系統(tǒng)對正常請求進行及時響應的能力。進入系統(tǒng)首頁，通過模擬用戶登錄的情況，來查看系統(tǒng)響應能力，測試結果表明整個登錄過程至進入界面耗時為2.63秒。系統(tǒng)響應登錄操作耗時為1.2秒，反映了本系統(tǒng)能夠在較快的時間內響應用戶的需求。

2. 幀率提升算法有效性測試

分別測試系統(tǒng)在不使用和使用幀率提升算法的情況下，視頻會議畫面的質量。通過開啟多個會議窗口測試視頻通信結果，在不使用幀率提升算法的情況下，在網(wǎng)絡出現(xiàn)波動的情況下遠程會議視頻會播放不流暢，出現(xiàn)了明顯的卡頓。使用幀率提升算法后，遠程會議視頻能夠保持穩(wěn)定幀率播放，緩解了網(wǎng)絡波動造成的視頻卡頓，為與會人員提供了更好的觀感。

五、結語

遠程專家支持系統(tǒng)開發(fā)完成后，經(jīng)測試后上線運行，經(jīng)一個月的觀察，運行穩(wěn)定。使用視頻幀率提升算法后有效提高了視頻會議時畫面的流暢度，對關鍵場景與見證畫面的展示提供了更好的支持。該系統(tǒng)的投入使用，大大節(jié)省了人力成本，有效解決了現(xiàn)場維修的技術支持問題，提高了質量控制等多方面的企業(yè)工作效率。

作者單位：羅俊 中國核能電力股份有限公司

韓輝、李小輝 江蘇核電有限公司

徐奎、劉石橋、景應剛 中核武漢核電運行技術股份有限公司