一種實現(xiàn)機會網(wǎng)絡(luò)中移動終端屏幕共享的方法

王巧莉 張振宇 劉慧 吳曉紅

摘 ?要： 針對傳統(tǒng)的屏幕共享環(huán)境已不能滿足人們的需求等問題，文中利用機會網(wǎng)絡(luò)可以在間歇式連通環(huán)境下實現(xiàn)節(jié)點通信的特性，設(shè)計并實現(xiàn)了一種基于機會網(wǎng)絡(luò)的屏幕共享軟件。該軟件在機會網(wǎng)絡(luò)的場景下，基于Spring?boot框架，使用FFmpeg視頻音頻轉(zhuǎn)換器和Node.js跨平臺等技術(shù)實現(xiàn)移動終端設(shè)備在網(wǎng)絡(luò)間歇性連通狀態(tài)下的設(shè)備搜索、配對、屏幕共享等功能。運行結(jié)果表明，在所設(shè)定的通信范圍內(nèi)的情況下，該軟件能實現(xiàn)基本的數(shù)據(jù)共享，性能比較穩(wěn)定。

關(guān)鍵詞： 機會網(wǎng)絡(luò); 屏幕共享; 移動終端; 間歇式連通; 設(shè)備搜索; 通信范圍

中圖分類號： TN915?34; TP393 ? ? ? ? ? ? ? ? 文獻標識碼： A ? ? ? ? ? ? ? ? ? ?文章編號： 1004?373X（2019）10?0019?04

Method of implementing mobile terminal screen sharing in opportunistic networks

WANG Qiaoli1， ZHANG Zhenyu1，2， LIU Hui2， WU Xiaohong2

（1. College of Information Science and Engineering， Xinjiang University， Urumqi 830046， China;

2. College of Software， Xinjiang University， Urumqi 830008， China）

Abstract： In allusion to the problem that the traditional screen sharing environment cannot meet people′s needs， a screen sharing software based on opportunistic networks is designed and implemented by using the opportunistic network′s feature that node communication can be realized in the intermittent connection environment. With the software， the searching， matching and screen sharing functions of mobile terminal devices in the network intermittent connection state are realized in the opportunistic network scenario on the basis of the spring?boot framework by using the FFmpeg video?audio converter and Node.js cross?platform technology. The operation results show that the software can realize basic data sharing， and has a relatively?stable performance in the situation of preset communication range.

Keywords： opportunistic network; screen sharing; mobile terminal; intermittent connection; device searching; communication range

在容忍延遲網(wǎng)絡(luò)與無線自組網(wǎng)的研究推動下，機會網(wǎng)絡(luò)的概念逐漸形成且具有重要的意義[1] 。機會網(wǎng)絡(luò)中的節(jié)點不需要有明確的鏈路，通過節(jié)點移動性帶來的機會聯(lián)系，以“存儲?攜帶?轉(zhuǎn)發(fā)”的方式轉(zhuǎn)發(fā)消息[2]。機會網(wǎng)絡(luò)具有更加靈活的組網(wǎng)方式，能夠滿足挑戰(zhàn)環(huán)境下的通信需求，因此在野生動物追蹤網(wǎng)絡(luò)[3]、車載網(wǎng)絡(luò)[4]等場景下得到了更好的應(yīng)用。節(jié)點在不同的應(yīng)用場景中移動特性各異，因此在設(shè)計相應(yīng)的數(shù)據(jù)轉(zhuǎn)發(fā)機制時必須要符合節(jié)點的實際移動情況。

近年來，利用移動終端進行數(shù)據(jù)采集和終端之間的內(nèi)容共享已成為用戶最迫切的需求，這樣的背景為機會網(wǎng)絡(luò)的應(yīng)用提供了更加廣闊的平臺[5]。在位置識別應(yīng)用中，只使用一部手機會對噪音比較敏感而且必須隨時隨地手持設(shè)備。因此文獻[6]中提出SensOrchestra位置識別協(xié)作感知框架，通過與周圍的手機形成自組網(wǎng)，協(xié)同感知周圍的聲音及圖像等信息，提高了位置識別的準確度，也不需要一直手持設(shè)備。在文獻[7]中提出一種媒體服務(wù)框架CoCam，在許多大型的活動中（現(xiàn)場演唱會、體育賽事等），坐在距離較遠或角度較偏位置的用戶常常會有較差的視覺體驗，而CoCam框架使設(shè)備之間形成自組織網(wǎng)絡(luò)同時利用手機自帶的拍照或攝像功能，為現(xiàn)場的用戶分發(fā)和共享圖片及視頻內(nèi)容，使用戶能夠得到更好的現(xiàn)場體驗。屏幕共享提供了這樣一種環(huán)境，它允許遠程客戶機在容錯時間內(nèi)重現(xiàn)屏幕顯示內(nèi)容，從而為遠程用戶提供虛擬共享接口[8?9]。隨著移動設(shè)備的快速發(fā)展，人們的期望也越來越高。針對以上要求，本文利用機會網(wǎng)絡(luò)，不需要網(wǎng)絡(luò)的完全連通性，適合于移動自組網(wǎng)網(wǎng)絡(luò)的實際需求，設(shè)計并實現(xiàn)了一種基于屏幕的數(shù)據(jù)共享軟件。該軟件通過Spring?boot框架、FFmpeg視頻音頻轉(zhuǎn)換器、Node.js跨平臺等技術(shù)實現(xiàn)了移動終端設(shè)備在網(wǎng)絡(luò)間歇性連通狀態(tài)下的設(shè)備搜索、配對、屏幕共享等功能。運行結(jié)果表明，借助機會網(wǎng)絡(luò)環(huán)境設(shè)定一定的通信范圍的情況下，該軟件能實現(xiàn)基本的屏幕數(shù)據(jù)共享，并且性能相對穩(wěn)定。

1 ?屏幕共享核心技術(shù)實現(xiàn)

1.1 ?機會網(wǎng)絡(luò)環(huán)境搭建

人類移動設(shè)備在機會網(wǎng)絡(luò)中的活動呈現(xiàn)出地理社區(qū)的特征。有些節(jié)點的活動范圍有限，僅限于有限的地理區(qū)域;有些節(jié)點有較大的活動范圍，出現(xiàn)在不同的地理區(qū)域。根據(jù)人類移動設(shè)備機會網(wǎng)絡(luò)中社會節(jié)點的移動特性，給出以下網(wǎng)絡(luò)環(huán)境假設(shè)：

1） 在給定范圍內(nèi)加入的移動終端設(shè)備都可以不設(shè)限的搜索到;

2） 在給定范圍內(nèi)加入的移動終端設(shè)備都主動進行屏幕的共享;

3） 任何移動終端的離開都不影響整個環(huán)境中的其他設(shè)備;

4） 設(shè)定一個主動搜索終端，假設(shè)為中繼終端。

1.2 ?Spring?boot框架

自2002年發(fā)布Spring[10]框架以來，它已經(jīng)成為企業(yè)應(yīng)用和開發(fā)領(lǐng)域中一個非常流行的基礎(chǔ)框架。許多企業(yè)應(yīng)用Spring框架開發(fā)和設(shè)計軟件以滿足特定的需求。Spring框架包含數(shù)十個不同的子項目，涵蓋不同方面的應(yīng)用開發(fā)。Spring框架包含了大量的子項目，這些子項目都有各自的優(yōu)點和缺點。其優(yōu)點是開發(fā)人員使用方便，缺點是存在很多使用問題。例如，每個子項目都有一定的學(xué)習(xí)曲線，開發(fā)人員需要知道這些子項目和組件的細節(jié)，并知道如何將這些子項目變成一個完整的解決方案，但沒有關(guān)于如何使用這些組件的知道，也沒有提供相關(guān)的最佳實踐。不僅如此，對于使用Spring框架的新手開發(fā)人員來說，他們不知道如何更好地使用這些組件。Spring框架的另一個常見問題是，快速創(chuàng)建一個能夠運行出來的應(yīng)用是非常麻煩的。Spring?boot是一個基于Spring框架的新子項目，它開發(fā)于2013年，并在2014年4月發(fā)布1.0.0版本。Spring?boot相對Spring具有很多優(yōu)點。例如，它可以自動配置Spring的各種組件，并且不依賴代碼生成和XML配置文件;它為常見場景提供了建議的組件配置，大大提高了使用Spring框架時的開發(fā)效率。本文使用的Spring?boot框架主要是由于它的以下特性：

1） 能夠創(chuàng)建一個可以獨立運行的Spring應(yīng)用程序;

2） 直接嵌入Tomcat或Jetty服務(wù)器，不需要部署WAR文件;

3） 提供推薦的基礎(chǔ)POM文件簡化Apache Maven配置;

4） 盡可能地根據(jù)項目依賴來自動配置Spring框架;

5） 提供可以直接用于生產(chǎn)環(huán)境的功能，如性能指標、應(yīng)用信息及健康檢查;

6） 無代碼生成，也沒有XML配置文件。

1.3 ?FFmpeg技術(shù)實現(xiàn)

FFmpeg[12?13]是一個快速的視頻音頻轉(zhuǎn)換器，它可以捕獲現(xiàn)場音頻/視頻源，包括任何采樣率、尺寸調(diào)整之間的視頻，并能提供各種高質(zhì)量的濾鏡系統(tǒng)。FFmpeg能夠從任意數(shù)量形式的輸入文件中進行讀?。ㄈ缙胀ㄎ募⒐艿?、網(wǎng)絡(luò)流、設(shè)備來源等），通過設(shè)置輸入文件選項的標志?i進行標記，并寫入到任意數(shù)量/形式的輸出文件中，在命令行中若字符串不能被解釋為任何一種選項，則將其作為一個輸出文件。原則上，每個輸入或輸出文件都可以包含不同數(shù)量的數(shù)據(jù)流。特定文檔中數(shù)據(jù)的數(shù)量和類型，這些都是由特定選擇定義的容器格式?jīng)Q定，從輸入文件溜向輸出文件可以是自動進行的，也可以基于?map選項來指定。

1.4 ?Node.js跨平臺實現(xiàn)

Node.js[14]采用Google V8運行，使用事件驅(qū)動、非阻塞、異步輸入/輸出等技術(shù)來提高工作性能，可以優(yōu)化傳輸量和規(guī)范。Node.js大部分基本模塊都是用JavaScript編寫， JavaScript作為瀏覽器程序設(shè)計語言使之可以運行在用戶的瀏覽器上。Node.js的事件驅(qū)動和異步編程是為網(wǎng)絡(luò)服務(wù)編程而設(shè)計的，除此以外Node.js的非阻塞模式輸入/輸出處理能夠在低系統(tǒng)資源消耗下呈現(xiàn)出高性能與出眾的負載能力，非常適用于輸入/輸出資源的中間層服務(wù)[15]。在數(shù)據(jù)密集型分布式部署環(huán)境下，可以為實時應(yīng)用系統(tǒng)的實現(xiàn)提供解決方案。服務(wù)器端的處理可以降低網(wǎng)絡(luò)流量。

1.5 ?系統(tǒng)實現(xiàn)框架和流程

機會網(wǎng)絡(luò)環(huán)境下的屏幕共享軟件的具體實現(xiàn)步驟如下：

1） 設(shè)定一定的通信范圍，初步設(shè)定為在同一個IP通信段，當(dāng)移動終端設(shè)備攜帶數(shù)據(jù)進入設(shè)定的通信段時，中繼終端將進行間歇性的搜索操作;

2） 中繼終端設(shè)備將搜索到的其他設(shè)備對IP地址進行排序;

3） 進行屏幕共享的匹配操作;

4） 當(dāng)匹配完成則進行屏幕的共享，中繼設(shè)備總要間歇性的進行搜索，更新緩存中的IP地址。

整個平臺運行需要服務(wù)器、手機客戶端A和手機客戶端B。A，B手機通過WiFi連接服務(wù)器之后開始共享屏幕以及接收并顯示共享者共享的內(nèi)容。整個過程是通過視頻流數(shù)據(jù)發(fā)送形式實時實現(xiàn)的，屏幕共享系統(tǒng)的總體設(shè)計框架如圖1所示。

圖1 ?屏幕共享系統(tǒng)總體設(shè)計框架

屏幕共享的獲取首先需要創(chuàng)建Virtual Display，只需通過Media Projection Manager獲取Media Projection，然后通過Media Projection創(chuàng)建Virtual Display獲取當(dāng)前屏幕的視頻流，如圖2所示。

圖2 ?屏幕共享屏幕獲取原理

基于FFmpeg的推流器來實現(xiàn)視頻幀數(shù)據(jù)的推流流程，推流器的作用是將本地的視頻數(shù)據(jù)推送至服務(wù)器，視頻幀數(shù)據(jù)通過RMTP協(xié)議以直播流的形式推送出去，如圖3所示。

圖3 ?屏幕共享數(shù)據(jù)流獲取原理

2 ?系統(tǒng)運行

2.1 ?機會網(wǎng)絡(luò)環(huán)境參數(shù)設(shè)置

本文通過機會網(wǎng)絡(luò)中數(shù)據(jù)的“存儲?攜帶?轉(zhuǎn)發(fā)”模式對加入的移動設(shè)備進行屏幕的共享操作，由于機會網(wǎng)絡(luò)是利用短距離無線通信技術(shù)（如藍牙、WiFi等）實現(xiàn)數(shù)據(jù)交互，因此需要設(shè)置一定的限制參數(shù)，如表1所示。

表1 ?參數(shù)設(shè)置

2.2 ?運行結(jié)果分析

實現(xiàn)機會網(wǎng)絡(luò)環(huán)境下的屏幕共享功能需要服務(wù)器端模塊和客戶端模塊協(xié)同工作。在Android系統(tǒng)中，每個模塊都來自不同層次的分布，用戶接口模塊、屏幕信息獲取模塊、顯示模塊、服務(wù)器處理線程、客戶端處理線程都是位于應(yīng)用程序框架層的;編碼模塊和解碼模塊屬于底層的運行時庫。服務(wù)器端和客戶端都圍繞用戶接口模塊完成各自的功能，具體的運行結(jié)果見圖4～圖8。

圖4 ?屏幕共享啟動程序

圖5 ?移動終端搜索功能

圖6 ?移動終端配對成功

通過運行結(jié)果顯示，當(dāng)中繼設(shè)備間歇性地搜索完成后，選擇需要的移動終端進行配對并實現(xiàn)最終的屏幕共享，完成數(shù)據(jù)的共享操作，其中對中繼設(shè)備的間歇性搜索可以降低整個網(wǎng)絡(luò)的開銷。

圖7 ?屏幕共享顯示成功

圖8 ?移動終端顯示結(jié)束

3 ?結(jié) ?語

本文通過在機會網(wǎng)絡(luò)環(huán)境下，設(shè)定一定的通信范圍，通過Spring?boot框架、FFmpeg視頻音頻轉(zhuǎn)換器、Node.js跨平臺等技術(shù)實現(xiàn)一種基于屏幕的數(shù)據(jù)共享軟件。該軟件在機會網(wǎng)絡(luò)的場景中，實現(xiàn)網(wǎng)絡(luò)間歇性連通狀態(tài)下的設(shè)備搜索、配對、屏幕共享等功能。運行結(jié)果表明，該軟件能實現(xiàn)基本的屏幕共享功能，并且性能相對穩(wěn)定。在下一步的研究中，將考慮完全不借助于網(wǎng)絡(luò)連接僅僅通過手機的ID號進行屏幕的共享。

參考文獻

[1] XIONG Y P， SUN L M， NIU J W， et al. Opportunistic networks [J]. Journal of software， 2009， 20（1）： 124?137.

[2] FALL K. A delay?tolerant network architecture for challenged internets [C]// Proceedings of the Conference on Applications， Technologies， Architectures， and Protocols for Computer Communications. Karlsruhe： ACM， 2003： 27?34.

[3] EHSAN S， BRUGGER M， BRADFORD K， et al. Sufficient node density conditions on delay?tolerant sensor networks for wildlife tracking and monitoring [C]// Proceedings of the IEEE Global Telecommunications Conference. Kathmandu： IEEE， 2011： 1?6.

[4] ACER U G， GIACCONE P， HAY D， et al. Timely data delivery in a realistic bus network [J]. IEEE transactions on vehicular technology， 2012， 61（3）： 1251?1265.

[5] 馬華東，袁培燕，趙東.移動機會網(wǎng)絡(luò)路由問題研究進展[J].軟件學(xué)報，2015，26（3）：600?616.

MA Huadong， YUAN Peiyan， ZHAO Dong. Research progress on routing problem in mobile opportunistic networks [J]. Journal of software， 2015， 26（3）： 600?616.

[6] CHENG H T， SUN F T， BUTHPITIYA S， et al. SensOrchestra： collaborative sensing for symbolic location recognition [C]// Proceedings of International Conference on Mobile Computing， Applications， and Services. Berlin： Springer， 2010： 195?210.

[7] TOLEDANO E， SAWADA D， LIPPMAN A， et al. CoCam： a collaborative content sharing framework based on opportunistic P2P networking [C]// Proceedings of IEEE 10th Consumer Communications and Networking Conference. Las Vegas： IEEE， 2013： 158?163.

[8] GUO Dai， YAN Jian， WANG Wenjiang. Design and implementation of new screen sharing system [J]. Application research of computers， 2007， 24（6）： 299?301.

[9] SHEN H， LU Y， WU F， et al. Low?cost real?time screen sharing to multiple clients [C]// Proceedings of IEEE International Conference on Multimedia and Expo. Suntec： IEEE， 2010： 980?985.

[10] 計文柯.Spring技術(shù)內(nèi)幕：深入解析Spring架構(gòu)與設(shè)計原理[M].北京：機械工業(yè)出版社，2012.

JI Wenke. Spring technology insider： in?depth analysis of Spring architecture and design principles [M]. Beijing： China Machine Press， 2012.

[11] WOODS D. Spring?Boot [EB/OL]. [2014?05?12]. https：//infoq.cn/article/microframeworks1?spring?boot.

[12] AL-KHWARIZMI. FFmpeg 4.1 [EB/OL]. [2018?11?06]. http：//ffmpeg.org/.

[13] SURHONE L M， TENNOE M T， HENSSONOW S F， et al. Ffmpeg [M]. [S.l.： s.n.]， 2010.

[14] George Ornbo. Node.js入門經(jīng)典[M].傅強，宗斌，譯.北京：人民郵電出版社，2013.

ORNBO G. Introductory classic of Node.js [M]. FU Qiang， ZONG Bin， translation. Beijing： Posts & Telecom Press， 2013.

[15] 樸靈.深入淺出Node.js[M].北京：人民郵電出版社，2013.

PU Ling. Easy to understand Node.js [M]. Beijing： Posts & Telecom Press， 2013.