超大規(guī)模三維數(shù)據(jù)并行處理技術(shù)實現(xiàn)方法

畢姍姍 劉軍 肖紅燕

（山東山大華天軟件有限公司 山東省濟南市 250000）

1 3D打印云平臺的研究現(xiàn)狀

近幾年，國內(nèi)外涌現(xiàn)了一大批基于“互聯(lián)網(wǎng)+”的3D 打印云平臺，主要分成兩類：第一類是致力于提供3D 打印最新行業(yè)動態(tài)的3D 打印資訊平臺，在國內(nèi)，南極熊網(wǎng)在這方面具有代表性；第二類則是3D打印云服務(wù)平臺，借助云端無界無形、聯(lián)通包容的性質(zhì)，解決了廠商分布分散、設(shè)備移動不便、設(shè)備購買價格昂貴等問題，整合了3D 打印產(chǎn)業(yè)上中下游資源，將下游的材料和中游的設(shè)備進行封裝，使用戶能夠接觸的到就是不同類型的3D 打印服務(wù)，用戶將可以享受到更加便捷、更低成本的3D 打印使用體驗。

在3D 打印技術(shù)上，國內(nèi)的發(fā)展起步比較晚，雖然在近幾年發(fā)展迅速，但在3D 打印云平臺領(lǐng)域仍落后于國外，特別是面向大眾的消費級3D 打印云平臺，雖然國外已出現(xiàn)如3DPrinterOS 的3D 打印云平臺，但其實現(xiàn)技術(shù)并不對外開放。

2 消費級3D打印云平臺應(yīng)用和制造模式探究

云制造作為一種新的生產(chǎn)模式，是大數(shù)據(jù)、云計算、互聯(lián)網(wǎng)、智能制造和物聯(lián)網(wǎng)等技術(shù)運用于工業(yè)制造領(lǐng)域并進一步向流通、消費等領(lǐng)域拓展的產(chǎn)物，是工業(yè)化與信息化深度融合。運用互聯(lián)網(wǎng)技術(shù)和互聯(lián)網(wǎng)營銷模式，促進工業(yè)化與信息化深度融合，發(fā)展智能制造，促進制造業(yè)提檔升級，這是云制造的重要內(nèi)涵。智能制造是制造業(yè)向高端發(fā)展的集中體現(xiàn)，也是云制造的核心內(nèi)容。

對于傳統(tǒng)集中智能制造的模式來說，雖可以大規(guī)模生產(chǎn)，保證供應(yīng)鏈的產(chǎn)量和配置，但在靈活應(yīng)對客戶需求方面卻是令人擔(dān)憂。而消費級3D 打印云平臺的分布式智能制造的創(chuàng)新方式和模型架構(gòu)，正好利用了大數(shù)據(jù)分析與運算，創(chuàng)新生產(chǎn)，整合資源，需求化地進行分配生產(chǎn)，具體有以下兩種模式。

2.1 全價值供應(yīng)鏈下的3D打印云平臺分布式智能制造創(chuàng)新模型的建立

對傳統(tǒng)集中智能制造模式做進一步改進與挖掘，設(shè)計出全價值供應(yīng)鏈下的3D 打印云平臺分布式智能制造創(chuàng)新模式，與前者相比該模式創(chuàng)新如下：

（1）3D 打印云平臺分布式制造代替了大規(guī)模集中制造；

（2）系統(tǒng)化的生產(chǎn)物流轉(zhuǎn)變成為最后一公里的產(chǎn)品配送物流；

根據(jù)表1可以看出：無論在前代過程還是在前代+回代過程，本方法均比LDU三角分解法和因子表法要快。在形成因子表的前代過程中，由于本方法利用了Y陣元素的對稱性省去大量非對角元素的計算，因此比LDU三角分解法快約55%～70%，比因子表法要快約45%。在前代+回代過程，由于本方法利用E陣元素結(jié)構(gòu)的特點省去大量零元素的無效計算，因此比LDU三角分解法要快約65%～75%，比因子表法要快約60%。

（3）零部件供應(yīng)商和產(chǎn)品庫存逐漸消失；

（4）通過搜索引擎和眾包的推廣，網(wǎng)絡(luò)平臺公眾中的創(chuàng)新創(chuàng)業(yè)者可以充分參與企業(yè)技術(shù)孵化和創(chuàng)新研究。

2.2 跨界融合技術(shù)變革下的3D打印云平臺分布式智能制造創(chuàng)新模式的建立

隨著物聯(lián)網(wǎng)、云計算、大數(shù)據(jù)挖掘等新興技術(shù)產(chǎn)業(yè)深度融入各行業(yè)領(lǐng)域，企業(yè)的業(yè)務(wù)邊界變得模糊不清，這種改變將深度影響高興企業(yè)的生產(chǎn)與制造模式，甚至重構(gòu)企業(yè)內(nèi)涵和組織架構(gòu)。在這一大變局下，企業(yè)勢必將進行跨界融合，進行多領(lǐng)域多范圍的創(chuàng)新合作，基于此，在全價值供應(yīng)鏈模式的基礎(chǔ)上再提出一種可跨界融合技術(shù)變革模式的 3D 打印分布式制造方式。該模式下，虛擬 VR 決策層替代了企業(yè)實際的決策管理層，而工商一體化的產(chǎn)品自制轉(zhuǎn)變?yōu)橥獍a(chǎn)品制造模式。

3 消費級3D打印云平臺的關(guān)鍵技術(shù)

針對深入落實創(chuàng)新驅(qū)動發(fā)展戰(zhàn)略和制造強國戰(zhàn)略中“拓寬社會資源與大眾創(chuàng)業(yè)創(chuàng)新對接通道”的需求，以“互聯(lián)網(wǎng)+3D 打印+創(chuàng)新創(chuàng)意”的消費服務(wù)新模式為主線，消費級3D 打印云平臺旨在突破3D 打印直接建模、超大規(guī)模三維數(shù)據(jù)并行處理、3D 打印物體精準彩色上色、三維模型知識產(chǎn)權(quán)保護等核心關(guān)鍵技術(shù)。其中，針對消費級3D 打印應(yīng)用的并發(fā)性高的特點，超大規(guī)模三維數(shù)據(jù)并行處理技術(shù)旨在攻克超大規(guī)模3D 數(shù)據(jù)并行處理資源預(yù)測及優(yōu)化調(diào)度技術(shù)，實現(xiàn)處理請求與資源需求的快速匹配，形成3D 打印在線處理云服務(wù)平臺基礎(chǔ)軟件框架，且具備萬人以上同時在線的支撐能力。

圖1

圖2

4 超大規(guī)模三維數(shù)據(jù)并行處理技術(shù)的實現(xiàn)

在超大規(guī)模三維數(shù)據(jù)并行處理技術(shù)與工具的研究過程中，以超大規(guī)模三維數(shù)據(jù)的并行處理和切片技術(shù)為主線，需要先開展智能調(diào)度技術(shù)和彩色切片技術(shù)的研究，然后實現(xiàn)云服務(wù)平臺基礎(chǔ)架構(gòu)的研究。其中，在智能調(diào)度技術(shù)方面，擬建立針對三維數(shù)據(jù)并行處理任務(wù)的性能預(yù)測模型，形成基于統(tǒng)計學(xué)習(xí)的智能化資源供給和調(diào)度方法，并引入應(yīng)用行為感知的自適應(yīng)負載評估與自動化容器編排技術(shù)，實現(xiàn)資源調(diào)節(jié)功能從基于規(guī)則的單向自動化處理模式轉(zhuǎn)變?yōu)橹R驅(qū)動的反饋自調(diào)節(jié)模式，充分提升軟件過程的智能化水平，支持超大規(guī)模三維數(shù)據(jù)并行處理的持續(xù)高效運行環(huán)境。在并行彩色切片技術(shù)方面，彩色切片是實現(xiàn)設(shè)計模型向生產(chǎn)指令轉(zhuǎn)換的重要橋梁，通過可打印性檢查與修復(fù)技術(shù)確保模型可打印，通過紋理、微結(jié)構(gòu)識別與切片，實現(xiàn)模型描述信息向打印路徑信息的轉(zhuǎn)換，通過并行切片技術(shù)，切實提高切片效率。最后，基于已有的云計算和云制造平臺研究成果，構(gòu)建高并發(fā)、彈性擴展、支持容器和容器編排的3D 打印在線處理云服務(wù)平臺架構(gòu)，實現(xiàn)在線建模、切片引擎、智能調(diào)度引擎、色彩校正等工具的集成，形成3D 打印在線處理云服務(wù)軟件平臺，為3D 打印創(chuàng)新創(chuàng)意平臺應(yīng)用示范提供基礎(chǔ)架構(gòu)和軟件支撐。

4.1 彩色3D打印切片技術(shù)

彩色3D 打印切片技術(shù)的研究以技術(shù)流程為驅(qū)動，首先對模型的可打印性做檢查分析，對影響打印的缺陷模型進行修復(fù)；其次計算初始切片路徑，識別凹凸紋理、微結(jié)構(gòu)，并修正初始切片路徑；最后對切片路徑賦予顏色信息，根據(jù)3D 打印描述數(shù)據(jù)規(guī)范，輸出打印路徑文件，驅(qū)動打印機進行彩色模型3D 打印。其實施路線圖如圖1 所示。

（1）對彩色3D 打印需求進行調(diào)研，明確數(shù)據(jù)轉(zhuǎn)換的轉(zhuǎn)換格式、精度、范圍需求，調(diào)研3D 打印機對打印模型數(shù)據(jù)的要求，明確數(shù)據(jù)處理需求，調(diào)研模型可打印性檢查修復(fù)需求，調(diào)研基礎(chǔ)彩色切片技術(shù)需求，調(diào)研分析凹凸紋理識別、微結(jié)構(gòu)識別以及打印路徑修復(fù)的數(shù)據(jù)、精度、功能、性能等需求。

（2）對彩色3D 打印切片涉及的關(guān)鍵技術(shù)進行攻關(guān)。設(shè)計3D打印數(shù)據(jù)格式規(guī)范方案、可打印性檢查與修復(fù)方案、彩色模型切片方案、凹凸紋理及微結(jié)構(gòu)切片方案等。

（3）根據(jù)系統(tǒng)設(shè)計方案，對上述關(guān)鍵技術(shù)與算法模塊開展研發(fā)工作。

（4）對研發(fā)的彩色3D 打印切片進行實際數(shù)據(jù)收集、測試；集成到任務(wù)3 研發(fā)的軟件系統(tǒng)平臺中，完成并行彩色3D 打印切片工具的研發(fā)和集成。

4.2 面向超大規(guī)模計算場景的智能調(diào)度并行處理技術(shù)

面向超大規(guī)模計算場景的智能調(diào)度并行處理技術(shù)以數(shù)據(jù)并行處理平臺為基礎(chǔ)，圍繞云計算與數(shù)據(jù)并行處理技術(shù)，首先構(gòu)建支持3D 打印任務(wù)提交與執(zhí)行的基礎(chǔ)云平臺；然后基于運行時監(jiān)測與日志數(shù)據(jù)對3D 打印任務(wù)進行性能建模，實現(xiàn)目標驅(qū)動的容量規(guī)劃模型；其次面向超大規(guī)模計算場景支持3D 打印任務(wù)的智能調(diào)度，實現(xiàn)調(diào)度目標靈活可變的智能調(diào)度框架；最后基于機器學(xué)習(xí)預(yù)測3D打印任務(wù)的負載行為，實現(xiàn)資源在線優(yōu)化機制。本研究的實施路線圖如圖2 所示。

（1）基于云計算技術(shù)與數(shù)據(jù)并行處理技術(shù)，實現(xiàn)基于容器虛擬化技術(shù)的面向3D 打印并行處理任務(wù)的基礎(chǔ)云平臺，支持3D 打印任務(wù)的并行執(zhí)行，支持任務(wù)的完整生命周期管理，提供可視化操作界面、可擴展編程接口、系統(tǒng)監(jiān)測日志、故障診斷工具等基礎(chǔ)服務(wù)。

（2）對3D 打印任務(wù)進行預(yù)處理和模型分析，調(diào)研3D 打印任務(wù)不同于其他主流大數(shù)據(jù)分析任務(wù)的特性，研究資源需求分析的性能模型、資源細粒度調(diào)節(jié)機制和智能化資源調(diào)度策略，并據(jù)此建立容量規(guī)劃模型、智能調(diào)度框架和資源在線優(yōu)化機制。

（3）根據(jù)前期調(diào)研和分析結(jié)果，進行功能模塊的設(shè)計與研發(fā)，實現(xiàn)上述路線圖中的系統(tǒng)，在研發(fā)過程中設(shè)計單元測試用例以保障代碼質(zhì)量。

（4）對功能模塊進行集成，在測試環(huán)境中部署系統(tǒng)，并通過版本的不斷迭代更新完善整個系統(tǒng)。

4.3 3D 打印在線處理云服務(wù)平臺架構(gòu)研究

面向3D 打印在線處理過程中超大規(guī)模三維模型的并行處理、并行峰值時擴展新的計算資源以及超大規(guī)模并行調(diào)度等的需求，開展3D 打印在線處理云服務(wù)平臺架構(gòu)研究，基于已有的云計算和云制造平臺研究成果，構(gòu)建高并發(fā)、彈性擴展、支持容器和容器編排的3D 打印在線處理云服務(wù)平臺架構(gòu)，為3D 打印創(chuàng)新創(chuàng)意平臺應(yīng)用示范提供基礎(chǔ)架構(gòu)和支撐。

5 結(jié)論

消費級3D 打印云平臺將有效降低3D 打印制造技術(shù)應(yīng)用門檻，打通萬眾創(chuàng)新與3D 打印制造的對接通道。超大規(guī)模三維數(shù)據(jù)并行處理技術(shù)通過研究凹凸紋理、彩色信息、微結(jié)構(gòu)等描述數(shù)據(jù)的識別和切片處理技術(shù)，實現(xiàn)描述信息向打印信息的轉(zhuǎn)換；通過研究并行真彩色切片引擎，切實提升切片性能。通過研究3D 打印云服務(wù)中底層資源的細粒度管理控制功能，突破超大規(guī)模計算場景中資源智能調(diào)度和任務(wù)并行處理技術(shù)，支持基于在線學(xué)習(xí)的資源動態(tài)調(diào)節(jié)和負載均衡機制等，基于超大規(guī)模三維數(shù)據(jù)并行處理技術(shù)的實現(xiàn)，消費級3D 打印云平臺將為搭建高并發(fā)、彈性擴展的3D 打印軟件云平臺架構(gòu)提供技術(shù)基礎(chǔ)。