人工智能大模型在工業(yè)機器人領(lǐng)域的規(guī)劃及探索

彭先濤，王鵬

（1.浙江恒逸集團有限公司，浙江 杭州 313200；2.浙江大學(xué)—恒逸全球未來先進技術(shù)研究院，浙江 杭州 313200）

1 引言

工業(yè)機器人已經(jīng)成為工業(yè)生產(chǎn)中常見的、必不可少的重要設(shè)備之一，為工業(yè)的發(fā)展帶來了極大的便利。由于工業(yè)場景眾多，需求多樣，為滿足實際業(yè)務(wù)場景的需求，工業(yè)機器人在現(xiàn)場的形式由傳統(tǒng)的機械臂，逐步演變?yōu)槎ㄖ苹腁GV、龍門桁架機器人、AGV 上搭載機械臂等多種形式。隨著新一代信息技術(shù)的賦能，工業(yè)機器人上搭載工業(yè)相機（面陣相機、線掃相機、3D 相機等）、智能溫度傳感器、高靈敏度麥克風(fēng)等傳感器可解決更加復(fù)雜的需求，從而大幅提升工業(yè)機器人的利用率，產(chǎn)生更多的實際價值。

人工智能的主要應(yīng)用為將訓(xùn)練好的推理/檢測模型進行部署，對實時傳輸?shù)膱D像等數(shù)據(jù)進行處理，根據(jù)輸出結(jié)果執(zhí)行下一步的動作；該方式在固定場景中占有絕對優(yōu)勢。工業(yè)機器人在運動過程中，若采集到其他異常數(shù)據(jù)，在模型未經(jīng)訓(xùn)練的情況下，該異常不會被識別到，存在一定的隱患。人工智能大模型的出現(xiàn)，在提升檢測的精度的同時，賦予了工業(yè)機器人更多的能力，對于制造業(yè)朝著智能制造的方向發(fā)展有很大的促進作用。

2 人工智能大模型在工業(yè)機器人方面的規(guī)劃

工業(yè)機器人應(yīng)用較多的企業(yè)已具備良好的數(shù)字化基礎(chǔ)[1]，結(jié)合實際需求，對人工智能大模型在工業(yè)機器人領(lǐng)域的應(yīng)用進行整體設(shè)計規(guī)劃。

2.1 工業(yè)機器人層

部署在現(xiàn)場的工業(yè)機器人，目前有各種形式，如多關(guān)節(jié)機械臂、多自由度桁架機器人、搭載輕載機械臂的AGV 等，以滿足各種作業(yè)需求。在工業(yè)機器人上搭載高清攝像頭，實現(xiàn)抓取精確定位、偏差糾正、缺陷檢測和尺寸測量等功能，是成熟且常見的解決方案；也可在工業(yè)機器人上搭載熱成像儀、光譜儀、氣體分析儀和麥克風(fēng)等，采集不同場景的數(shù)據(jù)，充分發(fā)揮工業(yè)機器人的能力。

工業(yè)機器人在我國的應(yīng)用面較廣，涵蓋流程、離散制造業(yè)的多個場景，非標(biāo)定制化工業(yè)機器人在國產(chǎn)化方面具備較為明顯的優(yōu)勢，定制化程度、靈活度高，但也存在一定的挑戰(zhàn)，如：整體長周期穩(wěn)定運行，MTBF（Mean Time Between Failure，平均無故障工作時間）提升；控制器、高精度電機等核心部件國產(chǎn)替換；大規(guī)模調(diào)度系統(tǒng)工業(yè)軟件國產(chǎn)化；多關(guān)節(jié)高端機器人國產(chǎn)化突破等。

2.2 通信接口層

通信接口是工業(yè)現(xiàn)場的基礎(chǔ)需求，其穩(wěn)定性是第一位。該層的應(yīng)用設(shè)計水平差距較大，需對工業(yè)網(wǎng)絡(luò)、辦公網(wǎng)絡(luò)進行統(tǒng)一規(guī)劃，建立相應(yīng)的安全措施，確保網(wǎng)絡(luò)的穩(wěn)定。常見的應(yīng)用效果較好的方案為：工業(yè)網(wǎng)絡(luò)采用工業(yè)級交換機（如西門子、菲尼克斯等工業(yè)品牌的網(wǎng)管型交換機）組件光纖環(huán)網(wǎng)，辦公網(wǎng)絡(luò)采用商用交換機（如H3C、華為等品牌）組件IT 網(wǎng)絡(luò)，二者之間采用防火墻防護。

工業(yè)機器人、相機等傳感器通信協(xié)議眾多，該層需確保數(shù)據(jù)傳輸?shù)臏?zhǔn)確性、時效性，可考慮利用5G 傳輸圖片、視頻等大尺寸數(shù)據(jù)[2]，其他協(xié)議交互檢測結(jié)果、指令等數(shù)據(jù)。對于流程行業(yè)，采用RTU、5G 等無線通信技術(shù)是較為實用穩(wěn)妥的方案。通信接口的穩(wěn)定性要兼顧高并發(fā)、可擴展性、兼容性等。涉及到跨公司、跨平臺間的數(shù)據(jù)傳輸時，可考慮構(gòu)建工業(yè)互聯(lián)網(wǎng)平臺，加入?yún)^(qū)塊鏈、量子通信等技術(shù)以增強通信的安全性。

2.3 模型層

隨著計算機視覺、人工智能等的發(fā)展，為模型層提供了較為完整的理論，學(xué)者在此也做了諸多理論、應(yīng)用的研究[3]。模型層應(yīng)用的關(guān)鍵步驟為搜集數(shù)據(jù)、處理數(shù)據(jù)、模型訓(xùn)練和部署模型，其核心是通過訓(xùn)練出的模型解決生產(chǎn)過程中“不變”的需求（因生產(chǎn)過程相對穩(wěn)定重復(fù)，對產(chǎn)品、設(shè)備等的檢測需求相對固定），如各種缺陷檢測模型、測量模型、預(yù)測模型等，最終應(yīng)用的模型是AI解決復(fù)雜問題的能力、產(chǎn)生價值的體現(xiàn)。對常用的幾種模型進行簡介如下。

（1）CV 模型 現(xiàn)場涉及圖像、視頻類的檢測/識別均為計算機視覺識別類，采用CV 模型是可靠、成熟的解決方案。在工業(yè)現(xiàn)場實際應(yīng)用中，需要在檢測準(zhǔn)確性、節(jié)拍、穩(wěn)定性和性價比等方面進行綜合考慮，確保AI 通過工程項目順利落地、穩(wěn)定運行，才能產(chǎn)生價值。如尺寸偏大、結(jié)構(gòu)復(fù)雜的工業(yè)產(chǎn)品需進行外觀缺陷檢測，理想的方案是對該產(chǎn)品抓取至空中進行全方位無死角的拍攝與檢測，實際運行時有兩個較大的風(fēng)險點：節(jié)拍較慢，會影響生產(chǎn)；動設(shè)備損耗大、故障率高、運行成本高。根據(jù)經(jīng)驗，最優(yōu)工程解決方案為采用靜設(shè)備設(shè)計，對產(chǎn)品確實拍攝不到的部位的缺陷進行評估，若缺陷發(fā)生概率低、影響較小，可以不予考慮，否則需對工藝、設(shè)備、管理等進行改進，降低缺陷頻發(fā)的情況。

對于只檢測有無缺陷的場景，可采用傳統(tǒng)算法，如灰度識別、SVM（Support Vector Machine，支持向量機）、SIFT（Scale-Invariant Feature Transform，尺度不變特征變換）、HOG（Histogram of Oriented Gradient，方向梯度直方圖）、ORB（Oriented FAST and Rotated BRIEF，快速特征點提取和描述）和LBP（Local Binary Patterns，局部二值模式）等，以節(jié)約算力和投資。對于需要標(biāo)注出缺陷位置、缺陷種類、根據(jù)缺陷嚴(yán)重程度區(qū)分等級等的復(fù)雜任務(wù)，采用CNN 神經(jīng)網(wǎng)絡(luò)算法是最優(yōu)的解決方案[4]，如YOLO、VGG、ResNet、AlexNet 和RevNet 等。先采集樣本，再將處理后的樣本（標(biāo)注缺陷，加標(biāo)簽）通過算法模型進行訓(xùn)練，模型達到預(yù)設(shè)的檢測精度后部署該模型使用。

通過框架使用相關(guān)算法模型進行訓(xùn)練時，訓(xùn)練過程目前來說還是黑匣子（即難以解釋），樣本的質(zhì)量、數(shù)量對最終的檢測模型影響很大。在工程應(yīng)用中，增加實際樣本（來源于生產(chǎn)實際，非人為制造的樣本；標(biāo)注質(zhì)量要高）數(shù)量可顯著提升模型的訓(xùn)練結(jié)果。為使得算法按照預(yù)期效果輸出推理模型，學(xué)者做了諸多工作，其中構(gòu)建損失函數(shù)是較為常見且工程上較易實現(xiàn)的，如Berkan Demirel 等提出新的元調(diào)損失函數(shù)，使得檢測結(jié)果有了顯著提升。在工程應(yīng)用中，結(jié)合實際情況設(shè)計損失函數(shù)會取得較好的效果。

（2）機器人預(yù)測模型 采集并獲取到工業(yè)機器人的運行作業(yè)數(shù)據(jù)，如動作時長、負載量、電流、電壓、運行軌跡、電池電量和充放電狀態(tài)等，采用Transformer 或GNN 等訓(xùn)練預(yù)測模型[5]，對工業(yè)機器人的維護狀態(tài)、故障等進行預(yù)測，實現(xiàn)工業(yè)機器人的全生命周期管理，合理規(guī)劃工業(yè)機器人及其備件的使用，避免帶病運行，提升工業(yè)機器人的使用壽命與效率。

（3）機器人調(diào)度模型 結(jié)合排產(chǎn)任務(wù)、在機任務(wù)等生產(chǎn)數(shù)據(jù)對需要作業(yè)任務(wù)進行預(yù)測，根據(jù)機器人的執(zhí)行任務(wù)情況、本身狀態(tài)、任務(wù)優(yōu)先級、動作距離等數(shù)據(jù)，對機器人的工作任務(wù)、AGV 調(diào)度等進行預(yù)排，將工業(yè)機器人與生產(chǎn)狀況進行實時匹配，使得工業(yè)機器人的能力得以充分發(fā)揮、提升機器人的利用率，并能提升機器人在應(yīng)用時的靈活性、智能化。

2.4 大模型層

以ChatGPT 為代表人工智能大模型帶動了一系列通用人工智能（Artificial General Intelligence，AGI）技術(shù)的迅速發(fā)展，AGI 已經(jīng)掀起新一輪信息技術(shù)革命，成為一種先進的生產(chǎn)力[6]。人工智能大模型的快速發(fā)展也引起了工業(yè)界的關(guān)注，本文基于大模型相關(guān)的理論基礎(chǔ)與發(fā)展趨勢提出了其對工業(yè)機器發(fā)展的影響[7]，以期為人工智能大模型在工業(yè)中落地貢獻力量。

大模型在工業(yè)中的核心是解決“變”——由于工業(yè)的復(fù)雜性，生產(chǎn)過程中會出現(xiàn)一些異常情況，如復(fù)雜設(shè)備的突發(fā)故障、產(chǎn)品異常等，需要有效的手段對這些“變數(shù)”進行及時的處理，保證生產(chǎn)各項活動的安全平穩(wěn)進行，實現(xiàn)降本增效。大模型層通過各個場景的數(shù)據(jù)持續(xù)訓(xùn)練，提升模型的檢測能力，構(gòu)建基于數(shù)據(jù)更進一步的應(yīng)用場景，發(fā)揮數(shù)據(jù)的價值。人工智能大模型在工業(yè)領(lǐng)域的應(yīng)用探索處于初步階段，為數(shù)據(jù)驅(qū)動式，但可以預(yù)見，未來其發(fā)展會從行業(yè)龍頭企業(yè)率先開始，充分利用其積累的豐富場景的豐富數(shù)據(jù)，從單個場景大模型為突破點，實現(xiàn)行業(yè)大模型的全面發(fā)展。

（1）CV 大模型 計算機視覺（Computer Vision，CV）、大規(guī)模機器學(xué)習(xí)[8]為工業(yè)機器人朝著更加智能化方向發(fā)展提供了理論支撐，結(jié)合AI 技術(shù)、通過機器人搭載的傳感器采集的數(shù)據(jù)（如機器人運動過程中可采集較為全面的場景的圖片、視頻數(shù)據(jù)），可探索工業(yè)行業(yè)機器視覺的應(yīng)用。對于工業(yè)行業(yè)CV 大模型，核心內(nèi)容有兩點：數(shù)據(jù)的獲取、數(shù)據(jù)標(biāo)注的質(zhì)量、高效的訓(xùn)練。

對于CV 大模型的圖像分類/識別任務(wù)，若依賴人工標(biāo)注，恐難以滿足訓(xùn)練數(shù)據(jù)的要求，SA（Segment Anything）的提出為CV 大模型的實現(xiàn)提供了較為可靠的技術(shù)手段。

（2）知識大模型 工業(yè)現(xiàn)場場景眾多，工業(yè)機器人是其中的一環(huán)，涉及的關(guān)系型數(shù)據(jù)、非關(guān)系型數(shù)據(jù)眾多，數(shù)據(jù)蘊含的價值較大。將工業(yè)現(xiàn)場的各種維度的數(shù)據(jù)建立聯(lián)系，構(gòu)建工業(yè)知識大模型，充分發(fā)揮數(shù)據(jù)的價值，讓數(shù)據(jù)來源于業(yè)務(wù)、反哺于業(yè)務(wù)，是一項有意義且有挑戰(zhàn)的工程，知識圖譜的發(fā)展為工業(yè)知識大模型的發(fā)展提供了理論與技術(shù)實現(xiàn)方法。

通過知識圖譜可建立深層次的關(guān)系，構(gòu)建企業(yè)的工業(yè)知識體系，將企業(yè)內(nèi)人員、工藝、設(shè)備、備品備件、物資、物流等相關(guān)數(shù)據(jù)與資源進行整合關(guān)聯(lián)，通過一個點能夠提供直接聯(lián)的、潛在關(guān)聯(lián)的信息與知識，提升企業(yè)生產(chǎn)經(jīng)營效率[9]。

（3）LLM 大模型 ChatGPT 將人工智能對通用自然語言任務(wù)的理解與生成能力提升到新的高度[10]，大量相關(guān)工作推動了LLM 大模型的發(fā)展，其理論、應(yīng)用較為健全。在工業(yè)行業(yè)中，有了足夠的數(shù)據(jù)基礎(chǔ)與應(yīng)用后，可以實現(xiàn)類似ChatGPT 的場景功能，能迅速提煉關(guān)鍵點、完成報表分析等常規(guī)作業(yè)。在LLM 大模型的使用時，為確保每次生成語句的真實性，如Amos Azaria[11]等利用LLM 的隱藏層激活來確定語句的真實性。

2.5 數(shù)據(jù)處理

工業(yè)現(xiàn)場存在一定的復(fù)雜性、隨機性與不確定性，會導(dǎo)致現(xiàn)場的圖片、聲音等存在背景噪聲，在訓(xùn)練前需要對數(shù)據(jù)進行預(yù)處理以確保訓(xùn)練結(jié)果，為了避免復(fù)雜結(jié)構(gòu)的數(shù)據(jù)造成“維度災(zāi)難”，可先通過主成分分析（Principal Component Analysis，PCA）、等距映射、局部線性嵌入（Locally Linear Embedding，LLE）等方法對數(shù)據(jù)進行降維處理，確保模型能提取到有效特征。在人工智能大模型訓(xùn)練時，對于某些場景可能會存在少樣本甚至零樣本的情況，該部分的研究有助于完善工業(yè)大模型。

2.6 IT 系統(tǒng)層

IT 系統(tǒng)支撐了企業(yè)各業(yè)務(wù)的運行，如OA、SCM、SRM、MES、EAM 與自動化設(shè)備配套集成的信息系統(tǒng)等，結(jié)合企業(yè)實際需求進行規(guī)劃建設(shè)。IT 系統(tǒng)建設(shè)是一項龐大、復(fù)雜的工程，存在項目周期長、項目成功率低、上線后使用率低等現(xiàn)場，實施時需以滿足業(yè)務(wù)需求為核心，對業(yè)務(wù)深入分析、考慮業(yè)務(wù)增量發(fā)展趨勢、系統(tǒng)性能余量、數(shù)據(jù)庫設(shè)計能力和系統(tǒng)融合擴展能力等進行較為全面的考慮與分析設(shè)計，確保項目能順利落地運行。

IT 系統(tǒng)是與企業(yè)的相關(guān)的業(yè)務(wù)需求緊密結(jié)合，定制化程度較高。隨著大模型的發(fā)展，未來，通過prompt 輸入詳細的業(yè)務(wù)需求，大模型自動創(chuàng)建數(shù)據(jù)庫、自動編程實現(xiàn)功能、自動部署IT 系統(tǒng)等，大幅降低IT 系統(tǒng)實施的復(fù)雜度，更好的助力企業(yè)數(shù)字化轉(zhuǎn)型。

2.7 大數(shù)據(jù)層

數(shù)據(jù)來源于生產(chǎn)經(jīng)營各環(huán)節(jié)，通過大數(shù)據(jù)的應(yīng)用既能實時掌握生產(chǎn)經(jīng)營的情況，又能對生產(chǎn)經(jīng)營的異常情況及時的分析與指導(dǎo)改進等。目前大數(shù)據(jù)的應(yīng)用水平也存在較大的差異，自動化、信息化、數(shù)字化方面建設(shè)建好的企業(yè)，已構(gòu)建自身的數(shù)據(jù)平臺并對大數(shù)據(jù)進行了應(yīng)用。數(shù)據(jù)來源于生產(chǎn)經(jīng)營各環(huán)節(jié)，通過大數(shù)據(jù)的應(yīng)用既能實時掌握生產(chǎn)經(jīng)營的情況，又能對生產(chǎn)經(jīng)營的異常情況進行及時預(yù)測、反饋與指導(dǎo)。

3 總結(jié)與展望

隨著工業(yè)數(shù)字化、智能化的建設(shè)，工業(yè)機器人、智能傳感器等的應(yīng)用廣度、集成深度上升，工業(yè)行業(yè)的數(shù)據(jù)維度、數(shù)據(jù)量均在增加，為工業(yè)行業(yè)大模型的發(fā)展構(gòu)建了基礎(chǔ)。本文對人工智能大模型在工業(yè)機器人的應(yīng)用提出了可落地的架構(gòu)，但由于其涉及的技術(shù)細節(jié)較多，其落地應(yīng)用還有一段路要走。隨著業(yè)務(wù)發(fā)展的需求、技術(shù)發(fā)展的助力，人工智能大模型將為制造業(yè)轉(zhuǎn)型升級提供重要的技術(shù)手段。

人工智能大模型在工業(yè)機器人的發(fā)展方向為工業(yè)機器人自身將集成模型算法、芯片等，提升自身性能、可靠性和易用性；通過千億或萬億級別的參數(shù)預(yù)訓(xùn)練模型，將語言理解、視覺感知、控制等多任務(wù)統(tǒng)一建模，提高機器人的語言理解和自主決策能力；結(jié)合視覺聽覺觸覺等多種感知方式，通過多模態(tài)學(xué)習(xí)和感知，實現(xiàn)對作業(yè)環(huán)境的多模態(tài)理解與融合；通過強化學(xué)習(xí)、遷移學(xué)習(xí)等算法使機器人在運行中持續(xù)學(xué)習(xí)和優(yōu)化，使其能在不同任務(wù)和環(huán)境中快速適應(yīng)與遷移，提高機器人的自適應(yīng)和智能化水平，實現(xiàn)無縫人機協(xié)同安全作業(yè)。未來人工智能大模型在工業(yè)機器人的應(yīng)用將朝著更加智能化、自適應(yīng)、多模態(tài)、易用性和強穩(wěn)定性等方向發(fā)展，不斷進步，助力國產(chǎn)高端的突破，實現(xiàn)更加廣泛和深入的應(yīng)用。隨著工業(yè)數(shù)字化的推進，在國家政策、市場需求等的推動下，相信我國在工業(yè)機器人軟硬件方面一定會逐步突破。各種形態(tài)的工業(yè)機器人在未來會朝著穩(wěn)定性高、使用便捷、智能化程度高等方向發(fā)展。