標準數(shù)字化平臺技術(shù)路徑研究

摘 要：隨著數(shù)字技術(shù)和信息技術(shù)的迅速發(fā)展，標準數(shù)字化平臺逐漸成為標準化領(lǐng)域的重要工具。本文根據(jù)ISO的SMART標準數(shù)字化成熟度劃分方法，探索level 3-4的標準數(shù)字化平臺技術(shù)實現(xiàn)路徑，重點介紹了標準大模型實現(xiàn)知識圖譜、智能問答功能的實現(xiàn)方法，為后續(xù)研究提供了基礎(chǔ)。

關(guān)鍵詞： 標準數(shù)字化，成熟度模型，知識圖譜

DOI編碼：10.3969/j.issn.1002-5944.2024.19.008

0 引 言

近年來，數(shù)字技術(shù)和信息技術(shù)的迅速發(fā)展，標準數(shù)字化平臺逐漸成為標準化領(lǐng)域的重要工具。標準數(shù)字化平臺是一種將標準文獻、標準規(guī)范、標準數(shù)據(jù)等標準化資源進行數(shù)字化、網(wǎng)絡(luò)化、智能化管理的技術(shù)平臺，旨在提高標準的制定、實施和管理效率，促進國家質(zhì)量基礎(chǔ)設(shè)施的數(shù)字化轉(zhuǎn)型[1]，標準數(shù)字化平臺建設(shè)對數(shù)字中國發(fā)展有著重要的戰(zhàn)略意義?！秶覙藴驶l(fā)展綱要》《質(zhì)量強國建設(shè)綱要》等頂層規(guī)劃文件中，均提出要發(fā)展新型標準化工具，探索建立全國統(tǒng)一協(xié)調(diào)、分工負責(zé)的標準數(shù)字化公共服務(wù)平臺，為各方廣泛參與標準化工作提供有效途徑。

1 標準數(shù)字化平臺現(xiàn)狀

國外標準數(shù)字化平臺的發(fā)展可以追溯到20世紀90年代。美國國家標準局（ANSI）于1993年建立了數(shù)字圖書館，旨在將國家標準轉(zhuǎn)化為數(shù)字格式，并免費向公眾提供。此后，許多國家和標準化組織也開始意識到標準數(shù)字化的重要性，并開始建立自己的標準數(shù)字化平臺[2]。目前，國際標準化組織（ISO）和歐洲標準化協(xié)會（ESA）已經(jīng)建立了自己的標準數(shù)字化平臺，分別為ISOReference Platform（ISO-RF）和ESA-RF。ISO-RF是一個開放的平臺，旨在為全球標準化組織提供標準文獻、標準規(guī)范、標準數(shù)據(jù)等的數(shù)字化服務(wù)。ESA-RF是一個專門為歐洲標準化組織服務(wù)的平臺，提供標準文獻、標準規(guī)范、標準數(shù)據(jù)等的在線檢索、下載、管理等服務(wù)。除了國際標準化組織之外，許多國家和標準化組織也建立了自己的標準數(shù)字化平臺。例如，中國國家標準化管理委員會（SAC）建立了國家標準數(shù)字圖書館，提供了國家標準文獻、標準規(guī)范、標準數(shù)據(jù)等的數(shù)字化服務(wù)。此外，日本、韓國、澳大利亞、加拿大等國家和標準化組織也建立了自己的標準數(shù)字化平臺。

國內(nèi)標準數(shù)字化平臺的發(fā)展相對較晚，但發(fā)展速度較快。2000年，中國國家標準化管理委員會（SAC）建立了國家標準文獻數(shù)據(jù)庫，提供國家標準文獻的數(shù)字化服務(wù)。此后，國內(nèi)標準化組織也陸續(xù)建立了自己的標準數(shù)字化平臺。目前，國內(nèi)已經(jīng)建立了多個標準數(shù)字化平臺[3]，例如，中國標準化協(xié)會（CAS）建立的中國標準數(shù)字圖書館、中國標準化研究院（CNIS）建立的中國標準文獻信息平臺、中國電子信息產(chǎn)業(yè)發(fā)展研究院（CESI）建立的中國標準信息服務(wù)平臺等。這些平臺提供標準文獻、標準規(guī)范、標準數(shù)據(jù)等的數(shù)字化服務(wù)，并具有檢索、下載、管理等功能。

2 發(fā)展與挑戰(zhàn)

國內(nèi)外標準化組織都積極建立自己的標準數(shù)字化平臺，為標準化文獻、標準規(guī)范、標準數(shù)據(jù)等的數(shù)字化服務(wù)提供支持。但標準數(shù)字化是一個長期而復(fù)雜的任務(wù)。隨著數(shù)據(jù)量的不斷增長，標準的數(shù)據(jù)要素構(gòu)成涵蓋越來越多，標準數(shù)字化面臨著越來越大的挑戰(zhàn)[4]。一是數(shù)字標準化中的重點技術(shù)是機器可讀，需要規(guī)范地描述數(shù)據(jù)結(jié)構(gòu)和內(nèi)容格式，但目前各行業(yè)機器可讀標準還沒有統(tǒng)一的定義和分類，這導(dǎo)致了標準數(shù)字化難以實現(xiàn)。二是標準數(shù)字化要廣泛應(yīng)用，還需結(jié)合多個領(lǐng)域，如法律、技術(shù)和業(yè)務(wù)，這使得標準數(shù)字化的研究變得更加困難。三是標準數(shù)字化除了可讀外，還需要正確被機器理解，能根據(jù)復(fù)雜場景輸出可用的結(jié)構(gòu)化文本信息，結(jié)合智能AI模型進行應(yīng)用研究，復(fù)雜性地對較高，需要投入大量的人力、物力和財力，這使得許多組織望而卻步。

因此，如何建立一個高效、豐富、全面的標準數(shù)字化平臺就成了助力標準化高質(zhì)量發(fā)展、助推新質(zhì)生產(chǎn)力的關(guān)鍵問題。

3 標準數(shù)字化成熟度模型

如何實現(xiàn)標準的機器可讀是實現(xiàn)標準數(shù)字化平臺的關(guān)鍵問題。一般來講，研究機器可讀離不開分級模型，可利用計算機技術(shù)和人工智能技術(shù)，為機器可讀標準提供分類和分級的框架。在標準領(lǐng)域，針對標準的特殊性，ISO的SMART標準提供了一種標準數(shù)字化成熟度級別劃分，它將機器可讀融入到標準數(shù)字化技術(shù)各個階段，體現(xiàn)了標準數(shù)字化和標準的機器互操作性的關(guān)聯(lián)關(guān)系，基本為未來標準機器可讀制定了明確的技術(shù)路線圖，也是標準數(shù)字化發(fā)展路線的重要依據(jù)，如圖1所示。

標準數(shù)字化成熟度分級中，level_0表示傳統(tǒng)的紙質(zhì)標準，沒有和機器相交互。level_1表示電子化的文檔，可以在計算機上展示內(nèi)容，比如我們現(xiàn)在常用的pdf版的電子標準。Level_2表示機器可讀文檔，這些文檔內(nèi)容經(jīng)過數(shù)據(jù)處理加工，成為結(jié)構(gòu)化的信息文本；這兩級標準代表著標準可以實現(xiàn)形式信息化和基本字符的定位，目前來說，2級水平也是國際標準和部分先進國家標準普遍能達到的級別。Level_3表示機器可讀和可執(zhí)行內(nèi)容。這個級別重點突出了信息元素之間的關(guān)聯(lián)關(guān)系，可以實現(xiàn)多目標關(guān)聯(lián)，根據(jù)不同需求對跨文檔的內(nèi)容進行加工處理。Level_4表示機器可解釋內(nèi)容，能學(xué)習(xí)分析和自動驗證，實現(xiàn)智能推送，問題回答等功能；這兩級主要側(cè)重標準語料的含義分析，以及相關(guān)聯(lián)信息知識的獲取與學(xué)習(xí)，比如，DIN基于自身的產(chǎn)業(yè)實踐探索，按照XML多標簽的方式，將已有標準構(gòu)建成“機器可讀”的程度，達到了3-4級。Level_5表示機器可控內(nèi)容，實現(xiàn)在數(shù)字標準方面具有認知能力的人工智能系統(tǒng)，可以根據(jù)標準內(nèi)容的修訂，自動決策過程采用。Level_5級屬于遠期的目標，目前處于理論探索階段。這0到5級成熟度模型中，機器對于信息數(shù)據(jù)分類細化和智能化要求逐步提高。因國內(nèi)標準機構(gòu)發(fā)展水平不均，總體數(shù)字化水平還處于1-2級標準，投入力度大的平臺，如國家標準館、中國標網(wǎng)、中國知網(wǎng)等已在專業(yè)領(lǐng)域開展3-4級標準數(shù)字化的探索。

4 標準數(shù)字化平臺建設(shè)技術(shù)路徑

標準數(shù)字化平臺實現(xiàn)關(guān)鍵在于底層標準數(shù)據(jù)的處理和知識庫的建立。已有研究表明，數(shù)據(jù)處理技術(shù)路徑可以為：數(shù)字化、結(jié)構(gòu)化、知識化、網(wǎng)絡(luò)化、圖譜化[5]。其本質(zhì)是在明確標準數(shù)據(jù)的完整性、準確性、關(guān)聯(lián)性、可讀性的基礎(chǔ)上，實現(xiàn)標準數(shù)據(jù)的知識化、協(xié)同化、交互化、智能化等要求。

本研究簡化了數(shù)據(jù)知識庫的獲取方式，采用json格式作為基礎(chǔ)，通過信息采集、數(shù)據(jù)清洗、圖譜生成三個數(shù)據(jù)處理過程，外加使用采用自回歸空白填充的自監(jiān)督訓(xùn)練方式，實現(xiàn)從電子化文檔到知識庫的轉(zhuǎn)化。信息化時代的標準文本加工，已經(jīng)讓大部分紙質(zhì)標準轉(zhuǎn)化成了pdf電子檔，所以本研究在采集過程中，主要針對還未經(jīng)過ORC識別標準電子文本，將符合要求的標準電子版標準作為信息采集過程的輸入，采集過程解決標準文本的信息化和結(jié)構(gòu)化問題。數(shù)據(jù)清洗過程針對信息采集過程的輸出，利用規(guī)則將標準數(shù)據(jù)進行加工并整合打上標簽，形成json條目的干凈數(shù)據(jù)，完成標準數(shù)據(jù)知識化和關(guān)系立體化。圖譜生成過程主要將形成的語料進行關(guān)聯(lián)性分析，構(gòu)建知識庫，完成標準數(shù)據(jù)圖譜化。最后利用自回歸空白填充模型的自監(jiān)督訓(xùn)練方式搭建標準大模型，用于支撐標準智能化中對比分析、智能填寫、智能問答等標準數(shù)字化平臺功能。下文將針對部分內(nèi)容進行重點說明。

4.1 標準數(shù)據(jù)清洗加工

本研究中數(shù)據(jù)清洗主要是對OCR處理后的數(shù)據(jù)進行篩選、轉(zhuǎn)換、合并、去重的過程，此過程可以消除數(shù)據(jù)中的錯誤、缺失、重復(fù)、異常等問題。數(shù)據(jù)清洗主要根據(jù)篩選規(guī)則，利用Pandas工具，將問題數(shù)據(jù)去除，實現(xiàn)對ORC后標準數(shù)據(jù)的重新檢查和校驗，提高數(shù)據(jù)質(zhì)量?；趥鹘y(tǒng)技術(shù)文檔的電子版標準多通過圖片或pdf文檔轉(zhuǎn)換而來，內(nèi)容存在大量不可讀標簽、文本等，其內(nèi)容無法直接使用，該過程基本步驟為：數(shù)據(jù)收集、數(shù)據(jù)預(yù)處理、數(shù)據(jù)清洗、數(shù)據(jù)驗證。通過這幾步，可以將臟數(shù)據(jù)清洗為可用的原始數(shù)據(jù)。如圖2所示。

從圖中可見，在采集標準ICS和CCS碼信息時，數(shù)據(jù)采集端的輸入數(shù)據(jù)包含很多無用的標簽信息和非必要元素，目標信息被隔離分散。因此，經(jīng)過數(shù)據(jù)清洗后，需要提取全部有效數(shù)據(jù)，然后通過規(guī)則將目標信息內(nèi)容提取拼接。對于此類數(shù)據(jù)，常用的判斷規(guī)則可參考“國際標準分類法”中ICS與CCS的固定格式，判斷其內(nèi)容的含義。經(jīng)過類似清洗拼接過程，最終獲得有效的結(jié)構(gòu)化數(shù)據(jù)，還可以通過規(guī)則定義，解析出其它有含義的信息，如：圖片、表格、指標項、公式等信息。

在此基礎(chǔ)上，對最終數(shù)據(jù)進行初步的標記分類，記錄在json文件中，形成可用的“語料”，為后期構(gòu)建標準大模型提供有效輸入。利用json架構(gòu)標識時，應(yīng)考慮層次、要素的多對多關(guān)系，有了合理的架構(gòu)設(shè)計，才能提高標識的效率。一是要明確目的，要確定結(jié)構(gòu)化標準的分類方式，如基礎(chǔ)標準、管理標準、技術(shù)標準等，以此來明確標準內(nèi)容所包含的內(nèi)容要素。二是要根據(jù)不同分類的標準構(gòu)成要素的關(guān)聯(lián)關(guān)系，形成可以覆蓋屬性、要素、特殊要求等關(guān)鍵信息，能夠反映標準內(nèi)容的結(jié)構(gòu)關(guān)系。三是要定義json標識，簡潔、明確，且相互之間確保唯一性，能快速識別。目前該過程初始標識需要手動完成，后續(xù)在數(shù)據(jù)使用中，可以利用訓(xùn)練學(xué)習(xí)，對已有數(shù)據(jù)增加標識。

4.2 知識圖譜構(gòu)建

構(gòu)建知識圖譜一直以來有較多學(xué)者研究，傳統(tǒng)的方法是將標準信息解構(gòu)后，按照人員、單位、引用關(guān)系、系列文本、體系覆蓋等因素作為關(guān)聯(lián)關(guān)系，將眾多標準相關(guān)聯(lián)形成圖譜。而本研究主要支撐標準數(shù)字化平臺的智能問答功能，最終要形成一段語義豐富、內(nèi)容準確的智能回復(fù)，因此采用簡單化神經(jīng)網(wǎng)絡(luò)Word2Vec模型來構(gòu)建語料間的知識圖譜。如圖3所示。

先通過模型標記數(shù)據(jù)集中語料分塊單詞，利用One-hot encoder將字詞轉(zhuǎn)化為單獨的離散符號，再將離散符號轉(zhuǎn)化為低維度的稠密向量，利用提取命令找出關(guān)鍵詞中關(guān)聯(lián)度最高的詞匯，形成詞向量。在構(gòu)建圖譜關(guān)系時，還可將所有關(guān)聯(lián)的產(chǎn)品名稱作為獨立的產(chǎn)品庫合集，當用戶鍵入相關(guān)或類似的產(chǎn)品時，能快速地從中提取到關(guān)聯(lián)的指標項。

5 實驗結(jié)果對比

在實驗中，如輸入“蛋白質(zhì)的指標有哪些？”的時候，得益于構(gòu)建的詞庫，模型可快速地從用戶輸入內(nèi)容中提取到“蛋白質(zhì)”“指標”等有效的關(guān)鍵詞。通過對比某通用大模型對“蛋白質(zhì)”相關(guān)指標的輸出，相同問題下，標準大模型的回答更為專業(yè)，并能根據(jù)需要展示更多相關(guān)的內(nèi)容。如圖4所示。

6 結(jié) 語

本文根據(jù)ISO的SMART標準數(shù)字化成熟度劃分方法，探索level 3-4的標準數(shù)字化技術(shù)實現(xiàn)路徑，重點介紹了標準大模型實現(xiàn)知識圖譜、智能問答功能的實現(xiàn)方法。目前研究處于初始階段，后續(xù)將持續(xù)優(yōu)化。

參考文獻

[1]劉彥林，甘克勤，馬小雯，等.標準數(shù)字化發(fā)展現(xiàn)狀與演進態(tài)勢[J].中國標準化，2024（3）：49-53.

[2]馬超.標準數(shù)據(jù)形態(tài)變革視域下我國標準數(shù)字化轉(zhuǎn)型發(fā)展綜述[J].信息通信技術(shù)與政策，2024，50（2）：74-81.

[3]袁文靜，方洛凡.標準對話：標準數(shù)字化的階段性目標與實踐[J].中國標準化，2024（3）：6-29.

[4]張偉.標準數(shù)字化現(xiàn)狀分析及發(fā)展建議[J ] .大眾標準化，2024（7）：1-3.

[5]狄矢聰.標準數(shù)字化平臺建設(shè)機制與發(fā)展路徑研究[J].標準科學(xué)，2024（1）：64-71.

作者簡介

顧鑫，通信作者，博士，標準化高級工程師，國家軟件與系統(tǒng)工程分技術(shù)委員會（SAC/TC 28/SC 27）專家委員，主要研究領(lǐng)域為數(shù)字標準化、全域標準化、綜合標準化、信息安全、大數(shù)據(jù)挖掘等。

（責(zé)任編輯：張佩玉）

基金項目：本文受國家市場監(jiān)督管理總局科技研發(fā)計劃“標準數(shù)字化轉(zhuǎn)型創(chuàng)新應(yīng)用研究”（項目編號：2022MK088）資助。