出版業(yè)通用數(shù)據(jù)交換“端交換方案”設(shè)計構(gòu)想

孟睿?叢磊

【關(guān)? 鍵? 詞】數(shù)據(jù)交換;通用接口;“端交換方案”;“中間標準庫”

【作者單位】孟睿， 出版產(chǎn)業(yè)通用數(shù)據(jù)交換技術(shù)重點實驗室，北京理工大學(xué)出版社;叢磊，出版產(chǎn)業(yè)通用數(shù)據(jù)交換技術(shù)重點實驗室，北京理工大學(xué)出版社。

【基金項目】國家新聞出版署“出版產(chǎn)業(yè)通用數(shù)據(jù)交換技術(shù)重點實驗室”研究性課題。

【中圖分類號】TP311 【文獻標識碼】A 【DOI】10.16491/j.cnki.cn45-1216/g2.2021.14.008

互聯(lián)網(wǎng)時代，數(shù)據(jù)是企業(yè)最重要的資產(chǎn)之一，數(shù)據(jù)交換、共享已經(jīng)成為各個出版企業(yè)迫切需要解決的問題。出版企業(yè)中存在著大量異構(gòu)系統(tǒng)，為數(shù)據(jù)交換帶來諸多不便。針對現(xiàn)有接口共性問題，出版產(chǎn)業(yè)通用數(shù)據(jù)交換技術(shù)重點實驗室提出了一種基于“邏輯分離、應(yīng)用貼合”的新型出版產(chǎn)業(yè)通用數(shù)據(jù)交換架構(gòu)，本文將通過幾個方面簡單闡述出版產(chǎn)業(yè)通用數(shù)據(jù)交換接口架構(gòu)中“端交換方案”的設(shè)計構(gòu)想。

一、出版業(yè)數(shù)據(jù)交換現(xiàn)狀

1.出版業(yè)現(xiàn)狀與問題

（1）出版企業(yè)存在大量異構(gòu)化的系統(tǒng)

隨著信息技術(shù)日新月異的發(fā)展，出版業(yè)的生存和競爭環(huán)境發(fā)生了根本性的變化。對出版企業(yè)來說，信息化建設(shè)無論作為出版業(yè)轉(zhuǎn)型升級的戰(zhàn)略方向還是戰(zhàn)略技術(shù)，均已在企業(yè)經(jīng)營中發(fā)揮著舉足輕重的作用。很多出版企業(yè)為了應(yīng)對信息時代數(shù)據(jù)化、網(wǎng)絡(luò)化、數(shù)字化、智能化的經(jīng)營和管理要求，紛紛根據(jù)自身的業(yè)務(wù)需求逐步建立起了信息管理系統(tǒng)。

而由于信息技術(shù)發(fā)展過快，專業(yè)、成熟的信息技術(shù)人才培養(yǎng)進度并不能滿足當今社會的需求，絕大多數(shù)出版企業(yè)沒有專業(yè)的技術(shù)團隊。這些企業(yè)大多也沒有充足的預(yù)算能夠在短時間內(nèi)完成企業(yè)整體的信息化改造，信息化能力不能與信息化需求相匹配。由于出版企業(yè)在不同時期逐漸完成信息化改造，于是就產(chǎn)生了在不同的業(yè)務(wù)流程階段，由不同軟件公司根據(jù)不同架構(gòu)模型或者不同編程語言開發(fā)的眾多異構(gòu)化的信息系統(tǒng)。不同的計算機硬件平臺、基礎(chǔ)操作系統(tǒng)、數(shù)據(jù)庫管理系統(tǒng)、通信網(wǎng)絡(luò)以及應(yīng)用程序和服務(wù)使得整個信息系統(tǒng)無處不存在異構(gòu)性。

（2）出版企業(yè)對內(nèi)對外數(shù)據(jù)交換不暢通

出版企業(yè)建設(shè)了多個多樣化且功能分化的信息系統(tǒng)，這些信息系統(tǒng)之間存在著“基因”隔離（不同架構(gòu)等）甚至是物理隔離（不同網(wǎng)絡(luò)、服務(wù)器等）情況，不能實時交換、共享信息，就形成了一個個“信息孤島”。出版企業(yè)內(nèi)部出版、發(fā)行等業(yè)務(wù)流程是相互關(guān)聯(lián)的，一個系統(tǒng)經(jīng)常需要復(fù)用另一個系統(tǒng)中的信息，此時就只能由人工遷移數(shù)據(jù)，使得日常工作中存在大量的數(shù)據(jù)重復(fù)錄入工作。而由人工錄入數(shù)據(jù)勢必會出現(xiàn)輸入錯誤的情況，造成數(shù)據(jù)在各個系統(tǒng)之間不一致，進而影響出版企業(yè)的業(yè)務(wù)進程，降低工作效率，影響出版企業(yè)正常經(jīng)營決策，降低出版企業(yè)競爭力。而對外，企業(yè)可能只是產(chǎn)業(yè)供需鏈條中的一個節(jié)點，異構(gòu)的系統(tǒng)使得企業(yè)在和鏈條上下節(jié)點的其他企業(yè)或機構(gòu)進行數(shù)據(jù)交換時更加無法順暢地進行，從而使得整個供需鏈條上的信息傳遞效率低，影響整個產(chǎn)業(yè)的健康發(fā)展和良性循環(huán)。

（3）信息系統(tǒng)間數(shù)據(jù)交換成本高、效率低

數(shù)據(jù)交換問題已成為出版企業(yè)迫切需要解決的問題之一。現(xiàn)階段，如果兩個異構(gòu)的系統(tǒng)間沒有進行接口開發(fā)，那么日常的數(shù)據(jù)交換則需要通過手工方式進行。例如出版社圖書商品信息的數(shù)據(jù)交換，需要出版社銷售助理將圖書信息逐條錄入固定模板的EXCEL里，再發(fā)給渠道商務(wù)經(jīng)理導(dǎo)入他們的系統(tǒng)中。類似這種數(shù)據(jù)交換和處理過程需要耗費大量的人工和時間。如果要使系統(tǒng)之間以自動的方式進行數(shù)據(jù)交換，就需要針對兩個系統(tǒng)的結(jié)構(gòu)和業(yè)務(wù)流程分別開發(fā)接口，這個方法雖然省去了頻繁支出的人工成本，卻需要一次性支出大額的開發(fā)成本，一旦系統(tǒng)升級或者企業(yè)中的業(yè)務(wù)流程發(fā)生改變，則需要再次對接口進行二次開發(fā)。隨著信息化發(fā)展，系統(tǒng)不停升級迭代是必然的，不通用的接口永遠做不到一勞永逸，不管是接口頻繁開發(fā)，還是人工機械性錄入，高成本、低效率的數(shù)據(jù)交換都是不通用接口無法避免的。

2.現(xiàn)階段出版數(shù)據(jù)交換方案

（1）遠程函數(shù)調(diào)用方式

遠程函數(shù)調(diào)用方式就是一方系統(tǒng)直接調(diào)用另一方系統(tǒng)內(nèi)的函數(shù)執(zhí)行數(shù)據(jù)交換動作。這種方式十分不安全，且不適用于多個單據(jù)大量數(shù)據(jù)傳輸，只適用于系統(tǒng)間點對點的數(shù)據(jù)交換。由于系統(tǒng)的函數(shù)代碼與業(yè)務(wù)規(guī)則交織在一起，一旦業(yè)務(wù)規(guī)則發(fā)生變化，整個接口都需要重新開發(fā)，僅適用于業(yè)務(wù)簡單、接口較少的系統(tǒng)。

（2）中間件的數(shù)據(jù)接口方式

中間件的數(shù)據(jù)接口方式其實就是在各個系統(tǒng)間，建立一個獨立的中間數(shù)據(jù)庫或者中間數(shù)據(jù)平臺，通過一個中間件滿足多個系統(tǒng)間的數(shù)據(jù)流轉(zhuǎn)，幾個系統(tǒng)間不是直接進行相互數(shù)據(jù)傳輸，而是都傳輸給中間數(shù)據(jù)庫，再分別從中間數(shù)據(jù)庫讀取需要的數(shù)據(jù)。在出版企業(yè)中，這種數(shù)據(jù)傳輸方式也很常見，如一些出版社的財務(wù)軟件在從ERP系統(tǒng)獲取數(shù)據(jù)時，就是采用搭建中間數(shù)據(jù)庫的方式進行數(shù)據(jù)傳輸。但這種數(shù)據(jù)交換方式也存在明顯的問題，由于數(shù)據(jù)接收方并不是實時地接收和讀取數(shù)據(jù)，而中間數(shù)據(jù)庫或中間數(shù)據(jù)平臺也沒有辦法校驗數(shù)據(jù)的準確性，這樣就會造成發(fā)送方向中間數(shù)據(jù)庫成功發(fā)送了數(shù)據(jù)，但接收方在讀取數(shù)據(jù)時報錯，使得數(shù)據(jù)交換失敗。

（3）文件傳輸方式

文件傳輸方式是指數(shù)據(jù)交換雙方約定好數(shù)據(jù)文件格式，發(fā)送方將交換數(shù)據(jù)按照約定格式寫入文件中傳給接收方，接收方解析文件讀取數(shù)據(jù)，從而達到數(shù)據(jù)交換的目的。這種方式既避免了系統(tǒng)之間的函數(shù)調(diào)用，也不用相互訪問數(shù)據(jù)庫，數(shù)據(jù)交換過程獨立且安全性高，但這種方式需要雙方分別開發(fā)接口用于生成和解析中間交換文件。現(xiàn)在有些出版社與銷售渠道之間通過EDI接口系統(tǒng)傳輸數(shù)據(jù)，就是基于此方式進行的。目前，新華渠道、民營渠道、電商渠道等大多出版發(fā)行渠道都支持通過XML格式的中間傳輸文件傳遞數(shù)據(jù)，除此之外，常見的中間傳輸文件格式還有EXCEL、TXT等。

二、“端交換方案”的概念設(shè)想

1.“耦合數(shù)據(jù)交換技術(shù)”

（1）“耦合數(shù)據(jù)交換技術(shù)”概念設(shè)想

基于以上列舉的各種出版業(yè)現(xiàn)存數(shù)據(jù)交換現(xiàn)狀和共性問題，出版產(chǎn)業(yè)通用數(shù)據(jù)交換技術(shù)重點實驗室提出了一種新型出版產(chǎn)業(yè)通用數(shù)據(jù)交換架構(gòu)——“耦合數(shù)據(jù)交換技術(shù)”?！榜詈蠑?shù)據(jù)交換技術(shù)”是指系統(tǒng)之間通過依賴多個維度的參數(shù)和系統(tǒng)性的邏輯進行數(shù)據(jù)交換的技術(shù)。本文暫時將多維度參數(shù)集合稱為“中間標準庫”，將交換邏輯方案稱為“端交換方案”。

設(shè)想一下“耦合數(shù)據(jù)交換技術(shù)”應(yīng)用于實際出版業(yè)務(wù)中，在出版社向銷售渠道發(fā)送庫存商品信息時，出版社先通過出版業(yè)通用數(shù)據(jù)交換系統(tǒng)本地客戶端加載運行ERP系統(tǒng)的“端交換方案A”，將圖書商品信息和庫存信息從數(shù)據(jù)庫中取出并處理，處理后的數(shù)據(jù)通過“中間標準庫”校驗生成適配于渠道系統(tǒng)格式的數(shù)據(jù)交換文件并傳遞給渠道方，渠道方再加載運行渠道系統(tǒng)的“端交換方案B”將數(shù)據(jù)寫入數(shù)據(jù)庫中，完成出版社到銷售渠道的庫存商品信息數(shù)據(jù)傳輸。

（2）“耦合數(shù)據(jù)交換技術(shù)”設(shè)計模型

“耦合數(shù)據(jù)交換技術(shù)”是將出版行業(yè)現(xiàn)階段常用的數(shù)據(jù)交換方式加以結(jié)合，遵循“代碼分離、應(yīng)用貼合”的應(yīng)用規(guī)則。數(shù)據(jù)存儲方式和系統(tǒng)函數(shù)調(diào)用方法剝離于源系統(tǒng)外，不需要調(diào)用系統(tǒng)中內(nèi)置的函數(shù)代碼，而是按照一定出版流程和行業(yè)標準制作成“端交換方案”模擬業(yè)務(wù)規(guī)則。數(shù)據(jù)的傳輸仍舊是以文件作為載體，是根據(jù)“端交換方案”存儲的邏輯解析而成，可以是XML、JSON等文件形式。數(shù)據(jù)傳輸時還需要通過“中間標準庫”這個中間件進行校驗?！榜詈蠑?shù)據(jù)交換技術(shù)”實現(xiàn)“中間標準庫”和數(shù)據(jù)交換兩端的兩個“端交換方案”在同一平臺上協(xié)同運作。

2.“端交換方案”

（1）“端交換方案”概念設(shè)想

本文提出的“端交換方案”是指位于數(shù)據(jù)交換兩端，通過指定客戶端加載運行后用以處理數(shù)據(jù)內(nèi)容和交換流程的解決方案?！岸私粨Q方案”中對數(shù)據(jù)類型、數(shù)據(jù)庫交互規(guī)則、業(yè)務(wù)邏輯進行相應(yīng)設(shè)定，數(shù)據(jù)發(fā)送方通過“端交換方案”設(shè)定的規(guī)則對數(shù)據(jù)進行抽取、清洗、處理、編譯生成“數(shù)據(jù)交換載體文件”，數(shù)據(jù)接收方則通過“端交換方案”對“數(shù)據(jù)交換載體文件”進行校驗、解析、處理、存儲。兩個“端交換方案”內(nèi)容不同但遵循同一個中間標準。

為了確保數(shù)據(jù)交換的通用性，數(shù)據(jù)交換時對數(shù)據(jù)的抽取和存儲都是基于系統(tǒng)源數(shù)據(jù)層進行操作的。從一方數(shù)據(jù)池中抽取出來的數(shù)據(jù)在存入另一方數(shù)據(jù)池之前，本文暫將其稱為“游離數(shù)據(jù)”。A系統(tǒng)中抽取出來的“游離數(shù)據(jù)”帶有A系統(tǒng)特定的“基因”，很難被其他系統(tǒng)接受，所以本文提出的“端交換方案”其實就是將“游離數(shù)據(jù)”進行格式化。數(shù)據(jù)發(fā)送方通過“端交換方案”抽離自己的“基因”，得到符合中間標準的標準數(shù)據(jù)，再由數(shù)據(jù)接收方通過“端交換方案”向標準數(shù)據(jù)中注入目標系統(tǒng)的“基因”。這個“基因重組”的過程與雙方原系統(tǒng)架構(gòu)分離，完全是基于“端交換方案”的規(guī)則來完成的，以此達到通用的目的。

“端交換方案”解析是在系統(tǒng)本地客戶端上運行，“數(shù)據(jù)交換載體文件”的生成也是在本地客戶端進行，生成之前不會通過任何第三方系統(tǒng)平臺進行數(shù)據(jù)清洗，保證數(shù)據(jù)交換過程中數(shù)據(jù)的絕對安全。

（2）“端交換方案”研發(fā)目的

數(shù)據(jù)交換之所以難以做到通用，是因為每個系統(tǒng)的業(yè)務(wù)邏輯、系統(tǒng)代碼、數(shù)據(jù)之間是緊密耦合在一起的，對外包容性極差?！岸私粨Q方案”使通用接口成為可能，其運行是基于源數(shù)據(jù)層獨立于系統(tǒng)外部進行的，降低了數(shù)據(jù)與系統(tǒng)之間的耦合度，提高了通用性。大多出版企業(yè)信息技術(shù)力量相對薄弱，無法自己開發(fā)數(shù)據(jù)交換接口，想要提高通用性，就要把接口開發(fā)的過程簡單化、普遍化。制作傳統(tǒng)的數(shù)據(jù)交換接口需要通過編程專門設(shè)計開發(fā)一段程序去完成數(shù)據(jù)交換任務(wù)，而現(xiàn)在通過“端交換方案”可以將接口制作普遍化，只要嚴格按照“端交換方案”創(chuàng)作標準操作，就能完成數(shù)據(jù)交換。

“端交換方案”可以完成復(fù)雜、多樣的數(shù)據(jù)交換任務(wù)。本文設(shè)想的“端交換方案”，定義的不僅僅是簡單的兩個系統(tǒng)間數(shù)據(jù)的映射關(guān)系，數(shù)據(jù)的處理過程也包含其中?！岸私粨Q方案”不需要調(diào)用系統(tǒng)中內(nèi)置的函數(shù)代碼，而是直接模擬業(yè)務(wù)規(guī)則，對源數(shù)據(jù)進行處理，既完成數(shù)據(jù)輸入輸出過程中的各種觸發(fā)，又保證系統(tǒng)本身的完整性，在數(shù)據(jù)提取、存儲的基礎(chǔ)上豐富了處理過程，使得系統(tǒng)間可以通過“端交換方案”完成貼合業(yè)務(wù)邏輯規(guī)則的復(fù)雜數(shù)據(jù)交換過程。

三、“端交換方案”的設(shè)計

1.“端交換方案”模型

（1）“端交換方案”整體模型

（2）標識頭部

不同的系統(tǒng)有不同的“端交換方案”，而同一個系統(tǒng)也可能有不同的“端交換方案”。標識頭部的作用就是記錄 “端交換方案”的基本信息，相當于DNA一樣用于區(qū)分 “端交換方案”。

標識頭部中定義的部分屬性示例：

創(chuàng)作者（Creator）：創(chuàng)作端方案的技術(shù)廠商、第三方技術(shù)服務(wù)商或個人。

系統(tǒng)（System）：端方案適配的系統(tǒng)。

版本號（Version）：當前端方案的版本號，用以區(qū)分端方案或區(qū)分端方案適配的系統(tǒng)版本。

交換類型（Type）：定義交換數(shù)據(jù)的類型，例如圖書明細數(shù)據(jù)、發(fā)貨單明細數(shù)據(jù)等。

（3）數(shù)據(jù)定義

“端交換方案”中有一塊內(nèi)容是用于定義系統(tǒng)源數(shù)據(jù)字段與“中間標準庫”數(shù)據(jù)元素的對應(yīng)關(guān)系，就是前文所說的將“游離數(shù)據(jù)”格式化，是剝離或植入“基因”的依據(jù)。

數(shù)據(jù)定義中定義的部分屬性示例：

系統(tǒng)字段名（FName）：系統(tǒng)數(shù)據(jù)庫中定義的字段名，如“bno”。

標準字段名（FType）：中間標準庫中定義的相對應(yīng)的數(shù)據(jù)元素名稱，如“isbn”。

系統(tǒng)數(shù)據(jù)類型（SName）：系統(tǒng)數(shù)據(jù)庫中定義的字段類型，如“數(shù)值型”。

標準數(shù)據(jù)類型（SType）：中間標準庫中定義的相對應(yīng)的數(shù)據(jù)元素類型，如“字符串型”。

系統(tǒng)表名（Table）：該字段存儲的數(shù)據(jù)庫表或視圖名稱，如“book”。

長度（Length）：系統(tǒng)數(shù)據(jù)庫中定義的字段長度，如“13”。

說明（Explain）：該數(shù)據(jù)元素含義的描述，如“圖書ISBN”。

（4）邏輯動作定義

“端交換方案”中邏輯動作定義部分的主要意義在于業(yè)務(wù)邏輯到編程邏輯的轉(zhuǎn)換。根據(jù)業(yè)務(wù)流程的先后順序，系統(tǒng)對數(shù)據(jù)交換過程中的數(shù)據(jù)提取、存儲也會有相應(yīng)的順序要求，或者數(shù)據(jù)交換過程中，某些業(yè)務(wù)節(jié)點的數(shù)據(jù)變更可能會驅(qū)動其他業(yè)務(wù)環(huán)節(jié)，需要觸發(fā)對應(yīng)的程序或事件并給予響應(yīng)。邏輯動作定義對數(shù)據(jù)交換過程中的邏輯順序及動作進行了明確的定義。

邏輯動作定義中定義的部分屬性示例：

業(yè)務(wù)順序（Order）：是業(yè)務(wù)邏輯的順序，也是數(shù)據(jù)交換的執(zhí)行順序。

標記字段（Sign）：引起該邏輯動作的標記字段，此標記字段的數(shù)據(jù)內(nèi)容發(fā)生變更，則會觸發(fā)此處的邏輯動作，如“退貨標記”字段發(fā)生改變觸發(fā)“庫存數(shù)量”增加。

業(yè)務(wù)說明（Business）：對業(yè)務(wù)邏輯進行描述說明，如“退貨成功增加庫存數(shù)量”。

操作（Handel）：記錄系統(tǒng)數(shù)據(jù)操作行為的語句，例如select語句查找數(shù)據(jù)，update語句更新數(shù)據(jù)等。

2.“端交換方案”使用模型

“端交換方案”有統(tǒng)一的設(shè)計規(guī)范和創(chuàng)作標準，既可由技術(shù)廠商創(chuàng)作，也可由對信息系統(tǒng)業(yè)務(wù)規(guī)則有深入把握的第三方技術(shù)服務(wù)商（或個人）創(chuàng)作。為了鼓勵更多的人參與“端交換方案”的創(chuàng)作，“端交換方案”的使用達到一個量級時，將產(chǎn)生一定費用，該超額使用的費用將與“端交換方案”創(chuàng)作者進行分成，使得創(chuàng)作者可以從中獲得收益，激發(fā)創(chuàng)作熱情。

各出版企業(yè)可在指定客戶端上配置并加載適用且可靠的“端交換方案”。單個系統(tǒng)適用的“端交換方案”不唯一，用戶可以自由試用，并根據(jù)自身業(yè)務(wù)流程需要，選擇合適的 “端交換方案”。更有甚者，如果用戶本身具備簡單的編程基礎(chǔ)或數(shù)據(jù)庫管理知識，且對系統(tǒng)業(yè)務(wù)規(guī)則有深入把握，也可自行創(chuàng)作更為貼合自身數(shù)據(jù)交換需求的“端交換方案”，有效解決僅憑技術(shù)廠商實施接口開發(fā)帶來的片面性和不一致性問題。

四、結(jié)語

本文根據(jù)出版產(chǎn)業(yè)通用數(shù)據(jù)交換技術(shù)重點實驗室研究的“耦合數(shù)據(jù)交換技術(shù)”架構(gòu)提出“端交換方案”通用構(gòu)想，革新了系統(tǒng)數(shù)據(jù)接口的開發(fā)方式。出版企業(yè)通過使用“端交換方案”，達到“邏輯分離、應(yīng)用貼合”的目的，使接口開發(fā)變得通用化、普及化，使異構(gòu)系統(tǒng)間數(shù)據(jù)、文件的傳遞簡單可行，降低了出版企業(yè)用于數(shù)據(jù)交換的投入，彌補了出版企業(yè)信息化人才匱乏、技術(shù)開發(fā)能力薄弱的不足，對出版業(yè)發(fā)展有著積極的意義。

|參考文獻|

[1]曾國蓀，陳閎中.探索信息系統(tǒng)的異構(gòu)性問題[J].計算機工程與應(yīng)用，2003（19）：1-4+54.

[2]王炳清.通用數(shù)據(jù)交換中心的設(shè)計與實現(xiàn)[J].計算機工程，2004（S1）：620-622.

[3]Kerwin-G.常見的系統(tǒng)間接口方式[EB/OL].（ 2019-05-04）[2021-02-05]. https：//blog.csdn.net/qq_33641781.

[4]彭俊霞，趙鵬，惠二鑫.區(qū)塊鏈應(yīng)用中AES和RSA混合加密算法分析[J].電子技術(shù)與軟件工程，2021（2）：222-224.