庫外剔重技術(shù)在鐵通網(wǎng)間結(jié)算系統(tǒng)中的研究應(yīng)用

摘 要：為了適應(yīng)當(dāng)前市場日益激烈競爭的需要，滿足用戶不斷提出的各種結(jié)算需求，常德鐵通公司需要對現(xiàn)行的網(wǎng)間結(jié)算系統(tǒng)進(jìn)行改造。本文利用庫外剔重技術(shù)對原網(wǎng)間結(jié)算系統(tǒng)進(jìn)行改造建設(shè)，有效地緩解了系統(tǒng)的壓力，縮短了話單滯留時(shí)間，提高了系統(tǒng)的靈活性和穩(wěn)定性，進(jìn)而提升鐵通核心競爭力。

關(guān)鍵詞：庫外剔重；鐵通；網(wǎng)間結(jié)算

DOI：10.16640/j.cnki.37-1222/t.2016.13.001

0 引言

庫外剔重技術(shù)是指不依賴于數(shù)據(jù)庫的唯一索引，在磁盤文件中將相同關(guān)鍵字的話單記錄剔重，這樣做的目的是為了在批量入庫之前就保證記錄唯一，從而可以不用為詳單表建唯一索引，以加快入庫速度。

1 背景

為了適應(yīng)當(dāng)前市場日益激烈競爭的需要，滿足用戶不斷提出的各種結(jié)算需求以及結(jié)算系統(tǒng)的易維護(hù)性和易擴(kuò)展性，常德鐵通公司需要對現(xiàn)行的網(wǎng)間結(jié)算系統(tǒng)進(jìn)行改造。原有結(jié)算系統(tǒng)話單滯留時(shí)間在6-8分鐘，此滯留時(shí)間長度已經(jīng)是系統(tǒng)的極限，在無硬件增加的情況下，如果還需縮短滯留時(shí)間只能通過調(diào)整營帳接口的生成頻度來解決，但是會給營帳系統(tǒng)的數(shù)據(jù)處理帶來更大的壓力?；诖吮尘?，為了更大程度的縮短話單滯留時(shí)間，提出單獨(dú)建立傳送營帳流程的方案。但營帳尚未做剔重處理，所以需要搭建庫外剔重系統(tǒng)實(shí)現(xiàn)。

2 實(shí)施目標(biāo)

庫外剔重系統(tǒng)搭建后，由于從采集到營帳接口全部為實(shí)時(shí)處理，各模塊間再無等待情況，唯一滯留的時(shí)間是營帳接口處的文件生成批次時(shí)間。因此話單的滯留時(shí)間在此情況下應(yīng)控制在2分鐘以內(nèi)，如果縮短傳送營帳系統(tǒng)的時(shí)間則可將時(shí)間繼續(xù)縮短。

3 系統(tǒng)結(jié)構(gòu)設(shè)計(jì)

剔重系統(tǒng)由索引文件初始化子系統(tǒng)、文件剔重子系統(tǒng)、索引分析子系統(tǒng)三部分構(gòu)成。具體如下：

（1）索引文件初始化子系統(tǒng)根據(jù)系統(tǒng)預(yù)定義的配置方案完成索引信息存儲數(shù)據(jù)文件的初始化工作，形成各相應(yīng)業(yè)務(wù)對應(yīng)的特定結(jié)構(gòu)的預(yù)留索引信息存儲空間的索引信息存儲數(shù)據(jù)文件。

（2）文件剔重子系統(tǒng)根據(jù)系統(tǒng)預(yù)定義的剔重索引字段，在詳單索引信息存儲數(shù)據(jù)文件中記錄索引信息未進(jìn)行記錄的詳單的索引信息，剔除詳單文件中與已記錄詳單索引信息一致的詳單記錄，生成不包含重單的詳單文件，提供給批價(jià)系統(tǒng)進(jìn)行批價(jià)處理。

（3）索引文件分析子系統(tǒng)，分析某一段時(shí)間內(nèi)的索引信息存儲數(shù)據(jù)文件，獲取各時(shí)間段內(nèi)索引信息的分布狀態(tài)、占用空間和索引文件擴(kuò)展頻率。以便根據(jù)分析結(jié)果，調(diào)整索引配置方案，提升系統(tǒng)處理效率。

以索引文件初始化子系統(tǒng)為例，程序運(yùn)行從調(diào)用主控函數(shù)開始。主控函數(shù)（main）調(diào)用運(yùn)行指令分析函數(shù)（GetRunCmd）和控制信息初始化函數(shù)（GetCtrlInfo）獲取系統(tǒng)運(yùn)行的參數(shù)內(nèi)容和索引信息。（GetCtrlInfo）函數(shù)分別調(diào)用（GetIndexCtrlInfo）函數(shù)和（GetBlockCtrlInfo） 函數(shù)來獲取索引文件的定制信息和存儲結(jié)構(gòu)。索引文件初始化函數(shù)（InitIndexFile）分析索引文件，根據(jù)文件類型調(diào)用不同函數(shù)進(jìn)行初始化：時(shí)間類型索引文件調(diào)用（InitTimeIndex）函數(shù)，用戶類型索引文件調(diào)用 （InitUserIndex） 函數(shù)。初始化完畢后，返回主控函數(shù)，系統(tǒng)記錄成功運(yùn)行標(biāo)志后退出。

4 改進(jìn)后的網(wǎng)間結(jié)算系統(tǒng)流程

增加了庫外剔重后的網(wǎng)間結(jié)算系統(tǒng)流程如圖1所示。

原計(jì)費(fèi)系統(tǒng)的流程不變，在新的主機(jī)上增加庫外剔重流程。庫外剔重流程使用的是批價(jià)后為經(jīng)過合并模塊的話單，通過傳輸程序?qū)⑴鷥r(jià)后話單傳送新的主機(jī)，并且將批價(jià)后話單轉(zhuǎn)移至合并入口。庫外剔重進(jìn)程實(shí)時(shí)處理傳送到新主機(jī)的話單，剔重后的話單實(shí)時(shí)送給營帳接口模塊。營帳接口模塊按約定好的各批次生成時(shí)間生成傳送營帳接口文件，在新的主機(jī)接口目錄采集營帳接口數(shù)據(jù)。其中關(guān)鍵流程如下：

（1）傳輸：實(shí)時(shí)將批價(jià)后的話單文件傳送新的主機(jī)上的剔重入口，處理方式實(shí)時(shí)處理。（2）剔重：實(shí)時(shí)對批價(jià)后的話單進(jìn)行剔重，剔重期限為3個(gè)月內(nèi)的話單，處理方式實(shí)時(shí)處理。（3）營帳接口：實(shí)時(shí)處理剔重后的文件，按與營帳約定的批次時(shí)間（目前為4分鐘，擬調(diào)整為2分鐘）生成文件。

5 實(shí)施后效果對比

鐵通網(wǎng)間結(jié)算系統(tǒng)庫外剔重流程實(shí)施后，通過統(tǒng)計(jì)話單文件從采集到融合計(jì)費(fèi)系統(tǒng)到傳送到營帳系統(tǒng)接口時(shí)間的差距，可以很明顯看出系統(tǒng)滯留時(shí)間大幅縮短，從實(shí)施前的平均時(shí)間6分鐘，最大時(shí)間8分鐘已經(jīng)可以控制在最大時(shí)間2分鐘以內(nèi)，效果非常明顯，完全達(dá)到了預(yù)期的目標(biāo)要求。

6 結(jié)論

利用庫外剔重技術(shù)對鐵通網(wǎng)間結(jié)算系統(tǒng)進(jìn)行改造建設(shè)，有效的緩解了先前系統(tǒng)的壓力，提高了業(yè)務(wù)管理、運(yùn)營、服務(wù)能力，完全能夠滿足高性能、強(qiáng)穩(wěn)定性的要求，具有大容量的處理能力，縮短話單滯留時(shí)間，大大提高了鐵通網(wǎng)間結(jié)算系統(tǒng)的靈活性和響應(yīng)速度，進(jìn)而提升鐵通核心競爭力。

作者簡介：陳瀟瀟（1983-），女，湘潭人，助教，研究方向：計(jì)算機(jī)科學(xué)與技術(shù)。