鋼鐵行業(yè)信息服務(wù)平臺(tái)搜索引擎技術(shù)研究

摘要：介紹了鋼鐵行業(yè)信息服務(wù)平臺(tái)分布式搜索引擎中的相關(guān)技術(shù)：Elasticsearch搜索引擎的選擇與使用；冶金行業(yè)專(zhuān)業(yè)詞表的建設(shè)；搜索引擎相關(guān)度的計(jì)算方式與修改相關(guān)度、以及Elasticsearch集群的特性。

關(guān)鍵詞：鋼鐵；搜索引擎；冶金專(zhuān)業(yè)詞表；分詞；集群

0 引言

歷經(jīng)多年的發(fā)展，大多數(shù)鋼鐵企業(yè)積累了一系列有價(jià)值的信息資源，并圍繞市場(chǎng)拓展和科技研發(fā)等業(yè)務(wù)開(kāi)展了一系列信息研究工作。但是，面對(duì)日益嚴(yán)峻的行業(yè)形勢(shì)，一些鋼鐵企業(yè)在戰(zhàn)略研究、市場(chǎng)研究、技術(shù)創(chuàng)新、競(jìng)爭(zhēng)對(duì)手研究等諸多層面，以及在信息獲取、信息分析、信息共享、信息管理等環(huán)節(jié)，依然缺乏有效的信息資源和方便快捷的工具支持，這在一定程度上影響了鋼鐵企業(yè)的信息敏感度和決策制定執(zhí)行效率。如何更為全面、快捷、有效地把握產(chǎn)業(yè)政策、行業(yè)動(dòng)向、了解競(jìng)爭(zhēng)對(duì)手、洞察市場(chǎng)機(jī)會(huì)、尋求技術(shù)創(chuàng)新，為企業(yè)提供創(chuàng)新決策支持，成為一些鋼鐵企業(yè)面臨的問(wèn)題。

鋼鐵企業(yè)信息服務(wù)平臺(tái)用來(lái)為鋼鐵企業(yè)提供戰(zhàn)略決策支持，促進(jìn)提高企業(yè)的核心競(jìng)爭(zhēng)力，信息服務(wù)平臺(tái)主要基于信息采集、智能檢索、語(yǔ)義分析、文本挖掘等核心技術(shù)，對(duì)企業(yè)自身、競(jìng)爭(zhēng)對(duì)手和企業(yè)外部環(huán)境的信息進(jìn)行收集、存儲(chǔ)、處理、分析和應(yīng)用。功能完備的企業(yè)科技信息服務(wù)平臺(tái)可以充當(dāng)企業(yè)的預(yù)警系統(tǒng)和決策支持系統(tǒng)。

越來(lái)越多的鋼鐵企業(yè)選擇進(jìn)行信息平臺(tái)建設(shè)，實(shí)現(xiàn)信息資源的價(jià)值。在鋼鐵企業(yè)信息平臺(tái)建設(shè)的過(guò)程中，一些關(guān)鍵的技術(shù)是決定平臺(tái)建設(shè)成功與否的關(guān)鍵。而其中，搜索功能的實(shí)現(xiàn)是值得關(guān)注的。

1 關(guān)于搜索引擎的選擇

在早期，Apache Solr是最主要的搜索引擎技術(shù)，但隨著發(fā)展Elasticsearch已經(jīng)漸漸超越了Solr，如圖1。

Elasticsearch提供了一個(gè)強(qiáng)大的搜索解決方案。通過(guò)其簡(jiǎn)單的RESTfUIAPI接口，可以輕松地集成Elasticsearch到項(xiàng)目中，實(shí)現(xiàn)實(shí)時(shí)更新文檔庫(kù)，并從文檔中快速檢索出符合用戶(hù)搜索條件的數(shù)據(jù)。

Elasticsearch的分布式特性使得它在處理海量數(shù)據(jù)時(shí)具有出色的性能。實(shí)時(shí)查詢(xún)處理能力更強(qiáng)，能夠應(yīng)對(duì)大規(guī)模并發(fā)搜索請(qǐng)求。同時(shí)，它還提供了靈活的伸縮性配置，可以根據(jù)搜索數(shù)據(jù)規(guī)模的增長(zhǎng)進(jìn)行擴(kuò)展，確保系統(tǒng)的穩(wěn)定性和可用性。

Elasticsearch還具備全文搜索的能力，能夠?qū)?fù)雜的搜索功能如布爾査詢(xún)、短語(yǔ)査詢(xún)、過(guò)濾器、排序、分頁(yè)等都封裝進(jìn)一個(gè)平臺(tái)。能夠輕松地實(shí)現(xiàn)復(fù)雜的搜索需求，提升用戶(hù)體驗(yàn)和系統(tǒng)的功能性。

2 冶金專(zhuān)業(yè)詞表建設(shè)

搜索引擎詞表在搜索引擎中扮演著至關(guān)重要的角色。它不僅是搜索引擎技術(shù)架構(gòu)中的一個(gè)核心組成部分，還直接影響到搜索引擎的查詢(xún)效率、相關(guān)性排序等多個(gè)方面。

搜索引擎詞表通過(guò)預(yù)定義和優(yōu)化關(guān)鍵詞集合，使得搜索引擎能夠快速識(shí)別用戶(hù)輸入的查詢(xún)意圖，并高效地匹配到相關(guān)的網(wǎng)頁(yè)、文檔或信息。這大大減少了搜索引擎在處理查詢(xún)請(qǐng)求時(shí)的計(jì)算量和響應(yīng)時(shí)間。

詞表不僅包含關(guān)鍵詞，還可能包括這些關(guān)鍵詞的權(quán)重、類(lèi)別、同義詞、反義詞等信息。這些信息有助于搜索引擎更準(zhǔn)確地理解用戶(hù)查詢(xún)的上下文和意圖，從而更精準(zhǔn)地排序搜索結(jié)果，使用戶(hù)更容易找到他們真正需要的信息。

處理中文分詞，一般會(huì)使用IK分詞器。ik分詞器包含兩種模式：ik_smart：最少切分，粗粒度；ik_max_word：最細(xì)切分，細(xì)粒度。

要拓展ik分詞器的詞庫(kù)，需要修改ik分詞器目錄下config目錄中的IkAnalyzer.cfg.xml文件：

＜！--用戶(hù)可以在這里配置自己的擴(kuò)展字典 --＞

＜entry key=”ext_dict”＞extra_single_word_full.dic；extra_name_author.dic；

extra_words_searches.dic＜/entry＞

然后在以上文件中，添加想要拓展的詞語(yǔ)：

復(fù)合脫氧

易切削鋼

規(guī)圓機(jī)

花紋板

鞍山鋼鐵公司礦山動(dòng)力廠

77.080

vertical casting machine

……

冶金專(zhuān)業(yè)詞表、作者詞表、作者單位詞表都需要在此處進(jìn)行配置，以提高檢索的精確度和相關(guān)性。

禁用某些敏感詞條，也是修改ik分詞器目錄下config目錄中的IkAnalyzer.cfg.xml文件：

＜！--用戶(hù)可以在這里配置自己的擴(kuò)展停止詞字典--＞

＜entry key=”ext_stopwords”＞＜/entry＞

3 相關(guān)性計(jì)算

當(dāng)我們利用match查詢(xún)時(shí)，文檔結(jié)果會(huì)根據(jù)與搜索詞條的關(guān)聯(lián)度打分（_score），返回結(jié)果時(shí)按照分值降序排列。

早期的Elasticsearch版本采用TF-IDF算法，相關(guān)度會(huì)隨著詞頻增加而越來(lái)越大，TF-IDF算法如下：

elasticsearch 5.0版本之后，默認(rèn)采用最新的BM25算法，會(huì)隨著詞頻增加而增大，但增長(zhǎng)曲線會(huì)趨于水平。BM25算法如下：

兩種算法的相關(guān)度趨勢(shì)增長(zhǎng)如圖2。

使用 function score query，可以修改文檔的相關(guān)性算分（query score），根據(jù)新得到的算分排序，如圖3、圖4。

在查詢(xún)中通過(guò)上述操作，在搜索結(jié)果修改了相關(guān)鋼企的查詢(xún)排名，使其顯示排序靠前。

4 使用Elasticsearch集群

單機(jī)的Elasticsearch做數(shù)據(jù)存儲(chǔ)，必然面臨兩個(gè)問(wèn)題：海量數(shù)據(jù)存儲(chǔ)問(wèn)題、單點(diǎn)故障問(wèn)題。

因此，我們選擇了采用三臺(tái)服務(wù)器搭建集群的方案，實(shí)現(xiàn)可擴(kuò)展性、高可用性、負(fù)載均衡、容錯(cuò)性和靈活性等目標(biāo)，來(lái)應(yīng)對(duì)大規(guī)模數(shù)據(jù)處理和復(fù)雜查詢(xún)的需求，如圖5。

可擴(kuò)展性：

隨著數(shù)據(jù)量的不斷增長(zhǎng)，單個(gè)節(jié)點(diǎn)的處理能力可能會(huì)達(dá)到瓶頸。通過(guò)將數(shù)據(jù)分布在多個(gè)節(jié)點(diǎn)上，Elasticsearch 集群可以水平擴(kuò)展，以處理更大的數(shù)據(jù)集和更高的查詢(xún)負(fù)載。

集群允許根據(jù)需要添加或移除節(jié)點(diǎn)，以動(dòng)態(tài)調(diào)整處理能力，從而適應(yīng)不同的工作負(fù)載需求。

高可用性：

集群中的節(jié)點(diǎn)可以相互復(fù)制數(shù)據(jù)，實(shí)現(xiàn)數(shù)據(jù)的冗余存儲(chǔ)。這意味著即使某個(gè)節(jié)點(diǎn)出現(xiàn)故障，集群中的其他節(jié)點(diǎn)仍然可以提供服務(wù)，從而保證了系統(tǒng)的高可用性。

Elasticsearch 提供了多種數(shù)據(jù)復(fù)制策略（如分片復(fù)制），以確保數(shù)據(jù)的可靠性和容錯(cuò)性。

負(fù)載均衡：

集群可以自動(dòng)將查詢(xún)請(qǐng)求分發(fā)到多個(gè)節(jié)點(diǎn)上進(jìn)行處理，從而平衡各個(gè)節(jié)點(diǎn)的負(fù)載。這有助于減少查詢(xún)延遲，提高系統(tǒng)的整體性能。

Elasticsearch 的分片機(jī)制使得數(shù)據(jù)可以分布在多個(gè)節(jié)點(diǎn)上，查詢(xún)時(shí)可以根據(jù)分片的位置來(lái)優(yōu)化查詢(xún)路徑，進(jìn)一步減少查詢(xún)時(shí)間。

容錯(cuò)性：

集群中的節(jié)點(diǎn)會(huì)定期相互通信，以檢測(cè)節(jié)點(diǎn)的健康狀態(tài)和可用性。一旦某個(gè)節(jié)點(diǎn)出現(xiàn)故障，集群會(huì)自動(dòng)重新分配該節(jié)點(diǎn)上的數(shù)據(jù)到其他健康的節(jié)點(diǎn)上，從而確保數(shù)據(jù)的完整性和系統(tǒng)的穩(wěn)定性。

Elasticsearch 還提供了自動(dòng)故障轉(zhuǎn)移機(jī)制，以確保在節(jié)點(diǎn)故障時(shí)，系統(tǒng)能夠無(wú)縫地切換到備份節(jié)點(diǎn)，繼續(xù)提供服務(wù)。

靈活性：

集群架構(gòu)使得 Elasticsearch 能夠適應(yīng)不同的部署場(chǎng)景和需求。無(wú)論是云環(huán)境、虛擬化環(huán)境還是物理服務(wù)器，Elasticsearch 都可以靈活地部署和擴(kuò)展。

集群還支持多種配置選項(xiàng)，如分片數(shù)量、復(fù)制因子等，可以根據(jù)具體的應(yīng)用場(chǎng)景進(jìn)行優(yōu)化和調(diào)整。

5 結(jié)語(yǔ)

Elasticsearch是一款非常強(qiáng)大的開(kāi)源搜索引擎，可以用來(lái)實(shí)現(xiàn)搜索、統(tǒng)計(jì)、分析等功能，幫助我們從海量數(shù)據(jù)中快速找到需要的內(nèi)容。

通過(guò)對(duì)搜索引擎技術(shù)的研究使用，使我們能夠建設(shè)搜索功能更加強(qiáng)大信息服務(wù)平臺(tái)，為企業(yè)提供更完善高效的服務(wù)。