垂直搜索引擎發(fā)展策略探討

楊皖蘇　閆　冬

中圖分類號(hào):F062.5文獻(xiàn)標(biāo)識(shí)碼:A

內(nèi)容摘要:隨著搜索經(jīng)濟(jì)的發(fā)展,垂直搜索引擎在搜索引擎行業(yè)中的地位越來(lái)越重要,并逐漸滲透到日常生活中。本文對(duì)搜索引擎的現(xiàn)狀、優(yōu)勢(shì),以及面臨的問(wèn)題進(jìn)行分析,并對(duì)其今后的發(fā)展提出了一些可行性策略。

關(guān)鍵詞:垂直搜索引擎 數(shù)據(jù)挖掘 商業(yè)模式

垂直搜索引擎發(fā)展現(xiàn)狀

互聯(lián)網(wǎng)最基礎(chǔ)的功能即提供信息。2008年1月,中國(guó)互聯(lián)網(wǎng)絡(luò)信息中心在北京發(fā)布《第 21次國(guó)際互聯(lián)網(wǎng)絡(luò)發(fā)展?fàn)顩r統(tǒng)計(jì)報(bào)告》,調(diào)查結(jié)果顯示,目前2.1億網(wǎng)民中使用搜索引擎的比例是72.4%,即已有1.52億人從搜索引擎獲益,半年凈增加3086萬(wàn)人。位列網(wǎng)絡(luò)應(yīng)用中網(wǎng)絡(luò)音樂(lè)、即時(shí)通信、網(wǎng)絡(luò)影視和網(wǎng)絡(luò)新聞之后的第五位,高于電子郵件。與其他國(guó)家相比,由于中國(guó)互聯(lián)網(wǎng)仍舊是娛樂(lè)功能占主體,總體網(wǎng)民的搜索引擎使用率偏低。

垂直搜索引擎是搜索引擎行業(yè)保持高增長(zhǎng)的重要力量。據(jù)調(diào)查,目前中國(guó)互聯(lián)網(wǎng)中的垂直搜索引擎日益發(fā)展壯大,不斷有面向新行業(yè)的垂直搜索引擎網(wǎng)站出現(xiàn),例如,有面向房子的搜房網(wǎng),有面向求職的職業(yè)搜索,有面向?qū)W術(shù)的學(xué)術(shù)搜索等。

目前垂直搜索引擎所用的技術(shù)模式和通用搜索引擎的技術(shù)基本相同。首先通過(guò)網(wǎng)絡(luò)蜘蛛對(duì)互聯(lián)網(wǎng)的網(wǎng)頁(yè)進(jìn)行抓取,進(jìn)而獲得元數(shù)據(jù),然后對(duì)元數(shù)據(jù)進(jìn)行分析處理,根據(jù)關(guān)鍵詞的權(quán)重和其鏈接的關(guān)系,計(jì)算出該網(wǎng)頁(yè)的重要度,存入數(shù)據(jù)庫(kù)。當(dāng)用戶提交關(guān)鍵詞的時(shí)候,針對(duì)該關(guān)鍵詞進(jìn)行查詢,進(jìn)而將結(jié)果返回給用戶,這就是垂直搜索引擎的一般工作流程。

目前垂直搜索引擎的主要盈利模式是基于競(jìng)價(jià)排名的廣告模式,具體廣告主在向垂直搜索引擎購(gòu)買(mǎi)該項(xiàng)服務(wù)后,通過(guò)注冊(cè)一定數(shù)量的關(guān)鍵詞,按照付費(fèi)最高者排名靠前的原則,購(gòu)買(mǎi)了同一關(guān)鍵詞的網(wǎng)站按不同的順序進(jìn)行排名,出現(xiàn)在網(wǎng)民相應(yīng)的搜索結(jié)果中。

垂直搜索引擎的優(yōu)勢(shì)分析

互聯(lián)網(wǎng)迅速發(fā)展。依賴搜索引擎是避免信息爆炸的快捷方式,而對(duì)于一個(gè)行業(yè),信息量也是越來(lái)越大,準(zhǔn)確抓住需要的信息,過(guò)濾無(wú)用信息是每個(gè)行業(yè)的從業(yè)者必須面對(duì)的課題,垂直搜索引擎為他們提供了好工具,幫助他們把握住行業(yè)發(fā)展的方向,并為想了解該行業(yè)的人提供一個(gè)便利方式。

商業(yè)公司對(duì)其日益重視。搜索引擎是人們登陸互聯(lián)網(wǎng)的門(mén)戶,垂直搜索引擎則是它所面向行業(yè)的門(mén)戶,在這里進(jìn)行廣告投資,獲得巨大收益的概率大,所以每個(gè)商業(yè)公司都會(huì)重視對(duì)其相關(guān)行業(yè)的垂直搜索引擎投資。

擁有巨大價(jià)值的用戶搜索數(shù)據(jù)。垂直搜索引擎是面向行業(yè)、專注行業(yè)的搜索引擎,而使用垂直搜索引擎的人也都是和該行業(yè)有著密切關(guān)系的人,垂直搜索引擎記錄著這些人的搜索數(shù)據(jù),這些數(shù)據(jù)經(jīng)過(guò)整理之后將會(huì)對(duì)該行業(yè)的發(fā)展有巨大的指導(dǎo)作用和巨大的價(jià)值。

垂直搜索引擎面臨的問(wèn)題

(一)搜索排名與搜索結(jié)果的用戶滿意度不一致

垂直搜索引擎廣告收入是其收入的巨大來(lái)源,而競(jìng)價(jià)排名方案是其廣告的主要模式,但是競(jìng)價(jià)排名模式是根據(jù)廣告客戶購(gòu)買(mǎi)關(guān)鍵詞的出價(jià)多少來(lái)決定該關(guān)鍵詞的查詢結(jié)果的排列順序,這就帶來(lái)了一系列問(wèn)題。出價(jià)高的網(wǎng)頁(yè)就排列在前,出價(jià)少或沒(méi)有出價(jià)的網(wǎng)頁(yè)就必然會(huì)被排列在后。根據(jù)統(tǒng)計(jì)研究表明,一般用戶使用搜索引擎的習(xí)慣是只看到第三頁(yè),后面的搜索結(jié)果對(duì)用戶來(lái)說(shuō)是沒(méi)有意義的,這就可能導(dǎo)致用戶搜索后無(wú)法得到他想要的結(jié)果,或者要經(jīng)過(guò)更多次的翻頁(yè)才能找到需要的網(wǎng)頁(yè),而排列在前面的那些出價(jià)很高的網(wǎng)頁(yè)對(duì)他的價(jià)值不一定高于那些出價(jià)少排列在后的網(wǎng)頁(yè)。這就極大地破壞了用戶體驗(yàn),干擾了用戶的信息獲取。如果無(wú)法在廣告和信息準(zhǔn)確度做出均衡,一味地根據(jù)廣告費(fèi)用來(lái)決定頁(yè)面的排列方式,這將會(huì)帶來(lái)用戶的不信任,進(jìn)而用戶會(huì)大量流失,失去用戶的互聯(lián)網(wǎng)企業(yè),是沒(méi)有生存空間的,但是沒(méi)有廣告收入,對(duì)垂直搜索行業(yè)也是無(wú)法承受的。所以,如何對(duì)廣告和用戶體驗(yàn)綜合調(diào)整,盡可能讓廣告客戶獲得廣告效益,又使得用戶獲得滿意的搜索結(jié)果是亟待解決的問(wèn)題。

(二)與相關(guān)行業(yè)聯(lián)系度低

垂直搜索引擎發(fā)展至今,對(duì)通用搜索引擎的模式進(jìn)行了大量克隆。但是,因?yàn)橥ㄓ盟阉饕婷嫦虻氖撬行袠I(yè),各種行業(yè)在通用搜索引擎看來(lái),沒(méi)有高下之分,而對(duì)于垂直搜索引擎,這方面就完全不同于通用搜索引擎。如果垂直搜索引擎不能和所面向的行業(yè)進(jìn)行緊密結(jié)合,就無(wú)法獲得與通用搜索引擎的差異化優(yōu)勢(shì)。目前垂直搜索引擎的數(shù)據(jù)采集還是通過(guò)網(wǎng)絡(luò)蜘蛛在互聯(lián)網(wǎng)上進(jìn)行爬行,抓取頁(yè)面,進(jìn)而分析關(guān)鍵詞,獲取行業(yè)數(shù)據(jù),還是停留在傳統(tǒng)的搜索引擎抓取數(shù)據(jù)的方式,這就導(dǎo)致最后的用戶查詢和在通用搜索引擎上的查詢效果并無(wú)二致,這種情況肯定無(wú)法吸引用戶,也無(wú)法發(fā)揮自己專業(yè)查詢的優(yōu)勢(shì)。而且由于對(duì)該行業(yè)的了解無(wú)法深入,和該行業(yè)的從業(yè)人員也不能進(jìn)行有效的溝通,自然無(wú)法了解該行業(yè)的真正需求。雖然表面看來(lái)有模有樣,但只是一個(gè)披著行業(yè)外皮的通用搜索引擎,無(wú)法設(shè)計(jì)出行業(yè)需求的功能模塊,自然無(wú)法吸引行業(yè)客戶投入廣告或者分享數(shù)據(jù)。

促進(jìn)垂直搜索引擎發(fā)展的對(duì)策

(一)優(yōu)化采集策略和數(shù)據(jù)來(lái)源

對(duì)于垂直搜索引擎的采集策略來(lái)說(shuō),必須不同于通用搜索引擎的采集策略。從互聯(lián)網(wǎng)中準(zhǔn)確快速提取出本行業(yè)的數(shù)據(jù),關(guān)鍵詞是一個(gè)很關(guān)鍵的因素,所以必須和該行業(yè)的專業(yè)人士進(jìn)行溝通,由他們提供基于本行業(yè)的關(guān)鍵詞。另外,用戶也可以向搜索引擎提交關(guān)鍵詞,在管理員審核通過(guò)的情況下,也添加進(jìn)入關(guān)鍵詞序列,定期對(duì)關(guān)鍵詞整理,去除使用頻率低的關(guān)鍵詞,并添加新近出來(lái)的新詞。在有一個(gè)維護(hù)良好的新詞表的基礎(chǔ)上,優(yōu)化策略就有了一個(gè)好的開(kāi)始。由于現(xiàn)在網(wǎng)頁(yè)html語(yǔ)言越來(lái)越規(guī)范化,這也給采集帶來(lái)了方便。根據(jù)研究發(fā)現(xiàn),一個(gè)網(wǎng)頁(yè)的主題決定了一個(gè)網(wǎng)頁(yè)的內(nèi)容,也就是在之間的部分,只要通過(guò)網(wǎng)絡(luò)蜘蛛先抓部分的內(nèi)容,之后再將抓取的部分和關(guān)鍵詞列表進(jìn)行對(duì)比,如果主題里含有關(guān)鍵詞超過(guò)規(guī)定的閾值,就繼續(xù)抓取,否則,就放棄抓取。這種改進(jìn)的抓取策略可以有效地改善抓取的效率和準(zhǔn)確度。

在數(shù)據(jù)來(lái)源方面,如果只從互聯(lián)網(wǎng)上獲取數(shù)據(jù),那就無(wú)法體現(xiàn)垂直搜索引擎專業(yè)化的優(yōu)勢(shì),必須從別的渠道獲取行業(yè)數(shù)據(jù),這樣才能充分發(fā)揮垂直搜索引擎的特點(diǎn)?？梢圆捎眉?lì)制度,鼓勵(lì)用戶提供數(shù)據(jù),如果提供的數(shù)據(jù)很有價(jià)值,而且本身搜索引擎沒(méi)有收錄,可以給予用戶獎(jiǎng)勵(lì)。購(gòu)買(mǎi)一些收費(fèi)資料,可以采取廣告分成或收費(fèi)檢索的方式進(jìn)行收錄?？傊?行業(yè)資料要盡可能地全面。

(二)進(jìn)行有效的數(shù)據(jù)挖掘

數(shù)據(jù)挖掘,就是對(duì)用戶在查詢結(jié)果出現(xiàn)后的瀏覽行為和關(guān)鍵詞輸入記錄,并進(jìn)行有效整理統(tǒng)計(jì)分析,進(jìn)而根據(jù)所獲得的相關(guān)數(shù)據(jù)進(jìn)行二次應(yīng)用?？梢該?jù)此對(duì)查詢結(jié)果進(jìn)行重新排序,把和用戶興趣相似度高的排列在前面,以此來(lái)緩解競(jìng)價(jià)排名帶來(lái)的負(fù)面影響?？梢詫⒋藬?shù)據(jù)提供給行業(yè)用戶進(jìn)行商業(yè)決策。具體措施如下:

第一,挖掘用戶瀏覽習(xí)慣。獲取用戶的瀏覽習(xí)慣是對(duì)用戶對(duì)搜索結(jié)果滿意度反饋的獲取,有如下行為可以判斷用戶對(duì)某一鏈接興趣度高:點(diǎn)擊鏈接網(wǎng)頁(yè)后鏈接的層次,打開(kāi)鏈接網(wǎng)頁(yè)后網(wǎng)站的持續(xù)打開(kāi)時(shí)間,用戶打開(kāi)網(wǎng)站后有無(wú)復(fù)制文本,保存鏈接進(jìn)入收藏夾等行為。如果產(chǎn)生上述行為,可以認(rèn)為此鏈接用戶興趣度高,此鏈接相比其他搜索結(jié)果更有價(jià)值,同時(shí),由于網(wǎng)頁(yè)瀏覽并發(fā)性高,時(shí)間短,理論上通過(guò)客戶端記錄用戶行為效果最好,但是用戶對(duì)后臺(tái)監(jiān)控自己行為的軟件內(nèi)心是一種反感態(tài)度,軟件本身也無(wú)法使用戶相信不會(huì)泄露用戶的隱私,所以不宜采用,在當(dāng)前條件下,由于電腦日益普及,個(gè)人電腦的保有量大大增加,所以采用ip和cookies可以近似地保證用戶數(shù)據(jù)的單一性和獨(dú)立性,具體操作的流程如下:

啟動(dòng)垂直搜索引擎,搜索引擎獲得cookies和ip,在數(shù)據(jù)庫(kù)查找該用戶的信息,如果沒(méi)有信息,則新建一個(gè)用戶,如果存在該用戶,則在數(shù)據(jù)庫(kù)中調(diào)用該用戶已經(jīng)存在的瀏覽興趣數(shù)據(jù)。

提交關(guān)鍵詞,搜索引擎接收關(guān)鍵詞,獲得搜索結(jié)果,并根據(jù)用戶的瀏覽興趣表,將瀏覽興趣表和原始搜索結(jié)果進(jìn)行相關(guān)性計(jì)算,之后將結(jié)果返回給用戶瀏覽器。

通過(guò)每次用戶瀏覽該結(jié)果的過(guò)程進(jìn)行記錄,并將此記錄迭代更新到用戶興趣表,反復(fù)進(jìn)行,隨著用戶搜索的持續(xù)進(jìn)行,則用戶的搜索結(jié)果的排序越來(lái)越接近他自己想要的結(jié)果,并且用戶興趣表對(duì)用戶的愛(ài)好的反映也和用戶本身的愛(ài)好相似度越來(lái)越高,從而抽象出用戶的興趣模型,使用戶的滿意度提高。

第二,挖掘行業(yè)關(guān)注點(diǎn)。作為關(guān)注點(diǎn)在所面向行業(yè)的垂直搜索引擎,可以在用戶查詢時(shí)對(duì)其所輸入的關(guān)鍵詞進(jìn)行記錄,之后在一個(gè)時(shí)間間隔內(nèi)(3個(gè)月或半年)對(duì)這些關(guān)鍵詞進(jìn)行統(tǒng)計(jì)分析一次,就能夠獲取這個(gè)時(shí)間區(qū)間內(nèi)用戶對(duì)這個(gè)行業(yè)的各方面關(guān)注情況,這些資料對(duì)于從事該行業(yè)的企業(yè)來(lái)說(shuō)很有價(jià)值,并將帶來(lái)生產(chǎn)、營(yíng)銷(xiāo)收益。這些數(shù)據(jù)都是來(lái)源于用戶的搜索記錄,不存在修改、偽造,反映出的數(shù)據(jù)是真實(shí)可靠的,因此可以用作決策參考。企業(yè)根據(jù)資料所反映的情況,調(diào)整自己的生產(chǎn),營(yíng)銷(xiāo)策略,去適應(yīng)用戶和市場(chǎng)的需求,以在市場(chǎng)上獲得先機(jī)。同時(shí)通過(guò)給企業(yè)用戶提供搜索報(bào)告,可以和他們交換一些互聯(lián)網(wǎng)沒(méi)有的行業(yè)資料,實(shí)現(xiàn)雙贏的效果。

第三,廣告推薦。作為競(jìng)價(jià)排名廣告的有益補(bǔ)充,數(shù)據(jù)挖掘技術(shù)在推薦廣告方面也可以發(fā)揮出它的作用,使得企業(yè)所投放的廣告獲得更好的收益。當(dāng)獲得一系列用戶的興趣模型,即可對(duì)這些用戶進(jìn)行相應(yīng)的聚類分析,得出有相同愛(ài)好的一類用戶。這時(shí),就可以根據(jù)用戶的愛(ài)好和興趣度,進(jìn)行相應(yīng)的廣告投放和產(chǎn)品推薦,所投放的廣告由于是基于用戶的愛(ài)好,二者之間有很高的相似度,用戶一般也樂(lè)于接受,不會(huì)造成反感,認(rèn)可度更高,效果也要比沒(méi)有選擇性的廣告好很多。

(三)集成行業(yè)優(yōu)勢(shì)并發(fā)展成為該行業(yè)的門(mén)戶

通過(guò)和該行業(yè)的從業(yè)人員進(jìn)行有效溝通,以及對(duì)該行業(yè)進(jìn)行充分調(diào)研了解,對(duì)垂直搜索引擎進(jìn)行不斷改造、更新,使其在該行業(yè)發(fā)揮出越來(lái)越重要的作用,進(jìn)而成為該行業(yè)的門(mén)戶,這時(shí)就可以依托門(mén)戶優(yōu)勢(shì),成為電子商務(wù)的中介平臺(tái)。比如一個(gè)面向玩具的垂直搜索引擎,就可以采用如下模式進(jìn)行中介,用戶搜索某一玩具,搜索引擎利用自己整合優(yōu)勢(shì),通過(guò)運(yùn)算比較,返回給用戶最合適的購(gòu)買(mǎi)方案,如果用戶對(duì)該玩具只有模糊的印象,搜索引擎也可以根據(jù)用戶提供的信息在龐大的資料庫(kù)內(nèi)進(jìn)行有效的查詢,返回用戶最滿意的結(jié)果,進(jìn)而用戶就可以根據(jù)返回的結(jié)果選擇購(gòu)買(mǎi)。由此可以看出,搜索引擎通過(guò)龐大、準(zhǔn)確的行業(yè)庫(kù)可以提供買(mǎi)賣(mài)方的有效信息互動(dòng),減少買(mǎi)賣(mài)方的成本。

(四)發(fā)展移動(dòng)搜索

隨著手機(jī)的逐漸普及,以及3G技術(shù)的迅速鋪開(kāi),移動(dòng)搜索也已經(jīng)提到議事日程來(lái),未來(lái)的互聯(lián)網(wǎng)將逐步轉(zhuǎn)移到移動(dòng)平臺(tái)上,抓住移動(dòng)平臺(tái),也就抓住了商機(jī)。在移動(dòng)平臺(tái),垂直搜索引擎將發(fā)揮更加重要的作用,由于移動(dòng)平臺(tái)自身的局限性,通用搜索引擎檢索信息在速度、準(zhǔn)確度上都不適用于移動(dòng)平臺(tái),垂直搜索引擎自身的小、快、靈的特點(diǎn)與移動(dòng)平臺(tái)相適合,二者相得益彰。手機(jī)通信是通過(guò)基站進(jìn)行傳遞中轉(zhuǎn),如果和通信服務(wù)商進(jìn)行合作,就可以在用戶提交查詢時(shí)獲取用戶的基站信息,通過(guò)基站信息就可以對(duì)用戶的位置進(jìn)行大致定位,獲取用戶位置,從而進(jìn)行一系列的針對(duì)性服務(wù)。

參考文獻(xiàn):

1.邱哲,符滔滔.開(kāi)發(fā)自己的搜索引擎[M].人民郵電出版社,2007

2.郝鳳英.垂直網(wǎng)站及其信息服務(wù)模式[J].信息系統(tǒng),2002

3.胡晶晶,錢(qián)湘,趙志強(qiáng).基于垂直搜索的機(jī)票搜索系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J].計(jì)算機(jī)應(yīng)用與軟件,2008