走出搜索迷航:復雜探索式搜索過程中筆記記錄的認知導航功能探究

孟高慧 劉 暢

(北京大學信息管理系,北京,100871)

1 引言

隨著網(wǎng)絡信息量的增長,當前搜索用戶處于一個信息富裕且動態(tài)密集的信息空間中,用戶的問題情境變得更加困難和復雜,搜索任務的層次也由此提升。在此背景下,傳統(tǒng)的事實查找型搜索任務已經(jīng)無法代表用戶普遍的任務情境,用戶面臨的搜索任務經(jīng)常是開放性的,再加上領域知識缺乏,他們在搜索過程中往往會處于一種信息需求模糊、搜索過程陌生、搜索目標未知的不確定狀態(tài)。此外,搜索任務也通常會包含多個子任務或子主題,需要用戶構造多個查詢式、搜索多個信息源,甚至跨越多個搜索會話才能完成。由于搜索任務具有探索性和復雜度,搜索者會在搜索過程中面臨多種困難,包括表達信息需求的困難、規(guī)劃搜索過程的困難、意義構建的困難、控制認知負荷的困難、集中注意力的困難等。這些困難的存在導致搜索者容易出現(xiàn)“搜索迷航(search dis-orientation)”問題,即他們在當前搜索步驟與下一搜索步驟之間迷失,既不知道當前的搜索進展以及下一步的搜索方向,也不知道如何執(zhí)行下一個搜索步驟。這一概念的界定借鑒了此前學界對迷航(disorientation)問題的定義。迷航問題伴隨著超文本技術的出現(xiàn)而產(chǎn)生,Conklin[1]將其定義為用戶知道自己在網(wǎng)絡中的位置以及如何去他們知道存在于網(wǎng)絡中的其他位置的困難;國內學者將其翻譯為超文本迷航[2]、網(wǎng)絡導航迷失[3]、信息迷航[4-5]等。隨著超文本導航技術的發(fā)展,超文本迷航問題逐漸被解決,但隨著用戶搜索任務層次的提升,新的問題隨之而來,即“搜索迷航”問題。如果說超文本迷航是指用戶在超文本空間中迷失方向,那么搜索迷航則是指搜索者在搜索過程中迷失方向。搜索迷航會產(chǎn)生一系列負面影響,如降低搜索任務完成效率、認知負荷過載、注意力不集中、產(chǎn)生負面情緒等,甚至會影響最終的搜索績效?？梢哉f,搜索迷航問題在具有探索性或復雜度的搜索情境中普遍存在。

筆記記錄(note-taking)是指個體理解一份書面文件或一篇演講,并通過寫下來的方式記錄信息的活動[6],筆記記錄能夠在課堂學習情境下發(fā)揮貯藏和編碼功能[7],并最終服務于學習效果的提升。除課堂學習情境外,筆記記錄也是搜索會話中最為常見的活動之一,尤其在探索式搜索中,搜索者經(jīng)常會使用手寫或電子筆記來收集、管理、組織和分享在搜索時找到的信息[8]。已有研究對搜索情境下筆記記錄的功能進行了研究,并發(fā)現(xiàn)了筆記記錄具有提高搜索績效的作用[9-13]。但是,對于具有探索性或復雜度的搜索情境來說,最為緊迫的問題不僅在于改善最終的搜索績效,還在于解決用戶在搜索過程中的搜索迷航問題?；趯P記記錄在課堂學習情境中所發(fā)揮功能的分析,本文認為,搜索中的筆記記錄可以通過支持用戶的一系列認知及元認知調節(jié)活動來協(xié)助他們推進搜索過程,避免出現(xiàn)搜索迷航問題,此即筆記記錄的“認知導航(cognitive orienta-tion)”功能。筆記記錄的這種認知導航功能是其貯藏和編碼功能在搜索情境下衍生出的新功能,目前仍未有學術研究探究這一功能。此外,也仍未有搜索系統(tǒng)工具充分支持搜索過程中的筆記記錄來幫助用戶解決搜索迷航問題,因此需要進一步探究系統(tǒng)如何支持用戶主動的筆記記錄過程,以更好地發(fā)揮筆記的認知導航功能,從而挖掘筆記記錄在支持用戶搜索過程中的更大可能性。

為此,本文提出了一種新的“復雜探索式搜索任務(complex and exploratory search task)”作為理想研究情境,在此基礎上以“復雜探索式搜索過程中筆記記錄的認知導航功能”為主題,嘗試探究筆記記錄能否在搜索過程中發(fā)揮認知導航功能以及不同記錄策略的功能區(qū)別,最終啟發(fā)搜索系統(tǒng)在筆記記錄環(huán)節(jié)提升服務,更好地支持具有探索性或復雜度的搜索情境。

2 相關研究

2.1 復雜探索式搜索任務

當前,傳統(tǒng)的事實查找型搜索任務已經(jīng)無法代表用戶普遍的任務情境,各種新的搜索情境受到關注。探索式搜索是信息搜索領域不斷細分下產(chǎn)生的研究前沿。2006年,Marchionini[14]提出了探索式搜索的概念,即在信息需求模糊、缺乏相關目標知識的問題情境下,用戶通過多次交互、多次循環(huán)、變化目標,以多種方法不斷探索從而達到信息目標的信息搜尋過程,這種過程與學習和調查類活動高度相關。產(chǎn)生探索式搜索過程的典型任務叫作探索式搜索任務,其中,任務的“探索性”屬性指用戶的主觀知識狀態(tài)[15],即用戶處于一種不熟悉、不確定的狀態(tài),既不熟悉目標領域、不確定達成搜索目標的路徑,也不確定搜索目標[14]。

在對搜索任務進行分類時,任務的復雜度同樣受到關注。復雜搜索任務即具有高復雜度的搜索任務,借鑒Liu等[16]對工作任務復雜度定義的分類,本文將不同學者對搜索任務復雜度的定義歸納為以下三個維度:首先,有學者從任務結構出發(fā)定義復雜度,強調組成搜索任務的元素數(shù)量及相互關系,復雜搜索任務包含較多任務元素且元素之間相互連接,包括考慮子任務的數(shù)量[17]、任務主題或分面的數(shù)量[18-19]、搜索會話的數(shù)量[15]、搜索信息源的數(shù)量[15]、搜索步驟的數(shù)量[17]、搜索路徑和結果的多樣性[20-21]等;其次,也有學者從資源需求出發(fā)定義復雜度,強調完成搜索任務的人類信息處理過程中所需的各類資源的數(shù)量,復雜搜索任務在完成過程中需要投入更多的資源,包括考慮任務定義的充分性(即認知需求的數(shù)量)[22-23]、用戶參與度[24]等;最后,也有學者從任務和搜索者特征(如先驗知識和經(jīng)驗)之間的交互作用出發(fā)定義復雜度,強調搜索者對任務復雜度的感知,即考慮用戶感知復雜度[25-26]。在這三個維度中,后兩個維度上的復雜度均可由“不確定性”所引發(fā),任務缺乏結構所導致的任務本身的不確定性會引發(fā)第二個維度上的復雜度,而搜索者缺乏知識所導致的搜索者對任務的不確定性則會引發(fā)第三個維度上的復雜度。與此同時,任務本身的不確定性或搜索者對任務的不確定性往往會使搜索者的主觀知識處于不確定的狀態(tài)。因此,這兩個維度上的復雜度與探索式搜索任務的“探索性”屬性緊密關聯(lián)。

探索性通常是復雜搜索的一個固有特征[15],而探索式搜索也往往具有復雜度屬性[14],搜索任務的探索性和復雜度屬性緊密關聯(lián)。已有一些研究在定義搜索任務時同時關注了任務的探索性和復雜度,例如,Awadallah等[17]將其研究的搜索會話的特征定義為:涉及到學習和發(fā)現(xiàn)、瀏覽感興趣的主題或者人的信息、解決一個多步驟任務,并且交替地使用探索式任務和復雜任務的術語來表示這種類型的任務;袁紅等[27]在定義實驗任務時,將搜索任務分為提問應答式和探索式,同時將探索式搜索按照任務復雜度設計了單主題搜索與多主題搜索兩組。

在這些研究的基礎上,本文提出一種新的搜索任務,即復雜探索式搜索任務,并借鑒Aula等[15]對探索性和復雜度的區(qū)分來定義該搜索任務。如圖1所示,該搜索任務同時具有“探索性”和“復雜度”屬性,其中探索性由任務的不確定性來衡量,即用戶知識對搜索目標理解的當前水平到搜索目標可以被執(zhí)行的距離,這種不確定性是由任務要求模糊或用戶對搜索領域不熟悉等引起的;復雜度由任務所包含的元素數(shù)量來衡量,即取得搜索目標所需的搜索步驟數(shù)量,這種復雜度是由任務本身復雜引起的。復雜探索式搜索任務是指同時包含不確定性和多任務元素的搜索任務,一般以學習或調查某一主題或領域為任務目標。

圖1 復雜探索式搜索任務的定義

2.2 筆記記錄功能的相關研究

從20世紀70年代開始,國內外關于筆記記錄的研究逐漸興起,這些研究主要集中于課堂學習情境。目前關于課堂學習情境下筆記記錄的功能形成了貯藏功能假說(storage function hypothesis)和編碼功能假說(encoding function hypothesis)[7]。其中,貯藏功能假說主張筆記記錄的作用主要在于對所記筆記的占有,認為筆記是一種外部存儲機制、一種記錄信息以便日后審查的手段[28];編碼功能假說則主張筆記記錄的作用主要在于對信息的編碼過程,強調筆記是一種知識轉化工具、一種知識建構工具。在筆記記錄的過程中,學習者向自己敘述和解釋一些信息,并組織和建立關系以使它更容易理解[29]。通過這種編碼機制,學習者能夠在認知層面上深化文本理解[30]、強化信息記憶[31]、建構知識體系[32],在元認知層面上引發(fā)積極活動[28,33]、維持注意力[10,34]、計劃及監(jiān)控任務[28,35]。這兩種假說本質上是互補的,它們分別從靜態(tài)和動態(tài)角度闡明了筆記記錄的功能[36]。無論是哪種假說,課堂學習情境下的筆記記錄功能最終均服務于學習效果的提升。

除了課堂學習情境,筆記記錄也是搜索會話中最為常見的活動之一[8]。搜索情境下的筆記記錄是用戶對已獲得的信息進行使用的行為,已有一些學者對搜索情境下筆記記錄的功能展開了研究。Kauffman等[9]探究不同筆記記錄策略在網(wǎng)絡學習環(huán)境中對信息收集和學習成績的影響發(fā)現(xiàn),矩陣筆記是一種較好的信息收集和提高學習成績的工具;Wu等[10]探究筆記記錄策略和時間壓力對大學生任務無關瀏覽行為和在線搜索績效的影響發(fā)現(xiàn),矩陣筆記可以抑制與任務無關的刺激,并可以提高在線搜索績效;劉暢等[11]根據(jù)搜索中的筆記完成度,將用戶的筆記記錄策略分為早期記錄型、平均記錄型、后期記錄型,發(fā)現(xiàn)平均記錄型的學習產(chǎn)出質量更高;Wu[12]在考慮使用筆記記錄輔助認知的前提下,探究無關言語和沉默狀態(tài)下用戶的工作記憶能力配置對在線搜索績效的影響發(fā)現(xiàn),無論自由筆記還是矩陣筆記均能夠幫助用戶控制認知負荷,提高在線搜索績效;Roy等[13]探究整合到搜索界面中的高亮顯示和筆記記錄等主動閱讀工具對學習導向搜索的影響發(fā)現(xiàn),筆記記錄能夠改善用戶的學習效果?？偟膩碚f,已有搜索情境下筆記記錄功能的相關研究主要關注了筆記記錄對提高搜索績效的作用,但這仍然是課堂學習情境下筆記記錄的貯藏和編碼功能在搜索情境下最直接的體現(xiàn)。

2.3 筆記記錄在搜索過程中的認知導航功能

根據(jù)已有研究,復雜探索式搜索任務是最需要用戶進行筆記記錄的搜索情境,例如,Aula等[15]提出了一條筆記記錄分界線,并指出當搜索任務的探索性和復雜度都充分地強加給搜索者大量的記憶和認知負擔時,就需要筆記這種外部存儲;Donato等[24]也提出,復雜的研究型搜索任務是收集筆記的正確情境。這也意味著,筆記記錄能夠在復雜探索式搜索任務中發(fā)揮最顯著的功能。搜索迷航問題是用戶在復雜探索式搜索過程中所面臨的最主要問題之一?；诠P記記錄在課堂學習情境下所發(fā)揮的認知和元認知層面的功能,本文認為,在復雜探索式搜索過程中,筆記記錄可以通過支持用戶的一系列認知及元認知調節(jié)活動來協(xié)助他們應對多種可能的困難,推進他們的搜索過程,避免出現(xiàn)搜索迷航問題,此即筆記記錄的認知導航功能。具體而言,筆記記錄能夠發(fā)揮認知導航功能的原因可能包括:構建用戶的知識體系,協(xié)助應對表達信息需求的困難;計劃及監(jiān)控用戶的搜索過程,協(xié)助應對規(guī)劃搜索過程的困難;深化用戶對結果的理解,協(xié)助應對意義構建的困難;外化用戶搜索結果的存儲,協(xié)助應對控制認知負荷的困難;引發(fā)用戶的積極活動及維持注意力,協(xié)助應對集中注意力的困難等。

筆記記錄的這種認知導航功能是其貯藏和編碼功能在搜索情境下衍生出的新功能,目前仍未有學術研究探究這一功能。此外,已有搜索系統(tǒng)中開發(fā)的各類搜索筆記主要充當信息保存和組織的工具[24],大多僅為用戶提供最基本的記錄功能,或幫助用戶自動地保存、組織搜索結果,這種自動化的筆記形成方式是被動的,只能發(fā)揮出筆記的貯藏功能,削弱了筆記記錄的動態(tài)過程所發(fā)揮的編碼功能。目前仍未有搜索系統(tǒng)工具充分支持搜索過程中的筆記記錄來幫助用戶解決搜索迷航問題,需要進一步探究如何支持用戶主動的筆記記錄過程,以更好地發(fā)揮筆記的認知導航功能?；诖?本文以“復雜探索式搜索過程中筆記記錄的認知導航功能”為主題,研究以下兩個問題:

問題一:筆記記錄能否在搜索過程中發(fā)揮認知導航功能?其認知導航功能主要表現(xiàn)在哪些方面?

問題二:不同筆記記錄策略發(fā)揮的認知導航功能是否存在區(qū)別?主要在哪些方面存在區(qū)別?

3 研究設計及數(shù)據(jù)收集

本文采用實驗法收集數(shù)據(jù)。下面具體介紹用戶實驗的組內實驗、搜索任務、筆記記錄條件和所使用的搜索過程表現(xiàn)主觀評價初始問卷的設計,以及最終的實驗過程和結果。

3.1 實驗設計

3.1.1 組內實驗設計

為了盡可能控制個體差異對結果的影響,采用組內實驗設計,每一被試均接受3種筆記記錄條件的實驗處理,分別完成3個搜索任務。此外,3個搜索任務、3種筆記記錄條件以及任務順序的組合采用拉丁方設計,在不同被試間進行36(3×2×3×2)種組合的輪換。

3.1.2 搜索任務設計

在任務類型上,設置為復雜探索式搜索任務。一方面,為了操作任務的探索性屬性,將任務設置為知識獲取型任務[14],特點是具有開放式的搜索目標,沒有獲得所需信息的確定路徑,沒有何時結束搜索的明確標準,直到主觀滿意[37]。另一方面,為了操作任務的復雜度屬性,將任務設置為平行任務,特點是信息需求被找到存在于概念層級體系中同一層次的多元概念所滿足,屬于廣度搜索[38]。在任務主題上,選取了大學生比較感興趣的產(chǎn)品領域,同時為了增強任務的探索性,將搜索主題定為領域中的新興產(chǎn)品,分別為旅行自行車主題、骨傳導耳機主題、電動滑板車主題。在任務表述上,使用模擬真實環(huán)境下工作場景的仿真任務情境[39]來構建任務。最終,實驗共設置了以下三個復雜探索式搜索任務:

假設你在畢業(yè)后應聘成為一家在線雜志的作家。最近,你的編輯希望你就“旅行自行車——專為長途游行而生的自行車”(task1)/“骨傳導耳機——貼到太陽穴上就可以聽音樂”(task2)/“電動滑板車——輕巧簡便的綠色出行工具”(task3)這一主題概念進行寫作。在文章中,你需要盡可能地在多個關鍵的可對比維度上描述旅行自行車、山地自行車、公路自行車/骨傳導耳機、入耳式耳機、頭戴式耳機/電動滑板車、電動自行車、平衡車的特點,最終形成一篇全面對比三類產(chǎn)品的文章,以方便讀者選用。在寫作之前,你需要收集寫作過程中需要的信息資料,請使用“百度一下”進行搜索,在搜索過程中對有用的信息片段進行采集。請收集盡可能多個關鍵維度上完整的信息,搜索時間不限,當你覺得已經(jīng)收集了足夠多的信息資料以供寫作后,即可停止搜索。

3.1.3 筆記記錄條件設計

本文的主要目的在于探究筆記記錄能否在搜索過程中發(fā)揮認知導航功能以及不同記錄策略的功能區(qū)別,其中涉及到不同的筆記記錄方式,這是研究的自變量。為此,本研究選定提綱筆記和矩陣筆記兩種代表性筆記記錄策略[40],這兩種策略均屬于結構化記錄策略,能夠更好地組織概念并建立連接,且已被廣泛證實具有比傳統(tǒng)自由筆記更好的學習效果[41],此外,引入無筆記情況進行對比,共設置了無筆記、提綱筆記、矩陣筆記三種筆記記錄方式。

(1)無筆記條件:被試在搜索中不記錄筆記。(2)提綱筆記條件:被試在搜索中記錄提綱筆記。為被試提供word文檔作為記錄工具,要求在搜索中不斷地粘貼采集的信息片段到筆記中,并以“多級標題+列表”的形式組織它們,樣例如圖2所示。(3)矩陣筆記條件:被試在搜索中記錄矩陣筆記。為被試提供word文檔作為記錄工具,要求在搜索中不斷地粘貼采集的信息片段到筆記中,并以表格的形式組織它們,表格的首行及首列作為標題,在單元格中填充文本內容,樣例如圖3所示。

圖2 提綱筆記樣例

圖3 矩陣筆記樣例

3.1.4 搜索過程表現(xiàn)主觀評價初始問卷設計

筆記記錄的認知導航功能表現(xiàn)為對搜索過程的協(xié)助效果,因此需要對被試的搜索過程表現(xiàn)進行測量,進一步通過對比不同記錄條件下被試的搜索過程表現(xiàn)來反映筆記記錄對搜索過程的協(xié)助效果。為了能夠全面測量被試在行為、情感、認知及元認知等不同層面上的表現(xiàn),我們主要通過被試在搜索后的主觀評價來測量其在搜索中的表現(xiàn)。但現(xiàn)有搜索過程表現(xiàn)的主觀評價工具多為關注某一具體方面的量表,或是沒有經(jīng)過信效度檢驗的臨時問卷,很少有全面的、經(jīng)過檢驗的量表。因此,我們嘗試自行開發(fā)復雜探索式搜索過程表現(xiàn)主觀評價量表,并發(fā)現(xiàn)測量搜索過程表現(xiàn)的關鍵子維度,這是研究的因變量。

為了增強問卷的效度,在形成初始問卷時,廣泛借鑒了目前已有適用于交互式信息檢索的測量工具,這些工具分為四種類型,即情境相關的、測量交互、測量表現(xiàn)和測量可用性[42]。其中,測量搜索情境的工具關注搜索或工作任務的屬性,測量搜索交互的工具關注用戶的搜索策略,測量系統(tǒng)可用性的工具關注用戶對系統(tǒng)的感知以及與系統(tǒng)之間的交互[42],這三類工具雖然沒有直接測量用戶的表現(xiàn),但都關系到一個搜索會話成功與否,可以經(jīng)過適當?shù)卣{整改為對搜索表現(xiàn)的描述。在形成問卷的過程中,邀請了10名大學生試填問卷,讓其就可讀性、內容清晰度、格式編排等提出意見,并根據(jù)反饋對問卷進行了修改。最終形成的搜索過程表現(xiàn)主觀評價初始問卷中的樣本項目如表1所示。

表1 搜索過程表現(xiàn)主觀評價初始問卷

初始問卷共包含6個子維度,共44個樣本項目,6個維度分別是搜索過程的效果(EESP)、搜索過程的效率(EISP)、搜索過程的情感與認知(ECSP)、搜索過程的方向性(OISP)、搜索過程的有序性(ODSP)、搜索過程的監(jiān)控性(MSP)。所有題目均采用李克特五點量表形式,選項為“非常不同意、比較不同意、一般、比較同意、非常同意”,分別賦值1—5分。

3.2 實驗過程及結果

3.2.1 具體實驗流程

實驗流程如圖4所示。被試來到實驗室進行實驗,實驗開始前,被試簽署知情同意書,填寫背景情況調查問卷并完成TMT(Trail Making Test)測驗以檢驗認知靈活度。然后正式開始實驗,實驗共包括三個搜索任務。對于每次的搜索任務,在搜索開始前,被試填寫搜索前問卷,實驗者對被試介紹任務要求并進行信息采集和筆記記錄方式培訓。接著被試使用計算機進行搜索,要求在搜索中對有用信息資料進行采集,同時以相應的筆記記錄方式輔助全過程,當被試認為采集了足夠完成任務的信息資料后,即停止搜索。在搜索結束后,被試填寫搜索后問卷和搜索過程表現(xiàn)主觀評價初始問卷,實驗者向被試提供其在搜索中輸入的檢索式,要求被試回憶檢索式的來源并進行有用性打分。一個搜索任務完成后進行下一個,直至被試完成全部任務。全部任務結束后,實驗者對被試進行半結構化訪談,了解筆記記錄對搜索過程的幫助。訪談結束后,被試填寫收據(jù)并得到100元被試費。在實驗過程中,計算機預先安裝有Morae Recorder 3.3,在后臺記錄被試的交互行為。

圖4 用戶實驗流程示意圖

3.2.2 數(shù)據(jù)收集結果

將招募對象控制在北京大學及附近高校的大學生群體中,通過線上問卷招募被試,篩選出對搜索主題有較少的先驗知識、具有一定信息檢索能力和筆記記錄能力的被試,最終邀請了41位。關于被試的數(shù)量,事先使用G.Power軟件進行了先驗分析,確定所需最低樣本量為35(1)具體參數(shù):雙尾檢驗、effect size d=0.5、α err prob=0.05、1-β err prob=0.8、Wilcoxon signed-rank test(matched pairs)。。實驗數(shù)據(jù)收集時間為2022年1月10日—1月20日、3月10日—3月20日,平均實驗時長為2.5小時。被試較為均勻地分布在不同的性別、年齡、學院、年級,具有良好的代表性:在來源學校上,北京大學39人、清華大學1人、北京郵電大學1人;在性別上,女性27人、男性14人;在年齡上,分布在17—30歲之間;在來源學院上,社會科學學部12人、人文學部12人、理學部4人、醫(yī)學部4人、信息與工程科學部4人、經(jīng)濟與管理學部3人、跨學科類2人;在所處年級上,本科生大一7人、大二8人、大三5人、大四(及大五)9人,碩士研究生6人、博士研究生6人。

4 開發(fā)復雜探索式搜索過程表現(xiàn)主觀評價量表

本文遵循Churchill[52]提出的標準程序來開發(fā)量表,具體步驟包括項目開發(fā)、量表開發(fā)、量表評估三個階段。其中項目開發(fā)階段已經(jīng)在3.2節(jié)中有介紹,下面主要介紹量表開發(fā)和量表評估階段。

4.1 量表開發(fā)

4.1.1 項目分析

首先,采用臨界比分析法(總分前27%為高分組,后27%為低分組)檢驗了各項目的鑒別度,結果顯示各項目的顯著性均小于0.001,都達到了可接受的水平,不必刪除任何項目。其次,計算了CITC和CAID兩項指標來檢驗各項目的關聯(lián)性。對于CITC系數(shù)小于0.4且CAID系數(shù)大于總體Cronbach’α系數(shù)的項目,應該從項目集合中刪除[53],指標結果支持保留全部項目。最終,44個樣本項目均通過本階段檢驗,進入探索性因子分析階段。

4.1.2 探索性因子分析

KMO值為0.884,大于參考標準0.5,Bartlett’s球形度檢驗顯著性小于0.001,表明原始變量之間存在相關關系,各項目之間可能存在共享潛變量,可以進行因子分析。采用主成分分析法及方差最大化正交旋轉,抽取特征值大于1的因子,對初始問卷進行探索性因子分析。逐次刪除不合理的樣本項目,原則為刪除在所有因子中載荷值均小于0.5的項目;刪除同時在兩個及以上因子中載荷值均大于0.5且差值小于0.2的項目;刪除項目數(shù)量不足三個的因子;刪除與所屬因子含義不一致的項目。整個過程中每次只刪除一個項目,然后開始新一輪的因子分析,直到獲得最佳因子結構。在刪除了EESP3等16個項目之后,最終提取出5個因子,包含28個項目,累計方差貢獻率為65.140%,大于40%的標準[54],表明所選因子涵蓋了原始數(shù)據(jù)的較多信息量。在旋轉后的成分矩陣中,各項目的載荷值處于0.518—0.787之間,均大于0.5,具體如表2所示。

表2 探索性因子分析旋轉后的成分矩陣

在因子1上,10個測度項反映了搜索者在搜索中對搜索方向有良好的自我意識和監(jiān)控從而避免迷失方向,能夠控制認知負荷及保持良好情緒,并對搜索時間進行了高效利用。這些均說明了搜索者成功地應對了搜索迷航問題,故將該因子命名為“搜索過程的迷航表現(xiàn)”,得分越高說明搜索者應對搜索迷航問題時表現(xiàn)越好;在因子2上,6個測度項反映了搜索者在搜索中能夠監(jiān)測整個搜索過程的進展、效果、效率及存在的問題,從而洞悉和評估相關情況并據(jù)此快速判斷下一步的進展方向及何時終止搜索,故將該因子命名為“搜索過程的監(jiān)控程度”,得分越高說明搜索者越好地監(jiān)控了搜索過程;在因子3上,4個測度項反映了搜索者在搜索中有效地使用計劃和策略來保持搜索行為有序,并能夠清楚地意識到整個行為順序,故將該因子命名為“搜索過程的有序程度”,得分越高說明搜索者的搜索過程越有序;在因子4上,4個測度項反映了搜索者深入地參與到了搜索中,從而良好地應對了時間壓力及其引發(fā)的焦慮,故將該因子命名為“搜索過程的沉浸程度”,得分越高說明搜索者對搜索過程越沉浸;在因子5上,4個測度項反映了搜索者在搜索中采集相關和有用信息,充分利用時間以有效地完成搜索任務,故將該因子命名為“搜索過程的任務進展”,得分越高說明搜索者越有效地開展搜索任務。這5個因子是測量用戶搜索過程表現(xiàn)的關鍵子維度。

上述5個因子、28個項目構成了修訂后的復雜探索式搜索過程表現(xiàn)主觀評價量表?？偭勘怼⒆恿勘淼梅值挠嬎惴绞綖椤翱偡帧孪鄳捻椖繑?shù)”,取值范圍均為1—5分。在此基礎上對量表進行質量評估。

4.2 量表評估

4.2.1 信度檢驗

通過測量分半信度、同質性信度、組合信度檢驗了量表的內部一致性。就分半信度而言,總量表和各子量表的Spearman-brown系數(shù)處于0.644—0.897之間,其中“搜索過程的沉浸程度(0.644)”“搜索過程的任務進展(0.667)”子量表的系數(shù)小于標準值0.7。這可能是因為測量項較少(4個)引起的,當變量的測量指標少于6個時,大于0.6即表示量表是可靠的[55]。就同質性信度而言,總量表的Cronbach’α系數(shù)為0.945,大于0.8,各子量表的系數(shù)處于0.768—0.923之間,大于0.7,均符合要求[56]。就組合信度而言,總量表和各子量表的CR值處于0.769—0.967之間,均大于標準值0.7[57]。結果表明,量表的項目體系在構思布局上具有一致性,量表整體及各個構面具有可靠性。

4.2.2 效度檢驗

檢驗了量表的內容效度、建構效度。①內容效度:首先,初始問卷的樣本項目廣泛借鑒了已有適用于交互式信息檢索的主觀測量工具,保證項目較全面地涵蓋了搜索過程表現(xiàn)的各個方面。其次,在形成問卷的過程中,邀請了大學生試填問卷,并根據(jù)反饋對問卷進行了修改,保證了項目的表述能夠清楚地反映要考察概念的內容。綜上,量表的測量項目與目標概念較為吻合。②建構效度:首先,對總量表及各子量表進行相關性分析,結果顯示,各子量表與總量表之間顯著相關,Spearman系數(shù)處于0.645—0.933之間,屬于中高度相關,各子量表之間的系數(shù)處于0.424—0.711之間,屬于低中度相關,明顯低于各子量表與總量表之間的相關系數(shù)。表明了各子量表測量同一概念,但又存在差異,不可相互替代。其次,利用AMOS軟件,將探索性因子分析產(chǎn)生的28個項目作為觀測變量,并將劃分的5個因子作為潛在變量,構造結構方程模型,結果如圖5所示。各項目的標準化因素負荷量處于0.44—0.90之間,均大于最低要求0.3且顯著,各子量表的CR值處于0.769—0.924之間,均大于標準值0.7,AVE值處于0.464—0.598之間,均達到了可接受水平0.3[57],都表明了量表具有良好的聚合效度。各子量表的AVE值的平均根均大于與其他子量表的標準化相關系數(shù)的最大值,表明了量表同時具有良好的區(qū)分效度。綜上,量表測量得到的實證數(shù)據(jù)與目標概念的內在邏輯較為一致。

圖5 復雜探索式搜索過程表現(xiàn)主觀評價量表的結構方程模型

信效度檢驗的結果表明,復雜探索式搜索過程表現(xiàn)主觀評價量表具有良好的質量,可以在實踐中進行應用。

5 探究筆記記錄對搜索過程的協(xié)助效果

筆記記錄的認知導航功能表現(xiàn)為對搜索過程的協(xié)助效果。在數(shù)據(jù)分析時,本文通過對比無筆記、提綱筆記、矩陣筆記三種條件下被試的搜索過程表現(xiàn),來發(fā)現(xiàn)筆記記錄對被試搜索過程的協(xié)助效果以及不同記錄策略的區(qū)別,進而反映筆記記錄的認知導航功能。

5.1 無筆記條件下的搜索過程表現(xiàn)

在對比不同記錄條件下被試的搜索過程表現(xiàn)之前,首先對無筆記條件下被試的搜索過程表現(xiàn)進行了描述性統(tǒng)計。根據(jù)統(tǒng)計結果,被試的整體搜索過程表現(xiàn)均值為3.612,略高于理論中間分3分(取值范圍1—5分),表明他們在無筆記的搜索情境下表現(xiàn)基本良好,但僅達到一般水平,這表明其遇到了一定障礙。從各個子維度來看,被試在“搜索過程的任務進展(M=4.311)”上表現(xiàn)最佳,均值遠超過理論中間分3分及其他子維度的均值,表明他們在搜索中對時間進行了充分利用來有效地完成搜索任務,這一方面由于信息搜索本身經(jīng)常是以信息需求為導向、目的性比較強的行為,另一方面可能受到實驗環(huán)境引發(fā)的“霍桑效應”[58]的影響。在剩余的四個維度中,表現(xiàn)相對較好的是“搜索過程的沉浸程度(M=3.774)”,表明被試較為沉浸地參與到了搜索中,這可能部分是由于他們處于實驗環(huán)境中,相對于自然環(huán)境更加沉浸,同時實驗并未設置時間上限,也部分消除了他們的時間壓力及其引發(fā)的焦慮。而被試在“搜索過程的有序程度(M=3.512)”“搜索過程的迷航表現(xiàn)(M=3.422)”“搜索過程的監(jiān)控程度(M=3.419)”上表現(xiàn)最差,這表明他們在保持搜索過程有序、應對搜索迷航問題、監(jiān)控搜索過程上存在較多的困難。

5.2 對比有無筆記條件下的搜索過程表現(xiàn)

接下來對比三種筆記記錄條件下被試的搜索過程表現(xiàn)。我們在實驗中采用了組內設計,得到的結果為配對樣本,故主要采用配對樣本差異檢驗方法。分別對無筆記與提綱筆記、無筆記與矩陣筆記、提綱筆記與矩陣筆記三組數(shù)據(jù)進行配對樣本差異檢驗。在選用具體方法時,若兩配對樣本在各測量項上的差值符合正態(tài)分布則使用配對樣本t檢驗,否則使用Wilcoxon符號秩和檢驗。配對樣本差異檢驗的結果如表3所示。

表3 搜索過程表現(xiàn)的配對樣本差異檢驗結果

對比無筆記和有筆記條件下被試的搜索過程表現(xiàn)。在整體表現(xiàn)上,無筆記的均值顯著低于提綱和矩陣筆記,表明相對于無筆記的條件,被試在有筆記條件下的整體搜索過程表現(xiàn)明顯更好。

在搜索過程表現(xiàn)的各個子維度上:①在搜索過程的迷航表現(xiàn)、監(jiān)控程度、有序程度上,無筆記的均值均顯著低于提綱和矩陣筆記,表明相對于無筆記的條件,被試在有筆記條件下明顯更好地應對了搜索迷航問題,更好地監(jiān)控了搜索過程,更好地保持了搜索過程有序。②在搜索過程的沉浸程度上,無筆記的均值低于提綱和矩陣筆記,但均不存在顯著差異,表明被試在有或無筆記條件下沉浸地參與搜索過程的表現(xiàn)區(qū)別不明顯?？赡茉蚴?無筆記條件下被試在該子維度上的得分本身相對較高,在沉浸地參與搜索過程中存在的困難較少。此外,結合訪談結果發(fā)現(xiàn),盡管筆記記錄能夠幫助被試維持注意力,但做筆記本身會消耗他們的時間與精力,從而更快地消耗他們的耐心,使其心態(tài)更加急躁,在搜索引擎和筆記工具間來回切換也會干擾沉浸體驗。這些都弱化了有或無筆記在該子維度上的區(qū)別。③在搜索過程的任務進展上,無筆記的均值低于提綱和矩陣筆記,其中,無筆記與提綱筆記不存在顯著差異,與矩陣筆記存在顯著差異,表明相對于無筆記的條件,被試在矩陣筆記條件下明顯更加充分地利用時間來有效地完成任務,但在提綱筆記條件下與無筆記條件下的表現(xiàn)區(qū)別并不明顯。同時,盡管被試在矩陣筆記條件下與無筆記條件下的表現(xiàn)區(qū)別明顯,但區(qū)別也較小?？赡茉蚴?無筆記條件下被試在該子維度上的得分最高,表現(xiàn)最佳,在充分利用時間以有效地完成任務上存在的困難很少。此外,結合訪談結果發(fā)現(xiàn),盡管筆記記錄能夠幫助被試對搜索結果進行更加認真和精細地篩選,但所采集信息的相關性和有用性更大程度上會受到系統(tǒng)所返回的結果集合質量的影響。這些都弱化了有或無筆記在該子維度上的區(qū)別?？偟膩碚f,相較于其他子維度,被試在有或無筆記條件下,在搜索過程的迷航表現(xiàn)、監(jiān)控程度、有序程度上的區(qū)別最為明顯。

5.3 對比提綱和矩陣筆記條件下的搜索過程表現(xiàn)

對比提綱筆記和矩陣筆記條件下被試的搜索過程表現(xiàn)。在整體表現(xiàn)上,提綱筆記的均值顯著低于矩陣筆記,表明相對于提綱筆記的條件,被試在矩陣筆記條件下的整體搜索過程表現(xiàn)明顯更好。

在搜索過程表現(xiàn)的各個子維度上:①在搜索過程的迷航表現(xiàn)、監(jiān)控程度、有序程度、任務進展上,提綱筆記的均值均顯著低于矩陣筆記,且在搜索過程的迷航表現(xiàn)、監(jiān)控程度上最為顯著,表明相對于提綱筆記的條件,被試在矩陣筆記條件下明顯更好地應對了搜索迷航問題,更好地監(jiān)控了搜索過程,更好地保持了搜索過程有序,更加充分地利用時間來有效地完成任務,前兩個方面尤其明顯。②在搜索過程的沉浸程度上,提綱筆記的均值低于矩陣筆記,但不存在顯著差異,表明被試在提綱與矩陣筆記條件下沉浸地參與搜索過程的表現(xiàn)區(qū)別不明顯。總的來說,相較于其他子維度,被試在提綱和矩陣筆記條件下,在搜索過程的迷航表現(xiàn)、監(jiān)控程度上的區(qū)別最為明顯。

6 結論與討論

基于復雜探索式搜索任務這一理想研究情境,本文探究了筆記記錄能否在搜索過程中發(fā)揮認知導航功能以及不同記錄策略的功能區(qū)別。首先,本文開發(fā)出了具有良好質量的復雜探索式搜索過程表現(xiàn)主觀評價量表,發(fā)現(xiàn)了搜索過程的迷航表現(xiàn)、監(jiān)控程度、有序程度、沉浸程度、任務進展五個測量用戶搜索過程表現(xiàn)的關鍵子維度。在此基礎上,本文對無筆記條件下被試的搜索過程表現(xiàn)進行了描述性統(tǒng)計。結果發(fā)現(xiàn),被試在搜索過程的迷航表現(xiàn)、監(jiān)控程度、有序程度三個子維度上表現(xiàn)最差,反映出在日常無筆記的搜索情境下,用戶可能會在應對搜索迷航問題、監(jiān)控搜索過程、保持搜索過程有序上存在較多的困難,應對這些困難是他們在搜索過程中遇到的痛點問題。這些結論也表明了在具有探索性或復雜度的搜索情境下,協(xié)助用戶推進搜索過程、幫助解決搜索迷航問題具有現(xiàn)實意義。

其次,本文對比了無筆記和有筆記條件下被試的搜索過程表現(xiàn)。結果發(fā)現(xiàn),相對于無筆記的條件,被試在有筆記條件下的整體表現(xiàn)明顯更好,意味著筆記記錄對用戶的搜索過程存在著明顯的協(xié)助效果,從而驗證了本文的最初假設,即筆記記錄可以通過支持用戶的一系列認知及元認知調節(jié)活動來協(xié)助他們推進搜索過程,也就是筆記記錄能夠發(fā)揮認知導航功能。結果進一步發(fā)現(xiàn),相較于其他子維度,被試在有或無筆記條件下,在搜索過程的迷航表現(xiàn)、監(jiān)控程度、有序程度上的區(qū)別最為明顯,意味著筆記記錄對搜索過程的協(xié)助效果集中表現(xiàn)在這三個子維度上,這些是筆記記錄發(fā)揮認知導航功能的主要表現(xiàn)方面。同時這些方面也正是用戶在搜索過程中容易遇到的痛點問題,這進一步揭示了筆記記錄能夠在支持用戶的搜索過程中發(fā)揮重要作用。這一結論可以得到現(xiàn)有研究的解釋:已有研究發(fā)現(xiàn),筆記記錄具有任務計劃和監(jiān)控功能,一方面,作為知識建構工具,結構化的筆記記錄具有較高的生成程度[59],用戶在記錄過程中自上而下地進行信息選擇和整合,能夠幫助他們分類計劃未來活動[28]。另一方面,作為外部存儲機制,結構化的筆記記錄可以讓用戶清晰地看到所有已完成和未完成內容,能夠幫助他們隨時對目標任務進行進度監(jiān)控和理解監(jiān)控[35]。而在搜索過程中,用戶總是涉及到三個循環(huán)的認知過程[23]:(1)計劃,即個體劃分待解決的問題為子問題以發(fā)展搜索策略,并形式化第一個查詢式;(2)評估,即個體通過對比結果信息與待解決問題以評估信息的相關性;(3)控制,即如果查詢式?jīng)]有提供任何相關結果,個體將調整行為、修正策略以找到信息。筆記記錄的計劃和監(jiān)控功能很好地支持了這些活動,因此能夠幫助他們推進搜索過程。

最后,本文選取了提綱和矩陣筆記兩種代表性策略,并對比了這兩種記錄條件下被試的搜索過程表現(xiàn)。結果發(fā)現(xiàn),相對于提綱筆記的條件,被試在矩陣筆記條件下的整體表現(xiàn)明顯更好,意味著矩陣筆記對用戶搜索過程的協(xié)助效果更好,能夠在搜索過程中更好地發(fā)揮認知導航功能。結果進一步發(fā)現(xiàn),相較于其他子維度,被試在提綱和矩陣筆記條件下,在搜索過程的迷航表現(xiàn)、監(jiān)控程度上的區(qū)別最為明顯,意味著提綱和矩陣筆記發(fā)揮的認知導航功能的區(qū)別主要存在于這兩個子維度上。這一結論同樣可以得到現(xiàn)有研究的解釋:已有研究發(fā)現(xiàn),相對于提綱筆記這種一維、線性的記錄策略,矩陣筆記這種二維、非線性的、圖形化的策略在多方面存在優(yōu)勢。一方面,在認知活動層面,矩陣筆記在組織信息、對比信息和編碼信息上均存在優(yōu)勢。在組織信息上,提綱筆記以本地連貫、整體連貫兩種方式促進概念間的內部連接,而矩陣筆記則同樣支持第三種方式,即同時突出跨類別主題之間的關聯(lián)[41];在對比信息上,不同于提綱筆記的一維結構,矩陣筆記的二維結構允許用戶在橫向上跨越矩陣,沿著一個或多個類別輕易地比較主題[10,34,60],這也提高了在筆記中定位觀點的效率;在編碼信息上,提綱筆記僅以語言格式編碼信息,而矩陣筆記中的信息同時被編碼為語言和視覺格式,能夠提供回憶信息的額外檢索路徑[61]。另一方面,在元認知活動層面,矩陣筆記在維持注意力和引發(fā)積極活動上存在優(yōu)勢,在維持注意力上,不同于提綱筆記的列表式結構,矩陣筆記的交叉表結構更能增強用戶自上而下的信息整合過程[34,62],從而增加主動的注意力選擇[10,12];在引發(fā)積極活動上,不同于線性的提綱筆記,矩陣筆記是視覺的、圖形化的,這更能使用戶的已有成果顯性化,刺激用戶積極地處理相關材料。相對于提綱筆記,矩陣筆記的諸多優(yōu)勢使其能夠更好地支持用戶的一系列認知及元認知調節(jié)活動,從而能夠更好地協(xié)助他們推進搜索過程。

這些結論能夠啟發(fā)搜索系統(tǒng)在搜索中的筆記記錄環(huán)節(jié)提升服務以更好地支持具有探索性或復雜度的搜索情境。第一,搜索系統(tǒng)應該增加筆記記錄工具,以支持用戶在搜索過程中記錄筆記,從而協(xié)助他們推進搜索過程。第二,所提供的記錄工具不能一味地直接幫助用戶自動地保存、組織搜索結果,而應該輔助他們主動地、生成式地記錄筆記,從而最大化地發(fā)揮記錄過程所發(fā)揮的編碼功能。第三,所提供的記錄工具應該是適用于搜索系統(tǒng)本身、與搜索系統(tǒng)的數(shù)據(jù)庫相關聯(lián)的專門工具,而不能僅是獨立于系統(tǒng)外的一般工具,從而最大化地降低由于使用外部工具帶來的可用性問題,降低用戶記錄筆記的額外成本。第四,所提供的記錄工具不能僅停留在鏈接和頁面層面的信息保存與組織,而應該支持搜索任務層面的信息保存與組織,從完成搜索任務的角度協(xié)助用戶。第五,所提供的記錄工具應該能夠支持更加結構化的記錄策略,如包括矩陣筆記在內的各類圖形化的記錄策略,它們會更好地推進用戶的搜索過程。第六,結合會話推斷機制,在合適的時間將記錄工具推薦給用戶。當搜索者被搜索任務的探索性和復雜度強加了大量的記憶和認知負擔時,其需要筆記這種外部存儲[15]。而現(xiàn)有的一些會話推斷機制技術[24,63]能夠幫助識別出這種復雜探索式搜索情境,這有助于系統(tǒng)在合適時間為用戶提供所需的記錄工具。

7 結語

搜索迷航問題在具有探索性或復雜度的搜索情境中普遍存在,而搜索中筆記記錄的認知導航功能或許可以幫助解決這一問題。為了探究相關主題,本文提出了復雜探索式搜索任務作為理想研究情境,在此基礎上深入探究并解答了筆記記錄能否在搜索過程中發(fā)揮認知導航功能以及不同記錄策略的功能區(qū)別。本文的研究內容具有重要意義,首先,國內對探索式搜索研究的起步較晚,處于引進、學習和探索階段,而國外相關研究則相對完整[27,64]。本文提出了“復雜探索式搜索任務”這種新任務類型,并在這種任務中探究了筆記記錄的功能,一方面補充了國內有關探索式搜索的研究,另一方面所提出的新任務類型也促進了探索式搜索與復雜搜索兩個交叉研究主題的進一步結合,為研究搜索中的筆記記錄提供了最佳研究情境,有利于未來相關主題的探索。其次,目前關于筆記記錄的研究集中于教育學領域所關注的課堂學習情境,已有搜索情境下筆記記錄功能的相關研究也主要關注對提高搜索績效的作用。本文在搜索情境下關注筆記記錄對用戶搜索過程的協(xié)助效果,提出并探究了筆記記錄新的“認知導航功能”,補充了搜索情境下筆記記錄的相關研究,也開辟了相關研究的新主題,創(chuàng)新性地探討筆記記錄對搜索過程而非搜索績效的影響。最后,在探索式搜索的已有研究中,搜索評估仍然是一個研究不足的主題[65],現(xiàn)有用戶搜索過程表現(xiàn)的主觀評價工具中很少有全面的、經(jīng)過檢驗的量表。本文開發(fā)出了質量良好的復雜探索式搜索過程表現(xiàn)主觀評價量表,填補了已有研究中的空白,為評估用戶的搜索過程表現(xiàn)提供了可行工具。該量表具有實際的應用價值,例如,在具有探索性或復雜度的搜索情境中研究用戶搜索行為時,可以用來測量用戶在搜索過程中的整體表現(xiàn)以及各子維度上的表現(xiàn)好壞,及時發(fā)現(xiàn)用戶是否存在搜索迷航等困難并為解決困難圈定重點,也可以用來探索用戶搜索過程表現(xiàn)的影響因素,從影響因素入手提出改進搜索過程表現(xiàn)的方法;在搜索系統(tǒng)優(yōu)化的相關研究中,可以用來檢驗搜索會話層面的系統(tǒng)支持技術或工具的效果,驗證其在改善用戶的搜索過程表現(xiàn)方面的有效性。

由于本文是對該研究主題的首次嘗試,不可避免地存在一些局限性。首先,本文所關注的搜索任務局限于平行搜索任務,筆記記錄策略也限定在提綱和矩陣筆記兩種策略上,而平行搜索任務在自然搜索環(huán)境中并不常見,矩陣筆記在搜索情境下的適用性也相對較窄。未來我們將在更加常見的任務類型中,探究更適用于搜索情境的筆記記錄策略的功能。其次,包括個人和任務特征在內的搜索情境特征均會對用戶的搜索過程產(chǎn)生影響,從而對筆記記錄的功能產(chǎn)生影響,本文并沒有加以探究。未來我們將探究不同的情境特征對筆記記錄功能的影響。最后,受到實驗實施成本較高的影響,本文收集的樣本規(guī)模對于量表開發(fā)而言存在樣本量較小的缺陷,這可能會影響所開發(fā)量表的科學性。未來我們將進一步使用更多數(shù)據(jù)對量表進行質量檢驗,以驗證量表的可靠性。