可視化應(yīng)用的評估方法研究綜述

劉合翔

摘?要：[目的/意義]可視化是新形勢下信息服務(wù)的一種普遍技術(shù)需求和應(yīng)用趨勢，而如何更好地運用這一技術(shù)就涉及對技術(shù)本身及其用戶效用的考察與評估。[方法/過程]本文通過回顧相關(guān)研究及實踐中對其可視化應(yīng)用的評估方法，分別從理論運用、方法路徑、評估任務(wù)、評估維度及指標(biāo)等幾個方面進(jìn)行了梳理與分析。[結(jié)果/結(jié)論]研究發(fā)現(xiàn)，目前可視化應(yīng)用評估中采用的方法已比較多元，但多數(shù)評估仍主要以實驗方法為主，評估的效用多以認(rèn)知為主，可視化的情感效用與社會效用少有探討及測度，缺少評估的通用框架和用于評估的標(biāo)準(zhǔn)（任務(wù)、數(shù)據(jù)）測試集。而這些方面也相應(yīng)地為可視化應(yīng)用的評估提供了進(jìn)一步創(chuàng)新實踐的機會。

關(guān)鍵詞：可視化;應(yīng)用;評估方法;評估任務(wù);評估維度;評估指標(biāo);綜述

DOI：10.3969/j.issn.1008-0821.2020.04.017

〔中圖分類號〕G252?〔文獻(xiàn)標(biāo)識碼〕A?〔文章編號〕1008-0821（2020）04-0148-11

Research Review on Evaluation Methods of Visualization Application

Liu Hexiang

（School of Media and Design，Hangzhou Dianzi University，Hangzhou 310018，China）

Abstract：[Purpose/Significance]Visualization is a general technical requirement and a trend of information services in the new situation，and better utilizing of this technology depends on investigation and evaluation of its utility.[Method/Process]From aspects of theory employing，assessing ways，task，dimension and index of evaluation by reviewing relevant researches and practices.[Result/Conclusion]The methods used in the assessment of visualized applications were quite diverse，but most of the evaluations were mainly based on experimental methods.The utility of the assessment was mostly about cognition.Emotional and social utility were rarely discussed and measured.There was a lack of an assessment generic framework and standard test set（of task，data）for evaluation.Corresponding to this，there were many opportunities for innovative practices in the evaluation of information visualization applications.

Key words：visualization;application;evaluation method;evaluation task;evaluation dimension;evaluation indicator;review

在當(dāng)前信息服務(wù)的主體越來越多元化，信息服務(wù)開始高度競爭化的形勢下，信息用戶對信息服務(wù)提出了有別于和高于傳統(tǒng)信息服務(wù)的要求。而其中的一點就是在信息簡單傳遞和信息的定題研究之間，延伸出一類新的服務(wù)方式：尊重用戶自身的信息研判能力，通過提供有效的信息解讀輔助，提升用戶自身解讀信息的效能。而對于信息的輔助解讀最有效的莫過于利用人類高效的視覺認(rèn)知通道和視覺處理能力來進(jìn)行信息的可視化。而要確保這一技術(shù)手段能得到有效的運用，就需要通過對可視化工具能力的評估和可視化應(yīng)用后的用戶效用評價來為可視化應(yīng)用的持續(xù)改進(jìn)提供依據(jù)。

本文首先通過檢索主題相關(guān)的研究，選擇研究的樣本集，在相關(guān)研究變量中選擇理論運用、方法路徑、評估任務(wù)、評估維度及指標(biāo)4個方面來考察、梳理與比較，最后形成一個以這4個變量為主體的信息可視化應(yīng)用評估方法的參考框架。

1?可視化評估相關(guān)研究概述

國內(nèi)相關(guān)研究中，通過對“可視化AND（評估 OR 評測 OR 評價）”等關(guān)鍵詞組合的文獻(xiàn)檢視，結(jié)果文獻(xiàn)中大多數(shù)是研究如何將可視化作為評估的手段應(yīng)用在特定領(lǐng)域，而將可視化工具本身及其用戶效用作為評估對象的研究則較少。國內(nèi)針對這方面的典型研究有：陳為[1]對可視化測評的相關(guān)研究中評測流程、方法和影響因素的梳理總結(jié);楊峰等對評價信息可視化技術(shù)的指標(biāo)研究[2]和信息可視化顯示效果優(yōu)化的研究[3];吳莎莎等[4]對信息可視化技術(shù)可用性分析的框架設(shè)計與案例檢驗;馮小琴[5]對信息檢索可視化的評價標(biāo)準(zhǔn)研究;張會平[6]對可視化的知識轉(zhuǎn)化效用假設(shè)的實證研究;王輝等[7]對圖書館可視化系統(tǒng)效用的測試研究;邱玲玲[8]對可視化教學(xué)效果的實證研究等。

而通過“Visualization AND（Evaluate OR Assess OR Measure）”檢索的外文文獻(xiàn)相比較而言，針對可視化本身及其效用進(jìn)行評估的研究則較為普遍。評估類研究也被歸結(jié)為可視化研究中幾大類別中的一類[9]。由于可視化連接的是以機器為中心的過程（如算法和技術(shù)）和以人為本的過程（如人類認(rèn)知、交互、情感和溝通），因此可視化的評估通常圍繞這兩個方面來展開。此前的研究中以可視化技術(shù)和算法的評估居多，而近期針對用戶的表現(xiàn)與反饋，評估可視化對其工作實踐和分析推理能力改進(jìn)的研究已有穩(wěn)步的增長[10]。

盡管已經(jīng)有各種各樣日漸成熟的可視化技術(shù)，但針對不同的應(yīng)用情境還需要對其進(jìn)行特定的評估，以確定所選技術(shù)在特定場景下是否有用、可用與實用。相比評估結(jié)論的差異性與多樣性，其評估的方法更值得歸納與總結(jié)。不同的評估方法也反映了不同研究者的偏好和對不同情境下方法適用度的判斷。

2?可視化應(yīng)用評估中的理論運用

理論與模型的借鑒是開展各領(lǐng)域研究的一種常用方法，站在成熟的理論與模型的基礎(chǔ)上，可以讓相關(guān)研究能夠快速構(gòu)建思考框架，同時對原有的理論模型做適應(yīng)性檢驗和進(jìn)一步地提煉與延展。

在涉及可視化應(yīng)用評估的研究中，部分研究運用了一些理論模型來思考研究主題并構(gòu)建研究框架，涉及的相關(guān)研究及其要點按其發(fā)表年份列舉如下：

由以上提及的理論可以看出，可視化應(yīng)用評估的相關(guān)研究中運用的理論來自于HCI、認(rèn)知科學(xué)、設(shè)計學(xué)等多個領(lǐng)域。然而，相比涉及可視化應(yīng)用評估研究的數(shù)量，運用相關(guān)理論來開展評估的仍然屬于少數(shù)。事實上，在目前相關(guān)研究中，理論的運用并未成為一種自覺，運用理論的范圍與深度也很有限，很多有價值的可參考理論，如信息空間理論、信息服務(wù)理論等未能被應(yīng)用到可視化應(yīng)用的評估上來，而這也為未來相關(guān)研究提供了進(jìn)一步開展理論探索的空間。

3?可視化應(yīng)用評估中的方法路徑

關(guān)于可視化應(yīng)用評估的方法，有一些研究總結(jié)了其不同的方向類別。例如Munzner T[9]總結(jié)的可視化應(yīng)用評估股方法主要有兩類：1）在實驗室環(huán)境中進(jìn)行用戶研究，使用明確或抽象的任務(wù)，在時間和準(zhǔn)確性方面進(jìn)行定量測量，運用統(tǒng)計學(xué)方法進(jìn)行分析，發(fā)現(xiàn)顯著影響因素和因素之間的相互作用;2）開展現(xiàn)場研究，將可視化應(yīng)用在目標(biāo)用戶的現(xiàn)實環(huán)境中，時間跨度通常為數(shù)周或數(shù)月，開展定性與定量測量。Plaisant C[20]則是將可視化應(yīng)用的評估方法分為4類：控制實驗比較設(shè)計元素，工具的可用性評估，比較兩個或更多工具的控制實驗，以及在現(xiàn)實環(huán)境中對工具進(jìn)行案例研究。而Carpendale S[21]將可視化應(yīng)用的評估方法從精準(zhǔn)性、通用性和現(xiàn)實性的3個維度進(jìn)一步擴展為：實地研究、實地實驗、實驗室實驗、實驗性模擬、判別研究、抽樣調(diào)查、理論研究、計算機模擬8個類別。

基于對相關(guān)研究中方法選型的梳理以及參考前述的這些研究中的分類，本文認(rèn)為可視化應(yīng)用評估的方法總體可劃分為3個大類：客觀評估、主觀評估與綜合評估。

在客觀評估的有關(guān)方法上，最常用的就是對照實驗及觀察法。Saraiya P等[22]認(rèn)為可視化應(yīng)用的評估就主要是在對照實驗研究中評估用戶對預(yù)定任務(wù)中的表現(xiàn)。而對于實驗的方法，其基本的邏輯是：控制獨立變量如工具、任務(wù)、數(shù)據(jù)和參與者等，依賴變量主要是準(zhǔn)確性和效率。其中準(zhǔn)確性包括精確度、錯誤率、正確和不正確響應(yīng)的數(shù)量，而效率包括完成預(yù)定義基準(zhǔn)測試任務(wù)的時間。而在實驗和傳統(tǒng)的觀察方法之外，目前已有研究延伸了可視化應(yīng)用評估的技術(shù)手段和方法形式，例如Chen X等[23]設(shè)計和實踐了一個量化可視化所形成心理負(fù)載，并對用戶偏好持續(xù)考察的在線評估。評估運用基于腦電波、眼動跟蹤及日志等手段記錄的數(shù)據(jù)進(jìn)行了融合性的分析。

在主觀評估的有關(guān)方法上，有很多研究者采用了有別于客觀評估的形式與方法，以彌補可視化應(yīng)用評估中客觀評估方法的不足。例如Tory M等[24]就反思總結(jié)實驗評估方法的弊端和不足，例如實驗評估的成本、深度以及所適用的階段等，通過與實驗評估的比較，論證了專家評估方法的有效性。Zuk T等[25]認(rèn)為啟發(fā)式評估（基于既有經(jīng)驗規(guī)則的探索式評估）在可視化應(yīng)用評估上使用得還不夠，并總結(jié)整理了有關(guān)研究中可供參考的經(jīng)驗規(guī)則。Kennedy H等[26]則是在其可視化應(yīng)用評估中嘗試運用了多焦點小組訪談的形式，將小組分為對視覺表達(dá)有興趣組、對數(shù)據(jù)有興趣組、外地域組、特定族裔組、主題興趣組、主題涉及組、無興趣組、各組代表構(gòu)成組等多類小組。

隨著前述一些主流的評估方法的運用，不少研究者對傳統(tǒng)評估方法的有效性提出了疑問與批判，認(rèn)為可視化應(yīng)用的評估應(yīng)當(dāng)結(jié)合客觀與主觀評估的方法，參考借鑒有關(guān)的理論，綜合更多的一些現(xiàn)實因素進(jìn)行考量。

偏綜合性評估的相關(guān)研究中，Shneiderman B等[27]在回顧可視化應(yīng)用的評估方法后提出評估可視化需要引入“多維深度長期案例研究”。其中多維是指使用觀察、訪談、調(diào)查以及自動記錄來評估用戶績效和界面效能;深入是指將專家用戶轉(zhuǎn)變成合作伙伴，深入、互動地開展研究;長期是指縱向研究，從特定工具的使用培訓(xùn)開始，觀察用戶的策略變化;案例研究是指在正常的環(huán)境中對用戶向工作人員詳細(xì)報告的有關(guān)問題進(jìn)行分析。而Reda K等[18]發(fā)現(xiàn)大多數(shù)的可視化實證評估都是針對結(jié)果，而極少評估其中的用戶過程，并針對這一問題以探索性可視分析為例構(gòu)建了一套強調(diào)過程評估的評估方法。Isenberg P等[28]還認(rèn)為可視化應(yīng)用的評估在可視化產(chǎn)品開發(fā)生命周期的前期就應(yīng)該進(jìn)行，進(jìn)而提出一種質(zhì)性評估方法，判斷可視化是否符合預(yù)期的使用情境，并通過評估來促進(jìn)可視化設(shè)計的優(yōu)化迭代。

而針對當(dāng)前的可視化應(yīng)用評估方法中存在的一些普遍問題，有關(guān)研究提出了方法批判，例如Andrews K[29]認(rèn)為：評估的新的可視化界面不夠成熟，在與成熟可視化界面比較時存在成熟度上的劣勢;選擇的測試用戶不具有代表性;測試用戶對可視化界面學(xué)習(xí)周期影響的考慮不夠;測試任務(wù)設(shè)置簡單，缺少對洞察和探索性任務(wù)的測試評估等。

更多涉及到以上劃分的評估方法，及其應(yīng)用到的有關(guān)研究可參見表2。

4?可視化應(yīng)用評估中的評估任務(wù)設(shè)計

盡管可視化應(yīng)用評估中采用的方法已較多元化，但目前主流的評估方法仍是以實驗方法為主。而由于可視化應(yīng)用評估的實驗針對的具體目標(biāo)往往不同，評估的對象各異，場景也不一，因此實驗設(shè)計中的樣本規(guī)劃與流程安排必然是高度情境依賴的，相比較而言，評估實驗中的任務(wù)設(shè)計則借鑒意義更大，因而本節(jié)重點考察的是相關(guān)評估實驗中的任務(wù)設(shè)置。

基于該參考框架，在具體設(shè)計可視化應(yīng)用的評估方案時，可依次從理論工具集中選取可參考的理論模型，選擇合適的評估方法路徑，參考和選用框架中涉及的評估任務(wù)類別及細(xì)項，基于框架中列及的影響因素選擇需要重點控制的有關(guān)變量，選擇框架中涉及的評估項目類別與評估指標(biāo)來做評估的具體執(zhí)行。

目前可視化應(yīng)用評估中采用的方法已比較多元，但多數(shù)評估仍主要以實驗方法為主。各評估的側(cè)重有所不同，有的偏重評估工具能力，有的更重視評測用戶效用。當(dāng)前可視化應(yīng)用評估存在的一些典型問題有：評估中運用理論較少;評估的效用多以認(rèn)知為主，可視化的情感效用與社會效用少有探討及測度;缺少一個評估的通用框架和用于評估的標(biāo)準(zhǔn)（任務(wù)、數(shù)據(jù)）測試集。而與此同時，可視化應(yīng)用評估的研究與實踐也存在著很多的創(chuàng)新機會，例如，對視覺、認(rèn)知等領(lǐng)域眾多有價值理論的引入;針對新興媒介（VR、AR等）可視化效果的評估;構(gòu)建基于用戶交互行為數(shù)據(jù)的可視化效用測算模型，通過二維碼等方式實現(xiàn)線下線上互動的戶外可視化應(yīng)用的公共效用研究等。

隨著可視化應(yīng)用的日益廣泛和投入的加大，針對可視化應(yīng)用的評估勢必會為相關(guān)的工作實務(wù)所重視，進(jìn)而對評估方法提出更高的要求。而本文通過對相關(guān)研究中可視化應(yīng)用評估方法相關(guān)要素的總結(jié)梳理，為相關(guān)的研究及評估實務(wù)提供了一定的方法論參考。

參考文獻(xiàn)

[1]陳為.數(shù)據(jù)可視化[M].北京：電子工業(yè)出版社，2013.

[2]楊峰，李蔚.評價信息可視化技術(shù)的指標(biāo)研究[J].圖書情報知識，2007，（4）：80-84.

[3]楊峰，李蔚.信息可視化顯示效果的優(yōu)化方法研究[J].現(xiàn)代情報，2012，32（5）：34-36.

[4]吳莎莎，劉正捷，張海昕.信息可視化技術(shù)的可用性[C]//建立和諧人機環(huán)境聯(lián)合學(xué)術(shù)會議，2005.

[5]馮小琴.信息檢索可視化的評價標(biāo)準(zhǔn)[J].知識經(jīng)濟(jì)，2009，（3）：126-127.

[6]張會平.可視化技術(shù)對知識轉(zhuǎn)化效果影響的實證研究[J].情報探索，2014，（1）：1-5.

[7]王輝，吳鳴，肖永紅，等.圖書館系統(tǒng)的用戶測試組織案例研究[J].圖書情報工作，2012，56（3）：71-74.

[8]邱玲玲.可視化與非可視化教學(xué)方法對不同文章背景知識的教學(xué)效果的實證性研究[D].貴陽：貴州大學(xué)，2008.

[9]Munzner T.Process and Pitfalls in Writing Information Visualization Research Papers[J].Information Visualization：Human-centered Issues and Perspectives，2008：134-153.

[10]Isenberg T，Isenberg P，Chen J，et al.A Systematic Review on the Practice of Evaluating Visualization[J].IEEE Transactions on Visualization and Computer Graphics，2013，19（12）：2818-2827.

[11]Juarez O，Hendrickson C，Garrett J H.Evaluating Visualizations Based on the Performed Task[C]//Information Visualization，2000.Proceedings.IEEE International Conference on.IEEE，2000：135-142.

[12]Valiati E R A，Pimenta M S，F(xiàn)reitas C M D S.A Taxonomy of Tasks for Guiding the Evaluation of Multidimensional Visualizations[C]//Proceedings of the 2006 AVI Workshop on Beyond Time and Errors：Novel Evaluation Methods for Information Visualization.ACM，2006：1-6.

[13]Cawthon N，Moere A V.A Conceptual Model for Evaluating Aesthetic Effect Within the User Experience of Information Visualization[C]//Information Visualization，2006.IV 2006.Tenth International Conference on.IEEE，2006：374-382.

[14]Hffler T N，Leutner D.Instructional Animation Versus Static Pictures：A Meta-analysis[J].Learning and Instruction，2007，17（6）：722-738.

[15]Moere A V，Tomitsch M，Wimmer C，et al.Evaluating the Effect of Style in Information Visualization[J].IEEE Transactions on Visualization and Computer Graphics，2012，18（12）：2739-2748.

[16]Demiralp C，Scheidegger C E，Kindlmann G L，et al.Visual Embedding：A Model for Visualization[J].IEEE Computer Graphics and Applications，2014，34（1）：10-15.

[17]Bresciani S，Eppler M J.Extending Tam to Information Visualization：A Framework for Evaluation[J].Electronic Journal of Information System Evaluation，2015，18（1）：46-58.

[18]Reda K，Johnson A E，Papka M E，et al.Modeling and Evaluating User Behavior in Exploratory Visual Analysis[J].Information Visualization，2016，15（4）：325-339.

[19]Dimara E，Bezerianos A，Dragicevic P.The Attraction Effect in Information Visualization[J].IEEE Transactions on Visualization and Computer Graphics，2017，23（1）：471-480.

[20]Plaisant C.The Challenge of Information Visualization Evaluation[C]//Proceedings of the Working Conference on Advanced Visual Interfaces.ACM，2004：109-116.

[21]Carpendale S.Evaluating Information Visualizations[J].Information Visualization，2008：19-45.

[22]Saraiya P，North C，Duca K.An Insight-based Methodology for Evaluating Bioinformatics Visualizations[J].IEEE Transactions on Visualization and Computer Graphics，2005，11（4）：443-456.

[23]Chen X，Ran J.Statistical Modeling for Visualization Evaluation Through Data Fusion[J].Applied Ergonomics，2017.

[24]Tory M，Moller T.Evaluating Visualizations：Do Expert Reviews Work？[J].IEEE Computer Graphics and Applications，2005，25（5）：8-11.

[25]Zuk T，Schlesier L，Neumann P，et al.Heuristics for Information Visualization Evaluation[C]//Proceedings of the 2006 Avi Workshop on Beyond Time and Errors：Novel Evaluation Methods for Information Visualization.ACM，2006：1-6.

[26]Kennedy H，Hill R L，Allen W，et al.Engaging with（Big）Data Visualizations：Factors that Affect Engagement and Resulting New Definitions of Effectiveness[J].First Monday，2016，21（11）.

[27]Shneiderman B，Plaisant C.Strategies for Evaluating Information Visualization Tools：Multi-dimensional In-depth Long-term Case Studies[C]//Proceedings of the 2006 Avi Workshop on Beyond Time and Errors：Novel Evaluation Methods for Information Visualization.ACM，2006：1-7.

[28]Isenberg P，Zuk T，Collins C，et al.Grounded Evaluation of Information Visualizations[C]//Proceedings of the 2008 Workshop on Beyond Time and Errors：Novel Evaluation Methods for Information Visualization.ACM，2008：6.

[29]Andrews K.Evaluating Information Visualisations[C]//Proceedings of the 2006 Avi Workshop on Beyond Time and Errors：Novel Evaluation Methods for Information Visualization.ACM，2006：1-5.

[30]Latorre Postigo J M，Hernández-Viadel J V，Trives J J R.Efficacy of a Group Memory Training Method for Older Adults Based on Visualization and Association Techniques：A Randomized，Controlled Trial With a Placebo Group[J].Applied Cognitive Psychology，2010，24（7）：956-968.

[45]Ghorbel F，Ellouze N，Métais E，et al.MEMO GRAPH：An Ontology Visualization Tool for Everyone[J].Procedia Computer Science，2016，96：265-274.

[46]Chen C，Yu Y U E.Empirical Studies of Information Visualization：A Meta-analysis[J].International Journal of Human-Computer Studies，2000，53（5）：851-866.

[47]Mackinlay J D.Automating the Design of Graphical Presentations of Relational Information[J].ACM Trans.Graphics，1986，5（2）：110-141.

[48]Halim Z，Muhammad T.Quantifying and Optimizing Visualization：An Evolutionary Computing-based Approach[J].Information Sciences，2017，385-386：284-313.

[49]Jansen Y，Dragicevic P，F(xiàn)ekete J D.Evaluating the Efficiency of Physical Visualizations[C]//Proceedings of the SIGCHI Conference on Human Factors in Computing Systems.ACM，2013：2593-2602.

[50]Yammine K，Violato C.A Meta-analysis of the Educational Effectiveness of Three-dimensional Visualization Technologies in Teaching Anatomy[J].Anatomical Sciences Education，2015，8（6）：525-538.

[51]章明.視覺認(rèn)知心理學(xué)[M].上海：華東師范大學(xué)出版社，1991.

[52]North C.Toward Measuring Visualization Insight[J].IEEE Comput Graph Appl，2006，26（3）：6-9.

[53]Tang C，Carpendale S.An Observational Study on Information Flow During Nurses Shift Change[C]//In Proceedings of the ACM Conference on Human Factors in Computing Systems（CHI），Pages 219-228，New York，USA，2007.ACM.

[54]宋曉蕾.視覺表象的產(chǎn)生與訓(xùn)練：一個整合的視角[M].北京：科學(xué)出版社，2015.

[55]Brünken R，Plass J L，Leutner D.Direct Measurement of Cognitive Load in Multimedia Learning[J].Educational Psychologist，2003，38（1）：53-61.

[56]Brath，Richard.Concept Demonstration：Metrics For Effective Information Visualization[C]//In Proceedings For IEEE Symposium On Information Visualization，pages 108-111.IEEE Service Center，Phoenix，AZ，Oct 20-21，1997.

[57]Lam H，Bertini E，Isenberg P，et al.Empirical Studies in Information Visualization：Seven Scenarios[J].Ieee Transactions on Visualization and Computer Graphics，2012，18（9）：1520-1536.

[58]McIntire J P，Liggett K K.The（Possible）Utility of Stereoscopic 3D Displays for Information Visualization：The Good，the Bad，and the Ugly[C]//3DVis（3DVis），2014 IEEE VIS International Workshop on.IEEE，2014：1-9.

[59]Kamal A，Cui F，Shankar G，et al.Teaching Data Structures：Effectiveness of Visualization and Textbook methods[EB/OL].http：//people.cs.vt.edu/～north/infoviz/dseval.doc，2017-08-02.

[60]Grinstein G，Kobsa A，Plaisant C，et al.Which Comes First，Usability or Utility？[C]//14th IEEE Visualization（VIZ03）.Seattle，WA.IEEE Computer Society，2003.

[61]Bernard J，Daberkow D，F(xiàn)ellner D，et al.VisInfo：A Digital Library System for Time Series Research Data Based on Exploratory Search—A User-centered Design Approach[J].International Journal on Digital Libraries，2015，16（1）：37-59.

[62]Freitas C M D S，Luzzardi P R，Cava R A，et al.Evaluating Usability of Information Visualization Techniques[J].2002.

[63]Bertini E，Santucci G.Visual Quality Metrics[C]//Proceedings of the 2006 AVI Workshop on Beyond Time and Errors：Novel Evaluation Methods for Information Visualization.ACM，2006：1-5.

[64]Shneiderman B.The Eyes Have It：A Task By Data Type Taxonomy for Information Visualizations[C]//Visual Languages，1996.Proceedings.，IEEE Symposium on.IEEE，1996：336-343.

[65]Parsons P，Sedig K.Adjustable Properties of Visual Representations：Improving the Quality of Human-information Interaction[J].Journal of the Association for Information Science and Technology，2014，65（3）：455-482.

[66]Andrienko G，Andrienko N，Demsar U，et al.Space，Time and Visual Analytics[J].International Journal of Geographical Information Science，2010，24（10）：1577-1600.

[67]Edsall R M，Kraak M J，MacEachren A M，et al.Assessing the Effectiveness of Temporal Legends in Environmental Visualization[C]//GIS/LIS.1997，97：28-30.

[68]Bartram L.Can Motion Increase User Interface Bandwidth？[C]//Proceedings of 1997 IEEE Conference on Systems，Man and Cybernetics，1997.

[69]Birkhoff G.Aesthetic Measure[M].Cambridge，Massachusetts，Harvard University Press，1933.

[70]Dasgupta A，Chen M，Kosara R.Measuring Privacy and Utility in Privacy-Preserving Visualization[C]//Computer Graphics Forum，2013，32（8）：35-47.

[71]權(quán)國龍.CSK可視化知識表征設(shè)計、應(yīng)用及效用分析[D].上海：華東師范大學(xué)，2017.

[72]蔡慧英.語義圖示工具支持的協(xié)作問題解決學(xué)習(xí)的研究[D].上海：華東師范大學(xué)，2016.

（責(zé)任編輯：陳?媛）