視覺圖靈：從人機對抗看計算機視覺下一步發(fā)展

黃凱奇，趙 鑫，李喬哲，胡世宇

視覺圖靈：從人機對抗看計算機視覺下一步發(fā)展

黃凱奇1,2，趙 鑫1，李喬哲1，胡世宇1

(1. 中國科學院自動化研究所智能系統(tǒng)與工程研究中心，北京 100190；2.中國科學院腦科學與智能技術卓越創(chuàng)新中心，上海 200031)

計算機視覺一直是人工智能研究的熱點方向，經(jīng)過近60年的發(fā)展，已經(jīng)在算法、技術和應用等方面取得了巨大的進步。近十年來，以大數(shù)據(jù)、大算力為基礎的深度學習進一步推動計算機視覺走向大模型時代，但其算法適應能力仍然和人類存在較大差距。本文從視覺任務評估評測(評測數(shù)據(jù)集、評測指標、評估方式)出發(fā)，對計算機視覺的發(fā)展進行了總結(jié)，對現(xiàn)存的依賴大數(shù)據(jù)學習的計算機視覺發(fā)展問題進行了梳理和分析，從人機對抗智能評測提出了計算機視覺下一步發(fā)展方向：視覺圖靈。最后對視覺圖靈發(fā)展方向進行了思考和討論，探討了未來研究可能的方向。

計算機視覺；視覺圖靈；評估評測；圖靈測試；數(shù)據(jù)集

1 緒 論

計算機視覺旨在通過對人類視覺系統(tǒng)進行建模，讓機器具備感知視覺信息的能力。作為人工智能技術的研究熱點，計算機視覺技術經(jīng)過近60年的發(fā)展，已經(jīng)在理論方法、關鍵技術和實際應用等方面取得巨大進步[1-2]，并廣泛應用于智慧城市、自動駕駛、智能醫(yī)療等領域。作為引領計算機視覺發(fā)展的風向標和催化劑，評估評測所采用的數(shù)據(jù)集、評測指標、評估方式的演變給整個計算機視覺研究的發(fā)展帶來了多次大的變革。其中，隨著大規(guī)模圖像數(shù)據(jù)集ImageNet[3]發(fā)布，以大數(shù)據(jù)、大算力為基礎的深度學習方法在人臉識別、物體檢測、圖像分割、目標跟蹤等領域大幅度超越了傳統(tǒng)方法的性能，引領計算機視覺發(fā)展到了依賴大規(guī)模計算方法的時代。

以無人駕駛為例，深度模型需要通過對周圍環(huán)境的感知，完成對車輛運動的決策。以特斯拉為代表的科技公司已將具備自主泊車、自主變道、主動避障等功能的車輛進行量產(chǎn)，并完成在城市街道上的自動駕駛(autosteer on city streets)系統(tǒng)測試。該系統(tǒng)以30億英里駕駛數(shù)據(jù)為基礎完成算法的搭建[4]，然而當面對惡劣天氣、復雜車流、障礙物干擾時，依賴于視覺傳感器的自動駕駛系統(tǒng)仍然無法實現(xiàn)精準的感知和決策。2020年6月，特斯拉Model 3因未正確識別橫向側(cè)翻的白色大貨車，在高速公路上以110公里的時速與貨車發(fā)生碰撞。這與人類在復雜場景甚至在對抗環(huán)境下的感知能力存在巨大的鴻溝。這類問題讓人們對當前依賴大數(shù)據(jù)、大算力的計算機視覺發(fā)展模式產(chǎn)生思考和質(zhì)疑，是什么原因?qū)е逻@些方法在實驗室環(huán)境下性能優(yōu)異，但對真實應用場景的適應能力仍和人類的能力存在較大差距？計算機視覺發(fā)展可能的方向在哪里？針對以上問題，多位學者和專家從計算機視覺理論、方法、研究內(nèi)容等開展了探討，提出了許多有建設性的觀點[5-7]。與此不同，本文從計算機視覺算法和技術應用出發(fā)，探討以計算機視覺算法評估評測(評測數(shù)據(jù)集、評測指標、評估方式)為主要視角，對計算機視覺的發(fā)展歷程進行梳理，并對各個階段存在的問題進行分析，從而提出計算機視覺發(fā)展的下一步思考和建議。

算法驗證是計算機視覺算法實驗的重要組成，算法的評估評測是計算機視覺理論之外的另一個重要部分。本文按照算法評估評測將計算機視覺發(fā)展劃分為簡單評測、開放評測、競賽評測和圖靈評測4個階段(圖1)。早期，計算機視覺理論處于逐步完善階段，相關實驗在簡單環(huán)境下依托少量數(shù)據(jù)完成對理論的驗證。隨著視覺理論和框架的逐步完善，其研究重點逐步細化到相關具體任務的研究，如物體檢測、字符識別、人臉識別等，產(chǎn)生了包括數(shù)字手寫識別數(shù)據(jù)集MNIST[8]、圖像分類數(shù)據(jù)集CIFAR-10[9]與CIFAR-100[10]等在內(nèi)的系列數(shù)據(jù)集。為了更加公開公平地評測算法性能，不僅開放數(shù)據(jù)集，對評測指標也逐步統(tǒng)一，誕生了依托于競賽的評測方式，如針對目標分類、檢測和分割的PASCAL VOC[11]競賽、ImageNet[3](ImageNet large Scale Visual Recognition Challenge，ILSVRC)大規(guī)模視覺識別挑戰(zhàn)賽等，對于推動計算機視覺發(fā)展取得了巨大效果。然而，簡單評測、開放評測和競賽評測數(shù)據(jù)集所代表的環(huán)境過于簡單，未充分涵蓋真實環(huán)境下的對抗因素，導致模型在面對真實應用中光照變化、快速運動、相似物體干擾等挑戰(zhàn)性因素時適應性較差。此外，評估評測方式均只針對模型進行設計，無法實現(xiàn)機器和人類視覺能力的比較。值得一提的是，由于將人引入到評估過程中，圖靈測試逐漸得到相關學者的關注。2015年布朗大學學者提出視覺圖靈測試(visual Turing test，VTT)方案[12]，旨在通過一系列沒有歧義的二值問題評估機器是否具有和人類一樣的視覺理解能力。雖然嘗試通過問答的形式對比機器和人類的能力，但這種評測方式側(cè)重于評估機器對時間、空間和因果關系的綜合理解，無法有效度量機器在傳統(tǒng)視覺任務上的智能程度與人類的差距(圖2)。

綜上所述，本文從人機對抗評測的角度提出了計算機視覺下一步發(fā)展方向：視覺圖靈。首先，評估對象實現(xiàn)“從物到人”的轉(zhuǎn)變，不是以大數(shù)據(jù)、大算力等“外物”為評測標準，而是真正關注在評價“類人”視覺能力，以人類視覺為基準度量機器的智能程度。其次，評測內(nèi)容實現(xiàn)“從粗到細”的具化，在任務層面將視覺圖靈從視覺問答拓展至計算機視覺所研究的具體任務，在指標層面從回答二值問題拓展為對人類視覺能力的量化。最后，評估環(huán)境實現(xiàn)“從演到用”的轉(zhuǎn)變，從針對常規(guī)環(huán)境的“表演性”數(shù)據(jù)集拓展至包含挑戰(zhàn)因素的對抗性數(shù)據(jù)集。依托于以上3點的突破，計算機視覺技術的發(fā)展將不再局限于對大數(shù)據(jù)和大算力的強烈依賴，而是以人類感知能力為引導，使得計算機視覺研究邁向下一個新的發(fā)展階段，進而為探索實現(xiàn)近似或超越人類的視覺信息感知提供重要的研究基礎。

2 研究現(xiàn)狀

如果將計算機視覺理論作為算法的源頭，那么評估評測就是算法的落腳。源頭決定著算法的天花板，但評估評測決定著算法的應用水平。早期計算機視覺的研究主要集中在對基礎視覺理論的完善，提出了馬爾(DAVID MARR)視覺理論[13]、成分識別理論[14]等計算機視覺奠基性理論框架，這些理論和框架經(jīng)過不斷發(fā)展細化，研究重點逐步聚焦到以物體識別和分類、目標檢測和定位、目標分割、目標跟蹤等為代表的視覺任務。近幾年，大規(guī)模數(shù)據(jù)集為視覺任務提供實驗環(huán)境，推動了以深度學習為代表的技術發(fā)展，并在智慧城市、公共安全、人機交互等應用場景發(fā)揮重要作用。

圖1 從視覺任務評估評測看計算機視覺發(fā)展

圖2 視覺任務評估評測總結(jié)

本章從評估評測(評測數(shù)據(jù)集、評測指標、評估方式)出發(fā)，將計算機視覺的發(fā)展歷程劃分為簡單評測、開放評測、競賽評測和圖靈評測4個階段，并對每個階段的評估評測特點進行梳理和總結(jié)。

2.1 簡單評測

在計算機視覺發(fā)展初期，研究者主要針對基礎視覺理論展開研究。此階段所使用的實驗數(shù)據(jù)(通常為包含簡單內(nèi)容的圖像)用于驗證特定視覺理論，具有形式單一、未成體系、非公開發(fā)布等特點。

1962年，為研究視覺信息的處理機制，神經(jīng)生理學家HUBEL和WIESEL[15]通過幻燈片對貓展示包含特定模式(具有不同位置和大小的圓形光斑、具有不同朝向和長度的條形光斑)的圖像，并記錄貓腦神經(jīng)元在不同模式刺激下的電活動。1963年，ROBERTS[16]通過算法從包含單一幾何體的圖片中提取簡單幾何結(jié)構(gòu)，以“積木世界”的方式實現(xiàn)對物體形狀和空間關系的描述。1966年，麻省理工學院人工智能實驗室[17]舉辦夏季視覺項目，以包含若干非重疊物體(具有不同紋理和顏色的幾何體，如球類、磚塊或者圓柱體)的圖片為實驗對象，嘗試通過前景-背景分割完成從圖像中自動提取對象。

20世紀80年代，認知科學家以物體識別任務為載體，將基礎元素(幾何圖形、字母、線條等)組合為實驗圖片，并根據(jù)受試者面對不同類型圖片的認知表現(xiàn)，對人類視覺認知過程進行解析。1980年，加州大學伯克利分校TREISMAN和GELADE[18]選擇由簡單元素(不同顏色的字母或不同大小的橢圓)構(gòu)成的實驗圖片，對視覺加工問題進行分析，并提出特征整合理論。1982年，麻省理工學院MARR[13]提出不同于“積木世界”的視覺計算理論，即通過對心理學、生理學、信息學等領域進行綜合，將視覺定義為對外部圖像的有效符號描述。1982年，中科院生物物理所CHEN[19]用正方形、圓形和環(huán)形等幾何形狀組成實驗圖片，對視覺感知中的拓撲結(jié)構(gòu)展開研究。1987年，南加州大學BIEDERMAN[14]在MARR視覺計算理論的基礎上提出成分識別理論，以包含可拆解物體(如水壺、剪刀、訂書機、手電筒、臺燈等)的圖片為測試數(shù)據(jù)，分析人類對圖片的理解能力。視覺理論的出現(xiàn)標志著計算機視覺成為一門獨立學科，并逐步從理論實驗向真實應用拓展。

2.2 開放評測

20世紀90年代起，計算機視覺研究從基礎理論逐步關注到具體視覺任務。和簡單評測階段的零散實驗圖片相比，此階段以特定任務為導向進行數(shù)據(jù)采集，數(shù)據(jù)經(jīng)過篩選和整理，且初具規(guī)模，并以公開數(shù)據(jù)集的形式進行發(fā)布。1998年，LECUN等[8]針對數(shù)字手寫識別任務發(fā)布包含6萬張32×32尺寸圖片的MNIST數(shù)據(jù)集。2004年，加州理工學院發(fā)布針對目標識別任務的Caltech-101[20]數(shù)據(jù)集，其包含101類物體、由9 146張圖像構(gòu)成，并于2007年擴充為包含256類物體的Caltech-256[21]。2009年，KRIZHEVSKY和HINTON[22]發(fā)布了針對目標識別任務的CIFAR數(shù)據(jù)集，由6萬張尺寸為32×32的彩色圖像構(gòu)成，具有CIFAR-10(包含10類物體)與CIFAR-100(包含100類物體)2個版本。

2009年，DENG等[3]發(fā)布大規(guī)模數(shù)據(jù)集ImageNet，其在語義學框架WordNet的指導下采集包含2.2萬類物體的1 400萬張圖像，為物體識別和分類任務帶來全新挑戰(zhàn)，標志著計算機視覺進入大規(guī)模數(shù)據(jù)庫時代。不同于早期針對特定視覺任務構(gòu)建的開放數(shù)據(jù)集，以ImageNet為代表的數(shù)據(jù)集具有規(guī)模大、數(shù)據(jù)全面、標注精度高、構(gòu)建準則科學等特點，從數(shù)據(jù)集多樣性的角度為模型過擬合提出一種解決方案，并推動了以大數(shù)據(jù)驅(qū)動的深度學習方法的發(fā)展。此后，各項視覺任務均出現(xiàn)高質(zhì)量的代表性數(shù)據(jù)集，如針對人臉識別任務的CelebA[23]和WIDER FACE[24]、針對自動駕駛場景的KITTI[25]、針對目標跟蹤任務的GOT-10k[26]和LaSOT[27]、針對場景解析和語義理解任務的ADE20k[28]和Cityscapes[29]、針對行人重識別和屬性識別的RAP[30]等數(shù)據(jù)集。

2.3 競賽評測

在開放評測的基礎上，部分數(shù)據(jù)集以競賽的形式發(fā)布。競賽評測通過統(tǒng)一度量參賽算法性能、以排行榜或論文的形式發(fā)布競賽結(jié)果、依據(jù)競賽結(jié)果對數(shù)據(jù)集進行更新、擴充競賽任務范疇等方式推動計算機視覺的發(fā)展。

前深度學習時代，競賽評測以2005–2012年舉辦的PASCAL VOC[11,31-32]挑戰(zhàn)賽為代表。第一屆競賽僅包含1 578張圖片，針對4類物體開展分類和檢測競賽。2007年，第三屆競賽對數(shù)據(jù)集規(guī)模進行擴充，將物體類別擴大至20類，并引入分割和人體部位檢測任務。2012年舉辦的最后一屆競賽中，數(shù)據(jù)集規(guī)模達到11 530張圖片，并包含27 450個物體標注和6 929個分割標注。

2010–2017年舉辦的ImageNet大型視覺識別挑戰(zhàn)賽是近年來計算機視覺領域最具影響力的學術競賽之一[33-34]，該競賽從ImageNet數(shù)據(jù)集中抽取部分樣本作為競賽數(shù)據(jù)，并從最初的圖像分類拓展至目標檢測、場景分類等任務。2012年，SIMONYAN和ZISSERMAN[35]采用基于卷積神經(jīng)網(wǎng)絡(convolutional neural network，CNN)的AlexNet模型奪冠，引發(fā)研究者對深度學習方法的關注。此后，GoogLeNet[36]，VGG[37]，ResNet[38]和DenseNet[39]等模型ILSVRC競賽上展示優(yōu)異性能，標志著深度神經(jīng)網(wǎng)絡成為視覺任務的主流方法。

除ILSVRC之外，VOT[40]，MS COCO[41]，MOT[42]等計算機視覺挑戰(zhàn)賽吸引全球科研機構(gòu)和科技公司參與。VOT[40]是自2013年起每年在ICCV和ECCV研討會上舉辦的視覺物體跟蹤挑戰(zhàn)賽，通過更新評測序列、擴充任務范疇、優(yōu)化評測指標，實現(xiàn)對復雜環(huán)境下單目標跟蹤算法性能的評測。MS COCO[41]競賽起源于微軟公司2014年標注的同名數(shù)據(jù)集，圖片選取自日常場景，并為每個實例提供額外的分割標注來輔助物體定位。該競賽以場景理解為目標，包含物體檢測、目標分割、人體關鍵點檢測、場景分割等任務。MOT[42]競賽自2015年起針對復雜場景下多目標跟蹤任務展開評測，任務場景從2D街景下的行人/車輛跟蹤拓展至3D場景下斑馬魚跟蹤，任務范疇從多目標跟蹤拓展至多目標分割。

高速、高精度和高穩(wěn)定性是現(xiàn)代印刷機械的重要特征和必然要求.卷筒紙印刷機是目前世界上印刷速度最高的大型設備，而折頁機構(gòu)是制約卷筒紙印刷機速度進一步提高的關鍵因素之一.本文結(jié)合印刷機械特點和發(fā)展趨勢，以卷筒紙印刷機折頁機構(gòu)為研究對象，圍繞提高折頁機構(gòu)的精度和穩(wěn)定性，對折頁機構(gòu)進行含間隙機構(gòu)動力學研究.

2.4 圖靈評測

計算機視覺的發(fā)展目標是實現(xiàn)或超越人類視覺感知能力，但簡單評測、開放評測和競賽評測專注于在數(shù)據(jù)集上算法性能的比較，缺乏與人類視覺能力的對比。在計算機視覺的發(fā)展過程中，有學者提出借助圖靈在1950年提出的模擬游戲思路[43]，以圖靈評測的形式對計算機視覺模型開展評估。

已有的視覺圖靈評測主要采用視覺描述和視覺問答方式，如通過機器對與場景內(nèi)容相關的二值問題(Yes/No，Real/Fake)的回答情況，判定其是否具有和人類相近的理解能力；或在生成式視覺任務中根據(jù)人類受試者對生成效果的判定，衡量機器的創(chuàng)造能力。

然而，現(xiàn)階段的視覺圖靈工作雖然嘗試將人類引入到評測流程中，但其評測形式單一、評測內(nèi)容寬泛，未有效度量機器的智能程度。以下本文將重點介紹視覺圖靈測試，并從視覺圖靈出發(fā)給出計算機視覺發(fā)展的方向。

3 視覺圖靈測試

3.1 圖靈測試

1950年，英國科學家阿蘭·圖靈在《計算機器與智能》(Computing Machinery and Intelligence)一文中首先提出了著名的“圖靈測試”概念[43]。圖靈設計了一個模擬游戲(imitation game)，并提出一個問題：“如果游戲中用一臺機器代替人類會出現(xiàn)什么情況？”而這也引申出了另一個重要問題，即“機器是否能思考(Can machine think)”？圖靈認為，如果詢問者無法判斷另一個屋子里是人還是機器,那么屋子里的機器就可以稱得上是有智能的。

值得一提的是，雖然圖靈測試這一概念自誕生以來就引發(fā)了廣泛而持久的爭論[44]，然而圖靈測試對于人工智能的重要意義不言而喻，其給出了一種具體可操作的方式來度量智能，即根據(jù)對一系列特定問題的反應來決定某一客體是否是智能體。這就為判斷智能提供了一個客觀標準，從而避免了有關智能本質(zhì)的無謂爭論。比如，從1990年開始舉辦的羅布納獎競賽(Loebner Prize Competition)[45]采用標準的圖靈測試對機器的能力進行評估。基于圖靈測試的人機對抗智能技術也一直是國內(nèi)外人工智能研究的熱點[46]，尤其近年來，以AlphaGo[47]、冷撲大師[48]等為代表的智能算法在邊界確定、規(guī)則固定的決策智能問題中已經(jīng)戰(zhàn)勝了人類頂級專業(yè)選手，成為圖靈測試在智能體評估中的標志性成果。

3.2 視覺圖靈研究現(xiàn)狀

自20世紀80年代MARR提出視覺計算理論以來，計算機視覺問題也成為人工智能研究的重要組成部分。受相關研究的啟發(fā)，研究者們開始將圖靈測試引入到計算機視覺任務的評估中，并取得了一定進展。其中，最著名的莫過于2002年由卡內(nèi)基梅隆大學提出的CAPTCHA測試(Completely Automated Public Turing test to tell Computers and Humans Apart)[49]，也就是俗稱的驗證碼。CAPTCHA測試通常以文本或圖像為載體，使服務器自動產(chǎn)生一個問題并根據(jù)相應回答對人類用戶和計算機程序進行區(qū)分。需要指出的是，CAPTCHA目的是使人類通過測試而機器無法通過，因此這一技術也被稱為反向圖靈測試。CAPTCHA對學術研究和相關技術發(fā)展起到了重要的推動作用。目前，CAPTCHA已經(jīng)成為一種標準的網(wǎng)絡安全技術，廣泛應用于互聯(lián)網(wǎng)行業(yè)。以CAPTCHA為基礎，卡內(nèi)基梅隆大學進一步提出了reCAPTCHA技術[50]來幫助完成典籍的數(shù)字化。目前，這一技術已經(jīng)實現(xiàn)了《紐約時代》報紙掃描存檔的數(shù)字化。

自深度學習提出以來，計算機視覺在理論和方法上都取得了重要進步。按照經(jīng)典的機器學習指標，相關算法模型在現(xiàn)有大規(guī)模公開評估數(shù)據(jù)集上已經(jīng)實現(xiàn)了性能的跨越式提升。那么，如何對機器視覺和人類視覺的能力關系進行有效評估？這些問題受到了研究者們的關注。2015年，布朗大學學者在“美國科學院院報”上發(fā)表論文，提出了一種針對計算機視覺的圖靈測試方法[12]，目的是評估計算機能否像人類一樣實現(xiàn)對自然圖像的有效理解。在該圖靈測試方法中，系統(tǒng)會根據(jù)圖像的標注內(nèi)容，按照“故事情節(jié)”生成一系列沒有歧義的二值問題，而機器和人類可以按照同樣的方式進行回答。測試方式如圖3所示。

圖3 基于視覺問答的視覺圖靈測試方案

基于視覺內(nèi)容理解的圖靈測試也受到了研究者的持續(xù)關注。QI等[51]提出了一種針對場景和事件理解的視覺圖靈測試。該測試同樣采用是非判斷的方式，但是測試涉及的場景更為復雜，更加側(cè)重計算機對時間、空間和因果關系的理解能力。除了包含更加復雜的測試場景，有研究者設計了更加復雜的圖靈測試問題[52-54]，視覺問答的涵蓋范圍和回答難度進一步提升，需要圍繞計數(shù)、物體類別、實例信息等內(nèi)容進行相應回答。這些研究對于視覺描述(visual caption)和視覺問答(visual question answering，VQA)任務發(fā)展起到了積極的意義。

在經(jīng)典的視覺識別、檢測任務之外，越來越多的研究開始關注生成式視覺任務，如圖像風格遷移、圖像生成和圖像渲染等。這類生成任務通常無法采用經(jīng)典的機器學習指標進行評估，視覺圖靈測試成為了評估這類任務效果的一種可行方式。2013年，華盛頓大學和Google的研究者將視覺圖靈測試引入到場景重建任務的評估中[55]。在測試中，研究者分別提供一張真實圖像和算法渲染后的圖像，并要求受試者判斷哪一張圖像看起來“更真實”。實驗結(jié)果表明，部分較低分辨率的渲染圖像可以通過圖靈測試，而高分辨率的圖像大概率無法通過測試。作者指出，使低分辨率圖像通過圖靈測試是三維重建算法短期內(nèi)可以企及的目標。2015年，麻省理工大學的LAKE等[56]也采用圖靈測試的方式對計算機概念學習(Concept Learning)的能力進行評估。其以手寫體字符為研究對象，圖靈測試的方式與文獻[55]較為類似，即同時給出手寫體字符和機器生成字符，讓受試者判斷哪一個字符是由機器產(chǎn)生的(圖4)。測試結(jié)果表明，在手寫體字符生成這一任務上機器行為與人類已經(jīng)很難區(qū)分了。文獻[57]同樣采用了標準圖靈測試來對圖像染色算法的性能進行評估，測試中32%的算法生成圖像成功欺騙了“參與者”。此外，在藝術圖像生成效果評估中[58]，研究者在真假判斷的基礎上還添加了可靠性判斷和美感判斷的測試內(nèi)容?？梢钥闯觯曈X圖靈測試已經(jīng)成為生成式視覺任務一種重要的評估方式。

圖4 概念學習中的圖靈測試[56]

4 展 望

隨著深度學習技術，海量數(shù)據(jù)集以及競賽評測方式的普及，諸多視覺算法在相關數(shù)據(jù)集上已經(jīng)達到較高的性能，但當前依賴大算力、大數(shù)據(jù)的算法在真實應用中表現(xiàn)并不如人意。以人機對抗為評測方式的圖靈測試為計算機視覺的發(fā)展提出了新的思路。然而，現(xiàn)階段的視覺圖靈工作雖然嘗試將人類引入到評測流程中，但其評測形式單一、評測內(nèi)容寬泛，未有效度量機器在具體視覺任務上的智能程度，本文從人機對抗出發(fā)給出基于視覺圖靈的計算機視覺發(fā)展可能的方向。

4.1 對象由物到人

正如上述分析，當前計算機視覺關注在數(shù)據(jù)集的大小，計算資源的多少，稱之為“物”，這與計算機視覺是以人類視覺為目標(“人”)的初衷并不符合，而海量標注數(shù)據(jù)不僅需要大量數(shù)據(jù)搜集和繁重的標注工作，并且大規(guī)模訓練對計算資源也提出了非常高的要求。算法性能的提升越來越倚仗算力的堆疊而不是視覺模型和方法的改進。這種研究模式越來越關注數(shù)據(jù)和算力等“物”的層面，忽略了視覺研究的目的，即機器具備自然(人類)視覺的能力，這種模式對于計算機視覺的發(fā)展是不利的。

機器的大規(guī)模學習過程與人類的學習過程存在明顯的區(qū)別?，F(xiàn)有最大規(guī)模的識別數(shù)據(jù)集ImageNet包括約2萬類物體，其中僅有1 000類物體圖像有較多的標注樣本并用于訓練和評估。相關研究表明，人類一生可識別的物體種類大約為3萬類[59]，更重要的是，人類可以在僅獲得少量樣本的前提下迅速理解新的概念并將其泛化[56,59]。而目前的評測標準很難從人類學習能力的角度對機器進行更加有效的評估。

盡管現(xiàn)有深度模型在統(tǒng)計學意義的指標上有著優(yōu)異的表現(xiàn)，但是算法也存在著明顯的弱點。文獻[60]指出，深度學習模型即使是在識別最常見的物體類別時仍會出現(xiàn)很明顯的錯誤，而人類幾乎不太可能出現(xiàn)這類問題。此外，文獻[61]發(fā)現(xiàn)當給某些圖像添加某種程度的噪音時，機器會改變原本給出的高置信度的正確預測結(jié)果并做出錯誤的類別判斷，深度模型可以輕易地被對抗樣本所“愚弄”。另一方面，相關認知實驗[62]表明，人類可以有效辨認對抗樣本，而且可以對機器在面對對抗樣本時將做出何種判斷進行有效預測。這也從一個方面印證了人類的視覺能力要遠遠超過以大數(shù)據(jù)大算力為基礎的深度學習機器模型。

因此，在接下來的視覺研究中，有必要改變目前基于大數(shù)據(jù)、大算力的評估標準，將“人”的因素加入到回路中，根據(jù)人類的能力對機器的能力進行更加有效的評估[63]。而視覺圖靈測試本質(zhì)上是以類人視覺為標準的一種評估體系，其可以在一定程度上打破機器和人類認知的鴻溝。相信隨著對視覺圖靈研究的深入，可以使計算機更好的借鑒、模仿人類的視覺和學習過程，從而朝著具備真正意義上的人工智能邁出更踏實的一步。

4.2 任務由粗到細

通過和人對抗來評估智能體能力的圖靈測試評估方式越來越得到關注，并取得了一定的進展，對相關領域發(fā)展也起到了重要推動作用。但是，正如存在的質(zhì)疑所提到的，現(xiàn)有的圖靈測試方法仍然存在目標不明確、任務寬泛、無法量化等問題，如，①評估所針對的視覺任務相對寬泛；②部分視覺任務缺乏針對性圖靈測試設計；③缺乏具體的指標對人類能力進行有效量化等，因此，從粗放式的視覺圖靈測試走向精細化的視覺任務測試也是大勢所趨。

以視覺問答為例，VTT涉及物體分類、物體定位和關系推理等多項視覺任務，屬于對機器視覺能力的綜合考察。因此，很難就機器的某一項具體能力得到可量化的評估結(jié)果。而后續(xù)針對VQA的方法研究[53-54]已經(jīng)涉及到了視覺與自然語言處理2方面的結(jié)合，這與最初的視覺圖靈測試設定出現(xiàn)了一定的偏差。文獻[12]提出，VTT測試僅僅是一個關于視覺的測試，不涉及自然語言處理的過程(“The interpretation of the questions is unambiguous and does not require any natural language process”)。因此，有必要針對計算機視覺的具體視覺任務進行細化研究。

不同的計算機視覺任務存在著明顯的差異，設計一種通用的視覺圖靈測試方案較為困難。如，物體跟蹤就屬于人類視覺中的一項重要能力[64]，視覺問答可以對機器的圖像內(nèi)容理解能力進行評估，但并不適用于直接評估視覺跟蹤任務，因為獲取、量化人類的視覺跟蹤軌跡較為復雜。這就要求研究者根據(jù)不同視覺任務的特點進行相應的具體設計。一種可能的解決方案是借鑒視覺顯著性的研究過程[65]，采用傳感設備對人類的視覺跟蹤過程進行有效捕捉，并在此基礎上進行視覺圖靈測試。

在圖靈最初的設想中，如果機器讓參與者做出超過30%的誤判，那么可以認為這臺機器通過了測試。后續(xù)的研究基本按照這個指標對機器的能力進行評估。然而，圖靈并沒有提出如何對人類的能力進行量化。相關研究表明[66]，人類在不同年齡階段的視覺認知能力存在明顯差異，而現(xiàn)有的視覺圖靈測試并沒有考慮相關因素。另一方面，在零和博弈任務中就存在對人類能力的具體量化標準，如Elo等級分制度，其反映了人類在具體博弈任務上的水平。因此，在視覺圖靈測試有必要借鑒相關研究，對機器視覺和人類視覺能力的關系進行可量化的評估。

4.3 數(shù)據(jù)由演到用

評測數(shù)據(jù)集是任務評估評測的重要組成。在早期的視覺研究中，視覺理論和框架尚在探索階段。此時構(gòu)建的任務大部分是“toy problem”，數(shù)據(jù)集均較為簡單、規(guī)模較小，有著明顯的“表演”性質(zhì)。比如行為識別中的KTH數(shù)據(jù)集和Weizmann數(shù)據(jù)集[67-68]等。這類數(shù)據(jù)集通常只包含在單一場景下的簡單動作。盡管對早期的算法研究和評估起到了推動作用，但是這類數(shù)據(jù)與真實的應用場景存在明顯的差距。

互聯(lián)網(wǎng)行業(yè)的發(fā)展，使得海量數(shù)據(jù)的獲取、標注變?yōu)榭赡?。而這也推動了以深度學習為標志的大規(guī)模訓練和評估。此時的數(shù)據(jù)集類別和樣本數(shù)量大幅度增加，數(shù)據(jù)更加接近真實的復雜場景。然而，隨著數(shù)據(jù)規(guī)模的進一步提升，數(shù)據(jù)出現(xiàn)了明顯的同質(zhì)化現(xiàn)象，這并不利于對機器能力的真實評估。此外，統(tǒng)計學的準確率提升并不意味著機器真正具備解決困難問題的能力。

隨著計算機視覺從理論走向應用，研究的問題逐漸從簡單任務、復雜任務走向?qū)谷蝿?。比如，某些場景下背景環(huán)境會對物體識別帶來極大干擾[69]，需要識別的目標存在刻意的隱藏和偽裝[70]，篡改偽造內(nèi)容以混淆視聽[71]等。這些對抗因素會對現(xiàn)有的方法帶來極大的挑戰(zhàn)。因此，有必要設計更加合理的評價體系，對機器在對抗條件下的能力進行更加有效的評估。相比于機器，目前人類仍然具備一定的優(yōu)勢[62]。而人類在對抗視覺任務上的表現(xiàn)可以為機器能力的評估提供重要的參考依據(jù)。這也是計算機視覺逼近甚至超過人類的過程中必然要經(jīng)歷的環(huán)節(jié)。

5 結(jié) 論

作為人工智能領域的熱點研究方向，計算機視覺已在理論方法、關鍵技術和實際應用等方面取得巨大進步，但以大數(shù)據(jù)、大算力為基礎的發(fā)展模式已無法有效推動計算機視覺下一步發(fā)展。本文以算法評估評測(評測數(shù)據(jù)集、評測指標、評估方式)為主要視角，對計算機視覺的發(fā)展歷程進行梳理。通過對各階段存在問題的分析，探討提出了計算機視覺下一步發(fā)展方向：視覺圖靈，并提出了3個可能的方向：評估對象實現(xiàn)“從物到人”的拓展、評測內(nèi)容實現(xiàn)“從粗到細”的具化和評估環(huán)境實現(xiàn)“從演到用”的轉(zhuǎn)變，試圖推動計算機視覺研究的發(fā)展。

總之，計算機視覺的發(fā)展推進了人類社會的智能化進程，但依賴大數(shù)據(jù)、大算力為基礎的發(fā)展模式和真實場景的需求仍存在差異。視覺圖靈為打破現(xiàn)階段發(fā)展瓶頸提供一種可行的思路，為實現(xiàn)近似或超越人類視覺信息感知能力提供重要的研究基礎。

[1] 黃凱奇, 任偉強, 譚鐵牛. 圖像物體分類與檢測算法綜述[J]. 計算機學報, 2014, 37(6): 1225-1240.

HUANG K Q, REN W Q, TAN T N. A review on image object classification and detection[J]. Chinese Journal of Computers, 2014, 37(6): 1225-1240 (in Chinese).

[2] 黃凱奇, 陳曉棠, 康運鋒, 等. 智能視頻監(jiān)控技術綜述[J]. 計算機學報, 2015, 38(6): 1093-1118.

HUANG K Q, CHEN X T, KANG Y F, et al. Intelligent visual surveillance: a review[J].Chinese Journal of Computers, 2015, 38(6): 1093-1118 (in Chinese).

[3] DENG J, DONG W, SOCHER R, et al. Imagenet: a large-scale hierarchical image database[C]//2009 IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2009: 248-255.

[4] KARPATHY A. The homepage of Sr. director of AI at tesla[EB/OL]. [2020-01-10]. https://cs.stanford.edu/people/karpathy/.

[5] 中國計算機學會計算機視覺專委會. 未來5-10年計算機視覺發(fā)展趨勢[EB/OL]. [2021-01-19]. https://www.zhuanzhi.ai/ vip/9063e592ca07daedd5e0cd9ba90eb10c.

Technical Committee on Computer Vision, China Computer Federation. Development trend of computer vision in the next 5-10 years[EB/OL]. [2020-01-019]. https://www.zhuanzhi.ai/ vip/9063e592ca07daedd5e0cd9ba90eb10c (in Chinese).

[6] 胡占義. 計算機視覺簡介: 歷史、現(xiàn)狀和發(fā)展趨勢, 2017[EB/OL]. [2021-01-05]. http://vision.ia.ac.cn/zh/teaching/%E8%AE%A1%E7%AE%97%E6%9C%BA%E8%A7%86%E8%A7%89%E8%AE%B2%E4%B9%89%E7%AC%AC%E4%B8%80%E7%AB%A0.pdf.

HU Z Y. Introduction to computer vision: history, present situation and development trend, 2017[EB/OL]. [2021-01-05]. http://vision.ia.ac.cn/zh/teaching/%E8%AE%A1%E7%AE%97%E6%9C%BA%E8%A7%86%E8%A7%89%E8%AE%B2%E4%B9%89%E7%AC%AC%E4%B8%80%E7%AB%A0.pdf(in Chinese).

[7] 黃凱奇, 譚鐵牛. 視覺認知計算模型綜述[J]. 模式識別與人工智能, 2013, 26(10): 951-958.

HUANG K Q, TAN T N. Review on computational model for vision[J]. Pattern Recognition and Artificial Intelligence, 2013, 26(10): 951-958 (in Chinese).

[8] LECUN Y, BOTTOU L, BENGIO Y, et al. Gradient-based learning applied to document recognition[J]. Proceedings of the IEEE, 1998, 86(11): 2278-2324.

[9] FERRARI V, JURIE F, SCHMID C. From images to shape models for object detection[J]. International Journal of Computer Vision, 2010, 87(3): 284-303.

[10] KRIZHEVSKY A, HINTON G. Learning multiple layers of features from tiny images[EB/OL]. [2021-01-28]. https://www. researchgate.net/publication/306218037_Learning_multiple_layers_of_features_from_tiny_images.

[11] EVERINGHAM M, VAN GOOL L, WILLIAMS C K I, et al. The pascal visual object classes (voc) challenge[J]. International Journal of Computer Vision, 2010, 88(2): 303-338.

[12] GEMAN D, GEMAN S, HALLONQUIST N, et al. Visual turing test for computer vision systems[J]. Proceedings of the National Academy of Sciences, 2015, 112(12): 3618-3623.

[13] MARR D. Vision: a computational investigation into the human representation and processing of visual information[EB/OL]. [2021-01-20]. https://dl.acm.org/doi/ book/10.5555/1095712.

[14] BIEDERMAN I. Recognition-by-components: a theory of human image understanding[J]. Psychological Review, 1987, 94(2): 115.

[15] HUBEL D H, WIESEL T N. Receptive fields, binocular interaction and functional architecture in the cat’s visual cortex[J]. The Journal of Physiology, 1962, 160(1): 106-154.

[16] ROBERTS L G. Machine perception of three-dimensional solids[D]. Cambridge: Massachusetts Institute of Technology, 1963.

[17] MIT Libraries-DSpace@MIT. The summer vision project[EB/OL]. [2020-10-19]. https://dspace.mit.edu/handle/ 1721.1/6125.

[18] TREISMAN A M, GELADE G. A feature-integration theory of attention[J]. Cognitive Psychology, 1980, 12(1): 97-136.

[19] CHEN L. Topological structure in visual perception[J]. Science, 1982, 218(4573): 699-700.

[20] FEI-FEI L, FERGUS R, PERONA P. Learning generative visual models from few training examples: an incremental bayesian approach tested on 101 object categories[C]//2004 Conference on Computer Vision and Pattern Recognition Workshop. NewYork: IEEE Press, 2004: 178-178.

[21] GRIFFIN G, HOLUB AD, PERONA P. Caltech-256 Object Category Dataset[R]. Pasadena: California Institute of Technology, 2007.

[22] KRIZHEVSKY A, HINTON G. Learning multiple layers of features from tiny images[EB/OL]. [2021-01-28]. https://www. researchgate.net/publication/306218037_Learning_multiple_layers_of_features_from_tiny_images.

[23] LIU Z W, LUO P, WANG X G, et al. Deep learning face attributes in the wild[C]//2015 IEEE International Conference on Computer Vision. New York: IEEE Press, 2015: 3730-3738.

[24] YANG S, LUO P, LOY C C, et al. Wider face: a face detection benchmark[C]//2016 IEEE Cnference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2016: 5525-5533.

[25] GEIGER A, LENZ P, URTASUN R. Are we ready for autonomous driving? the kitti vision benchmark suite[C]//2012 IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2012: 3354-3361.

[26] HUANG L H, ZHAO X, HUANG K Q. Got-10k: a large high-diversity benchmark for generic object tracking in the wild[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2021, 43(5): 1562-1577.

[27] FAN H, LIN L T, YANG F, et al. Lasot: a high-quality benchmark for large-scale single object tracking[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2019: 5374-5383.

[28] ZHOU B L, ZHAO H, PUIG X, et al. Scene parsing through ade20k dataset[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2017: 633-641.

[29] Cityscapes Dataset. Semantic understanding of urban street scenes [EB/OL]. [2020-12-10]. https://www.cityscapes-dataset. com/.

[30] LI D W, ZHANG Z, CHEN X T, et al. A richly annotated pedestrian dataset for person retrieval in real surveillance scenarios[J]. IEEE Transactions on Image Processing, 2019, 28(4): 1575-1590.

[31] HUANG Y Z, HUANG K Q, YU Y N, et al. Salient coding for image classification[C]//2011 IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2011: 1753-1760.

[32] ZHANG J G, HUANG K Q, YU Y N, et al. Boosted local structured HOG-LBP for object localization[C]//2011 IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2011: 1393-1400.

[33] WANG C, REN W Q, HUANG K Q, et al. Weakly supervised object localization with latent category learning[C]//2014 the European Conference on Computer Vision. New York: IEEE Press, 2014: 431-445.

[34] WANG C, HUANG K Q, REN W Q, et al. Large-scale weakly supervised object localization via latent category learning[J]. IEEE Transactions on Image Processing, 2015, 24(4): 1371-1385.

[35] SIMONYAN K, ZISSERMAN A. Very deep convolutional networks for large-scale image recognition[EB/OL]. [2021-02-10]. https: //arxiv.org/abs/1409.1556.

[36] SZEGEDY C, LIU W, JIA Y Q, et al. Going deeper with convolutions[C]//2005 IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2015: 1-9.

[37] SIMONYAN K, ZISSERMAN A. Very deep convolutional networks for large-scale image recognition[EB/OL]. [2021-02-10]. https://arxiv.org/abs/1409.1556.

[38] HE K M, ZHANG X Y, REN S Q, et al. Deep residual learning for image recognition[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2016: 770-778.

[39] HUANG G, LIU Z, VAN DER MAATEN L, et al. Densely connected convolutional networks[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2017: 4700-4708.

[40] Academic and Research Network of Slovenia. Visual object tracking (VOT) [EB/OL]. [2020-12-19]. http://www.votchallenge. net/.

[41] LIN T Y, MAIRE M, BELONGIE S, et al. Microsoft coco: common objects in context[C]//2014 European Conference on Computer Vision. Heidelberg: Springer, 2014: 740-755.

[42] Multiple object tracking benchmark[EB/OL]. [2020-11-30]. https://motchallenge.net/.

[43] TURING A M. Computing machinery and intelligence[J]. Mind, 1950, 59(236): 433-460.

[44] FRENCH R M. The turing test: the first 50 years[J]. Trends in Cognitive Sciences, 2000, 4(3): 115-122.

[45] SHIEBER S M. Lessons from a restricted Turing test[J]. Communications of the ACM, 1994, 37(6): 70-78.

[46] 黃凱奇, 興軍亮, 張俊格, 等. 人機對抗智能技術[J]. 中國科學: 信息科學, 2020, 50(4): 540-550.

HUANG K Q, XING J L, ZHANG J G, et al. Intelligent technologies of human-computer gaming[J]. Sciencein China: Information Sciences, 2020, 50(4): 540-550 (in Chinese).

[47] SILVER D, SCHRITTWIESER J, SIMONYAN K, et al. Mastering the game of go without human knowledge[J]. Nature, 2017, 550(7676): 354-359.

[48] BROWN N, SANDHOLM T. Safe and nested subgame solving for imperfect-information games[C]//The 31st International Conference on Neural Information Processing Systems. New York: ACMPress, 2017: 689-699.

[49] VON AHN L, BLUM M, HOPPER N J, et al. CAPTCHA: using hard AI problems for security[C]//International Conference on the Theory and Applications of Cryptographic Techniques. Heidelberg: Springer, 2003: 294-311.

[50] VON AHN L, MAURER B, MCMILLEN C, et al. Recaptcha: Human-based character recognition via web security measures[J]. Science, 2008, 321(5895): 1465-1468.

[51] QI H, WU T F, LEE M W, et al. A restricted visual turing test for deep scene and event understanding[EB/OL]. [2020-11-15]. https://arxiv.org/abs/1512.01715v2.

[52] MALINOWSKI M, FRITZ M. A multi-world approach to question answering about real-world scenes based on uncertain input[C]//The 27th International Conference on Neural Information Processing Systems. New York: ACM Press, 2014: 1682-1690.

[53] MALINOWSKI M, ROHRBACH M, FRITZ M. Ask your neurons: a neural-based approach to answering questions about images[C]//2015 IEEE International Conference on Computer Vision. New York: IEEE Press, 2015: 1-9.

[54] GAO H Y, MAO J H, ZHOU J, et al. Are you talking to a machine? dataset and methods for multilingual image question[EB/OL]. [2020-12-19]. https://arxiv.org/abs/1505. 05612.

[55] SHAN Q, ADAMS R, CURLESS B, et al. The visual turing test for scene reconstruction[C]//2013 International Conference on 3D Vision. New York: IEEE Press, 2013: 25-32.

[56] LAKE B M, SALAKHUTDINOV R, TENENBAUM J B. Human-level concept learning through probabilistic program induction[J]. Science, 2015, 350(6266): 1332-1338.

[57] ZHANG R, ISOLA P, EFROS A A. Colorful image colorization[C]//European Conference on Computer Vision. Heidelberg: Springer, 2016: 649-666.

[58] XUE A. End-to-end Chinese landscape painting creation using generative adversarial networks[C]//2021 IEEE/CVF Winter Conference on Applications of Computer Vision. New York: IEEE Press, 2021: 3863-3871.

[59] LAKE B, SALAKHUTDINOV R, GROSS J, et al. One shot learning of simple visual concepts[EB/OL]. [2021-01-09]. https://www.researchgate.net/publication/285764506_One_shot_learning_of_simple_visual_concepts.

[60] HE K M, ZHANG X Y, REN S Q, et al. Delving deep into rectifiers: surpassing human-level performance on imagenet classification[C]//2015 IEEE international conference on computer vision. New York: IEEE Press, 2015: 1026-1034.

[61] GOODFELLOW I J, SHLENS J, SZEGEDY C. Explaining and harnessing adversarial examples[EB/OL]. [2020-10-12]. https:// arxiv.org/abs/1412.6572.

[62] ZHOU Z, FIRESTONE C. Humans can decipher adversarial images[J]. Nature Communications, 2019, 10(1): 1-9.

[63] HU B G, DONG W M. A design of human-like robust AI machines in object identification[EB/OL]. [2020-10-11]. https://arxiv.org/abs/2101.02327v1.

[64] HYV?RINEN L, WALTHES R, JACOB N, et al. Current understanding of what infants see[J]. Current ophthalmology reports, 2014, 2(4): 142-149.

[65] AZAM S, GILANI S O, JEON M, et al. A benchmark of computational models of saliency to predict human fixations in videos[C]//The 11th Joint Conference on Computer Vision, Imaging and Computer Graphics Theory and Applications (VZSIGRAPP 2016). S. Francisco: SCITEPRESS Science and Technology Publications, Lda. 2016: 134-142.

[66] SMITH L B, SLONE L K. A developmental approach to machine learning?[J]. Frontiers in Psychology, 2017, 8: 2124.

[67] SCHULDT C, LAPTEV I, CAPUTO B. Recognizing human actions: a local SVM approach[C]//The 17th International Conference on Pattern Recognition. New York: IEEE Prtess, 2004: 32-36.

[68] GORELICK L, BLANK M, SHECHTMAN E, et al. Actions as space-time shapes[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2007, 29(12): 2247-2253.

[69] HUANG K, WANG L, TAN T, et al. A real-time object detecting and tracking system for outdoor night surveillance[J]. Pattern Recognition, 2008, 41(1): 432-444.

[70] FAN D P, JI G P, SUN G L, et al. Camouflaged object detection[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2020: 2777-2787.

[71] AGARWAL S, FARID H, FRIED O, et al. Detecting deep-fake videos from phoneme-viseme mismatches[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops. New York: IEEE Press, 2020: 660-661.

Visual Turing: the next development of computer vision in the view of human-computer gaming

HUANG Kai-qi1,2, ZHAO Xin1, LI Qiao-zhe1, HU Shi-yu1

(1. Center for Research on Intelligent System and Engineering, Institute of Automation, Chinese Academy of Sciences, Beijing 100190, China; 2. CAS Center for Excellence in Brain Science and Intelligence Technology, Chinese Academy of Sciences, Shanghai 200031, China)

Computer vision has gained wide attention in the research of artificial intelligence. After nearly 60 years of its development, great achievement has been made in aspect of algorithms, technologies, and applications. Over the past decade, deep learning, which is on the basis of big data and huge computation power, has further ushered computer vision in an era of large model. However, there remains a huge gap between algorithm adaptability and human beings. From the perspective of visual task evaluation (in terms of datasets, metrics, and methods), this paper summarized the development history of computer vision. In addition, a systematic analysis was conducted on the existing problems and obstacles for the development of computer vision heavily dependent on big data learning. Based on the analysis, this paper argued that the visual Turing test could be the next research direction of computer vision. Finally, the development of the visual Turing test and its potential research were discussed.

computer vision; visual Turing; evaluation of visual tasks; Turing test; datasets

TP 391

10.11996/JG.j.2095-302X.2021030339

A

2095-302X(2021)03-0339-10

2021-03-26；

2021-04-12

26March，2021；

12April，2021

黃凱奇(1977-)，男，江西豐城人，研究員，博士。主要研究方向為計算機視覺、人機對抗智能、模式識別等。E-mail：kqhuang@nlpr.ia.ac.cn

HUANG Kai-qi (1977-), male, professor, Ph.D. His main research interests cover computer vision, pattern recognition and game theory. E-mail：kqhuang@nlpr.ia.ac.cn