近五年慕課(MOOC)研究綜述及背后爭議

鄭依萌

（中國音樂學(xué)院，北京 100101）

近五年慕課(MOOC)研究綜述及背后爭議

鄭依萌

（中國音樂學(xué)院，北京 100101）

近年來慕課在我國受到了廣泛關(guān)注，各大機(jī)構(gòu)陸續(xù)推出了許多不同類型的課程，旨在全球范圍內(nèi)推動慕課為代表的大規(guī)模、免費(fèi)、開放、在線課程，用來滿足各國的學(xué)習(xí)者對優(yōu)秀學(xué)習(xí)資源的基本需求。本文首先將介紹慕課的基本概念及慕課的特點(diǎn)，接下來將對我國最近5年（2012-2016）全國核心期刊上有關(guān)于慕課的文章進(jìn)行檢索和統(tǒng)計，根據(jù)文獻(xiàn)中不同學(xué)者的觀點(diǎn)分類為兩個派別進(jìn)行簡單的綜述。在音樂教學(xué)中，慕課也有所應(yīng)用。然而，慕課的背后仍然存在著許多爭議，慕課本身也存在著缺陷和不足，本文將從幾個不同的方面講述慕課仍然存在的問題，并提出自己的觀點(diǎn)和建議。對現(xiàn)有研究成果的綜述有利于更清晰的把握慕課的研究發(fā)展情況，為今后的學(xué)術(shù)研究工作提供借鑒。

慕課；MOOC；綜述；爭議

早在2008年，Da VeCormier與BryanAlexander教授第一次提出MOOC這一概念，但是，它在2011年才廣泛發(fā)展并引起關(guān)注。接下來的一年，十幾所頂尖大學(xué)與資金雄厚的投資商合作，不斷改變著MOOC的面貌，越來越多的學(xué)生加入到慕課的多形式的實(shí)踐中。由于MOOC具備了許多現(xiàn)代普通高等教育所不具備的優(yōu)點(diǎn)，因此它對現(xiàn)代高等教育產(chǎn)生了革命性的挑戰(zhàn)和沖擊，并且引起了全世界范圍內(nèi)的廣泛關(guān)注。為此，美國TIME雜志把2012年稱為“MOOC年”。慕課一出現(xiàn)，就以暴風(fēng)般的方式席卷整個教育界，慕課作為一種非常新興的教學(xué)模式，仿佛橫空出世，然后迅速發(fā)展并一鳴驚人，一定有其成功的道理，然而，在近幾年的“慕課熱”之后，專家和學(xué)者開始進(jìn)行“慕課熱”背后的冷思考，慕課是否像其所說的一樣，能夠“顛覆傳統(tǒng)的教育”？其次，筆者通過閱讀大量與慕課相關(guān)的文獻(xiàn)后發(fā)現(xiàn)，相關(guān)的慕課研究文獻(xiàn)中實(shí)際的慕課發(fā)展并不是非常繁盛，從學(xué)術(shù)理論的角度，來解讀慕課的特點(diǎn)以及慕課對高等教育改革的影響，有利于豐富慕課的相關(guān)資料，使關(guān)于慕課的研究與發(fā)展更加多元；另一方面，從目前能夠搜集到的國外文獻(xiàn)中，尋找不同于我國的切入點(diǎn)和分析方法，能夠從中了解其他各國學(xué)者與中國學(xué)者相比對慕課不同的態(tài)度。

一、慕課的定義

慕課，即MOOC，全稱為Massive Open Online Course(大規(guī)模在線開放課程），其基本含義不難從這幾個單詞中看出；Massive——指的是大規(guī)模，通過利用互聯(lián)網(wǎng)技術(shù)，慕課中的大規(guī)模就不僅僅是幾百人，而是讓成百上千萬的學(xué)生可以在互聯(lián)網(wǎng)上同時學(xué)習(xí)?；ヂ?lián)網(wǎng)技術(shù)突破了傳統(tǒng)教學(xué)中以班級為單位的人數(shù)限制，實(shí)現(xiàn)了走向世界的課程模式。Open——開放性，在互聯(lián)網(wǎng)上，任何一個人，只要你想學(xué)習(xí)，通過簡單的網(wǎng)上注冊，就可以輕松的在網(wǎng)上進(jìn)行免費(fèi)學(xué)習(xí)。Online——在線的，指的是無論你在世界的哪一個地方，只要你有電腦或是有手機(jī)，并且能夠連接上網(wǎng)絡(luò)，你就可以通過打開網(wǎng)站鏈接去隨意選擇一位你喜歡的老師的講課，不再需要到現(xiàn)實(shí)中的學(xué)校中去。Course——指的是課程，授課教師將自己講課的視頻、課件提前幾周上傳到教學(xué)平臺上，供所有想?yún)⑴c這門課程的學(xué)習(xí)者免費(fèi)下載。慕課的課程更加強(qiáng)調(diào)老師對學(xué)生的引導(dǎo)，主張學(xué)生自主學(xué)習(xí)，將學(xué)生的主觀能動性發(fā)揮到最大。

二、慕課的特點(diǎn)

（一）大規(guī)模性

慕課的大規(guī)模首先體現(xiàn)在慕課的人數(shù)上。慕課的學(xué)習(xí)者往往來自世界各地，課程人數(shù)可以從幾萬甚至到幾十萬不等，在線注冊的人數(shù)可能更多。除此之外，慕課平臺上有多種多樣、可以隨意選擇的、涵蓋了絕大部分學(xué)科領(lǐng)域的課程。到2016年年底，全球最大的COURSERA課程網(wǎng)站共上線了25個學(xué)科近1000門課程，其中較多的課程主要集中在物理、藝術(shù)、數(shù)學(xué)、商務(wù)以及教育等領(lǐng)域，藝術(shù)領(lǐng)域的課程還相對較少。

（二）開放性

我國古代著名的教育家、思想家孔子早在幾千年就提過“有教無類”的思想，而慕課則很好的詮釋了孔子的這一思想。慕課的開放性就體現(xiàn)在進(jìn)入課程是開放的，也沒有進(jìn)入的門檻要求，除了非常一小部分專業(yè)性較強(qiáng)的課程需要一定的專業(yè)理論知識和學(xué)術(shù)背景作為鋪墊，大多數(shù)課程初學(xué)者一進(jìn)入便可以開始學(xué)習(xí)。

（三）在線性

慕課的學(xué)習(xí)者在學(xué)習(xí)過程中，只要處于互聯(lián)網(wǎng)中，就可以跨越時間段、地區(qū)、人種以及文化背景，選擇自己喜歡的課程進(jìn)行學(xué)習(xí)。對全球的學(xué)習(xí)者在線開放，也是慕課的基本特征之一。

三、近五年“慕課”相關(guān)文獻(xiàn)的統(tǒng)計分析

在中國知網(wǎng)的“文獻(xiàn)”模式檢索有關(guān)慕課的文獻(xiàn)得到以下結(jié)果，近五年來（2012-2016），慕課的學(xué)術(shù)文獻(xiàn)呈上升趨勢，2012年只有寥寥幾篇文章，也并沒有引起大家對慕課的關(guān)注；2013年研究慕課屬于上升階段，一共發(fā)表260篇文章；從2014年開始，慕課的學(xué)術(shù)研究受到各界學(xué)者的廣泛關(guān)注，共發(fā)表2833篇文章；到了2015年，研究慕課的相關(guān)文獻(xiàn)已經(jīng)到了井噴的階段，共8735篇文章；截止到2016年12月，共發(fā)表10356篇文章，由此可見，對慕課的研究已經(jīng)到了相對比較成熟的階段。從檢索結(jié)果看，大部分與慕課有關(guān)的研究主要集中在高等教育領(lǐng)域。該領(lǐng)域的研究者數(shù)量較多，以英美國家作者居多，亞非拉國家的作者偏少。從研究方法上看，我國最近五年MOOC研究理論研究的文章居多，實(shí)證研究文章偏少，但實(shí)證研究的文章有增加的趨勢。另外，借助中國知網(wǎng)在“外文文獻(xiàn)”的模式下檢索以篇名為“Massive Open Online Courses”相關(guān)文章，2012年2篇，2013年30篇，2014年以后每年都以一定的速度增長，到了2016年，共128篇。

四、國內(nèi)外慕課研究現(xiàn)狀

（一）國內(nèi)慕課研究現(xiàn)狀

本文獲取國內(nèi)慕課相關(guān)文獻(xiàn)的方法主要通過中國知網(wǎng)的網(wǎng)絡(luò)數(shù)據(jù)庫進(jìn)行相關(guān)文獻(xiàn)的檢索，就慕課對高等院校改革方面的研究，保定學(xué)院的張鷙遠(yuǎn)副教授在《“慕課”（Moocs)發(fā)展對我國高等教育的影響及其對策》一文中，從好幾個方面談到了慕課對我國的高等教育產(chǎn)生的影響，除此之外，他認(rèn)為，慕課對大學(xué)生的生存和發(fā)展提出了一個巨大的挑戰(zhàn)，對高等院校的教學(xué)提出了更高的要求。河海大學(xué)劉曉東研究院在《“慕課”對高校教師教學(xué)能力的挑戰(zhàn)與對策》一文中，以教師和學(xué)生為切入點(diǎn)，提出了教師在知識的傳授過程中所面臨的挑戰(zhàn)，并提出了自己的改革建議。還有學(xué)者如武漢科技大學(xué)吳萬偉的《“慕課熱”的冷思考》的文章，對“慕課熱”出現(xiàn)的起因并提出了自己是如何看待“慕課熱”的，由此提出了自己的應(yīng)對策略。

（二）國外慕課研究現(xiàn)狀

國外文獻(xiàn)大致著重于討論以下幾個方面：1.高等教育隨著慕課的沖擊帶來了怎樣的挑戰(zhàn)；2.國外的學(xué)者對慕課的態(tài)度是支持、反對還是中立；3.慕課對除了音樂之外的其他領(lǐng)域產(chǎn)生了怎樣的影響。如Laura Pappano在《The Year of the MOOC》—The New York Times.November 2，2012一文中肯定了慕課產(chǎn)生的積極作用，她對慕課持著較為積極的態(tài)度，但也同時指出了慕課存在的問題與挑戰(zhàn)。

五、慕課應(yīng)用在音樂教學(xué)中

慕課的來臨，同樣對高等院校中的音樂教學(xué)產(chǎn)生了重要的影響。在以往的教學(xué)中，主要以“面對面”的教學(xué)為主，但是在數(shù)字化的慕課課堂上，學(xué)生可以方便的獲取大量的共享資源，它既不受時間的限制，又不會對空間上產(chǎn)生約束。學(xué)生可以隨時隨地在網(wǎng)絡(luò)資源上聆聽眾多藝術(shù)家對不同作品的演奏示范，這種新型的授課模式對高等院校的音樂專業(yè)的學(xué)生來說，不僅可以跟隨名師上課，聆聽專家講座，還可以讓名師跟學(xué)生情況的不同，親自為學(xué)生定制不同的教學(xué)模式。例如，2015年初，著名男高音歌唱家戴玉強(qiáng)開辦了一個超級聲樂慕課：“戴你唱歌”。每周一、三、五開課，每節(jié)課大約在25分鐘左右，每次課都集中一首經(jīng)典聲樂作品，由許多優(yōu)秀青年歌唱家現(xiàn)場范唱，戴玉強(qiáng)老師坐在旁邊，對每一位歌者進(jìn)行精彩的點(diǎn)評互動。短短的一年多的時間，這個網(wǎng)站的點(diǎn)擊率已經(jīng)高達(dá)四億人次。每星期全國有近千萬人跟著戴老師在學(xué)唱歌?！按髂愠琛遍_辟了互聯(lián)網(wǎng)下“師傅帶徒弟”的新模式，它的受眾群體不僅僅局限于高等學(xué)校的音樂專業(yè)學(xué)生，更多的面向了那些喜歡唱歌、但又因?yàn)楦鞣N原因無法學(xué)習(xí)聲樂的人群。

六、慕課背后存在的爭議

（一）學(xué)生方面：學(xué)生持續(xù)性不強(qiáng)，退學(xué)率高

雖然慕課在網(wǎng)站上的注冊人數(shù)非常多，但是到最后，真正能夠完成課程學(xué)習(xí)的人數(shù)卻很少，也就是說，在慕課平臺上，學(xué)生學(xué)習(xí)的持續(xù)性不強(qiáng)，退學(xué)率較高。教育技術(shù)咨詢專家和分析師菲爾·希爾教授在慕課教學(xué)實(shí)踐的基礎(chǔ)上，提出了慕課學(xué)習(xí)者的五種原型：爽約者、袖手旁觀者、臨時進(jìn)入者和被動參與者、主動參與者。根據(jù)慕課三大平臺之一的Udacity平臺統(tǒng)計，慕課平臺大約有47%為爽約者，他們在新學(xué)期的開始時，在網(wǎng)上注冊了賬號，但是之后從未進(jìn)行過課程學(xué)習(xí)，主動參與者僅占21%；其余包括了14%的不參與互動的袖手旁觀者，7%的臨時進(jìn)入者和11%的被動參與者。由此得出，慕課要求學(xué)習(xí)者具有高度的自覺性和自控能力，并不是所有的學(xué)生都適合于慕課的教學(xué)模式。

（二）課程方面

1.慕課并非適合所有課程的教學(xué)

慕課屬于網(wǎng)絡(luò)課程，慕課在我國教育的現(xiàn)階段也處于試驗(yàn)階段，課程分布也較為零散，單純依靠慕課的教學(xué)，學(xué)生很難接受較為系統(tǒng)的學(xué)習(xí)內(nèi)容。筆者認(rèn)為，慕課本身更加適應(yīng)于理工、醫(yī)學(xué)等學(xué)科的教學(xué)，但音樂作為一門人文學(xué)科，雖然在音樂理論課上可以通過慕課共享優(yōu)秀的學(xué)習(xí)資源，但卻無法取代學(xué)校中的實(shí)踐課程，如聲樂演唱、器樂演奏等音樂實(shí)踐類課，只有在現(xiàn)實(shí)的面對面的課堂上，老師才能根據(jù)你的演唱方法、表現(xiàn)力進(jìn)行教學(xué)指導(dǎo)，這在慕課中是無法完成的，并且這些類似的實(shí)踐課程也無法被慕課所取代。因此，慕課只是一種新興的課程實(shí)施形式，但卻無法取代傳統(tǒng)教育。

2.慕課的學(xué)分有效性和認(rèn)證遭到質(zhì)疑

慕課相比第一代的網(wǎng)絡(luò)視頻課程的優(yōu)勢之一，就是在結(jié)課時可以提供頒發(fā)結(jié)業(yè)證書、提供學(xué)分認(rèn)證等服務(wù)，但是，慕課課程到現(xiàn)在都沒有一個相對嚴(yán)格的評價標(biāo)準(zhǔn)和評估機(jī)制。在這種情況下，如何防止低水平的課程被冠以慕課之名，如何杜絕學(xué)生“代替學(xué)習(xí)”以及“考試作弊”現(xiàn)象以及如何保證“證書”與“學(xué)分”之間的可信度，成為了一個非常有爭議的話題。畢竟并不是每一個學(xué)生都有較高的自覺性和道德水準(zhǔn)，所以學(xué)分的有效性和認(rèn)證還需要進(jìn)一步的完善，以防止那些自覺性和道德水準(zhǔn)差的學(xué)生鉆空子。

（三）教師方面

1.教師的負(fù)擔(dān)加重

教師對教學(xué)前需要準(zhǔn)備的工作量變大。包括課程的設(shè)計與制作、發(fā)布、學(xué)習(xí)平臺的管理等。教師除了承擔(dān)正常的教學(xué)任務(wù)，除此之外，教師還需要預(yù)先進(jìn)行視頻制作，還需要做課堂前期準(zhǔn)備，其中包括事先設(shè)計好本次課程的教學(xué)內(nèi)容，錄制視頻，上傳視頻，教師在教授慕課之前，還需要提前通知學(xué)生開課的時間以及要教授課程的大概內(nèi)容，進(jìn)入慕課教授后，教師要每周花相當(dāng)多的的時間用在課程的信息維護(hù)和解答上，一旦學(xué)生有任何問題，教師要及時在網(wǎng)絡(luò)平臺上一一解決學(xué)生的問題，這無疑又占用了教師非常多的時間，如果這個答疑的工作做不好，慕課就會淪為第一代的網(wǎng)絡(luò)視頻課程，學(xué)生只是在網(wǎng)上看個網(wǎng)絡(luò)視頻課而已。

2.教授的自身水平要受到考驗(yàn)

慕課熱的一個很重要的原因是因?yàn)槊Ｃ麕熜?yīng)，學(xué)生可以不費(fèi)力的在網(wǎng)絡(luò)上看到名師的講學(xué)，這在現(xiàn)實(shí)中是不可能的。但那些名師之所以被稱為名師，是因?yàn)樗麄兊膫鹘y(tǒng)課堂上有優(yōu)秀的教學(xué)經(jīng)驗(yàn)，但這并不代表著他們能熟練的操作網(wǎng)絡(luò)并制作慕課課程。慕課并未對名師們進(jìn)行相關(guān)技術(shù)上的培訓(xùn)，所以他們可能需要自己聘請一個團(tuán)隊來為他制作線上的慕課課程，一旦制作的不好的話，這將會影響慕課的課程教學(xué)質(zhì)量。

七、我國慕課未來發(fā)展的思考與建議

（一）對我國慕課未來發(fā)展道路的思考

未來，慕課依舊將會在我國熱度不減，“慕課熱”的現(xiàn)象在我國還會一直持續(xù)下去。然而，慕課持續(xù)升溫，也加深了專家學(xué)者進(jìn)一步對慕課重新審視，對慕課進(jìn)行重新的定位。但毫無疑問的是，慕課這種全新的教育模式，永遠(yuǎn)都無法取代實(shí)際的課堂教學(xué)，只能輔助現(xiàn)實(shí)課堂，作為課堂教學(xué)的一部分。在經(jīng)歷“后新課改時代”的課堂教學(xué)后，課堂重在培養(yǎng)自主學(xué)習(xí)能力強(qiáng)的學(xué)生，教師不僅僅要教書，還要成為學(xué)生學(xué)習(xí)的組織者、促進(jìn)者、指導(dǎo)者，學(xué)生應(yīng)當(dāng)主動學(xué)習(xí)、自主學(xué)習(xí)、探究學(xué)習(xí)。慕課的實(shí)質(zhì)上其實(shí)就是一種在線學(xué)習(xí)的方式，它產(chǎn)生的威力主要取決于學(xué)生去主動學(xué)習(xí)網(wǎng)上的課程，但對于一些主動學(xué)習(xí)較差的學(xué)生來說，無法保證學(xué)生學(xué)習(xí)的主動性。由此可見，我國課堂教學(xué)改革并不能完全寄希望于慕課教學(xué)，更不要認(rèn)為慕課就是我國未來課堂改革的發(fā)展方向，而是應(yīng)該以辯證的眼光重新審視慕課，從中吸取慕課的優(yōu)點(diǎn)，從而促進(jìn)“慕課熱”現(xiàn)象助益于我國教育改革。

（二）對我國慕課未來發(fā)展的建議

關(guān)于我國慕課未來發(fā)展的建議主要有以下幾個方面：

1.建設(shè)一個標(biāo)準(zhǔn)化的慕課平臺。

我國的慕課應(yīng)該建設(shè)一個標(biāo)準(zhǔn)化的慕課平臺，這樣首先有利于專業(yè)技術(shù)人員對課程平臺進(jìn)行日常的管理和維護(hù)，平臺上一旦出現(xiàn)問題可以及時解決；這樣課程團(tuán)隊就可以把更多精力放在課程的制作和設(shè)置上，不用考慮技術(shù)上的問題；最后，學(xué)習(xí)者可以在網(wǎng)絡(luò)平臺上找到自己喜歡的課程，從而提高學(xué)習(xí)效率。

2.提高慕課課程的完成率。

有關(guān)慕課完成率的問題不僅在中國存在著問題，在國外其他的慕課平臺上也同樣存在著問題。這不僅僅是學(xué)生自覺能力的問題，還有一些客觀上在慕課的設(shè)置上需要解決的問題。我認(rèn)為可以通過以下兩點(diǎn)來提高學(xué)生學(xué)習(xí)課程的完成率：第一要增加教學(xué)中的互動環(huán)節(jié)，讓學(xué)生參與課堂討論，讓學(xué)生感受到課堂活躍的交流氛圍，彼此之間建立起相應(yīng)的聯(lián)系，增進(jìn)學(xué)習(xí)的興趣。

3.打造我國慕課精品課程。

要打造我國慕課精品課程就需要提高我國慕課的總體質(zhì)量。這就需要慕課制作團(tuán)隊多與教師溝通，科學(xué)的設(shè)計出教學(xué)內(nèi)容。在拍攝開始前，慕課團(tuán)隊要重新構(gòu)建課程學(xué)習(xí)體系，從學(xué)習(xí)者的角度去考慮并且合理的設(shè)計課程，除此之外，視頻還必須短小精悍，簡潔明了。每個視頻都必須要較強(qiáng)的針對性，學(xué)習(xí)者可以依照自身的需求獨(dú)立學(xué)習(xí)，查找起來也方便快捷。

八、結(jié)語

上海交通大學(xué)的校長張杰說：“中國必須建設(shè)屬于自己的MOOC平臺，不能讓中國的學(xué)生都到Coursera、edX上大學(xué)，還有很多意識形態(tài)、價值觀的問題?！眹獾哪秸n熱火了之后傳到中國來好像就變了一種味道，慕課在中國對大部分學(xué)生來說好像還僅僅只是“網(wǎng)絡(luò)教學(xué)視頻”這樣一個概念，如何根據(jù)不同課程設(shè)計相應(yīng)的教學(xué)模式和教學(xué)結(jié)構(gòu)以適應(yīng)中國的學(xué)生，如何建設(shè)屬于中國自己的慕課，這是急需我們思考的一個問題。另外，慕課的設(shè)計在前期需要大量資金、技術(shù)和專業(yè)技術(shù)人員的投入，這也是限制了我國慕課研究的深入發(fā)展并與國際接軌的一個瓶頸。

鑒于以上對我國最近五年以來對慕課進(jìn)行相關(guān)研究的綜述，不難看出慕課在我國確實(shí)受到了許多專家學(xué)者的重視，慕課作為一種全新的教學(xué)模式，對傳統(tǒng)教學(xué)課堂以及教育模式提出了巨大的挑戰(zhàn)。其實(shí)，當(dāng)“慕課熱”的熱潮退去，人們冷靜的再三思考后發(fā)現(xiàn)，正處于起步階段尚不成熟的慕課并沒有一些文章說的那么好，沒有任何缺點(diǎn)，教育本身拆開來說就是“教”和“育”兩個方面的事情，慕課很好的把“教”應(yīng)該做的事情做到了，但是關(guān)于“育”，對于學(xué)生來說更重要的部分，慕課需要改進(jìn)和完善的還有太多。從對搜集到的國內(nèi)外學(xué)者對慕課的評價來看，慕課雖然有許多優(yōu)點(diǎn)，但同時也有一些不足之處，慕課雖然為教育提供了更大的發(fā)展空間，但也在一定程度上阻礙了學(xué)生與教師之間的相互交流。這就要求我們結(jié)合中國自身的條件，吸取國外慕課的優(yōu)點(diǎn)，對慕課進(jìn)行不斷深入的研究，創(chuàng)造屬于中國學(xué)生自己的慕課。■

[1] 田愛麗.借助慕課改善人才培養(yǎng)模式[J].中小學(xué)信息技術(shù)教育,2014,02:13-15.

[2] Johnson L,Becker S A.對于“慕課”的質(zhì)疑:在線學(xué)習(xí)變革引發(fā)的社會反響 [J].北京廣播電視大學(xué)學(xué)報,2013,06:18-23.

[3] [英]斯蒂芬哈格德.慕課正在成熟.教育研究,2014,05.

[4] 孟慶寧.“慕課熱潮”重釋:現(xiàn)實(shí)困境,行動邏輯與文化反思[J].江漢學(xué)術(shù),2014,33(4):66-71.

[5] 吳萬偉.“慕課熱”的冷思考[J].復(fù)旦教育論壇,2014,01:10-17.

[6] 鄧宏鐘,李孟軍,遲妍,譚思昱.“慕課”發(fā)展中的問題探討[J].江漢學(xué)術(shù),2014,33(4):66-71.

[7] 呂達(dá).中國近代課程論史[M].北京:人民教育出版社,1994:1.

[8] Olga Bucovetchi,Radu D. Stanciu,Cristina Petronela Simion. Study on Designing a Curriculum Suitable for MOOC Platforms Starting Out the Romanian Students’ Expectations[J]. Procedia Technology,2016,22.

[9] Da Liu. The Reform and Innovation of English Course: A Coherent Whole of MOOC, Flipped Classroom and ESP[J]. Procedia - Social and Behavioral Sciences,2016,232.