畢國濤 丁 凱
(1.中共中國海洋石油集團(tuán)有限公司黨校,北京 102209;2.中國人民大學(xué) 國家發(fā)展與戰(zhàn)略研究院,北京 100872)
大學(xué)教師發(fā)展(Faculty Development, 簡稱FD)被視為是提高高等教育質(zhì)量的有效舉措。在針對(duì)FD的研究中,關(guān)于實(shí)施效果的關(guān)注較為匱乏。FD在多大程度上提升了教師表現(xiàn)、哪些項(xiàng)目有效以及教師對(duì)FD的評(píng)價(jià)如何等基本問題并未得到明確的回答。這在很大程度上阻礙了FD的深入實(shí)踐和普遍推廣?!按髮W(xué)教師發(fā)展需要提供有力的證據(jù)證明自己的價(jià)值和作用,以表明投資于此的努力具有豐厚的回報(bào)”[1]。這就需要調(diào)查和評(píng)價(jià)FD的過程與效果,即實(shí)施有效的大學(xué)教師發(fā)展評(píng)估(Faculty Development Evaluation, 簡稱FDE)。從國內(nèi)情況來看,當(dāng)下FD的主要目標(biāo)是增加項(xiàng)目種類、擴(kuò)大參與規(guī)模,而對(duì)項(xiàng)目效果的關(guān)注及相應(yīng)的改進(jìn)并不是重點(diǎn),甚至根本未曾執(zhí)行任何評(píng)估。反觀國際經(jīng)驗(yàn),大學(xué)教師發(fā)展中心普遍重視FDE,不斷調(diào)整評(píng)估模式,且將其視為革新和優(yōu)化FD的關(guān)鍵機(jī)制。因此,非常有必要對(duì)FDE進(jìn)行專門研究,從理論和實(shí)踐角度構(gòu)建FDE的有效框架。由此,首先從分析FD的基本屬性入手,論證實(shí)施FDE的必要性依據(jù);進(jìn)而推導(dǎo)和總結(jié)FDE的主要內(nèi)容構(gòu)成;在結(jié)合案例分析基礎(chǔ)上,歸納實(shí)施FDE的有效經(jīng)驗(yàn)。
FD具有管理、服務(wù)、學(xué)術(shù)和實(shí)踐等四種基本屬性,每一種屬性都對(duì)評(píng)估提出了相應(yīng)的要求,可以說,實(shí)施FDE是FD屬性的本質(zhì)要求。
第一,F(xiàn)D的管理屬性決定必須實(shí)施FDE。FD已經(jīng)成為高校體制機(jī)制的重要組成部分,高校普遍設(shè)有FD專門機(jī)構(gòu)和FD專項(xiàng)經(jīng)費(fèi);在FD視野下,教師在職業(yè)領(lǐng)域的發(fā)展不再僅是教師的個(gè)人事務(wù),而是高校應(yīng)對(duì)競爭與達(dá)成使命的重要措施。FD需要通過評(píng)估,向校方回饋資源使用的結(jié)果和效率,F(xiàn)D對(duì)學(xué)校問題的呼應(yīng)和解決程度等信息,與此同時(shí),擴(kuò)大組織影響,爭取更多組織資源。
第二,F(xiàn)D的服務(wù)屬性決定了必須實(shí)施FDE。大學(xué)教師的職業(yè)屬性決定了有效的FD不是強(qiáng)制灌輸,而是提供具有輔助性、針對(duì)性的專業(yè)化服務(wù)。FD需要通過評(píng)估收集參與教師的體驗(yàn),了解教師參與前后的變化,以及探尋和滿足教師的多樣需求。與此同時(shí),評(píng)估本身也是“顧客導(dǎo)向”的服務(wù)屬性體現(xiàn)。
第三,F(xiàn)D的學(xué)術(shù)屬性決定了必須實(shí)施FDE。FD已經(jīng)成為涵蓋教育學(xué)、心理學(xué)、社會(huì)學(xué)和管理學(xué)等在內(nèi)的綜合性研究領(lǐng)域。有效FD項(xiàng)目的開發(fā)、實(shí)施和改進(jìn)FD愈發(fā)依賴學(xué)術(shù)和理論支撐。FD需要通過評(píng)估,收集可靠數(shù)據(jù),探尋教師的變化,研究FD干預(yù)同教師變化間的相關(guān)關(guān)系,而FD研究成果的發(fā)表,也可擴(kuò)大學(xué)術(shù)共同體的關(guān)注。
第四,F(xiàn)D的實(shí)踐屬性決定了必須實(shí)施FDE。高校在類型、規(guī)模、目標(biāo)等方面的多樣性,教師在專業(yè)、職級(jí)和需求方面的差異性,決定了FD并無統(tǒng)一模式,而是依據(jù)具體情形進(jìn)行靈活調(diào)整。FD需要進(jìn)行評(píng)估,研判項(xiàng)目是否以及在多大程度上匹配組織的資源條件和使命目標(biāo),解決組織與教師的現(xiàn)實(shí)問題,滿足各級(jí)各類教師的差異性需求等。
FD基本屬性在很大程度上決定了FDE的主要內(nèi)容。例如,管理屬性下FDE關(guān)注資金使用的規(guī)模和效率、項(xiàng)目規(guī)劃和實(shí)施情況、參與的規(guī)模和頻率等;服務(wù)屬性下FDE關(guān)注FD參與者需求的滿足程度,對(duì)項(xiàng)目的感受和評(píng)價(jià)等;學(xué)術(shù)屬性下關(guān)注施加FD作用后教師和組織發(fā)生的變化,以及其中的相關(guān)性;實(shí)踐屬性下關(guān)注項(xiàng)目在滿足現(xiàn)實(shí)需求和解決實(shí)際問題方面的匹配性等。本節(jié)在此基礎(chǔ)上結(jié)合相關(guān)研究,總結(jié)五種FDE的主要內(nèi)容(見表1)。
滿意度評(píng)估關(guān)注參與者對(duì)項(xiàng)目的評(píng)價(jià),關(guān)注其對(duì)自身需求被滿足程度的感受。滿意度評(píng)估既可以是對(duì)項(xiàng)目整體的評(píng)價(jià),也可以是針對(duì)內(nèi)容、形式和過程等方面的評(píng)價(jià)。在方法上,主要使用以李克特量表(Likert Scale)為代表的多級(jí)量表進(jìn)行打分;除了調(diào)查問卷以外,部分評(píng)估還會(huì)通過訪談的形式,詢問教師對(duì)項(xiàng)目的感受。在數(shù)據(jù)來源上,滿意度評(píng)估所采用的數(shù)據(jù)帶有強(qiáng)烈的主觀性,但也有部分評(píng)估采用參與率和再次參與率等客觀數(shù)據(jù)進(jìn)行相關(guān)的佐證。滿意度評(píng)估多在項(xiàng)目結(jié)束后進(jìn)行,不同項(xiàng)目間的滿意度得分可以進(jìn)行橫向比較,從而為FD項(xiàng)目的選擇和評(píng)價(jià)提供依據(jù)。滿意度評(píng)估適用面廣,操作相對(duì)簡易,是最為常見的FDE內(nèi)容[2]。
產(chǎn)出評(píng)估主要回答“做了什么”這一問題,關(guān)注FD以何種方式開展以及實(shí)施FD后產(chǎn)生的直接后果,具體包括資金的配置和使用、項(xiàng)目內(nèi)容和種類、教師參與的規(guī)模和頻率等。產(chǎn)出評(píng)估的主要目的在于反饋FD對(duì)資源的使用,為FD政策的調(diào)整提供依據(jù)。在方法上,主要使用文本分析法,搜集和整理項(xiàng)目實(shí)施方案、參與人數(shù)統(tǒng)計(jì)、階段執(zhí)行報(bào)告、財(cái)務(wù)報(bào)告、終期報(bào)告等文本中的相關(guān)信息。這些記錄項(xiàng)目實(shí)施的文本是產(chǎn)出評(píng)估的主要信息來源,所以產(chǎn)出評(píng)估主要在項(xiàng)目結(jié)束后實(shí)施。
成果評(píng)估主要回答“有何改變”這一問題,關(guān)注FD最終結(jié)果和深遠(yuǎn)影響,在探究實(shí)施FD后,教師、學(xué)生、管理者、組織制度和組織文化等在多個(gè)維度發(fā)生了何種切實(shí)的改變。成果評(píng)估在證明FD有效性方面最具說服力。成果的表現(xiàn)形式較為復(fù)雜,測量相對(duì)困難,受具體情境和個(gè)體差異影響較大,所以成果評(píng)估在方法選擇上較為多樣,通常使用多種評(píng)估方法綜合性的描述FD成果,且定性評(píng)估更適用于探尋教師發(fā)生的深層次變化。從施加FD影響到發(fā)生變化通常具有一定的遲滯性,所以成果評(píng)估需要增加評(píng)估的次數(shù),實(shí)踐中的有效措施是在FD項(xiàng)目結(jié)束一段時(shí)間再次進(jìn)行評(píng)估,有條件的高校還可以采用跟蹤評(píng)估和對(duì)照組評(píng)估。
效率評(píng)估主要回答“哪個(gè)項(xiàng)目更劃算”這一問題,是基于成本收益的考慮對(duì)項(xiàng)目“生產(chǎn)率”的關(guān)注。對(duì)項(xiàng)目產(chǎn)出和成果有了較為準(zhǔn)確的把握后,衡量FD項(xiàng)目的效率成為可能。效率評(píng)估可以劃分為:針對(duì)教師的效率評(píng)估,多采用定性評(píng)估,直接詢問教師哪些項(xiàng)目對(duì)其而言在達(dá)成特定目標(biāo)上更有效率;針對(duì)項(xiàng)目的效率評(píng)估,多將項(xiàng)目收益賦予一定貨幣價(jià)值,對(duì)比投入項(xiàng)目的資金、時(shí)間和其他成本,獲得項(xiàng)目的“投資回報(bào)率”。效率評(píng)估不僅依賴其他評(píng)估的結(jié)果,還需要參與者和評(píng)估者對(duì)項(xiàng)目進(jìn)行較為完善的審視,所以通常是在項(xiàng)目結(jié)束后進(jìn)行。
適用性評(píng)估關(guān)注兩個(gè)方面內(nèi)容:一是FD對(duì)教師的適用性,包括FD是否滿足教師需求、解決教師困難、匹配教師的興趣與能力等;二是FD對(duì)組織的適用性,包括FD在設(shè)計(jì)和實(shí)施過程中是否匹配組織資源條件、直面組織發(fā)展挑戰(zhàn)、呼應(yīng)組織使命目標(biāo)等。適用性評(píng)估的結(jié)果通常超越了是或否的二元選擇,而可視為對(duì)FD的總結(jié)性評(píng)價(jià)。一方面對(duì)數(shù)據(jù)信息的全面性要求較高,需要采用多種評(píng)估方式,使用包括前述四種內(nèi)容在內(nèi)的多種信息進(jìn)行佐證;另一方面,要求評(píng)估者對(duì)組織的現(xiàn)狀和使命、師資建設(shè)的挑戰(zhàn)和目標(biāo)等有較為深刻的把握,在實(shí)踐中主要采用訪談法,獲取高層管理者和相關(guān)專家的意見。
FDE既符合高等教育評(píng)估的普遍規(guī)律,也具有一定特殊性。在明確FDE的主要內(nèi)容后,如何進(jìn)行具體操作成為下一個(gè)問題。美國在20世紀(jì)70年代掀起大學(xué)教師發(fā)展運(yùn)動(dòng),早在那時(shí)便已開始探索對(duì)大學(xué)教師發(fā)展進(jìn)行評(píng)估[3]。近年來,南達(dá)科他大學(xué)(University of South Dakota)的教學(xué)和學(xué)習(xí)中心(Center for Teaching and Learning, 簡稱CTL)實(shí)施并逐步完善了本校的FDE框架,積累了較為豐富的實(shí)踐經(jīng)驗(yàn)。本節(jié)以該中心為例,并結(jié)合前文探討實(shí)施FDE的經(jīng)驗(yàn)。
CTL面向教師提供個(gè)人咨詢、校內(nèi)工作坊和專題研討、經(jīng)費(fèi)支持、課程再設(shè)計(jì)研討會(huì)和資源支持等五種主要的服務(wù)項(xiàng)目;尤其強(qiáng)調(diào)通過教育技術(shù)來提升教師教學(xué)水平和學(xué)生學(xué)習(xí)成績(見表1)。
表1 CTL主要大學(xué)教師發(fā)展項(xiàng)目類型和內(nèi)容
CTL在成立初期便針對(duì)其開設(shè)的FD項(xiàng)目實(shí)施評(píng)估。早期的評(píng)估在形式上體現(xiàn)為年度報(bào)告,CTL主管會(huì)在報(bào)告中詳細(xì)列舉本年度中心開展FD項(xiàng)目的種類和內(nèi)容、各項(xiàng)目的參與規(guī)模、參與人員對(duì)項(xiàng)目的滿意度情況等。年度報(bào)告除了用于回饋學(xué)校管理層和進(jìn)行宣傳以外,還是CTL制訂下一年工作計(jì)劃的重要參考。CTL會(huì)將本年度數(shù)據(jù)同上年進(jìn)行比較,如果出現(xiàn)某類項(xiàng)目參與人數(shù)下降、滿意度下降等問題時(shí),該類項(xiàng)目明年就有可能被裁撤。
可見,CTL采用的是一種以產(chǎn)出評(píng)估為主的評(píng)估形式(Output-Based Evaluation),以項(xiàng)目開展情況、參與情況和滿意度為主要內(nèi)容。該評(píng)估模式有利于掌握CTL項(xiàng)目的實(shí)施情況,初步形成了評(píng)估體系,但CTL逐漸發(fā)現(xiàn),這種評(píng)估模式并不能提供FD是否有效的充分證據(jù),未能反映項(xiàng)目實(shí)施的完整信息,也不利于FD的優(yōu)化改進(jìn)。于是自2010年起,CTL開始關(guān)注FD對(duì)教師產(chǎn)生的影響,關(guān)注教師參與FD后在態(tài)度、行為等方面發(fā)生的變化,并著手開發(fā)相應(yīng)的評(píng)估框架。
CTL對(duì)原有評(píng)估模式進(jìn)行了兩個(gè)方面的改進(jìn):第一,明確各FD項(xiàng)目的目標(biāo),將其細(xì)化為若干可度量、可實(shí)現(xiàn)的子目標(biāo),并用這些目標(biāo)指引FDE的規(guī)劃和實(shí)施;第二,引入“教學(xué)發(fā)展和有效性評(píng)估模型”(Instructional Development and Effectiveness Assessment, IDEA)①,將其作為主要的評(píng)估工具。在此基礎(chǔ)上,CTL針對(duì)每一項(xiàng)目開發(fā)了基于成果的評(píng)估框架(Outcome-Based Evaluation)。此處以個(gè)人咨詢和校內(nèi)工作坊為例進(jìn)行具體說明(見表2)。
表2 個(gè)人咨詢和校內(nèi)工作坊的評(píng)估框架
1. 個(gè)人咨詢。CTL將該項(xiàng)目的目標(biāo)確定為“教師在參與個(gè)人咨詢項(xiàng)目后,會(huì)在參與咨詢的學(xué)期或下一學(xué)期,表現(xiàn)出教學(xué)上的進(jìn)步”。以此目標(biāo)為指引,CTL確立了評(píng)估框架設(shè)計(jì)的兩個(gè)重點(diǎn):第一,教學(xué)上的進(jìn)步不是單一維度的改變,需要從多個(gè)角度進(jìn)行綜合衡量,評(píng)估需要為此提供充足的數(shù)據(jù)支持;第二,從參與FD到教學(xué)水平的提升通常需要一段時(shí)間,評(píng)估需要延長測評(píng)區(qū)間,以確保教學(xué)提升的證據(jù)得以體現(xiàn)以及衡量教學(xué)提升的持續(xù)性。
依據(jù)目標(biāo)和評(píng)估重點(diǎn),CTL確立了具體的評(píng)估方法:首先,使用IDEA的四個(gè)評(píng)估模塊,即“教學(xué)目標(biāo)的改進(jìn)”“杰出的教學(xué)者”“杰出的課程”“對(duì)教學(xué)的總體感受”,從多個(gè)評(píng)估角度進(jìn)行打分,衡量教學(xué)和教師發(fā)生的變化;其次,將評(píng)估期間延長至四個(gè)學(xué)期,連續(xù)觀測教師在教學(xué)方面發(fā)生的變化。根據(jù)上述評(píng)估框架,教師在四個(gè)評(píng)估模塊上的得分,在連續(xù)的四個(gè)學(xué)期中呈現(xiàn)出增長的趨勢,較為充分地證明了個(gè)人咨詢項(xiàng)目的有效性。
2. 校內(nèi)工作坊。CTL確立了該項(xiàng)目的兩個(gè)目標(biāo):第一,參與教師會(huì)更加充分利用教育技術(shù)來促進(jìn)學(xué)生的學(xué)習(xí);第二,參與教師明確表示工作坊能夠幫助其提升教學(xué),并肯定工作坊的有效性。以此目標(biāo)為指引,第一個(gè)目標(biāo)的評(píng)估重點(diǎn)在于衡量行為的變化,即評(píng)估教學(xué)行為發(fā)生的具體改變;第二個(gè)目標(biāo)的評(píng)估重點(diǎn)在于衡量項(xiàng)目對(duì)教師產(chǎn)生的積極影響。
針對(duì)行為的評(píng)估,CTL采用IEDA指標(biāo)中的“教師使用教育技術(shù)來促進(jìn)學(xué)習(xí)”模塊對(duì)所有教師進(jìn)行評(píng)估,并依據(jù)參與FD項(xiàng)目的次數(shù)將教師進(jìn)行分組比較。針對(duì)影響的評(píng)估,CTL一方面通過李克特五級(jí)量表,調(diào)查參與教師對(duì)工作坊有效性的評(píng)價(jià);另一方面,通過電話訪談,不僅詢問教師在多大程度上愿意嘗試在工作坊中學(xué)到的知識(shí)技能,還詢問教師因?yàn)閰⑴c工作坊,在教學(xué)中發(fā)生了哪些具體的、可辨識(shí)的改變。
根據(jù)上述評(píng)估框架,CTL發(fā)現(xiàn)參與工作坊的教師與不參與的教師相比,在使用教育技術(shù)促進(jìn)學(xué)生學(xué)習(xí)方面的得分明顯要高,且參與工作坊的次數(shù)與得分之間成正比。在有效性評(píng)價(jià)方面,參與訪談的教師能夠明確表達(dá)自己因?yàn)閰⑴c工作坊,在教學(xué)中發(fā)生的若干具體的變化。這與調(diào)查問卷的結(jié)果相一致,定量評(píng)估和定性評(píng)估共同證明了工作坊的有效性。
在不斷完善基于成果的評(píng)估的同時(shí),CTL下一步的目標(biāo)是實(shí)現(xiàn)“基于過程的評(píng)估(Process-Based Evaluation)”,即在“基于設(shè)計(jì)的研究(Design-Based Research)”理念指導(dǎo)下,在實(shí)踐情境中通過迭代循環(huán)與過程研究,完善相關(guān)理論、作用機(jī)制和實(shí)踐操作,最終促進(jìn)FD取得更好效果。
提升大學(xué)教師發(fā)展組織建設(shè)的科學(xué)化,需要加強(qiáng)對(duì)組織績效的問責(zé),對(duì)資源投入及使用情況展開定期的評(píng)估[4]。從CTL的案例可見,評(píng)估框架需要不斷革新,有效的FDE需要突破以產(chǎn)出和滿意度評(píng)估為主的初級(jí)階段,向以成果評(píng)估為主的綜合性、系統(tǒng)性和科學(xué)性的評(píng)估模式發(fā)展。中國的FDE工作尚處于起步階段,理論研究和實(shí)踐探索均較為薄弱,CTL的經(jīng)驗(yàn)為中國FDE今后的發(fā)展提供了有益的借鑒。
大學(xué)教師發(fā)展中心成立初期通常采用擴(kuò)大項(xiàng)目規(guī)模和參與規(guī)模,增加各類資源投入的“粗放式發(fā)展”方式,對(duì)FDE的認(rèn)知水平和重視程度均較低。隨著FD工作的深入,提高FD實(shí)施質(zhì)量和效率成為新的目標(biāo)。FDE在其中發(fā)揮了不可替代的作用:FDE是優(yōu)化和改進(jìn)現(xiàn)有項(xiàng)目的重要方法,是擴(kuò)大學(xué)術(shù)影響力、吸引更多學(xué)者關(guān)注FD的有效途徑,也是FD向“集約式發(fā)展”轉(zhuǎn)變的根本路徑。因此,必須重視FDE的關(guān)鍵作用,提升FDE的地位。具體表現(xiàn)為“在FD的規(guī)劃中增加評(píng)估環(huán)節(jié),在施行FDE時(shí)不斷提高其科學(xué)性和嚴(yán)謹(jǐn)性,將FDE的結(jié)果作為制定和修改現(xiàn)有政策的重要依據(jù),增強(qiáng)針對(duì)FDE的專項(xiàng)研究”等。
FD在多大程度上達(dá)成預(yù)期目標(biāo)是FDE需要回答的重要問題。很多評(píng)估并不以FD目標(biāo)為導(dǎo)向,反而用盡可能詳細(xì)的信息描述項(xiàng)目過程和產(chǎn)出,這既導(dǎo)致了評(píng)估在內(nèi)容和方法選擇上的混亂,也降低了評(píng)估結(jié)果的解釋力。CTL對(duì)原有評(píng)估模式進(jìn)行改進(jìn)的第一步,就是確立、審視和細(xì)化FD的目標(biāo),并以此為導(dǎo)向開展評(píng)估活動(dòng)。FDE的規(guī)劃和實(shí)施應(yīng)當(dāng)以FD的目標(biāo)為指引,具體表現(xiàn)在:第一,審視和細(xì)化FD目標(biāo),并將其轉(zhuǎn)化為若干可實(shí)現(xiàn)、可度量的分目標(biāo);第二,明確完成各個(gè)目標(biāo)的具體標(biāo)準(zhǔn)和時(shí)間期限;第三,依據(jù)目標(biāo)確定評(píng)估的內(nèi)容、方法和工具;第四,對(duì)比FD目標(biāo)展現(xiàn)FDE結(jié)果。
僅描述FD以何種方式實(shí)施并不能證明其效用,對(duì)參與教師喜好態(tài)度的反饋并不能表明FD所帶來的轉(zhuǎn)變,且“過于依賴教師的主觀評(píng)價(jià)使數(shù)據(jù)存在偏見和夸大的風(fēng)險(xiǎn)”[5],因此,CTL才致力于開發(fā)基于成果評(píng)估的框架。有效的FDE應(yīng)當(dāng)一方面堅(jiān)持以成果評(píng)估為主,探尋FD作用下高校組織、高校教學(xué)和高校教師等發(fā)生的改變,發(fā)掘FD的內(nèi)在作用規(guī)律;另一方面,堅(jiān)持綜合性的評(píng)估模式,將多種評(píng)估內(nèi)容有機(jī)結(jié)合起來。例如,以滿意度評(píng)估和部分產(chǎn)出評(píng)估來佐證成果評(píng)估;在產(chǎn)出和成果評(píng)估后,進(jìn)一步利用已有數(shù)據(jù)實(shí)施效率評(píng)估;從滿意度、成果和效率等角度綜合評(píng)估FD對(duì)組織的適用性等。
系統(tǒng)性要求FDE各要素通過合理的作用方式,共同構(gòu)成一個(gè)有機(jī)的評(píng)估整體。具體包括:合理規(guī)劃評(píng)估方案,明確評(píng)估的目標(biāo)、重點(diǎn)和標(biāo)準(zhǔn);關(guān)注評(píng)估內(nèi)容之間、評(píng)估方法之間以及內(nèi)容與方法之間的相互作用;形成性和總結(jié)性評(píng)估有機(jī)結(jié)合等??茖W(xué)性要求FDE符合規(guī)范,采用專業(yè)化和學(xué)術(shù)化的評(píng)估方法,提升評(píng)估的解釋力。具體包括:依據(jù)目標(biāo)選擇合理評(píng)估方法;定性與定量評(píng)估相結(jié)合,多種評(píng)估方法相結(jié)合;延長評(píng)估區(qū)間和增加評(píng)估頻率;采用對(duì)照組評(píng)估;關(guān)注教師群體內(nèi)部差異性等。
注釋:
① IDEA模型由堪薩斯州立大學(xué)于1968年開發(fā),1975年成立了獨(dú)立的IDEA中心。IDEA由若干模塊構(gòu)成,以學(xué)生打分為主要方式。參見:Dan Li, Stephen L. Benton, etc. Analysis of IDEA Student Ratings of Instruction System 2015 Pilot Data (IDEA Technical Report No. 19). https://www.ideaedu.org/Portals/0/Uploads/Documents/Technical-Reports/IDEA_Technical_Report_No_19.pdf。