• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    數(shù)字平臺的治理:以A/B測試平臺在字節(jié)跳動的實(shí)踐為例

    2023-12-29 00:00:00戴蕙陽李惠王珂李紀(jì)珍
    清華管理評論 2023年10期

    2022年4月,全球知名咨詢與研究機(jī)構(gòu)弗雷斯特(Forrester)發(fā)布《火山引擎A/B測試總體經(jīng)濟(jì)影響白皮書》,在研究字節(jié)跳動旗下火山引擎的客戶經(jīng)營生產(chǎn)情況后發(fā)現(xiàn),企業(yè)采用A/B測試后綜合財(cái)務(wù)指標(biāo)方面的投資回報(bào)率可達(dá)到126%,可見A/B測試對企業(yè)的賦能作用顯著。在開放火山引擎A/B測試工具給更多外部企業(yè)之前,字節(jié)內(nèi)部使用A/B測試已經(jīng)有近十年的時(shí)間,“抖音”“西瓜視頻”等產(chǎn)品名稱的確定都離不開A/B測試的結(jié)果,正如字節(jié)內(nèi)部流行的一句話所言:“A/B測試是一種信仰?!睘榱舜蛟斐墒斓腁/B測試產(chǎn)品,字節(jié)跳動成立了專門的數(shù)字實(shí)驗(yàn)平臺Libra提供企業(yè)內(nèi)部的A/B測試評估和智能優(yōu)化服務(wù),走出了一條獨(dú)特的平臺發(fā)展之路。

    平臺治理是平臺創(chuàng)造價(jià)值的關(guān)鍵環(huán)節(jié),字節(jié)跳動A/B測試產(chǎn)品的成功與Libra平臺的有效治理息息相關(guān)。本文圍繞Libra實(shí)驗(yàn)平臺的例子具體解讀數(shù)字平臺的治理問題。

    Libra實(shí)驗(yàn)平臺的創(chuàng)立歷程

    A/B測試是一種在線實(shí)驗(yàn),指的是將線上流量隨機(jī)分給原策略A和新策略B,在排除干擾的情況下,結(jié)合相關(guān)統(tǒng)計(jì)方法對策略B進(jìn)行效果評估。換句話說,A/B測試可以比較同一目標(biāo)的A、B兩種方案哪種更加有效,是一種能夠驗(yàn)證因果關(guān)系的隨機(jī)對照實(shí)驗(yàn)。因?yàn)榻Y(jié)合了數(shù)字化技術(shù),A/B測試相較于傳統(tǒng)的“隨機(jī)雙盲試驗(yàn)”,具有低成本、大流量、傳播快等特點(diǎn)。國外大型互聯(lián)網(wǎng)公司從21世紀(jì)初開始陸續(xù)采用A/B測試,例如谷歌(Google)、微軟(Microsoft)、臉書(Facebook)、領(lǐng)英(LinkedIn)、亞馬遜(Amazon)等,這些公司每年都會針對數(shù)百萬用戶開展超過1萬次的在線對照實(shí)驗(yàn)。

    借鑒國外開展A/B測試的經(jīng)驗(yàn),2012年字節(jié)跳動在成立之初就引入這種實(shí)驗(yàn)方法進(jìn)行算法迭代。2014年2月,A/B測試成為公司內(nèi)的體系化工具,形態(tài)上類似于小程序,員工改變配置即可進(jìn)行實(shí)驗(yàn)。2016年,字節(jié)將A/B測試相關(guān)的工具進(jìn)行整合并創(chuàng)立名為Libra的平臺,取意“天秤座”,用來10651adebc7b8aa2f1af91094a0a2bfe9b4f7cabfe96aade880c928d76e59c62比喻A、B兩種策略在天平兩端具有同等分量,充分體現(xiàn)了企業(yè)想要傳達(dá)的“客觀”理念。起初,Libra主要供今日頭條使用,支持推薦、廣告、推送等業(yè)務(wù)的迭代。從2015年到2018年,Libra不斷拓展服務(wù)邊界,公司的其他頭條系產(chǎn)品如西瓜視頻等也接入Libra平臺開展A/B測試。

    2018年,在綜合考量了全公司各項(xiàng)業(yè)務(wù)產(chǎn)品對A/B測試的需求后,字節(jié)跳動加大了對A/B測試產(chǎn)品化的投入,Libra團(tuán)隊(duì)成員也開始深入對接字節(jié)內(nèi)的各個(gè)業(yè)務(wù)部門,平臺影響力不斷擴(kuò)大。抖音等產(chǎn)品的快速發(fā)展使Libra真正成為字節(jié)舉足輕重的數(shù)字平臺,甚至“抖音”這一名稱也是A/B測試得到的。公司內(nèi)部成員為“抖音”原型產(chǎn)品起成不同的名字、使用不同的Logo在應(yīng)用商店投放,綜合考量用戶關(guān)心度、用戶吸引力、下載轉(zhuǎn)化率等指標(biāo),“抖音”排名第二,因?yàn)楦袭a(chǎn)品形態(tài)而被采納。

    近年來,字節(jié)內(nèi)部使用A/B測試的頻次呈指數(shù)級增長。截至2023年6月,Libra已經(jīng)為公司內(nèi)500多個(gè)業(yè)務(wù)提供A/B測試評估和智能優(yōu)化服務(wù),平臺累計(jì)做實(shí)驗(yàn)超240萬次,每日新增實(shí)驗(yàn)數(shù)量可超過4000次。作為國內(nèi)最大的以平臺形式對A/B測試產(chǎn)品進(jìn)行支持的數(shù)字實(shí)驗(yàn)平臺,Libra整合了字節(jié)中與A/B測試相關(guān)的人才與數(shù)據(jù)資源,匯集了大量測試知識經(jīng)驗(yàn),為各業(yè)務(wù)部門提供數(shù)據(jù)支持服務(wù),從而幫助字節(jié)實(shí)現(xiàn)了全員參與低成本試錯的目標(biāo),為企業(yè)的快速迭代和創(chuàng)新發(fā)展提供了堅(jiān)實(shí)的保障。在Libra實(shí)驗(yàn)平臺的支持下,字節(jié)A/B測試系列產(chǎn)品逐漸成熟,其功能與經(jīng)驗(yàn)也成功輸出到To B業(yè)務(wù)中,孵化出火山引擎A/B測試產(chǎn)品,賦能更多公司實(shí)現(xiàn)變革。

    平臺組織治理

    建立數(shù)字平臺不僅需要在硬件方面具備基礎(chǔ)的數(shù)字技術(shù)與底層架構(gòu),同時(shí)需要一套完善的平臺治理體系進(jìn)行用戶管理。Libra作為字節(jié)跳動內(nèi)部的數(shù)字實(shí)驗(yàn)平臺,需要與企業(yè)的其他業(yè)務(wù)部門保持緊密的合作關(guān)系,充分發(fā)揮平臺的支撐作用。為了確保平臺發(fā)揮對業(yè)務(wù)創(chuàng)新與試錯的促進(jìn)作用,Libra團(tuán)隊(duì)逐漸探索出了一套多元化的數(shù)字實(shí)驗(yàn)平臺治理手段。

    “重激勵-輕控制”的企業(yè)內(nèi)數(shù)字平臺治理

    平臺是一種介于科層制和市場之間的組織形態(tài),其所有者和使用者之間存在著弱契約化的協(xié)同關(guān)系——平臺上的用戶對自身的資源具有所有權(quán),它的行為和目標(biāo)并不需要完全服從于平臺方,和平臺方屬于合作的關(guān)系。正因?yàn)槠脚_是既非科層制也非自由市場的中間特殊形態(tài),平臺所有者需要提供特定的治理手段協(xié)調(diào)自身與用戶、用戶與用戶之間的共同活動,從而確保整個(gè)平臺能夠創(chuàng)造出最大化的協(xié)同價(jià)值。常見的平臺包括交易平臺、知識共享平臺、社交平臺等。

    組織治理通常被分為激勵和控制兩個(gè)方面。在平臺組織中,激勵指的是采取措施鼓勵更多使用者參與到平臺上正確地運(yùn)用平臺資源,控制指的是使用規(guī)則限制平臺使用者可能損害合作關(guān)系或者平臺利益的行為。常見的激勵措施包括為加入平臺的用戶提供現(xiàn)金獎勵、熱銷產(chǎn)品排行榜等,常見的控制措施包括在用戶加入平臺之前開展背景調(diào)查、設(shè)置平臺準(zhǔn)入端口費(fèi)用等。

    Libra作為企業(yè)內(nèi)的數(shù)字平臺,與一般意義的平臺組織有所差異。平臺組織多指獨(dú)立的平臺型企業(yè),其用戶多是其他獨(dú)立公司或個(gè)體,平臺與用戶之間是商業(yè)合作的關(guān)系。Libra雖然同樣提供數(shù)據(jù)支持、信息傳遞等平臺性服務(wù),但是其用戶和Libra同屬于一家企業(yè),有著統(tǒng)一的公司整體目標(biāo)。因此在激勵上,Libra需要構(gòu)建共創(chuàng)協(xié)同的平臺文化氛圍,鼓勵所有員工積極加入平臺參與實(shí)驗(yàn),實(shí)現(xiàn)提高全公司決策科學(xué)性的平臺目標(biāo);在控制上,Libra需要采取措施限定和指導(dǎo)用戶行為的方向,避免不同用戶間產(chǎn)生利益沖突,發(fā)揮出用戶間“1+1>2”的協(xié)同作用。

    本文提出Libra的激勵治理包括三個(gè)方面,分別為平臺功能完善、使用信息共享、外部關(guān)系打通,控制治理包括兩個(gè)方面,行為控制和結(jié)果控制。因?yàn)長ibra與其內(nèi)部用戶同屬于一個(gè)企業(yè),在企業(yè)內(nèi)統(tǒng)一的規(guī)章制度管控下Libra無需避免用戶的違規(guī)操作、處理所有權(quán)界定或收益分割等糾紛問題,而是重點(diǎn)鼓勵更多部門加入平臺開展實(shí)驗(yàn),所以Libra數(shù)字實(shí)驗(yàn)平臺整體呈現(xiàn)出“重激勵-輕控制”的治理模式(如圖1)。激勵與控制兩個(gè)維度各有側(cè)重又相輔相成,提高企業(yè)的運(yùn)營效率。接下來本文對Libra平臺治理的激勵與控制措施進(jìn)行具體介紹。

    Libra數(shù)字實(shí)驗(yàn)平臺的激勵措施

    激勵一:平臺功能完善

    平臺功能完善強(qiáng)調(diào)的是不斷優(yōu)化與更新平臺的功能,提高數(shù)字化工具的服務(wù)質(zhì)量,從而幫助用戶提高效率、創(chuàng)造收益。因?yàn)樘峁┓?wù)是平臺最基礎(chǔ)的屬性,所以平臺功能完善是吸引用戶加入平臺最重要的激勵方式。

    Libra的主要產(chǎn)品是A/B測試。如果業(yè)務(wù)獨(dú)立開展A/B測試,員工需要學(xué)習(xí)統(tǒng)計(jì)模型、計(jì)算指標(biāo)、手動配置實(shí)驗(yàn),極大地增加了單次實(shí)驗(yàn)的成本。Libra搭建了實(shí)驗(yàn)基礎(chǔ)架構(gòu),繪制出可視化界面,實(shí)驗(yàn)者只需要在平臺上填寫個(gè)性化信息即可輕松操作。在Libra上開展A/ B測試的流程如圖2所示。在平臺上創(chuàng)建實(shí)驗(yàn)之前,業(yè)務(wù)方需要明確此次實(shí)驗(yàn)希望解決的問題,設(shè)計(jì)出實(shí)驗(yàn)可供選擇的兩到多種策略(策略A、策略B……),明確在實(shí)驗(yàn)過程中需要觀測的指標(biāo)有哪些、預(yù)期這些指標(biāo)在實(shí)驗(yàn)中有怎樣的變化。然后,研發(fā)人員和產(chǎn)品經(jīng)理要在Libra實(shí)驗(yàn)平臺上按照標(biāo)準(zhǔn)的流程填寫實(shí)驗(yàn)的基本信息,例如實(shí)驗(yàn)流量大小、實(shí)驗(yàn)時(shí)長、實(shí)驗(yàn)對象過濾條件等,配置對照組(策略A)和實(shí)驗(yàn)組(策略B)參數(shù),開啟同伴評審保證實(shí)驗(yàn)的正確配置,隨后開啟實(shí)驗(yàn)。在實(shí)驗(yàn)結(jié)束后,數(shù)據(jù)分析師需要計(jì)算與分析各指標(biāo)變化情況,評估新策略是否達(dá)到了預(yù)期目標(biāo)、是否需要采取進(jìn)一步實(shí)驗(yàn)措施,如延長實(shí)驗(yàn)時(shí)長等,并撰寫分析報(bào)告以供后續(xù)使用。如果實(shí)驗(yàn)結(jié)果滿足預(yù)期,實(shí)驗(yàn)團(tuán)隊(duì)會開啟上線評審,由更多專業(yè)人士決定業(yè)務(wù)部門是否可以采納實(shí)驗(yàn)結(jié)果。此外,業(yè)務(wù)研發(fā)人員在實(shí)驗(yàn)結(jié)束后也可以進(jìn)一步開啟反轉(zhuǎn)實(shí)驗(yàn)、父子實(shí)驗(yàn)等,長期監(jiān)測和評估新策略的效果。

    平臺功能也不是一成不變的,組織需要順應(yīng)數(shù)字技術(shù)的發(fā)展和市場需求的變化,快速更新平臺功能以提供更完善的服務(wù)。正如Libra研發(fā)工程師所闡述的:“Libra推出新功能的迭代速度非??欤總€(gè)月基本上都會有較大變化。這種功能迭代的來源有兩個(gè),其中以用戶業(yè)務(wù)的需求為主,平臺自我功能驅(qū)動為輔?!痹趦?nèi)部保障機(jī)制方面,Libra團(tuán)隊(duì)堅(jiān)持每周一次個(gè)人書面匯報(bào)、每雙周一次團(tuán)隊(duì)例行會議、每雙月制定一版目標(biāo)規(guī)劃,打通團(tuán)隊(duì)成員之間的溝通渠道,保證所有人信息一致、目標(biāo)統(tǒng)一。在獲取外部信息方面,Libra產(chǎn)品經(jīng)理、研發(fā)人員、數(shù)據(jù)科學(xué)人員等多個(gè)角色成員均需要與用戶直接溝通,定期參與業(yè)務(wù)方會議,切實(shí)了解業(yè)務(wù)部門開展實(shí)驗(yàn)時(shí)遇到的難題、對數(shù)據(jù)服務(wù)的新需求等等。

    vB2p3eLbnhducnIzT5l1uA==

    自動調(diào)參、配置發(fā)布、因果推斷是Libra近幾年推出的新功能。自動調(diào)參是將實(shí)驗(yàn)和優(yōu)化算法結(jié)合的產(chǎn)品,主要針對參數(shù)較多的探索性實(shí)驗(yàn),通過為用戶提供完整的分析套件,幫助用戶以更低的成本探索實(shí)驗(yàn)配置的最優(yōu)參數(shù)。配置發(fā)布是Libra打造的服務(wù)端配置管理和灰度發(fā)布平臺,支持用戶集中管理不同業(yè)務(wù)線、不同服務(wù)的配置參數(shù)和開關(guān),將A/B 測試結(jié)果參數(shù)一鍵上線。因果推斷是Libra團(tuán)隊(duì)近兩年新推出的功能合集,提供了一系列標(biāo)準(zhǔn)范式下的評估工具,以幫助用戶在各種復(fù)雜業(yè)務(wù)場景下開展準(zhǔn)實(shí)驗(yàn)(quasi-experiment)研究。

    激勵二:使用經(jīng)驗(yàn)共享

    使用經(jīng)驗(yàn)共享指的是平臺為用戶提供平臺的相關(guān)信息,從而幫助用戶便捷地使用平臺資源。如果平臺不能夠提供足夠的信息,平臺的使用門檻會被提高,降低使用者加入平臺的意愿。因此,信息的有效共享也是平臺治理的重要激勵方式。

    為了鼓勵更多業(yè)務(wù)部門加入平臺開展實(shí)驗(yàn),Libra團(tuán)隊(duì)主要采取以下幾種措施提供平臺的使用經(jīng)驗(yàn):第一,編寫Libra產(chǎn)品的在線使用手冊,其中包括A/B測試背后的統(tǒng)計(jì)學(xué)原理知識介紹、產(chǎn)品操作流程錄像、往期培訓(xùn)錄像、優(yōu)秀案例等,為新用戶提供自行了解平臺產(chǎn)品功能的渠道,確保員工在瀏覽使用手冊后掌握實(shí)施A/B測試的基本操作;第二,定期針對不同的人群,例如技術(shù)人員、特定業(yè)務(wù)人員、新用戶等,提供專場培訓(xùn)活動,在活動中邀請過往優(yōu)秀實(shí)踐者進(jìn)行經(jīng)驗(yàn)分享,使不同角色的員工可以更精準(zhǔn)地了解平臺不同功能的使用方法和效果;第三,在Libra主頁設(shè)置“反饋與咨詢”版塊,自動回復(fù)常見的共性問題,安排值班人員解答“人工反饋”問題,以天為單位確保每一個(gè)使用者問題都能被快速回復(fù);第四,按功能開設(shè)多個(gè)相關(guān)用戶群,在群中介紹產(chǎn)品的最新功能、通知平臺事故、收集需求建議等。這些措施保障了每一位用戶都能夠快速掌握平臺產(chǎn)品信息,降低了Libra的使用門檻,營造出“人人都可實(shí)驗(yàn)、人人都能實(shí)驗(yàn)”的氛圍,進(jìn)而激勵字節(jié)所有員工充分利用平臺資源。

    激勵三:外部關(guān)系打通

    外部關(guān)系指的是主體平臺與其他平臺之間的關(guān)系。因?yàn)椴煌脚_可以提供差異化的服務(wù),用戶可以選擇同時(shí)加入多個(gè)平臺以謀取更大的利益。如果平臺之間是互相競爭的關(guān)系,用戶的多歸屬行為(multihoming)可能會降低用戶對主體平臺的忠誠度,從而使主體平臺利益受損,因此很多平臺會禁止用戶的多歸屬行為。然而在同一家企業(yè)中,不同數(shù)據(jù)平臺通過提供異質(zhì)性的服務(wù)呈現(xiàn)互補(bǔ)關(guān)系,平臺之間的數(shù)據(jù)打通有助于推動數(shù)據(jù)流動,方便業(yè)務(wù)方管理和整合數(shù)據(jù)。因此,與其他平臺實(shí)現(xiàn)功能互通有助于提高員工對主體平臺的使用意愿。

    為便捷用戶使用字節(jié)其他數(shù)據(jù)平臺的指標(biāo),Libra團(tuán)隊(duì)將打通公司已有的數(shù)據(jù)開發(fā)與分析平臺作為Libra建設(shè)的關(guān)鍵目標(biāo)之一,安排專門的團(tuán)隊(duì)成員持續(xù)跟進(jìn)完善與其他數(shù)據(jù)平臺內(nèi)部指標(biāo)管理的互通工作,優(yōu)化Libra的數(shù)據(jù)建設(shè)和實(shí)驗(yàn)分析能力。以Libra中的用戶行為指標(biāo)為例,TEA(對外產(chǎn)品名為火山引擎增長分析平臺DataFinder)是字節(jié)跳動幫助業(yè)務(wù)開展行為分析的專業(yè)數(shù)據(jù)分析平臺,Libra平臺選擇內(nèi)嵌了TEA的部分分析能力,使得Libra用戶在使用過程中只需要在行為指標(biāo)配置頁面上點(diǎn)擊選擇就可以生成一個(gè)用于A/B測試的指標(biāo)并保存在Libra報(bào)告頁面中,隨后運(yùn)用到該用戶所在產(chǎn)品線的全部實(shí)驗(yàn)中。

    Libra數(shù)字實(shí)驗(yàn)平臺的控制手段

    控制一:行為控制

    行為控制指的是確保個(gè)體采取的行動對組織有益、防止個(gè)體執(zhí)行對組織造成損害的行為(“行為控制”為特定科研術(shù)語,指確保個(gè)體采取的行為對組織有益、防止個(gè)體執(zhí)行對組織造成損害的行為)。行為控制的前提條件是組織清楚了解什么樣的行為是組織希望看到的。如果一些工作涉及復(fù)雜且具有高度不確定性的任務(wù),例如研發(fā)或高層決策的工作,期望的行為就難以被界定,組織就很難開展行為控制措施。在數(shù)字平臺中,行為控制更加容易執(zhí)行,因?yàn)槠脚_的用戶行為流程是由平臺團(tuán)隊(duì)自行設(shè)計(jì)的,并且用戶行為通常可以在平臺后臺監(jiān)控。在行為控制中,平臺不需要考慮行為所產(chǎn)生的結(jié)果是否是符合預(yù)期的,只需要考慮用戶活動的過程是否合規(guī)。在實(shí)際治理工作中,行為控制和結(jié)果控制往往是結(jié)合開展的,以產(chǎn)生更好的控制效果。

    在A/B測試的流程中,Libra團(tuán)隊(duì)共設(shè)計(jì)了三輪評審活動,其中前兩輪評審活動都是典型的行為控制措施。第一輪評審安排在設(shè)計(jì)實(shí)驗(yàn)環(huán)節(jié),評審在實(shí)驗(yàn)小組的內(nèi)部開展,審核實(shí)驗(yàn)方案是否合理,例如需要觀測的指標(biāo)是否準(zhǔn)確、指標(biāo)的預(yù)期變化方向是否正確等。第二輪評審安排在創(chuàng)建實(shí)驗(yàn)階段、開啟實(shí)驗(yàn)之前,被稱為同伴評審,審核人員包括用戶和Libra雙方負(fù)責(zé)人員,檢查實(shí)驗(yàn)配置中是否有書寫錯誤、命名不規(guī)范、配置沖突等情況,對代碼質(zhì)量、指標(biāo)預(yù)期波動等進(jìn)行核查,防止這些錯誤造成平臺的線上事故。第二輪評審也是保證實(shí)驗(yàn)順利開啟的重要前提。除評審之外,數(shù)字平臺通常還有一些數(shù)據(jù)隱私方面的行為控制措施,因?yàn)閿?shù)據(jù)隱私和合規(guī)是保障數(shù)字平臺安全的核心工作。字節(jié)通過制定專門的數(shù)據(jù)及信息安全準(zhǔn)則,設(shè)置公司的數(shù)據(jù)安全紅線,規(guī)范所有數(shù)據(jù)平臺中的客戶數(shù)據(jù)使用行為,以保障公司的數(shù)據(jù)安全。

    控制二:結(jié)果控制

    結(jié)果控制涉及到對個(gè)體活動產(chǎn)生的結(jié)果進(jìn)行獎勵或者懲罰,例如企業(yè)為員工發(fā)放優(yōu)秀績效獎金等。結(jié)果控制雖然不限制個(gè)體的行為方式,但往往也會影響到個(gè)人的行為,因?yàn)椴扇∠鄳?yīng)的行為才能夠得到預(yù)期的結(jié)果。結(jié)果控制的前提是定義預(yù)期結(jié)果,即在數(shù)字平臺中,結(jié)果控制需要首先考慮平臺的目標(biāo)是什么,從而對用戶在平臺上活動的結(jié)果進(jìn)行界定,判斷用戶行為的結(jié)果是否與平臺目標(biāo)一致。當(dāng)用戶的活動結(jié)果與平臺的目標(biāo)一致時(shí),鼓勵并肯定用戶活動,當(dāng)活動結(jié)果與平臺目標(biāo)不一致時(shí),禁止或者限制這種行為。

    Libra的目標(biāo)是為字節(jié)跳動全業(yè)務(wù)迭代提供A/B測試評估和智能優(yōu)化服務(wù),幫助業(yè)務(wù)科學(xué)有效地衡量收益。從開展實(shí)驗(yàn)的結(jié)果角度來看,業(yè)務(wù)方在平臺上的活動一方面需要對業(yè)務(wù)產(chǎn)生真正的效益,即為業(yè)務(wù)創(chuàng)造收益或者提高業(yè)務(wù)運(yùn)行效率,另一方面不能損害字節(jié)的整體收益,即對其他業(yè)務(wù)不產(chǎn)生負(fù)面影響。Libra在這兩方面分別采取了結(jié)果控制。

    在幫助業(yè)務(wù)迭代方面,Libra團(tuán)隊(duì)設(shè)置了流程中的第三輪評審——上線評審。當(dāng)實(shí)驗(yàn)出現(xiàn)滿足預(yù)期的結(jié)果時(shí),實(shí)驗(yàn)團(tuán)隊(duì)可以在系統(tǒng)中申請上線,隨后由更多專業(yè)人員對實(shí)驗(yàn)結(jié)果進(jìn)行評估,判斷該實(shí)驗(yàn)結(jié)果對業(yè)務(wù)是否有真正的價(jià)值。只有當(dāng)實(shí)驗(yàn)涉及的業(yè)務(wù)變動被多方認(rèn)可是能夠幫助提升業(yè)務(wù)和公司運(yùn)行效果的,該變動才會被允許正式上線,正如Libra產(chǎn)品經(jīng)理對平臺功能的描述:“平臺建立的初衷并不是希望業(yè)務(wù)部門只依賴數(shù)據(jù),而是借助工具來升級團(tuán)隊(duì)的經(jīng)驗(yàn),通過A/B實(shí)驗(yàn)加深對業(yè)務(wù)過程的理解、找到本質(zhì)原因,進(jìn)而作出更正確的決策。”

    在保障公司整體利益方面,Libra團(tuán)隊(duì)對平臺默認(rèn)使用的指標(biāo)統(tǒng)計(jì)口徑、指標(biāo)類型等相關(guān)內(nèi)容進(jìn)行調(diào)整,以確保所有實(shí)驗(yàn)是有效的且對公司有利的。例如,鑒于同一個(gè)產(chǎn)品的不同業(yè)務(wù)團(tuán)隊(duì)之間存在相關(guān)性,在實(shí)驗(yàn)的過程中,數(shù)據(jù)報(bào)告頁中不僅展示該用戶自行選擇觀測的指標(biāo),還展示了字節(jié)其他重要業(yè)務(wù)團(tuán)隊(duì)的指標(biāo)。實(shí)驗(yàn)者不僅需要考慮一次實(shí)驗(yàn)中的功能變動對自身業(yè)務(wù)的影響,也需要確保自身業(yè)務(wù)績效的提升不損害公司其他業(yè)務(wù)部門的利益。再如,隨著實(shí)驗(yàn)經(jīng)驗(yàn)的積累,Libra團(tuán)隊(duì)發(fā)現(xiàn)“多天累計(jì)指標(biāo)”相對于“天級平均指標(biāo)”具有更加科學(xué)的統(tǒng)計(jì)意義,更能夠避免實(shí)驗(yàn)產(chǎn)生假性顯著結(jié)果。因此,Libra團(tuán)隊(duì)在實(shí)驗(yàn)結(jié)論中默認(rèn)使用從實(shí)驗(yàn)第一天開始累計(jì)的數(shù)據(jù)來進(jìn)行評估,以規(guī)范業(yè)務(wù)部門實(shí)驗(yàn)評估時(shí)采用的數(shù)據(jù)口徑,避免出現(xiàn)投機(jī)取巧的行為,保障實(shí)驗(yàn)結(jié)果的科學(xué)準(zhǔn)確性。

    以上,本文對數(shù)字平臺的治理問題進(jìn)行了梳理,分析了字節(jié)跳動Libra平臺激勵與控制兩方面的治理方法。良好的治理體系有助于企業(yè)更合理地設(shè)計(jì)平臺功能、利用平臺組織創(chuàng)造更大的商業(yè)價(jià)值。平臺治理、平臺設(shè)計(jì)與平臺價(jià)值創(chuàng)造之間的相互影響關(guān)系值得學(xué)者和管理者們未來進(jìn)一步探索。

    在线永久观看黄色视频| 高清在线国产一区| 老司机午夜十八禁免费视频| 窝窝影院91人妻| 97人妻天天添夜夜摸| 乱人伦中国视频| 中文字幕人妻丝袜一区二区| 欧美成狂野欧美在线观看| 免费久久久久久久精品成人欧美视频| 久久精品亚洲熟妇少妇任你| 天天影视国产精品| а√天堂www在线а√下载 | av不卡在线播放| 亚洲精品国产区一区二| 99在线人妻在线中文字幕 | 色婷婷久久久亚洲欧美| 波多野结衣av一区二区av| 午夜福利在线免费观看网站| 别揉我奶头~嗯~啊~动态视频| 亚洲欧洲精品一区二区精品久久久| 久久精品国产综合久久久| 在线观看www视频免费| 精品视频人人做人人爽| 夜夜爽天天搞| 国产精品欧美亚洲77777| 757午夜福利合集在线观看| 涩涩av久久男人的天堂| 男女之事视频高清在线观看| 国产单亲对白刺激| 高清欧美精品videossex| 日本五十路高清| 女人久久www免费人成看片| 久9热在线精品视频| 淫妇啪啪啪对白视频| 日韩中文字幕欧美一区二区| 亚洲男人天堂网一区| 丝袜人妻中文字幕| 人人妻人人添人人爽欧美一区卜| 久久久精品区二区三区| 99热只有精品国产| 精品熟女少妇八av免费久了| 9191精品国产免费久久| 国产男靠女视频免费网站| 国产成人精品在线电影| 国产亚洲欧美98| 91在线观看av| 国产在线观看jvid| 电影成人av| 校园春色视频在线观看| 黑人巨大精品欧美一区二区mp4| 80岁老熟妇乱子伦牲交| 国产色视频综合| 久久国产精品人妻蜜桃| 国产欧美日韩一区二区三区在线| 色94色欧美一区二区| 美女 人体艺术 gogo| 国产1区2区3区精品| 午夜视频精品福利| 黄色视频,在线免费观看| 无人区码免费观看不卡| 亚洲成人手机| 亚洲美女黄片视频| 啪啪无遮挡十八禁网站| 黑人猛操日本美女一级片| 97人妻天天添夜夜摸| 两个人免费观看高清视频| 亚洲黑人精品在线| 制服人妻中文乱码| 超碰97精品在线观看| 天堂动漫精品| 69精品国产乱码久久久| 搡老熟女国产l中国老女人| 十八禁高潮呻吟视频| 精品国产一区二区三区久久久樱花| e午夜精品久久久久久久| 韩国av一区二区三区四区| 新久久久久国产一级毛片| 国产有黄有色有爽视频| 亚洲精品乱久久久久久| 一本大道久久a久久精品| 无遮挡黄片免费观看| 91av网站免费观看| 在线播放国产精品三级| 免费在线观看影片大全网站| 19禁男女啪啪无遮挡网站| 一区在线观看完整版| 国产在线精品亚洲第一网站| 黄网站色视频无遮挡免费观看| 纯流量卡能插随身wifi吗| 91成人精品电影| 精品人妻1区二区| 新久久久久国产一级毛片| 波多野结衣av一区二区av| 一区福利在线观看| www.999成人在线观看| 90打野战视频偷拍视频| 一级片免费观看大全| 在线免费观看的www视频| 欧美日韩精品网址| 国产在线一区二区三区精| 91字幕亚洲| 女人高潮潮喷娇喘18禁视频| 亚洲国产毛片av蜜桃av| 天堂俺去俺来也www色官网| 999久久久国产精品视频| 亚洲全国av大片| 色在线成人网| 日韩精品免费视频一区二区三区| 国产精品国产av在线观看| 深夜精品福利| 日韩熟女老妇一区二区性免费视频| 老司机影院毛片| 国产成人精品在线电影| 精品国产乱码久久久久久男人| 亚洲av第一区精品v没综合| 亚洲黑人精品在线| 狠狠婷婷综合久久久久久88av| 1024视频免费在线观看| 18禁裸乳无遮挡动漫免费视频| xxx96com| 欧美 日韩 精品 国产| 国产一卡二卡三卡精品| 99精品久久久久人妻精品| 精品国内亚洲2022精品成人 | 午夜激情av网站| 国产淫语在线视频| 桃红色精品国产亚洲av| 中文字幕av电影在线播放| 大型黄色视频在线免费观看| 久久人妻熟女aⅴ| 99久久综合精品五月天人人| 亚洲欧美精品综合一区二区三区| 99热只有精品国产| 国产麻豆69| 韩国av一区二区三区四区| 天天影视国产精品| 成年人黄色毛片网站| 国产高清国产精品国产三级| 999久久久精品免费观看国产| av视频免费观看在线观看| a在线观看视频网站| 午夜免费鲁丝| 乱人伦中国视频| 99国产精品一区二区蜜桃av | 欧美激情极品国产一区二区三区| 国产成人免费观看mmmm| 国产亚洲一区二区精品| 国产精品一区二区在线观看99| 精品午夜福利视频在线观看一区| 婷婷成人精品国产| 国产有黄有色有爽视频| 黄色a级毛片大全视频| 乱人伦中国视频| 久久久久久久精品吃奶| 啦啦啦在线免费观看视频4| 涩涩av久久男人的天堂| 在线观看午夜福利视频| 精品国产国语对白av| 美女午夜性视频免费| a在线观看视频网站| 成人18禁高潮啪啪吃奶动态图| 午夜视频精品福利| 午夜福利在线免费观看网站| 免费av中文字幕在线| 丝袜在线中文字幕| 中文字幕另类日韩欧美亚洲嫩草| av天堂久久9| 好男人电影高清在线观看| 国产有黄有色有爽视频| 国产aⅴ精品一区二区三区波| ponron亚洲| 久久人妻熟女aⅴ| 久久影院123| 999久久久国产精品视频| 日本a在线网址| 欧美大码av| 日韩制服丝袜自拍偷拍| 日韩大码丰满熟妇| 一本大道久久a久久精品| 亚洲精品一二三| 国产精品秋霞免费鲁丝片| 欧美精品啪啪一区二区三区| 久久精品国产a三级三级三级| 香蕉丝袜av| 色尼玛亚洲综合影院| 日韩免费av在线播放| 久久人妻熟女aⅴ| 9色porny在线观看| 村上凉子中文字幕在线| 久9热在线精品视频| 99国产精品一区二区三区| 亚洲第一青青草原| 亚洲成国产人片在线观看| 久久香蕉精品热| 成人免费观看视频高清| 精品第一国产精品| 欧美在线黄色| 99久久国产精品久久久| 亚洲中文字幕日韩| 亚洲欧美一区二区三区黑人| 91精品国产国语对白视频| 成年动漫av网址| 99精品久久久久人妻精品| a级毛片黄视频| 99在线人妻在线中文字幕 | 男女床上黄色一级片免费看| 国产亚洲欧美精品永久| 嫩草影视91久久| 亚洲五月天丁香| 啦啦啦视频在线资源免费观看| av在线播放免费不卡| 亚洲一卡2卡3卡4卡5卡精品中文| 在线观看66精品国产| 人人妻人人澡人人爽人人夜夜| 夫妻午夜视频| 女人高潮潮喷娇喘18禁视频| 亚洲五月婷婷丁香| 美国免费a级毛片| 精品乱码久久久久久99久播| 校园春色视频在线观看| 男女午夜视频在线观看| 久久精品国产亚洲av高清一级| 一级片'在线观看视频| 大型av网站在线播放| av片东京热男人的天堂| 男女高潮啪啪啪动态图| 九色亚洲精品在线播放| 啦啦啦免费观看视频1| 香蕉丝袜av| 少妇的丰满在线观看| 欧美日韩国产mv在线观看视频| 人人妻,人人澡人人爽秒播| 大香蕉久久网| 国产熟女午夜一区二区三区| 久久ye,这里只有精品| 在线观看免费视频日本深夜| 久久久精品免费免费高清| 国产精品av久久久久免费| 国产精品秋霞免费鲁丝片| 热re99久久国产66热| av线在线观看网站| 亚洲性夜色夜夜综合| 高清av免费在线| 黄网站色视频无遮挡免费观看| 天堂动漫精品| 欧美日本中文国产一区发布| 国产免费av片在线观看野外av| 久久人妻福利社区极品人妻图片| 18禁黄网站禁片午夜丰满| 在线观看免费高清a一片| 在线观看免费视频日本深夜| 999久久久国产精品视频| 中文字幕人妻丝袜一区二区| 交换朋友夫妻互换小说| 亚洲精品国产一区二区精华液| 色婷婷久久久亚洲欧美| 一进一出好大好爽视频| 丝袜美腿诱惑在线| 国产国语露脸激情在线看| 色综合婷婷激情| 天天躁夜夜躁狠狠躁躁| 亚洲精品粉嫩美女一区| 人人妻人人澡人人看| 成人精品一区二区免费| av中文乱码字幕在线| 亚洲精品国产精品久久久不卡| 热re99久久国产66热| 在线永久观看黄色视频| 久久久国产一区二区| 丝瓜视频免费看黄片| 国产精品成人在线| 黄色成人免费大全| 人成视频在线观看免费观看| 黑人操中国人逼视频| 99精品欧美一区二区三区四区| 成熟少妇高潮喷水视频| 91成人精品电影| 99热国产这里只有精品6| 亚洲欧美精品综合一区二区三区| 日本a在线网址| 看黄色毛片网站| 日韩欧美三级三区| 欧美精品av麻豆av| 午夜福利欧美成人| 成人国语在线视频| 极品少妇高潮喷水抽搐| 精品无人区乱码1区二区| 亚洲三区欧美一区| 欧美日韩中文字幕国产精品一区二区三区 | 欧美日韩一级在线毛片| 黑人巨大精品欧美一区二区mp4| 51午夜福利影视在线观看| 亚洲中文日韩欧美视频| 女性生殖器流出的白浆| 人人妻人人添人人爽欧美一区卜| 国产精品久久久人人做人人爽| 国产97色在线日韩免费| 精品人妻1区二区| av福利片在线| 免费在线观看影片大全网站| 国产欧美日韩一区二区精品| 亚洲中文字幕日韩| 一区二区三区精品91| 国产精品1区2区在线观看. | av电影中文网址| 亚洲精品国产精品久久久不卡| 黑人欧美特级aaaaaa片| 午夜免费观看网址| 免费av中文字幕在线| 精品国产一区二区三区四区第35| 老司机午夜福利在线观看视频| 久久精品国产a三级三级三级| 欧美人与性动交α欧美精品济南到| 一边摸一边做爽爽视频免费| 日韩大码丰满熟妇| 黄色成人免费大全| 免费看十八禁软件| 亚洲五月色婷婷综合| 人成视频在线观看免费观看| 老熟妇乱子伦视频在线观看| 99国产精品一区二区蜜桃av | 亚洲人成电影观看| 午夜两性在线视频| 丝袜人妻中文字幕| 亚洲欧美日韩另类电影网站| 色精品久久人妻99蜜桃| 久热爱精品视频在线9| 久久99一区二区三区| 午夜福利影视在线免费观看| 欧美日韩亚洲综合一区二区三区_| 中文字幕av电影在线播放| 男女床上黄色一级片免费看| 高潮久久久久久久久久久不卡| 亚洲第一青青草原| 亚洲在线自拍视频| 91麻豆精品激情在线观看国产 | av免费在线观看网站| 大型av网站在线播放| av不卡在线播放| 国产有黄有色有爽视频| 国产精品久久久久成人av| 99国产综合亚洲精品| 精品高清国产在线一区| 黑丝袜美女国产一区| 中文字幕av电影在线播放| 久久久久精品人妻al黑| 啦啦啦视频在线资源免费观看| 精品人妻熟女毛片av久久网站| 亚洲在线自拍视频| 成年人免费黄色播放视频| 人妻丰满熟妇av一区二区三区 | 午夜成年电影在线免费观看| av在线播放免费不卡| 成熟少妇高潮喷水视频| 国产又色又爽无遮挡免费看| 午夜久久久在线观看| 国产又色又爽无遮挡免费看| 国产精品 欧美亚洲| av欧美777| 熟女少妇亚洲综合色aaa.| 亚洲国产看品久久| 色综合欧美亚洲国产小说| 久久久国产欧美日韩av| 婷婷丁香在线五月| 午夜福利乱码中文字幕| 中文字幕最新亚洲高清| 99精品欧美一区二区三区四区| 久久热在线av| 在线天堂中文资源库| 亚洲精品久久午夜乱码| 国产一区二区激情短视频| 免费观看精品视频网站| 国产免费现黄频在线看| 欧美日韩国产mv在线观看视频| 老司机影院毛片| 咕卡用的链子| 日本a在线网址| 757午夜福利合集在线观看| 亚洲av熟女| 老熟妇乱子伦视频在线观看| 久久人妻福利社区极品人妻图片| 国产在线精品亚洲第一网站| 麻豆成人av在线观看| 亚洲欧美精品综合一区二区三区| 99re6热这里在线精品视频| 亚洲欧美激情综合另类| 看黄色毛片网站| 好看av亚洲va欧美ⅴa在| 天天影视国产精品| 视频在线观看一区二区三区| 美国免费a级毛片| 国产av一区二区精品久久| 后天国语完整版免费观看| 欧美日韩国产mv在线观看视频| 亚洲视频免费观看视频| 久久这里只有精品19| 久久国产精品影院| 久久精品人人爽人人爽视色| 亚洲精品国产色婷婷电影| 涩涩av久久男人的天堂| 一区在线观看完整版| 国产精品98久久久久久宅男小说| 亚洲人成77777在线视频| 国产高清videossex| 十八禁高潮呻吟视频| 制服诱惑二区| 老熟妇乱子伦视频在线观看| 国产精品一区二区在线观看99| av一本久久久久| 欧美av亚洲av综合av国产av| 精品熟女少妇八av免费久了| 亚洲欧美日韩另类电影网站| 丝袜美腿诱惑在线| 99精品在免费线老司机午夜| 国产不卡av网站在线观看| 欧美丝袜亚洲另类 | 黄色毛片三级朝国网站| 久久中文字幕人妻熟女| 手机成人av网站| 中国美女看黄片| 妹子高潮喷水视频| 无人区码免费观看不卡| 亚洲欧美色中文字幕在线| 精品欧美一区二区三区在线| 欧美午夜高清在线| 久久影院123| 日本黄色日本黄色录像| netflix在线观看网站| 国产亚洲精品久久久久5区| 亚洲国产精品合色在线| 视频在线观看一区二区三区| 每晚都被弄得嗷嗷叫到高潮| 夜夜夜夜夜久久久久| 一级a爱片免费观看的视频| 法律面前人人平等表现在哪些方面| 精品国产美女av久久久久小说| 欧美亚洲日本最大视频资源| 国产成人av教育| av线在线观看网站| 成熟少妇高潮喷水视频| 免费在线观看完整版高清| 国精品久久久久久国模美| 99精国产麻豆久久婷婷| 不卡av一区二区三区| 久久天躁狠狠躁夜夜2o2o| 丰满饥渴人妻一区二区三| 在线观看日韩欧美| 国产成人系列免费观看| 在线播放国产精品三级| 欧美激情极品国产一区二区三区| 在线天堂中文资源库| 淫妇啪啪啪对白视频| 国产免费现黄频在线看| 757午夜福利合集在线观看| 一边摸一边抽搐一进一小说 | 亚洲一区高清亚洲精品| 午夜福利一区二区在线看| 精品少妇久久久久久888优播| 日韩熟女老妇一区二区性免费视频| 无限看片的www在线观看| 老鸭窝网址在线观看| 国产一区二区三区视频了| 精品无人区乱码1区二区| 国产真人三级小视频在线观看| av一本久久久久| 99国产精品免费福利视频| 看黄色毛片网站| 亚洲国产精品一区二区三区在线| 欧美精品啪啪一区二区三区| 亚洲人成电影观看| 亚洲av成人不卡在线观看播放网| av网站在线播放免费| 午夜福利,免费看| 一级毛片高清免费大全| 久久久久久久精品吃奶| 老汉色∧v一级毛片| 日本撒尿小便嘘嘘汇集6| 日韩 欧美 亚洲 中文字幕| 黑人欧美特级aaaaaa片| 黄色视频,在线免费观看| 97人妻天天添夜夜摸| 亚洲色图 男人天堂 中文字幕| 亚洲少妇的诱惑av| 国产片内射在线| www.999成人在线观看| 精品久久久精品久久久| 免费看十八禁软件| 丝瓜视频免费看黄片| 久久久国产一区二区| 99精品欧美一区二区三区四区| 99久久99久久久精品蜜桃| 国产精品久久久久久人妻精品电影| 建设人人有责人人尽责人人享有的| 午夜老司机福利片| 久久亚洲精品不卡| 久久 成人 亚洲| 国产男女超爽视频在线观看| 曰老女人黄片| av福利片在线| 国产精品香港三级国产av潘金莲| 黄色怎么调成土黄色| 久久人妻福利社区极品人妻图片| 午夜两性在线视频| 操美女的视频在线观看| 一进一出好大好爽视频| 精品卡一卡二卡四卡免费| 一级片免费观看大全| 国产高清视频在线播放一区| av网站在线播放免费| 十八禁网站免费在线| 搡老熟女国产l中国老女人| 1024视频免费在线观看| 日韩欧美国产一区二区入口| 夫妻午夜视频| 久久久国产精品麻豆| 9热在线视频观看99| 国产精品免费大片| 日本精品一区二区三区蜜桃| 国产成+人综合+亚洲专区| 亚洲人成电影观看| 国产日韩欧美亚洲二区| 91大片在线观看| 国产精品自产拍在线观看55亚洲 | 99香蕉大伊视频| 99re在线观看精品视频| 日日夜夜操网爽| 国产成人精品无人区| 老汉色∧v一级毛片| 亚洲第一欧美日韩一区二区三区| 日本精品一区二区三区蜜桃| 免费在线观看视频国产中文字幕亚洲| 男人的好看免费观看在线视频 | 成在线人永久免费视频| 一边摸一边做爽爽视频免费| 国产成人免费观看mmmm| 亚洲av美国av| 免费在线观看视频国产中文字幕亚洲| 国产av又大| 亚洲国产毛片av蜜桃av| 精品国产乱子伦一区二区三区| 18禁美女被吸乳视频| 老汉色∧v一级毛片| 777米奇影视久久| 国产一区二区三区综合在线观看| 欧美激情久久久久久爽电影 | 超色免费av| 涩涩av久久男人的天堂| 人人澡人人妻人| 免费观看人在逋| 国产一区二区三区视频了| 精品欧美一区二区三区在线| 19禁男女啪啪无遮挡网站| 欧美日韩av久久| 人人妻人人澡人人看| 日韩欧美一区二区三区在线观看 | 国产一区二区三区综合在线观看| 亚洲一区中文字幕在线| 一进一出抽搐动态| 精品国产美女av久久久久小说| 搡老熟女国产l中国老女人| 久久性视频一级片| 中文字幕制服av| 性少妇av在线| 久久国产精品男人的天堂亚洲| 宅男免费午夜| 校园春色视频在线观看| 亚洲国产毛片av蜜桃av| 精品午夜福利视频在线观看一区| 国产又色又爽无遮挡免费看| 午夜成年电影在线免费观看| 亚洲第一青青草原| 久久 成人 亚洲| 国产精品av久久久久免费| 又黄又爽又免费观看的视频| 这个男人来自地球电影免费观看| 丝袜在线中文字幕| 性少妇av在线| 亚洲国产看品久久| 制服人妻中文乱码| 欧美激情极品国产一区二区三区| 韩国av一区二区三区四区| 亚洲aⅴ乱码一区二区在线播放 | 中文字幕色久视频| av视频免费观看在线观看| 人妻丰满熟妇av一区二区三区 | 久久草成人影院| 国产av一区二区精品久久| 亚洲在线自拍视频| 老司机影院毛片| 久久国产精品人妻蜜桃| 久久香蕉精品热| 欧美色视频一区免费| 伊人久久大香线蕉亚洲五| 校园春色视频在线观看| 亚洲精品美女久久av网站| 国产成+人综合+亚洲专区| 高清毛片免费观看视频网站 | 97人妻天天添夜夜摸| 亚洲人成电影免费在线| 国产不卡一卡二| 看免费av毛片| 大型av网站在线播放| 欧美日韩亚洲高清精品| 中出人妻视频一区二区| www.999成人在线观看| 欧美性长视频在线观看| 亚洲色图 男人天堂 中文字幕| 人人妻,人人澡人人爽秒播| 欧美另类亚洲清纯唯美| 亚洲国产看品久久| av一本久久久久| 国产欧美日韩精品亚洲av| 国产成人免费无遮挡视频| 在线天堂中文资源库| av电影中文网址|