唇語

川 750021唇語識別（lip reading，LR），是一種在沒有聲音時通過分析唇部圖像序列，依靠口型特征向量和特定語音之間的對應(yīng)關(guān)系，判斷語言內(nèi)容的技術(shù)[1]，是人工智能的新方向。唇語識別涉及模式識別[2-3]、計算機視覺[4]、圖像處理和自然語言處理等技術(shù)，多應(yīng)用于信息安全[5-6]、語音識別[7-8]、駕駛輔助[9]等領(lǐng)域。早期的唇語識別大多基于隱馬爾可夫模型（hidden Markov model，HMM）[10]、離散余弦變換（discret

蒲陽伯AI讀唇語并非只能被用于破譯“隱藏劇情”。據(jù)統(tǒng)計，我國聽力殘障人口超過2 054萬，除了主要的手語交流外，讀唇語也是他們重要的溝通方式。但人工解讀唇語容易受到個人經(jīng)驗、視覺感受能力、語言理解能力等因素影響，在正確率方面差強人意，于是人們開始嘗試利用AI技術(shù)來解讀唇語。比唇語專家更懂唇語“所謂AI讀唇語，即人工智能唇語識別，其核心技術(shù)框架為視覺識別和自然語言處理?！北本├砉ご髮W(xué)計算機學(xué)院副教授、網(wǎng)絡(luò)與安全研究所所長閆懷志介紹道，具體而言，就是利用機器視

久的將來，AI讀唇語有望實現(xiàn)快速推廣與深度普及，產(chǎn)業(yè)前景十分可期。——閆懷志 北京理工大學(xué)計算機學(xué)院副教授、網(wǎng)絡(luò)與安全研究所所長雖然電視劇《狂飆》已經(jīng)迎來了大結(jié)局，但熱度仍然沒有絲毫減弱，有的網(wǎng)友利用劇中人物創(chuàng)作娛樂視頻，也有的網(wǎng)友剪輯其中精彩片段。不過，還有一些“較真”的網(wǎng)友，發(fā)現(xiàn)《狂飆》中的一些人物對話，配音和嘴型對不上，于是便想通過人工智能進行唇語識別，還原最初的劇本情節(jié)。然而，AI讀唇語并非只能被用于破譯“隱藏劇情”。據(jù)統(tǒng)計，我國聽力殘障人口超過2

李 雨 謝胤岑唇語識別主要任務(wù)是基于說話人的視覺圖像序列預(yù)測說話文本，可應(yīng)用在公共場所的無聲聽寫、嘈雜環(huán)境下的語音識別、輔助聽力和公共安全視頻中的關(guān)鍵詞識別等場景，具有較高的應(yīng)用價值[1].人類通過聽覺可輕易識別并理解說話人的話語，然而僅通過觀察說話人的唇部動作很難理解說話人的意圖.人在說話時嘴唇運動幅度不大，一個嘴唇動作不僅可對應(yīng)多個不同的詞，而且每個人說同一個詞的嘴唇動作也存在差異，因此不管對于人類還是計算機，唇語識別任務(wù)都面臨較大挑戰(zhàn)[2].按照識

定教她學(xué)習(xí)發(fā)音和唇語，而不是手語。談到學(xué)習(xí)唇語，江夢南誠懇地說：“練習(xí)唇語相比練習(xí)手語要困難得多。因為聽不到聲音，我就坐在鏡子面前，仔細觀察父母說話時的口型，并模仿父母的發(fā)音。一遍讀不準就來第二遍，第五遍、十遍、一千遍、一萬遍……在日復(fù)一日、年復(fù)一年的無數(shù)次重復(fù)練習(xí)中，我也曾想放棄，是父母的愛和執(zhí)著鼓勵著我，感動著我，我才咬牙堅持了下來。我終于學(xué)會了唇語，能和正常的孩子坐在一起學(xué)習(xí)。唇語為我的生活打開了一扇窗，讓我看到了世界的可愛與美麗?，F(xiàn)在仔細想想，我當

言消隱之處，仍有唇語呢喃不已由嫣紅到殷紅玫瑰從不曾貧血，而我卻為刺所傷月光的撫摸，帶來更多星際疼痛的消息我失眠時數(shù)過的一盞燈，始終亮在我數(shù)過的羊眼中活 著天空仍是活著的半個理由雖然還有大雪在藥一樣下毒雖然大地已將我們掩埋了半截泥土下彼此可相認的部分似乎還在發(fā)芽魔鬼稱它魔鬼，春天喚它春天而它一向羞于說——我也是詩啊……今晨陽臺上的梔子花又活過來了昨晚，我再次扶它起來給它喂了水，順便還喂了你留在我唇上的月色月光落在雪身上月光落在雪身上哪一個先融化呢哪一個融化了

一定的語言特征。唇語識別是融合了計算機視覺、語音識別和自然語言識別等多種技術(shù)的一個課題，目的是解碼說話者嘴唇運動生成的文本。唇語識別具有廣闊的應(yīng)用空間，例如嘈雜環(huán)境中的語音識別、公共場所的靜默聽寫、無聲影視資料處理等。由于計算機視覺任務(wù)的進步，這種自動化應(yīng)用是極具前景的。近年來，至少在數(shù)據(jù)集定義的詞匯量有限的情況下，利用深度學(xué)習(xí)架構(gòu)訓(xùn)練得到的唇讀模型在很大程度上已經(jīng)超過了專業(yè)讀唇者。幾十年來，僅根據(jù)視覺特征來識別說話者所說的內(nèi)容一直是一項挑戰(zhàn)，難點之一就是

算機算力的增強，唇語識別逐漸成為研究熱點。唇語識別是一種通過視覺特征解釋唇部、面部和舌頭的運動來理解語音的技術(shù)，最初由Sumby等[1]在1954年提出，1984年，Illinois大學(xué)[2]建立了第一個唇語識別系統(tǒng)。與其他識別系統(tǒng)（包括人臉識別、指紋識別和手勢識別）相比，唇語識別具有時效性、方便性和直接性的特點。唇語識別涉及模式識別[3-4]、計算機視覺[5]和圖像處理等研究領(lǐng)域。由于其在信息安全[6-7]、語音識別[8-9]和輔助駕駛[10]方面具有應(yīng)

川 750021唇語識別是通過分析一系列唇部運動信息來推斷說話者所說內(nèi)容，涉及模式識別、語音處理、圖像分類和自然語言處理等多個領(lǐng)域[1]，具有廣闊的應(yīng)用前景。早期的唇語識別系統(tǒng)采用人工標注特征作為唇部視覺特征，一系列圖像序列作為模型輸入，此類方法僅保證了下游任務(wù)能進行分類識別，而不考慮獲取特征的有效性，因此下游任務(wù)識別精度通常較低。近年來，隨著人類需求的增加，僅采用圖像序列作為模型輸入的唇語系統(tǒng)獲取的視覺效果遠不能達到人類的期望值，人們開始尋求有效的視覺特

210096)唇語識別是一項通過唇部視覺信息來推斷視頻中語音內(nèi)容的任務(wù)。其在實踐中具有許多關(guān)鍵應(yīng)用，例如輔助提升語音識別性能[1]，活體檢測[2]，改進助聽器等。唇語識別任務(wù)的關(guān)鍵在于如何有效地捕捉唇部運動信息，同時減小由光照條件、頭部姿態(tài)、說話人外表等因素而產(chǎn)生的噪聲。唇語識別任務(wù)存在很多難點和挑戰(zhàn)。首先，不同語句的唇部運動差異極其微小，細粒度特征難以捕捉；其次，不同說話人的語速不同，同一段語句的時長也可能不同，需要解決長短時依賴問題；此外，上下文的冗

臉識別系統(tǒng)中引入唇語識別技術(shù),打造高安全性的身份認證系統(tǒng),以防不法分子的攻擊.1 身份認證相關(guān)研究隨著技術(shù)的發(fā)展,國內(nèi)外出現(xiàn)了大量關(guān)于身份認證方法的研究.廣義上的身份認證在日常生活中十分常見,包括在車站內(nèi)查身份證等其實都是屬于身份認證.計算機領(lǐng)域的身份認證常見的包括基于口令的身份認證和基于生物特征的身份認證等[1,2].文獻[3]中提到了一種基于口令的身份認證方案.該方案提到口令加鹽的方法增強安全性,鹽就是一個字母數(shù)字組合的字符串.數(shù)據(jù)庫中存儲用戶標識us

有更高的準確率。唇語識別技術(shù)能通過唇動視頻序列來理解人說話內(nèi)容的一種技術(shù)。當處于噪聲環(huán)境之下時，語音識別的準確率會有很大的下降，唇動序列能夠幫助我們理解人的說話內(nèi)容。所以唇語識別技術(shù)結(jié)合基于聲學(xué)模型的語音識別技術(shù)，能夠解決噪聲的問題。同時對于人臉活體檢測的問題，我們也能夠通過人臉識別技術(shù)和唇語識別技術(shù)相結(jié)合來解決。人臉識別技術(shù)用于識別進行視頻中人的身份認證，唇語識別技術(shù)用于進行視頻中人的真實性驗證，所以一個高效并且高精度的唇語識別算法是至關(guān)重要的。最先進的

學(xué)習(xí)的快速發(fā)展，唇語識別任務(wù)越來越成為當前學(xué)術(shù)界的研究重點。由于唇語識別任務(wù)的困難性，當前學(xué)界對于唇語識別的研究普遍集中于單詞級別的唇語識別，該任務(wù)是通過一個講話者的一系列嘴唇圖片，來識別出他/她所講的對應(yīng)詞語。當前基于深度學(xué)習(xí)的唇語識別算法大部分以獨熱編碼作為監(jiān)督信號，通過最小化模型輸出與監(jiān)督信號之間的交叉熵來完成訓(xùn)練。這導(dǎo)致唇語識別算法在推理時會遇到如下挑戰(zhàn)：（1）嘴唇運動的多樣性以及講話者不同的發(fā)音習(xí)慣和語速，都會給識別帶來困難，尤其是對于兩個發(fā)音相

及一些竊竊私語的唇語，就像毛毛蟲彼此輕吻的嘴唇一般，細碎通常是這樣的：寂靜總在雪之后到來而雪撲滅灰燼，及慢慢冷下來的熱鬧正以一場喧鬧的寂靜來代替，倘若遠方，黎明，和默不作聲的皮膚所忍受的寂靜是相似的那么簌簌掉落，碰觸指尖的雪花帶來的喧鬧也是寂靜的這不同于以往的寂靜，更類似于聲音線條的熔煉所導(dǎo)致的耳聾聽覺細胞的疼痛更類似于這種寂靜而這種疼痛更傾向于手指筋腱的撕裂以及鈣離子缺失導(dǎo)致的骨骼輕顫而骨骼中積蓄的空隙，便是一場雪喧鬧的典當，雪與雪輕吻，簇擁，同樣保持沉

2019年3月，河南省鹿邑縣鹿邑志成寄讀學(xué)校擴建宿舍樓時，發(fā)現(xiàn)買到的來自山東省棗莊市的25噸水泥存在質(zhì)量問題。面對政府權(quán)威部門出具的水泥“不合格”質(zhì)檢報告，涉事企業(yè)卻不愿賠償。此事經(jīng)媒體曝光后，受到社會廣泛關(guān)注。2019年7月26日，中央電視臺《經(jīng)濟半小時》節(jié)目對此事進行報道。在節(jié)目播出畫面中，當記者采訪問題水泥所在地的市場監(jiān)督管理局干部王濤時，對方先是表態(tài)“不會回答記者的任何問題”，然后面對記者的追問，竟然使出殺手锏———只張嘴不出聲。監(jiān)管人員面對鏡頭“

么她可能就有讀懂唇語的能力，便會知道約根斯先生要去銀行存錢的事。第二天，布朗局長去探訪了那兩位顧客，果然，其中奧布萊恩夫人是聾子，她承認了自己的罪行。她說她讀懂了約根斯先生的唇語。恰好那天著火了，她知道所有人都會去圍觀火災(zāi)，旁邊的巷子會空無一人，所以她躲在一堆箱子后面等著約根斯先生經(jīng)過。約根斯先生走過來的時候，她用一根木棍打暈了他，把錢搶走了?！墩l是那個化裝的接頭者》銀發(fā)看報者年紀很大了，要看清報紙上這么小的字，一般得戴上老花鏡才行。此人沒戴眼鏡，要么是在

么她可能就有讀懂唇語的能力，便會知道約根斯先生要去銀行存錢的事。第二天，布朗局長去探訪了那兩位顧客，果然，其中奧布萊恩夫人是聾子，她承認了自己的罪行。她說她讀懂了約根斯先生的唇語。恰好那天著火了，她知道所有人都會去圍觀火災(zāi)，旁邊的巷子會空無一人，所以她躲在一堆箱子后面等著約根斯先生經(jīng)過。約根斯先生走過來的時候，她用一根木棍打暈了他，把錢搶走了?！墩l是那個化裝的接頭者》銀發(fā)看報者年紀很大了，要看清報紙上這么小的字，一般得戴上老花鏡才行。此人沒戴眼鏡，要么是在

父母決定讓她學(xué)習(xí)唇語和發(fā)音。小女孩在她無聲的世界里，樂觀生活，堅持學(xué)習(xí)。她說：“我從小就是通過摸父母的喉嚨感受聲帶振動學(xué)習(xí)發(fā)音的。如果一個音重復(fù)一千次學(xué)會了，那已經(jīng)算非?？炝恕！彼拿纸薪瓑裟?，2018年的夏天，她通過了清華大學(xué)生命科學(xué)學(xué)院的博士研究生面試。江夢南學(xué)會唇語后，就從特殊學(xué)校轉(zhuǎn)到普通學(xué)校就學(xué)，可是，平日上課時，她不可能看清老師所有的嘴型，更多的時候，她只能靠看板書和自學(xué)來跟上進度。就這樣，江夢南五年級自學(xué)跳級到六年級，接著又以全市第二的成績考

父母決定讓她學(xué)習(xí)唇語和發(fā)音。小女孩在她無聲的世界里，樂觀生活，堅持學(xué)習(xí)。她說：“我從小就是通過摸父母的喉嚨感受聲帶振動學(xué)習(xí)發(fā)音的。如果一個音重復(fù)一千次學(xué)會了，那已經(jīng)算非?？炝恕！彼拿纸薪瓑裟?，2018年的夏天，她通過了清華大學(xué)生命科學(xué)學(xué)院的博士研究生面試。江夢南學(xué)會唇語后，就從特殊學(xué)校轉(zhuǎn)到普通學(xué)校就學(xué)，可是，平日上課時，她不可能看清老師所有的嘴型，更多的時候，她只能靠看板書和自學(xué)來跟上進度。就這樣，江夢南五年級自學(xué)跳級到六年級，接著又以全市第二的成績考

小夢南學(xué)習(xí)發(fā)聲和唇語。父母說話時江夢南會把手放在他們的喉嚨處，感受聲帶的振動學(xué)習(xí)說話，而念拼音的時候，她會認真看他人發(fā)音的唇形，從而辨讀記憶每個音節(jié)的唇形，逐漸再學(xué)習(xí)字詞和語句。雖然生活給予了她許多挑戰(zhàn)，但她卻把這些看成是命運的饋贈。這個優(yōu)秀的女孩說：“上帝雖然給我關(guān)上了門，但是一定會為我在其他的地方打開一扇窗。”靠學(xué)習(xí)唇語、看老師板書和自學(xué)，她不僅高考時以615分的成績考入吉林大學(xué)藥學(xué)院，還多次獲得獎學(xué)金，之后繼續(xù)在吉林大學(xué)攻讀完碩士研究生學(xué)位，并且通過

教授會一種獨特的唇語，就是通過肢體語言、面部表情和口型進行交流。老教授把這種唇語傳給了大牛的父親，父親又傳給了大牛。大牛就是靠唇語，讀懂了李大福的話。警察恍然大悟。沒多久，大牛身懷“絕技”的事傳遍了全廠，這天，大牛正在干活兒，一個工友跑來說：“又有警察找你?！蹦俏痪煨遮w，是刑警隊的隊長。趙隊長說：“大牛先生，聽說你能讀懂唇語，我手里有一個案子，需要你的幫助?！边@是一件盜搶案：一家金店被三名匪徒洗劫，價值上百萬的黃金被搶。匪徒十分狡猾，作案時戴著面具，看不

湃新聞）搜狗推出唇語識別技術(shù)日前，搜狗公司推出了一項人機交互新技術(shù)——唇語識別，該技術(shù)通過機器視覺來識別說話人的唇部動作，從而解讀說話者所說的內(nèi)容。據(jù)悉，唇語識別是一項基于機器視覺與自然語言處理于一體的技術(shù)，研究人員通過復(fù)雜端到端深度神經(jīng)網(wǎng)絡(luò)技術(shù)進行中文唇語序列建模，經(jīng)過真實唇語數(shù)據(jù)訓(xùn)練，最終取得唇語識別效果。在非特定人開放口語測試集上，該項唇語識別系統(tǒng)準確率達到60%以上，超過谷歌發(fā)布的英文唇語系統(tǒng)的50%以上，在垂直場景如車載、智能家居等場景下準確率甚

機交互新技術(shù)——唇語識別，這也是業(yè)內(nèi)首個公開演示的唇語識別系統(tǒng)。通過機器視覺識別，不用聽聲音，僅靠識別說話人唇部動作，就能解讀說話者所說的內(nèi)容。唇語識別是一項基于機器視覺與自然語言處理于一體的技術(shù)，因此在研發(fā)難度上比語音識別大得多。搜狗首創(chuàng)了復(fù)雜端到端深度神經(jīng)網(wǎng)絡(luò)技術(shù)進行中文唇語序列建模，通過數(shù)千小時的真實唇語數(shù)據(jù)訓(xùn)練而成。在非特定人開放口語測試集上，搜狗唇語識別系統(tǒng)已經(jīng)達到60%以上的準確率，超過Google發(fā)布的英文唇語系統(tǒng)50%以上的準確率。在垂直場

實的“中國造”。唇語識別技術(shù)不用出聲，就知道你在說啥！這就是唇語識別技術(shù)的先進之處，唇語識別技術(shù)能從圖像中連續(xù)識別出人臉，判斷并提取正在說話的人口型變化特征，將連續(xù)變化的特征輸入到唇語識別模型中，計算出可能性最大的自然語言語句。在未來萬物互聯(lián)的時代，身份識別將由指紋，人臉等生物識別技術(shù)替代，從而將人們與機器的信任關(guān)系提升一個安全系數(shù)。而唇語識別技術(shù)將在公共安全，軍事情報，身份識別和社會公益等領(lǐng)域中起到重要的作用。柔性顯示屏你能否想象把平時工作用的電腦或手機

教授會一種獨特的唇語，就是通過肢體語言、面部表情和口型進行交流。老教授把這種唇語傳給了大牛的父親，父親又傳給了大牛。大牛就是靠唇語，讀懂了李大福的話。警察恍然大悟。沒多久，大牛身懷“絕技”的事傳遍了全廠。這天，大牛正在干活兒，一個工友跑來說：“又有警察找你?！蹦俏痪煨遮w，是刑警隊的隊長。趙隊長說：“大牛先生，聽說你能讀懂唇語，我手里有一個案子，需要你的幫助?！边@是一件盜搶案：一家金店被三名匪徒洗劫，價值上百萬的黃金被搶。匪徒十分狡猾，作案時戴著面具，看不

給雞拜年”環(huán)?！?span id="j5i0abt0b" class="hl">唇語”文/杜才云背景：朋友圈熱傳“黃鼠狼給雞拜年”專家稱主角并非黃鼠狼，而是“無辜躺槍”的伶鼬。(2017年2月2日中國網(wǎng))在中國傳統(tǒng)文化中，雞是一種身世不凡的靈禽，例如鳳的形象就來源于雞。雞不僅能夠給人類提供湯鮮味美的食品，也是人類忠實的朋友之一，故早期中國祖先將雞作為生肖，排在第十名。在大眾的印象中，雞有一位宿敵，即黃鼠狼，此公因“黃鼠狼給雞拜年，沒安好心”這一句民間諺語得了千古惡名，于是人們看到黃鼠狼就氣不打一處來，有“見黃鼠狼不打三

張潤所不敢叫你水你透明得讓我不敢叫你水水里盛不下這個世界也盛不下這么多純凈你透明得讓我不敢叫你水水會把我沉下去你卻把我浮上來把我浮上來讓我看什么看你明看你滅看你身旁云與霧雨水從枝葉上滴下的雨水都是些私語秘言和我一起傾聽的有泥土、莊稼、石頭和野草如果這雨滴入水中它斷然不會化解雨的本意不是用來灌溉江河雨不知有多少技巧它熱愛的方式更是與眾不同如果你三番五次與它相遇總能感到每場都有每場的主題四面八方都是你有你在 世界就存在我只重復(fù)我自己 重復(fù)日夜都自以為是的心情有

同學(xué),聽說你是‘唇語方面的專家,今天特意約你來,請你把這段‘唇語幫忙給我‘翻譯一下,我就能從這段唇語中了解小雯的心了?！闭f著,馬飛打開電視,畫面是截取的小雯在生日晚宴上“許愿”的那一段場景。何文不眨眼地盯著小雯的嘴唇,反復(fù)看了幾次,這才對馬飛說:“這位女士是這么說的:早日離開黑蛋這個狗東西,回到大偉身邊,是我最大的心愿!愿我心想事成吧。”馬飛頓時臉色慘白,身體搖搖晃晃地要倒下了,何文急忙伸手攙住他:“老同學(xué),你這是怎么了,要緊不?”馬飛喘著粗氣,哆哆嗦嗦地