分詞
- 基于結(jié)巴分詞的領(lǐng)域自適應(yīng)分詞方法研究
049)1 引言分詞作為文本數(shù)據(jù)處理的前期工作,對后續(xù)任務(wù)結(jié)果的好壞起著至關(guān)重要的作用。中文文本相比英文文本要復(fù)雜,英文文本中單詞和單詞之間有空格作為分隔符,而中文文本中最小可分割單位為句子,句子是由字序列組成,但是單個字不代表一個詞語,因此將字序列切分為詞語即分詞,是一個值得研究的問題。中文分詞算法主要分為三種,分別是基于詞典的分詞算法、基于統(tǒng)計的分詞算法和基于語義理解的分詞算法?；谠~典的分詞算法,在分詞前給定詞典,通過將待分詞文本與詞典進行匹配,根據(jù)
計算機仿真 2023年4期2023-06-01
- 智能檢索環(huán)境下語義分詞調(diào)整策略的研究
關(guān)鍵詞等作為語義分詞，然后生成詞典，計算詞向量，得到語義分詞的關(guān)系矩陣，對相關(guān)的文獻根據(jù)關(guān)系矩陣計算相關(guān)度并進行排序。由此可見，語義分詞對于文獻的檢索是非常關(guān)鍵的。一般情況，智能檢索環(huán)境會給出約20個語義分詞以及相關(guān)的權(quán)重，審查員在檢索時可對語義分詞進行增加、刪減和/或更改權(quán)重，以期望更快地得到可用對比文件，然而，語義分詞的調(diào)整方向有很多，如何干預(yù)分詞才能夠更加準確快速地定位對比文件，是值得探討的問題，本研究結(jié)合兩個案例對語義檢索過程中語義分詞調(diào)整的調(diào)整策
河南科技 2022年20期2022-11-23
- 一種新的基于最大概率路徑的中文分詞*
行分析，那么中文分詞就成為了最重要的一部分。中文分詞的任務(wù)是將整個句子在不改變語義的前提下切分成一個個單詞。例如，可以將“失敗是成功之母”切分為“失敗/是/成功/之/母”。不同于英文的是，英文可以用空格符自然的將一句話切分成一個個單詞，而中文并沒有這樣自然的符號。因此，在文本分析，信息匹配，計算文本相似度等自然語言處理的范疇上，中文分詞是必不可少的一部分。為了提高中文分詞的速度，本文提出了一種新的求解最大概率路徑的方法，將這種方法應(yīng)用至中文分詞，并將基于該
計算機與數(shù)字工程 2022年3期2022-04-07
- 附著分詞作狀語，六種語義大用處
銳一、寫作中的“分詞結(jié)構(gòu)不能少”在一線寫作教學(xué)實踐中，有的老師將自己的教學(xué)智慧凝聚為以下口訣：肯定不如雙否好，陳述不如倒裝妙;主動不如被動巧，分詞結(jié)構(gòu)不能少。從應(yīng)試的角度來看，這句口訣是有一定道理的。為什么“分詞結(jié)構(gòu)不能少”？首先，它能讓句子簡潔。例如，“When I know that our library is going to buy some books， Id like to give some suggestions.”可以直接簡化為“Kno
求學(xué)·理科版 2021年12期2021-11-29
- 一種面向電力的智能分詞方法
其基礎(chǔ)的各種中文分詞算法的應(yīng)用越來越成熟和廣泛。目前主流的中文分詞方法很多，算法也各不相同。但成功將分詞方法應(yīng)用于電網(wǎng)調(diào)度的案例很少，這一方面是由于電網(wǎng)信息系統(tǒng)的安全要求很高，不能直接連接到信息外網(wǎng)，導(dǎo)致很多依賴于互聯(lián)網(wǎng)的分詞算法無法得到應(yīng)用；另一方面是因為電網(wǎng)調(diào)度中所使用到的很多電力詞匯、設(shè)備命名無法被大眾化的分詞算法所解析。1 主流中文分詞方法1.1 主流中文分詞現(xiàn)狀中文分詞技術(shù)屬于自然語言處理技術(shù)范疇，目前主流的中文分詞方法主要包括三種：基于規(guī)則的分
電力設(shè)備管理 2021年8期2021-09-11
- 中文分詞研究綜述
語言處理的發(fā)展，分詞作為基礎(chǔ)任務(wù)成為研究重點，中文因其復(fù)雜性和特殊性成為分詞熱點話題。中國知網(wǎng)和Web of Science 的相關(guān)論文顯示，自2010 年分詞研究達到小高峰后，中文分詞研究熱度再次緩步增長，見圖1、圖2。但是，作為自然語言處理的基礎(chǔ)任務(wù)，分詞究竟有沒有必要，Li 等［1］在2019 年ACL 會議上提出此觀點，并在機器翻譯、文本分類、句子匹配和語言建模4 個NLP任務(wù)上驗證分詞的非必要性，但這并不說明分詞研究不再有意義。詞級別模型欠佳表現(xiàn)
軟件導(dǎo)刊 2021年4期2021-04-23
- 分詞在英語教學(xué)中的妙用
生在學(xué)習(xí)過程中對分詞的理解與運用存在著誤區(qū)與偏差，特別是對分詞的時態(tài)、語態(tài)以及分詞的語法功能掌握的不系統(tǒng)、不全面，從而在英語的閱讀與寫作中出現(xiàn)諸多誤解、誤判與誤用，故特撰此文，以便同仁商榷討論，批評指正。【關(guān)鍵詞】邏輯主語;功能從句【作者簡介】何小茹（1966.09-），女，漢族，甘肅省天水市天水郡小學(xué)，研究方向：小學(xué)英語教學(xué)工作。一、分詞的概念分詞是一種獨立于謂語動詞之外，與句中主語存在著密切關(guān)系的動作現(xiàn)象，它既有自己的主語，也有自己的賓語（及物動詞的分
校園英語·月末 2021年13期2021-03-15
- 妙用分詞作狀語，扮靚英語作文
主動不如被動巧，分詞結(jié)構(gòu)不能少。這些智慧的總結(jié)，在教師指導(dǎo)學(xué)生的基礎(chǔ)寫作、應(yīng)對考場作文等方面不無道理。例如：在考場寫作中，倘若能使用分詞結(jié)構(gòu)，定會使自己的作文亮點明顯，與眾不同。分詞結(jié)構(gòu)的作用有多種，例如作定語、賓語補足語以及狀語。本文所聚焦的是分詞作狀語這一用法。一、分詞作狀語的功能分詞作狀語之所以不能少，是因為分詞作狀語的獨特功能。概而言之，分詞作狀語的功能有以下三點：1.句子簡潔簡潔是智慧的靈魂，冗長是膚淺的藻飾。英語書面語言忌啰嗦，忌反復(fù)。試讀下面
教學(xué)考試(高考英語) 2020年1期2020-11-17
- 中學(xué)英語“現(xiàn)在分詞”用法歸納及難點突破
）引 言英語中的分詞既具有形容詞和副詞的功能，又具有動詞的特點，用途較為廣泛，在句子中可以作狀語、表語、定語、賓語補足語等[1]。從時間上來劃分，分詞可以分為現(xiàn)在分詞和過去分詞，也就是動詞的ing 形式和ed 形式，本文主要對現(xiàn)在分詞的用法進行了分析和探討。一、現(xiàn)在分詞的構(gòu)成現(xiàn)在分詞由動詞原形后加-ing 構(gòu)成，有以下四種形式。（1）在動詞原形后直接加-ing,如work →working，start →starting，build →building，t
名師在線 2019年5期2019-11-26
- 分詞做狀語的概念解析
艷紅非謂語動詞之分詞做狀語是必考考點，本文主要對分詞的基本概念和狀語功能進行梳理總結(jié)。一、5個分詞的基本概念1.doing： 現(xiàn)在分詞 一般式 主動語態(tài)2.being done： 現(xiàn)在分詞一般式 被動語態(tài)3.having done： 現(xiàn)在分詞 完成式 主動語態(tài)4.having been done：現(xiàn)在分詞 完成式 被動語態(tài)5.done ：過去分詞二、解析概念1.doing ----- 表示分詞的動作：①正在進行；②與謂語動詞的動作同時發(fā)生；③相關(guān)名詞與do
新教育時代·教師版 2019年26期2019-07-19
- 基于詞性標注與分詞消歧的中文分詞方法
載體[5].中文分詞是中文信息處理的前提和基礎(chǔ)，其算法的精度和效果直接影響中文信息處理技術(shù)后續(xù)工作的實用性與有效性.在英文中，詞與詞之間皆有空格相隔，而中文文本是連續(xù)的字串，詞語之間沒有明顯分隔符，詞語的邊界難以確定；此外，由于漢語一直沒有一個統(tǒng)一的構(gòu)詞標準，故造成中文的分詞歧義繁多.如何提高中文分詞精度，解決分詞歧義問題和未登錄詞的識別問題，成為廣大學(xué)者研究的熱點.目前，中文分詞方法大體分為三類方向：基于語義理解、基于詞典，以及基于統(tǒng)計的分詞方法.基于語
廣州大學(xué)學(xué)報（自然科學(xué)版） 2019年5期2019-05-27
- 基于最大匹配算法的似然導(dǎo)向中文分詞方法
供決策支持。中文分詞作為中文信息處理的基礎(chǔ)環(huán)節(jié)，分詞準確率的高低將直接影響中文文本數(shù)據(jù)挖掘的效果[1]。中文分詞技術(shù)具有非常廣闊的應(yīng)用前景，已得到廣泛關(guān)注。因自然語言的模糊性和復(fù)雜性加大了中文分詞的難度，而高準確度的中文分詞方法對輿情分析[2]、信息推薦以及市場營銷等領(lǐng)域的中文文本數(shù)據(jù)挖掘，具有重要意義[3-4]。目前，常用的中文分詞方法可以劃分為兩類：基于規(guī)則的分詞方法和基于統(tǒng)計的分詞方法[5]，其中最大匹配算法(Maximum Match)是最常用的基
統(tǒng)計與信息論壇 2019年3期2019-03-13
- 中文分詞算法在搜索引擎應(yīng)用中的研究
0）1 引言中文分詞作為機器翻譯、文本分類、主題詞提取、信息檢索的基礎(chǔ)環(huán)解鎖，在近些年來技術(shù)的發(fā)展以及中文相關(guān)算法中也逐漸受到人們的重視。在搜索引擎技術(shù)的逐漸應(yīng)用推廣過程中通過將搜索引擎和中文信息處理相應(yīng)技術(shù)結(jié)合在一起，從而進一步推動全文搜索和中文分詞技術(shù)的研究，有越來越多優(yōu)秀的中文分詞算法出現(xiàn)，并應(yīng)用到搜索引擎中，更好地實現(xiàn)關(guān)鍵字準確搜索[1]。2 中文分詞技術(shù)在對中文分詞技術(shù)進行分析過程中，目前可以從應(yīng)用上將其分為基于字符串匹配的分詞技術(shù)、基于統(tǒng)計的分
中小企業(yè)管理與科技 2019年3期2019-01-28
- 中文分詞算法研究綜述
的需求信息.中文分詞是中文信息處理技術(shù)的基礎(chǔ)和前提，其實現(xiàn)算法的好壞直接影響中文信息處理技術(shù)的可靠性和實用性[5].相比于英文分詞，中文分詞要復(fù)雜很多.中文句子中的詞由多個獨立的漢字組成并且字與字之間沒有任何分割標記符，此外，漢字的開放性使得中文分詞難有一個統(tǒng)一的構(gòu)詞標準，由此造成中文分詞的歧義繁多.如何提高中文分詞的正確率，盡可能地解決歧義消除和未登錄詞識別問題，已經(jīng)成為廣大學(xué)者的關(guān)注熱點.1 中文分詞的兩大瓶頸1.1 歧義消除在中文分詞中，如果一個待切
成組技術(shù)與生產(chǎn)現(xiàn)代化 2018年3期2019-01-17
- 最大概率分詞方法研究
房敏摘要：最大分詞方法是一種基于統(tǒng)計的分詞方法，一個待分割的字符串有多種分詞結(jié)果，最大概率分詞的原則是將其中可能性的最大的那個詞語作為該字符串的分詞結(jié)果。本文主要圍繞最大概率分詞法，詳述了最大分詞法的算法思想，并且對算法的性能進行分析。1 現(xiàn)有分詞方法概述漢字的表達式以字為單位的，但是在自然語言處理中，詞是最小的，有意義的語言成分。中文分詞就是將沒有分割標志的字符串轉(zhuǎn)化為具有實際意義的詞串。由于漢字自動分詞在文本分類，信息檢索，信息過濾，文獻自動標引，摘要
科學(xué)與財富 2018年18期2018-08-09
- v—ing考點探究
高考試題看，現(xiàn)在分詞的考點分布在語法填空和短文改錯這兩大題型中，主要涉及現(xiàn)在分詞作狀語、定語、表語和賓語補足語；動名詞的考點主要涉及動名詞作賓語；以及在句式中謂語動詞與非謂語動詞的形式錯誤。[用法]現(xiàn)在分詞一般式的主動語態(tài)（doing）表示主動含義和動作正在進行，在句中可作狀語、定語和賓語補足語；一般式的被動語態(tài)（being done）表示被動含義和動作正在進行，在句中作定語和賓語補足語，通常不用這個結(jié)構(gòu)作狀語；現(xiàn)在分詞完成式主動語態(tài)（having don
高中生學(xué)習(xí)·高三版 2017年12期2018-01-29
- v—ing 考點探究
高考試題看，現(xiàn)在分詞的考點分布在語法填空和短文改錯這兩大題型中，主要涉及現(xiàn)在分詞作狀語、定語、表語和賓語補足語；動名詞的考點主要涉及動名詞作賓語；以及在句式中謂語動詞與非謂語動詞的形式錯誤。[用法]現(xiàn)在分詞一般式的主動語態(tài)（doing）表示主動含義和動作正在進行，在句中可作狀語、定語和賓語補足語；一般式的被動語態(tài)（being done）表示被動含義和動作正在進行，在句中作定語和賓語補足語，通常不用這個結(jié)構(gòu)作狀語；現(xiàn)在分詞完成式主動語態(tài)（having don
高中生學(xué)習(xí)·高二版 2017年12期2018-01-27
- 淺談分詞的特殊用法
蕾摘要：英語中的分詞是一種非?；钴S的非謂語動詞形式，它的用法廣泛、靈活、復(fù)雜、多變，與之相關(guān)聯(lián)的問題較多。這一內(nèi)容是高中英語教學(xué)的重難點。如何能讓學(xué)生更好更快地掌握這部分內(nèi)容對師生雙方都是棘手的問題。通過多年的教學(xué)體會，我認為，首先學(xué)生要熟練掌握分詞用法的基本規(guī)律，尤其是分詞與其邏輯主語之間的關(guān)系。其次教師可采用歸納法分類總結(jié)實用的語法考點，同時運用類比法、轉(zhuǎn)換法對比語言實際運用中的差異，通過相似性及相異性的對比加深學(xué)生對知識點的理解與記憶。分詞的基礎(chǔ)用法
考試周刊 2017年32期2017-12-27
- 淺談分詞的特殊用法
汪蕾英語中的分詞是一種非常活躍的非謂語動詞形式，它的用法廣泛、靈活、復(fù)雜、多變，與之相關(guān)聯(lián)的問題較多。這一內(nèi)容是高中英語教學(xué)的重難點。如何能讓學(xué)生更好更快地掌握這部分內(nèi)容對師生雙方都是棘手的問題。通過多年的教學(xué)體會，我認為，首先學(xué)生要熟練掌握分詞用法的基本規(guī)律，尤其是分詞與其邏輯主語之間的關(guān)系。其次教師可采用歸納法分類總結(jié)實用的語法考點，同時運用類比法、轉(zhuǎn)換法對比語言實際運用中的差異，通過相似性及相異性的對比加深學(xué)生對知識點的理解與記憶。分詞的基礎(chǔ)用法在教
中學(xué)生英語·外語教學(xué)與研究 2017年10期2017-11-16
- 淺析分詞形容詞的理解誤區(qū)
0）[摘 要] 分詞形容詞在英語學(xué)習(xí)中向來是一個重點，其中現(xiàn)在分詞形容詞與過去分詞形容詞的不同用法的辨析尤其是一個難點。很大一部分人對上述兩種分詞形容詞作用的理解存在著不小的誤區(qū)，淺析這種普遍存在的理解誤區(qū)。[關(guān) 鍵 詞] 分詞形容詞；分類；用法差異；理解誤區(qū)[中圖分類號] G712 [文獻標志碼] A [文章編號] 2096-0603（2017）03-0151-01在英語中，由于分詞與形容詞一樣可被用來修飾名詞，許多分詞（包括現(xiàn)在分詞和過去分詞）已經(jīng)轉(zhuǎn)化
現(xiàn)代職業(yè)教育·職業(yè)培訓(xùn) 2017年1期2017-07-09
- MMSEG算法與統(tǒng)計方法結(jié)合的中文分詞模型研究
理之前都必須進行分詞的處理。分詞需要高效、準確的算法。目前常見的分詞模型有基于機械式的字符串匹配、基于字符串的統(tǒng)計頻率、基于自然語言語法語義的理解等。其中基于規(guī)則的分詞方法如最大匹配法（MM）及其各種變體，因為規(guī)則覆蓋率不高和規(guī)則的主觀性較強，準確率有所不足[1]。常見的基于統(tǒng)計的模型如N-gram、隱馬爾可夫模型（HMM）、最大熵馬爾可夫模型（MEMM）和條件隨機場（CRF）等分詞方法過于依賴訓(xùn)練語料庫，分詞效率較低，同時在分詞過程中忽視了漢語的句法、語
嶺南學(xué)術(shù)研究 2017年1期2017-07-02
- 常用中文分詞軟件在中醫(yī)文本文獻研究領(lǐng)域的適用性研究＊
061）常用中文分詞軟件在中醫(yī)文本文獻研究領(lǐng)域的適用性研究＊楊海豐1，陳明亮1，趙臻1,2＊＊（1.湖北中醫(yī)藥大學(xué)信息工程學(xué)院武漢430065；2.湖北中醫(yī)藥大學(xué)針灸治未病湖北省協(xié)同創(chuàng)新中心武漢430061）目的：評價常見中文分詞軟件在中醫(yī)文獻研究領(lǐng)域的適用性，提出研發(fā)中醫(yī)文本分詞專用軟件的思路。方法：安裝和操作常見中文分詞軟件，運用中醫(yī)文本樣本進行分詞實驗，比較不同中文分詞軟件分詞準確性、分詞速度、易操作性、可靠性、可擴展性、可移植性等性能。結(jié)果：中文分
- 霍金也犯語法錯誤？
一句話出現(xiàn)了垂懸分詞的情況，下面筆者來詳述這一問題。垂懸分詞1. Growing up， my parents placed a high value on education and I am grateful for the limitless opportunities provided by my studies.解析：我們看到，句首的短語growing up是一個現(xiàn)在分詞短語。一般來說，放在句首的分詞短語的動作發(fā)出者，即分詞的邏輯主語，應(yīng)該與句子
新東方英語 2016年8期2016-08-04
- 形容詞ing和ed形式的區(qū)別及主被動用法
有很多以-ing分詞和-ed分詞結(jié)尾的詞，可以用作名詞修飾語，構(gòu)成形容詞。例如：由-ing分詞轉(zhuǎn)化來的形容詞：alarming，amusing，annoying，boring，changing，charming...由-ed分詞轉(zhuǎn)化來的形容詞：alarmed，amused，annoyed，bored，educated，unknown...一般而言，由-ing分詞轉(zhuǎn)化來的形容詞通常帶有主動意義，由-ed分詞轉(zhuǎn)化來的形容詞則帶有被動意義。如：（1） an in
家教世界·創(chuàng)新閱讀 2016年9期2016-05-14
- 淺談幾個高中英語語法難點的用法及相互聯(lián)系
狀語從句、省略、分詞作狀語等都是語法難點，學(xué)生難以理解。下面從人教版教材Unit3 Book8中reading（L60 P3）句子：More people from all over the world，attracted by the climate and lifestyle，will still immigrate to California入手，淺析這幾個語法難點的用法和相互關(guān)聯(lián)。1. More people from all over the w
校園英語·上旬 2016年6期2016-05-14
- 選用分詞并不難 弄清邏輯是關(guān)鍵
山東 籍萬杰選用分詞并不難 弄清邏輯是關(guān)鍵山東 籍萬杰語法填空和短文改錯經(jīng)?？疾槭褂矛F(xiàn)在分詞還是過去分詞的問題。有些同學(xué)對此搞不清楚，經(jīng)?；煜?。其實，同學(xué)們只要弄清現(xiàn)在分詞和過去分詞所表示的時態(tài)和語態(tài)意義，并且知道在選用分詞時關(guān)鍵要看分詞與其邏輯主語之間的關(guān)系，問題便可迎刃而解?，F(xiàn)在分詞表示“主動和進行”，過去分詞表示“被動和完成”。如果構(gòu)成分詞的動詞與其邏輯主語之間是主謂關(guān)系，就選用表示主動意義的現(xiàn)在分詞；若構(gòu)成分詞的動詞與其邏輯主語之間是動賓關(guān)系，則選
教學(xué)考試(高考英語) 2016年5期2016-04-09
- 分詞作定語的漢譯方法—以《美韓自由貿(mào)易協(xié)定》為例
201620）分詞作定語的漢譯方法—以《美韓自由貿(mào)易協(xié)定》為例戴曉杭（上海對外經(jīng)貿(mào)大學(xué) 國際商務(wù)外語學(xué)院，上海 201620）法律英語語言嚴謹、邏輯清晰、表達準確。而法律英語中分詞作定語的情況非常常見，也是翻譯的一個難點，故本文主要介紹了法律英語分詞作定語的翻譯方法，以求對掌握法律英語的翻譯有某些啟示。美韓自由貿(mào)易協(xié)定；分詞定語；過去分詞；現(xiàn)在分詞；后置0 引言英語分詞有現(xiàn)在分詞和過去分詞兩種，他們兼有形容詞、副詞和動詞的特征?，F(xiàn)在分詞和過去分詞都可以當
現(xiàn)代鹽化工 2016年3期2016-02-21
- 淺析中文分詞方法
沈靜?淺析中文分詞方法沈靜(漳州職業(yè)技術(shù)學(xué)院計算機工程系，福建漳州363000)中文分詞是中文文本挖掘和信息處理的基礎(chǔ)環(huán)節(jié)，而中文文本挖掘首先面臨的是中文的分詞問題。中文分詞的方法主要有基于字符串匹配的分詞方法、基于統(tǒng)計的分詞方法和基于理解的分詞方法三種，第一種分詞方法簡單、快捷，但對詞典的完備性要求很高；第二種充分利用文本信息，但完備性較差；第三種還處于理論研究階段。本文對現(xiàn)有的三種中文分詞方法進行了研究和對比。中文分詞; 文本挖掘; 歧義切分1 概述中
漳州職業(yè)技術(shù)學(xué)院學(xué)報 2016年3期2016-02-16
- 英語中的垂懸分詞
據(jù)“依著法則”，分詞的邏輯主語需要出現(xiàn)在該分詞所在的句子當中，比如用作狀語的分詞的邏輯主語通常是其所在句子的主語，但有時分詞在句子中找不到它的邏輯主語，就形成了所謂的“垂懸分詞”（亦稱“無依著分詞”）。垂懸分詞從起源上來說，是語言的錯誤使用，但迄今卻廣泛應(yīng)用于避免使用人稱主語的科技語體中，而且有些垂懸分詞經(jīng)過語法演化，已經(jīng)成為正確的用法。并日?；恕Ｏ挛膶ΤＲ姷拇箲?span id="j5i0abt0b" class="hl">分詞用法作一簡述。虛化為介詞的垂懸分詞這類分詞主要有：表示話題引入的coming to，sp
高中生學(xué)習(xí)·高二版 2015年4期2015-08-04
- 高中英語課堂教學(xué)非謂語動詞中分詞做狀語講解“入門”之我見
考的考察重點。而分詞又是非謂語動詞中比較重要的一塊。在百度上，分詞是這樣定義的：分詞就是具有動詞形容詞二者特征的詞，尤指以-ing或-ed,-d,-t,-en或-n結(jié)尾的英語動詞性形容詞，具有形容詞功能，同時又表現(xiàn)各種動詞性特點，如時態(tài)、語態(tài)、帶狀語性修飾語的性能及帶賓詞的性能。分詞分為現(xiàn)在分詞和過去分詞兩種，是一種非謂語動詞形式?，F(xiàn)在分詞和過去分詞主要差別在于：現(xiàn)在分詞表示“主動和進行”，過去分詞表示“被動和完成”（不及物動詞的過去分詞不表示被動，只表示
衛(wèi)星電視與寬帶多媒體 2015年6期2015-03-18
- 基于Lucene的中文分詞算法研究與實現(xiàn)
ucene的中文分詞算法研究與實現(xiàn)徐有健（華南理工大學(xué)，廣東廣州，510006）本文重點研究了如何改進中文分詞算法，并根據(jù)新的中文算法，設(shè)計出可以滿足Hadoop文件系統(tǒng)可視化文件搜索引擎研究的中文分析器MyAnalyzer。lucene；Hadoop；搜索；中文分詞1 研究背景作為中文信息處理的基礎(chǔ)，中文分詞分析器的效率和準確度對搜索引擎研究至關(guān)重要。中文分詞的準確性會直接影響到中文搜索引擎的準確率和工作效率。目前，中文搜索引擎技術(shù)比西文搜索引擎技術(shù)落后
電子測試 2014年24期2014-02-22
- 抓住重難點，突破現(xiàn)在分詞作狀語
倪曼麗 李可現(xiàn)在分詞是非謂語動詞的一種，它可以做定語、賓語補足語和狀語，本文不做長篇大論，只跟同學(xué)們談?wù)勂渲械默F(xiàn)在分詞作狀語。一、現(xiàn)在分詞作狀語可以與狀語從句之間互相轉(zhuǎn)化現(xiàn)在分詞作狀語，句子的主語一般就是其邏輯主語，表示時間、條件、原因等，通常放在句首，中間用逗號與主句隔開，可轉(zhuǎn)化為if， unless， when， while， after， as， since， because等引導(dǎo)的狀語從句；表示伴隨情況、結(jié)果時通常放在句末，可轉(zhuǎn)化為并列句；表示方式
高中生學(xué)習(xí)·高二版 2014年1期2014-02-14
- 基于條件隨機場的藏語自動分詞方法研究與實現(xiàn)
等語言共同遇到的分詞問題。在現(xiàn)代藏語中音節(jié)之間的分隔符存在省略現(xiàn)象，從而形成了緊縮詞。緊縮詞在藏語文本中出現(xiàn)的頻率非常高，大約30%左右的詞匯中會有緊縮詞現(xiàn)象，這些詞的識別是藏語分詞中的重點和難點。開展藏語分詞技術(shù)的研究，對于藏語信息處理、信息檢索以及藏語與其他語言之間的機器翻譯都具有很重要的應(yīng)用價值。1999年，扎西次仁所發(fā)表的“一個人機互助的藏文分詞和詞登錄系統(tǒng)的設(shè)計”可以看作是藏語分詞研究開始的標志［2］。2002年，陳玉忠等人根據(jù)藏文的字、詞、句切
中文信息學(xué)報 2013年4期2013-10-15
- 適用于特定領(lǐng)域機器翻譯的漢語分詞方法
出現(xiàn)使得已有漢語分詞系統(tǒng)的性能下降。關(guān)于領(lǐng)域變化對漢語分詞系統(tǒng)性能的影響程度，我們在前期工作中進行了評測。在新聞?wù)Z料上訓(xùn)練的漢語分詞系統(tǒng)，在同樣領(lǐng)域的測試數(shù)據(jù)上的召回率和準確率分別為98.02%和97.21%，而在科技文獻語料上評測時，召回率和準確率分別下降到86.05%和81.83%[1]。同時，特定領(lǐng)域中標注語料的缺乏使得有監(jiān)督的漢語分詞方法難以發(fā)揮其威力。漢語分詞性能的下降表現(xiàn)在兩個方面： 漢語分詞粒度的不合理和錯誤的分詞結(jié)果。漢語分詞粒度過大或過小
中文信息學(xué)報 2013年5期2013-04-23
- 一種適用于機器翻譯的漢語分詞方法
要對中文句子進行分詞，以適應(yīng)詞對齊的需求。目前學(xué)術(shù)界對中文分詞的研究已經(jīng)取得了很大進展，從單語角度提出的衡量分詞質(zhì)量的F-score已經(jīng)達到一個較高的水平，并且存在許多成熟的中文分詞模型和工具可供使用。然而，已有研究表明，衡量單語分詞質(zhì)量的F-score與機器翻譯系統(tǒng)的質(zhì)量之間并無明顯關(guān)聯(lián)[1-2]，即從單語角度而言最優(yōu)的分詞結(jié)果對機器翻譯而言未必是最合適的。因此，尋找更適合于統(tǒng)計機器翻譯的中文分詞方法，已經(jīng)成為漢語相關(guān)的統(tǒng)計機器翻譯研究工作中的一個新方向
中文信息學(xué)報 2012年3期2012-06-29
- 信息處理用藏文分詞單位研究
0)1 引言藏文分詞是藏文信息處理中一項不可缺少的基礎(chǔ)性工作。從基本的輸入系統(tǒng)，到文字處理，無處不滲透著分詞系統(tǒng)的應(yīng)用，所以藏文分詞作為藏文信息處理系統(tǒng)的基礎(chǔ)，有著極其廣泛的應(yīng)用前景。藏文分詞的研究從1999年中國藏學(xué)研究中心扎西次仁所著的《一個人機互助的藏文分詞和詞登陸系統(tǒng)的設(shè)計》[1]算起已有十多年的時間了，其間不管是對其應(yīng)用還是理論都做過很多的研究。2002年2月，陳玉忠等人分析了藏文文本的規(guī)則分詞、格助詞分詞以及切分難點的基礎(chǔ)上，根據(jù)藏文的字、詞、
中文信息學(xué)報 2010年3期2010-06-04
- Nutch中文分詞的設(shè)計與實現(xiàn)
技術(shù)之一就是中文分詞.現(xiàn)有的分詞算法分為三大類：基于字符串匹配的分詞方法、基于統(tǒng)計的分詞方法和基于理解的分詞方法[3].其中,基于字符串匹配的分詞方法,又稱為機械分詞方法,它具有分詞效率高、算法實現(xiàn)簡單的特點.這種分詞方法可以分為正向匹配和逆向匹配.其中最常用的是正向最大匹配和逆向最大匹配.基于統(tǒng)計的分詞方法按照文本中字串出現(xiàn)的頻率進行統(tǒng)計,這種方法雖能有效地識別新詞,但效率沒有機械分詞方法高,并且對常用詞的識別精度差、開銷大.基于理解的分詞方法是通過讓計
河北北方學(xué)院學(xué)報（自然科學(xué)版） 2010年4期2010-01-18
- 談現(xiàn)在分詞與動名詞之別
許多語法書對現(xiàn)在分詞和動名詞各有說法,有些則直接將它們稱為“-ing分詞”。我總覺得如此稱呼未免太過于隨便和馬虎,故此我借此文來談?wù)勎覀€人的一些看法,還動名詞一個“名分”,替它說幾句公道話。關(guān)鍵詞:動名詞 分詞 形式 來源 區(qū)別 討論 情形 背景 性質(zhì)動名詞和現(xiàn)在分詞一樣,它們都是在動詞后加“-ing”構(gòu)成的一種形式,都是屬于非限定動詞所要學(xué)習(xí)的部分,這是誰都無法改變的事實?？墒侨绻紝⑺鼈兎Q作“-ing分詞”,那動名詞豈不是不必再列進動詞非限定用法里學(xué)
新課程·中旬 2009年16期2009-10-27
- 雖是分詞形，卻表從句意
高考英語試題中，分詞短語與從句的考查比較頻繁。大家都知道分詞短語可以在句中作定語、狀語、賓補和表語，但你知道這時的分詞短語可以與從句相互轉(zhuǎn)化嗎？下面就一般情況下分詞短語在句中作定語或狀語時與從句的轉(zhuǎn)化進行介紹。一、作定語的分詞短語與定語從句的轉(zhuǎn)化。1．現(xiàn)在分詞短語作定語時，一般都放在所修飾的名詞或代詞的后面，我們可以用定語從句來轉(zhuǎn)換，這時在意思上和一個定語從句沒有區(qū)別。I dont know the person talking with my Engli
中學(xué)課程輔導(dǎo)·高考版 2009年9期2009-09-10
- 高考熱點追蹤——分詞用法淺談
銘在英語學(xué)習(xí)中，分詞是一個相當重要的語法內(nèi)容。作為非謂語動詞，它也是高考年年必考的"重頭戲"。但是從學(xué)生的答題情況來看，結(jié)果卻不容樂觀。針對這種情況，本人在這里略做淺談，希望能對同學(xué)們的學(xué)習(xí)有所幫助。首先，分清現(xiàn)在分詞與過去分詞的區(qū)別是決定用何種詞形的重要依據(jù)。下面我們且先來看看這兩種分詞形式的區(qū)別：現(xiàn)在分詞:1）現(xiàn)在分詞和與其相關(guān)的名詞或代詞構(gòu)成一種"主謂關(guān)系"，即"主動態(tài)"。與現(xiàn)在分詞相關(guān)的名詞或代詞要依分詞在句中擔(dān)當成分的不同而不同。如：分詞若在句中
新校園·中旬刊 2009年4期2009-06-29
- 高中階段出現(xiàn)的英語懸垂分詞
詞的教學(xué)中，講到分詞時，教師都會強調(diào)分詞和分詞短語在句子中充當狀語時，其邏輯主語必須要與句子主語一致，如：①The teacher came in， holding a flower in her left hand.其中holding的邏輯主語是句子的主語the teacher。而當分詞和分詞短語的邏輯主語與句子的主語不一致的時候，要加入它們自己的主語，如：②He rushed into the room， his face covered with s
黑龍江教育·中學(xué) 2009年5期2009-06-08
- 分詞邏輯主語的理解與應(yīng)用
陳根花一、分詞邏輯主語的理解分詞屬于非謂語動詞，不能單獨用作謂語，所以從語法角度看，它沒有真正意義上的主語。但是，根據(jù)句子語境的需要，分詞也可以帶有自己的主語，以表明動作的執(zhí)行者是誰。這個具體表明動作執(zhí)行者的主語，就叫分詞的邏輯主語。如：注：本文中所涉及到的圖表、注解、公式等內(nèi)容請以PDF格式閱讀原文
第二課堂(課外活動版) 2009年1期2009-02-19
- 現(xiàn)在分詞與過去分詞的主要區(qū)別在哪里？
葉陳友現(xiàn)在分詞和過去分詞主要的區(qū)別表現(xiàn)在語態(tài)和時間關(guān)系上。筆者想結(jié)合分詞在定語、補語、狀語及獨立主格結(jié)構(gòu)中的用法談?wù)劕F(xiàn)在分詞與過去分詞的主要區(qū)別。一、現(xiàn)在分詞與過去分詞當定語現(xiàn)在分詞與過去分詞當定語的區(qū)別首先表現(xiàn)在被修飾詞與現(xiàn)在分詞之間是主動關(guān)系，過去分詞當定語時被修飾的詞與分詞之間則是被動關(guān)系。單個分詞作定語通常置于被修飾詞之前，分詞短語則要后置。例如：The president made an inspiring speech(= which was
中學(xué)生英語高中綜合天地 2008年7期2008-09-27
- 現(xiàn)在分詞與動名詞考點透析
分為動名詞與現(xiàn)在分詞。動名詞主要在句中作主語、賓語或表語。而現(xiàn)在分詞主要在句中作定語、表語或狀語。一、現(xiàn)在分詞現(xiàn)在分詞的時態(tài)與語態(tài)：1．現(xiàn)在分詞的主動式。當句子的主語是分詞動作的執(zhí)行者，若與謂語動詞所表示的動作同時發(fā)生或幾乎同時發(fā)生，則用現(xiàn)在分詞一般式的主動式；如果分詞所表示的動作發(fā)生在謂語動作之前，則用現(xiàn)在分詞的完成式。_______that she didnt do a good job, I dont think I am abler than he
中學(xué)生英語高中綜合天地 2008年5期2008-05-21