專利名稱：用于外語(yǔ)學(xué)習(xí)的設(shè)備和方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于外語(yǔ)學(xué)習(xí)的設(shè)備和方法。
背景技術(shù)：
通常，用于外語(yǔ)會(huì)話教學(xué)的最有效方法是使母語(yǔ)教師和學(xué)生彼此進(jìn)行一対一的交談。然而，由于這種方法需要大量開(kāi)銷，故對(duì)于許多學(xué)生來(lái)說(shuō)，難以從這種教學(xué)中獲益。最近，已經(jīng)對(duì)使用能夠代替母語(yǔ)教師的人工智能自然語(yǔ)言處理技術(shù)的基于語(yǔ)音的自然語(yǔ)言會(huì)話系統(tǒng)積極地展開(kāi)了大量研究。然而，大多數(shù)現(xiàn)有語(yǔ)音識(shí)別裝置都是針對(duì)母語(yǔ)者開(kāi)發(fā)的。因此，當(dāng)語(yǔ)音識(shí)別裝置被用于非母語(yǔ)者的語(yǔ)音識(shí)別時(shí)，它們表現(xiàn)出非常低的識(shí)別性能。因?yàn)檎Z(yǔ)音識(shí)別的技術(shù)瓶頸，事實(shí)上學(xué)習(xí)者無(wú)法自由地輸入發(fā)言。因此，針對(duì)外語(yǔ)學(xué)習(xí)的當(dāng)前會(huì)話系統(tǒng)中的大多數(shù)都在基于情境的有限方式下被利用。然而，根據(jù)外語(yǔ)學(xué)習(xí)理論，已知的是學(xué)習(xí)者通過(guò)他人對(duì)學(xué)習(xí)者所輸入的發(fā)言的反應(yīng)來(lái)檢驗(yàn)并學(xué)習(xí)他們的外語(yǔ)技能。因此，總是基于情境提供相同反應(yīng)的大多數(shù)現(xiàn)有會(huì)話系統(tǒng)無(wú)法提供令人滿意的學(xué)習(xí)效果O

發(fā)明內(nèi)容
因此，提供本發(fā)明以解決現(xiàn)有技術(shù)中所存在的問(wèn)題，并且本發(fā)明的目的是提供用于外語(yǔ)學(xué)習(xí)的設(shè)備和方法，即使學(xué)習(xí)者的技能等級(jí)很低，本發(fā)明也能夠確定學(xué)習(xí)者的發(fā)言含義并向?qū)W習(xí)者提供與該發(fā)言含義相一致的響應(yīng)，并且向?qū)W習(xí)者提供針對(duì)各種情況而定制的表達(dá)。為了實(shí)現(xiàn)上述目的，根據(jù)本發(fā)明的ー個(gè)方面，用于外語(yǔ)學(xué)習(xí)的設(shè)備，包括語(yǔ)音識(shí)別裝置，被配置為識(shí)別用戶輸入的發(fā)言并將發(fā)言轉(zhuǎn)換為發(fā)言文本；發(fā)言含義識(shí)別裝置，被配置為使用用戶的技能等級(jí)信息和對(duì)話語(yǔ)境信息提取發(fā)言文本的用戶發(fā)言含義；以及反饋處理裝置，被配置為根據(jù)用戶發(fā)言含義和用戶的發(fā)言情況提取不同的表達(dá)。發(fā)言含義識(shí)別裝置可使用針對(duì)用戶的技能等級(jí)而單獨(dú)生成的多個(gè)基于發(fā)言的模型和通過(guò)考慮對(duì)話語(yǔ)境而生成的基于對(duì)話語(yǔ)境的模型來(lái)提取用戶發(fā)言含義。發(fā)言含義識(shí)別裝置可根據(jù)用戶的技能等級(jí)信息選擇基于發(fā)言的模型，并使用所選的基于發(fā)言的模型估計(jì)發(fā)言文本估計(jì)的發(fā)言含義，并且使用基于對(duì)話語(yǔ)境的模型基于對(duì)話語(yǔ)境信息估計(jì)來(lái)估計(jì)發(fā)言含義。發(fā)言含義識(shí)別裝置可在統(tǒng)計(jì)學(xué)上將以基于發(fā)言的模型的發(fā)言含義和以基于對(duì)話語(yǔ)境的模型的發(fā)言含義合成，并提取用戶發(fā)言含義。該設(shè)備還可包括對(duì)話管理模塊，對(duì)話管理模塊被配置為根據(jù)用戶發(fā)言含義和對(duì)話語(yǔ)境信息生成對(duì)發(fā)言文本的響應(yīng)。當(dāng)用戶的發(fā)言未在預(yù)設(shè)時(shí)間內(nèi)被輸入或用戶發(fā)出幫助請(qǐng)求時(shí)，反饋處理裝置可從數(shù)據(jù)庫(kù)提取推薦表達(dá)并將推薦表達(dá)提供給用戶。
當(dāng)用戶的發(fā)言不正確時(shí)，反饋處理裝置可從數(shù)據(jù)庫(kù)提取正確表達(dá)并將正確表達(dá)提供給用戶。當(dāng)用戶的發(fā)言正確時(shí)，反饋處理裝置從數(shù)據(jù)庫(kù)提取與用戶的發(fā)言具有相同意思或相近意思的可替換表達(dá)并將可替換表達(dá)提供給用戶。該設(shè)備還可包括自然語(yǔ)言生成裝置，被配置為將反饋處理裝置所提取的表達(dá)轉(zhuǎn)換為自然語(yǔ)言發(fā)言；以及語(yǔ)音合成裝置，被配置為將自然語(yǔ)言生成裝置所轉(zhuǎn)換的自然語(yǔ)言發(fā)言合成為語(yǔ)音。根據(jù)本發(fā)明的另ー個(gè)方面，用于外語(yǔ)學(xué)習(xí)的設(shè)備包括語(yǔ)音識(shí)別裝置，被配置為識(shí)別用戶輸入的發(fā)言并將發(fā)言轉(zhuǎn)換為發(fā)言文本；發(fā)言含義識(shí)別裝置，被配置為為發(fā)言文本提取用戶發(fā)言含義；以及反饋處理裝置，被配置為根據(jù)用戶發(fā)言含義和用戶的發(fā)言情況提取推薦表達(dá)、正確表達(dá)、或可替換表達(dá)，并將所提取的表達(dá)提供給用戶。
反饋處理裝置可當(dāng)用戶的發(fā)言未在預(yù)設(shè)時(shí)間內(nèi)被輸入或用戶發(fā)出幫助請(qǐng)求時(shí)從數(shù)據(jù)庫(kù)提取推薦表達(dá)，當(dāng)用戶的發(fā)言不正確時(shí)從數(shù)據(jù)庫(kù)提取正確表達(dá)，并且當(dāng)用戶的發(fā)言正確時(shí)從數(shù)據(jù)庫(kù)提取可替換表達(dá)。根據(jù)本發(fā)明的另ー個(gè)方面，ー種對(duì)話系統(tǒng)包括語(yǔ)音識(shí)別裝置，被配置為識(shí)別用戶輸入的發(fā)言并將發(fā)言轉(zhuǎn)換為發(fā)言文本；以及發(fā)言含義識(shí)別裝置，被配置為使用針對(duì)用戶的技能等級(jí)而單獨(dú)生成的多個(gè)基于發(fā)言的模型和通過(guò)考慮對(duì)話語(yǔ)境而生成的基于對(duì)話語(yǔ)境的模塊來(lái)提取用戶發(fā)言含義。發(fā)言含義識(shí)別裝置可根據(jù)用戶的技能等級(jí)信息選擇基于發(fā)言的模型，并使用所選的基于發(fā)言的模型估計(jì)發(fā)言文本的發(fā)言含義，并且使用基于對(duì)話語(yǔ)境的模型基于對(duì)話語(yǔ)境信息估計(jì)發(fā)言含義。發(fā)言含義識(shí)別裝置可在統(tǒng)計(jì)學(xué)上將以基于發(fā)言的模型為基礎(chǔ)的發(fā)言含義和以基于對(duì)話語(yǔ)境的模型為基礎(chǔ)的發(fā)言含義合成，并提取用戶發(fā)言含義。根據(jù)本發(fā)明的另ー個(gè)方面，用于外語(yǔ)學(xué)習(xí)的方法包括對(duì)用戶輸入的發(fā)言進(jìn)行識(shí)別并將發(fā)言轉(zhuǎn)換為發(fā)言文本；使用用戶的技能等級(jí)信息和對(duì)話語(yǔ)境信息提取發(fā)言文本的用戶發(fā)言含義；以及根據(jù)用戶發(fā)言含義和用戶的發(fā)言情況提取不同表達(dá)。根據(jù)本發(fā)明的另ー個(gè)方面，用于外語(yǔ)學(xué)習(xí)的方法包括對(duì)用戶輸入的發(fā)言進(jìn)行識(shí)別并將發(fā)言轉(zhuǎn)換為發(fā)言文本；提取發(fā)言文本的用戶發(fā)言含義；以及根據(jù)用戶發(fā)言含義和用戶的發(fā)言情況提取推薦表達(dá)、正確表達(dá)、或可替換表達(dá)，并將所提取的表達(dá)提供給所述用戶。根據(jù)本發(fā)明的另ー個(gè)方面，用于提供對(duì)話的方法包括識(shí)別用戶輸入的發(fā)言并將發(fā)言轉(zhuǎn)換為發(fā)言文本；以及使用針對(duì)用戶的技能等級(jí)而單獨(dú)生成的多個(gè)基于發(fā)言的模型和通過(guò)考慮對(duì)話語(yǔ)境而生成的基于對(duì)話語(yǔ)境的模塊來(lái)提取發(fā)言文本的用戶發(fā)言含義。


在結(jié)合附圖閱讀了以下詳細(xì)描述之后，本發(fā)明的上述目的、以及其它特征和優(yōu)點(diǎn)將變得顯而易見(jiàn)，在附圖中圖I是根據(jù)本發(fā)明的一個(gè)實(shí)施方式的用于外語(yǔ)學(xué)習(xí)的設(shè)備的框圖；圖2示出圖I的發(fā)言含義識(shí)別裝置使用基于發(fā)言的模型和基于對(duì)話語(yǔ)境的模型提取發(fā)言含義的過(guò)程的概念圖；圖3是示出根據(jù)本發(fā)明的另ー個(gè)實(shí)施方式的根據(jù)用于外語(yǔ)學(xué)習(xí)的方法提取發(fā)言含義的過(guò)程的流程圖；圖4是示出根據(jù)本發(fā)明的實(shí)施方式的根據(jù)用于外語(yǔ)學(xué)習(xí)的方法的響應(yīng)學(xué)習(xí)者的過(guò)程的流程圖。
具體實(shí)施例方式將對(duì)本發(fā)明的優(yōu)選實(shí)施方式進(jìn)行更加詳細(xì)地描述，在附圖中示出優(yōu)選實(shí)施方式的示例。無(wú)論在什么情況下，在附圖和說(shuō)明書(shū)中，相同的參考標(biāo)號(hào)都將指代相同或相似的部件。首先，將參照?qǐng)DI和2，詳細(xì)地描述了根據(jù)本發(fā)明實(shí)施方式的用于外語(yǔ)學(xué)習(xí)的設(shè) 備。圖I是根據(jù)本發(fā)明的實(shí)施方式的用于外語(yǔ)學(xué)習(xí)的設(shè)備框圖。圖2是示出圖I的發(fā)言含義識(shí)別裝置使用基于發(fā)言模型和基于對(duì)話語(yǔ)境的模型提取發(fā)言含義的過(guò)程的概念圖。參照?qǐng)D1，根據(jù)本發(fā)明的實(shí)施方式的用于外語(yǔ)學(xué)習(xí)的設(shè)備100包括語(yǔ)音識(shí)別裝置
10、發(fā)言含義識(shí)別裝置20、反饋處理裝置30、對(duì)話管理模塊40、語(yǔ)音合成裝置50、自然語(yǔ)言生成裝置60、成員數(shù)據(jù)庫(kù)65、發(fā)言數(shù)據(jù)庫(kù)70、語(yǔ)境數(shù)據(jù)庫(kù)80、以及表達(dá)數(shù)據(jù)庫(kù)90。語(yǔ)音識(shí)別裝置10被配置為對(duì)通過(guò)麥克風(fēng)輸入的學(xué)習(xí)者語(yǔ)音進(jìn)行識(shí)別，將被識(shí)別的語(yǔ)音轉(zhuǎn)換為發(fā)言文本，并將被轉(zhuǎn)換的發(fā)言文本轉(zhuǎn)移至發(fā)言含義識(shí)別裝置20。在下文中，為了便于描述，假設(shè)學(xué)習(xí)者是以韓語(yǔ)作為母語(yǔ)的用戶且語(yǔ)音識(shí)別裝置10基于韓語(yǔ)之外的語(yǔ)言，例如，英語(yǔ)。因此，學(xué)習(xí)者在與用于外語(yǔ)學(xué)習(xí)的設(shè)備100交談時(shí)學(xué)習(xí)英語(yǔ)。韓語(yǔ)或英語(yǔ)僅為示例，同樣也可應(yīng)用其它語(yǔ)言，諸如漢語(yǔ)、日語(yǔ)或德語(yǔ)。發(fā)言含義識(shí)別裝置20被配置為使用自語(yǔ)音識(shí)別裝置10轉(zhuǎn)移的發(fā)言文本來(lái)確定學(xué)習(xí)者的發(fā)言含義。此時(shí)，發(fā)言含義識(shí)別裝置20使用基于發(fā)言的模型和基于對(duì)話語(yǔ)境的模型提取用戶的發(fā)言含義，基于發(fā)言的模型和基于對(duì)話語(yǔ)境的模型分別以發(fā)言數(shù)據(jù)庫(kù)70和語(yǔ)境數(shù)據(jù)庫(kù)80中所儲(chǔ)存的信息為基礎(chǔ)生成。參照?qǐng)D2，發(fā)言數(shù)據(jù)庫(kù)70可儲(chǔ)存第I至第η等級(jí)數(shù)據(jù)。第I至第η等級(jí)數(shù)據(jù)可通過(guò)以下步驟獲得將學(xué)習(xí)者的發(fā)言中所包含的發(fā)言數(shù)據(jù)，諸如單詞、詞素和句子信息，劃分為第i至第η等級(jí)，并單獨(dú)收集對(duì)應(yīng)于相同等級(jí)的發(fā)言數(shù)據(jù)。語(yǔ)境數(shù)據(jù)庫(kù)80可儲(chǔ)存由用于外語(yǔ)學(xué)習(xí)的設(shè)備100所提供的與相應(yīng)學(xué)習(xí)者的先前發(fā)言有關(guān)的信息、學(xué)習(xí)者與用于外語(yǔ)學(xué)習(xí)的設(shè)備100之間的對(duì)話的列表、以及與學(xué)習(xí)者的學(xué)習(xí)內(nèi)容有關(guān)的語(yǔ)境信息，諸如推薦表達(dá)、可替換表達(dá)、以及正確表達(dá)。因?yàn)閷?duì)話的基本特性，根據(jù)學(xué)習(xí)者的技能等級(jí)，在單詞使用中可能出現(xiàn)錯(cuò)誤或差另|J。因此，針對(duì)每個(gè)學(xué)習(xí)者的等級(jí)對(duì)基于發(fā)言的模型進(jìn)行單獨(dú)建摸。也就是說(shuō)，基于發(fā)言的模型被分為第I至第η等級(jí)的基于發(fā)言的模型。各等級(jí)的基于發(fā)言的模型基于語(yǔ)言學(xué)信息而構(gòu)建，該語(yǔ)言學(xué)信息取決于發(fā)言數(shù)據(jù)庫(kù)70的第I至第η個(gè)發(fā)言數(shù)據(jù)。然而，由于對(duì)話語(yǔ)境的前后關(guān)系幾乎不變，故基于語(yǔ)境的模型被生成為ー個(gè)模型，并且以語(yǔ)境數(shù)據(jù)庫(kù)80的各種信息為基礎(chǔ)構(gòu)建。基于發(fā)言的模型和基于對(duì)話語(yǔ)境的模型可應(yīng)用于各種統(tǒng)計(jì)和規(guī)則模型，以便獲得后驗(yàn)概率。例如，基于發(fā)言的模型可由使用形成發(fā)言的單詞的n-gram信息作為特征的分類器生成，并且基于對(duì)話語(yǔ)境的模型可由使用先前順序中的系統(tǒng)發(fā)言含義、先前順序中的用戶發(fā)言含義、當(dāng)前順序中用戶發(fā)言含義以及直到當(dāng)前順序由用戶發(fā)出的信息作為特征的分類器生成。為了該操作，可利用各種常用分類器，諸如最大熵和支持向量機(jī)。成員數(shù)據(jù)庫(kù)65可儲(chǔ)存學(xué)習(xí)者的個(gè)人信息、ID、密碼、以及技能等級(jí)以及與學(xué)習(xí)者所學(xué)習(xí)的內(nèi)容有關(guān)的信息。學(xué)習(xí)者的技能等級(jí)可作為選擇哪種基于發(fā)言的模型來(lái)進(jìn)行應(yīng)用以使發(fā)言含義識(shí)別裝置20識(shí)別學(xué)習(xí)者的發(fā)言含義的標(biāo)準(zhǔn)。也就是說(shuō)，當(dāng)學(xué)習(xí)者的當(dāng)前技能等級(jí)在成員數(shù)據(jù)庫(kù)65中被儲(chǔ)存為第3等級(jí)時(shí)，發(fā)言含義識(shí)別裝置20使用第3等級(jí)的基于發(fā)言的模型估計(jì)估計(jì)發(fā)言含義。發(fā)言含義識(shí)別裝置20根據(jù)先前輸入的技能等級(jí)對(duì)基于發(fā)言的模型進(jìn)行選擇，并使用所選的基于發(fā)言的模型估計(jì)估計(jì)來(lái)自聲音識(shí)別裝置10的發(fā)言文本的發(fā)言含義和可靠、性。同吋，發(fā)言含義識(shí)別裝置20使用基于對(duì)話語(yǔ)境的模型基于對(duì)話語(yǔ)境信息估計(jì)估計(jì)發(fā)言含義和可靠性。對(duì)話語(yǔ)境信息表示學(xué)習(xí)者與用于外語(yǔ)學(xué)習(xí)的設(shè)備100之間的對(duì)話有關(guān)的信息，并且可包括與已經(jīng)從對(duì)話開(kāi)始進(jìn)行到當(dāng)前順序的對(duì)話的全部或部分有關(guān)的信息。發(fā)言含義識(shí)別裝置20在統(tǒng)計(jì)學(xué)上將以基于發(fā)言的模型的發(fā)言含義和可靠性和以基于對(duì)話語(yǔ)境的模型的發(fā)言含義和可靠性合并，并提取具有最高可能性的發(fā)言含義作為最終的學(xué)習(xí)者發(fā)言含義。由于可ー并考慮學(xué)習(xí)者的技能等級(jí)和對(duì)話語(yǔ)境信息的特性，故即使存在錯(cuò)誤或者學(xué)習(xí)者的發(fā)言不熟練，也能夠盡可能精確地估計(jì)學(xué)習(xí)者發(fā)言含義。由于此時(shí)，發(fā)言含義識(shí)別裝置20可使用通常用于模型綜合的各種統(tǒng)計(jì)學(xué)方法，諸如互信息測(cè)量，以綜合基于發(fā)言的模型和基于對(duì)話語(yǔ)境的模型。對(duì)話管理模塊40被配置為(I)基于來(lái)自發(fā)言含義識(shí)別裝置20的學(xué)習(xí)者發(fā)言含義和發(fā)言文本確定學(xué)習(xí)者的發(fā)言是否正確，(2)確定學(xué)習(xí)者是否在預(yù)設(shè)時(shí)間內(nèi)輸入發(fā)言，以及
(3)學(xué)習(xí)者是否明確需要幫助。(I)當(dāng)確定學(xué)習(xí)者的發(fā)言正確時(shí)，對(duì)話管理模塊40通過(guò)考慮學(xué)習(xí)者發(fā)言含義和當(dāng)前對(duì)話語(yǔ)境生成對(duì)學(xué)習(xí)者發(fā)言文本的合適響應(yīng)，并將所生成的響應(yīng)轉(zhuǎn)移至自然語(yǔ)言生成裝置60。例如，當(dāng)學(xué)習(xí)者正確地朗讀“What kind of music do you listen to (你喜歡聽(tīng)哪種音樂(lè))”時(shí)，對(duì)話管理模塊40可生成響應(yīng),諸如“I usually listen to countrymodule.(我常聽(tīng)鄉(xiāng)村音樂(lè))”。(2)當(dāng)學(xué)習(xí)者的發(fā)言未在預(yù)設(shè)時(shí)間內(nèi)輸入時(shí)，對(duì)話管理模塊40將學(xué)習(xí)者發(fā)言文本和發(fā)言含義轉(zhuǎn)移至反饋處理裝置30。(3)當(dāng)學(xué)習(xí)者按下屏幕上所顯示的“ Help me (幫助我)”按鈕或親自說(shuō)“Helpme(幫助我)”、“I don/ t know(我不知道)”、或“I don’t know what to say(我不知道該說(shuō)什么)”時(shí)，對(duì)話管理模塊40從反饋處理裝置30請(qǐng)求反饋。當(dāng)預(yù)設(shè)條件滿足時(shí)，反饋處理裝置30向?qū)W習(xí)者反饋各種表達(dá)。也就是說(shuō)，反饋處理裝置30(i)當(dāng)學(xué)習(xí)者的發(fā)言未在預(yù)設(shè)時(shí)間內(nèi)輸入或?qū)W習(xí)者明確請(qǐng)求幫助吋，(ii)當(dāng)確定學(xué)習(xí)者的發(fā)言不正確時(shí)，以及(iii)當(dāng)學(xué)習(xí)者的發(fā)言正確但需要學(xué)習(xí)相似表達(dá)時(shí)分別提供推薦表達(dá)、正確表達(dá)、以及可替換表達(dá)。同時(shí)，表達(dá)數(shù)據(jù)庫(kù)90被配置為儲(chǔ)存基于對(duì)話語(yǔ)境的各發(fā)言含義或各主題的推薦表達(dá)、正確表達(dá)、以及可替換表達(dá)，并根據(jù)反饋處理裝置30的請(qǐng)求來(lái)提供相應(yīng)表達(dá)。
(i)當(dāng)響應(yīng)時(shí)間超時(shí)或明確請(qǐng)求幫助時(shí)當(dāng)學(xué)習(xí)者在對(duì)話期間不知道如何說(shuō)且無(wú)法使對(duì)話語(yǔ)句繼續(xù)時(shí)，學(xué)習(xí)者可以在預(yù)定時(shí)間或更長(zhǎng)時(shí)間內(nèi)不說(shuō)話。在這種情況下，對(duì)話管理模塊40通知反饋處理裝置30超過(guò)響應(yīng)時(shí)間，并將學(xué)習(xí)者的對(duì)話內(nèi)容轉(zhuǎn)移至反饋處理裝置30。隨后，反饋處理裝置30通過(guò)考慮當(dāng)前對(duì)話語(yǔ)境信息根據(jù)學(xué)習(xí)者的對(duì)話語(yǔ)境選擇主題，并從表達(dá)數(shù)據(jù)庫(kù)90提取能夠使對(duì)話接著最后的對(duì)話語(yǔ)句繼續(xù)的語(yǔ)句作為推薦表達(dá)。(ii)當(dāng)學(xué)習(xí)者的發(fā)言不正確時(shí)當(dāng)確定學(xué)習(xí)者的發(fā)言不正確時(shí)，反饋處理裝置30通過(guò)考慮對(duì)話語(yǔ)境從表達(dá)數(shù)據(jù)庫(kù)90中選擇最符合發(fā)言者的發(fā)言含義的語(yǔ)句，并提取所選擇的語(yǔ)句作為正確表達(dá)。(iii)當(dāng)學(xué)習(xí)者的發(fā)言正確時(shí)當(dāng)確定學(xué)習(xí)者的發(fā)言正確時(shí)，反饋處理裝置30從表達(dá)數(shù)據(jù)庫(kù)90選擇與學(xué)習(xí)者的 發(fā)言具有相同意思或相似意思的另ー種表達(dá)，并提取所選擇的表達(dá)作為可替換表達(dá)。自然語(yǔ)言生成裝置60被配置為將對(duì)話管理模塊40或反饋處理裝置30所生成的概念性響應(yīng)轉(zhuǎn)換為自然語(yǔ)言發(fā)言。雖然未在圖中單獨(dú)示出，但自然語(yǔ)言生成裝置60可在顯示屏上以文本形式輸出自然語(yǔ)言發(fā)言。語(yǔ)音合成裝置50被配置為基于自然語(yǔ)言生成裝置60所生成的自然語(yǔ)言發(fā)言合成母語(yǔ)者所朗讀的語(yǔ)音，并通過(guò)揚(yáng)聲器、耳機(jī)、或聽(tīng)筒輸出被合成的語(yǔ)音。如上所述，根據(jù)本發(fā)明的實(shí)施方式的用于外語(yǔ)學(xué)習(xí)的設(shè)備100可基于針對(duì)學(xué)習(xí)者的各技能等級(jí)而構(gòu)建的基于對(duì)話語(yǔ)境的模型和基于發(fā)言的模型提取學(xué)習(xí)者發(fā)言含義。因此，即使含有錯(cuò)誤或?qū)W習(xí)者的發(fā)言不熟練，用于外語(yǔ)學(xué)習(xí)的設(shè)備100也能夠可靠地提取學(xué)習(xí)者發(fā)言含義。此外，用于外語(yǔ)學(xué)習(xí)的設(shè)備100可向?qū)W習(xí)者反饋適于各種情況的表達(dá)，使得學(xué)習(xí)者自己知道自己的錯(cuò)誤并在學(xué)習(xí)相似表達(dá)的同時(shí)使對(duì)話繼續(xù)。根據(jù)本發(fā)明的實(shí)施方式的用于外語(yǔ)學(xué)習(xí)的設(shè)備100可以被實(shí)現(xiàn)為獨(dú)立服務(wù)器的形式，并且學(xué)習(xí)者可使用諸如計(jì)算機(jī)、個(gè)人數(shù)字助手(TOA)、或有線/無(wú)線電話的用戶終端與用于外語(yǔ)學(xué)習(xí)的設(shè)備100進(jìn)行交談。在這種情況下，用戶終端和用于外語(yǔ)學(xué)習(xí)的設(shè)備100可通過(guò)有線/無(wú)線通信網(wǎng)絡(luò)連接。另ー方面，用于外語(yǔ)學(xué)習(xí)的設(shè)備100可實(shí)施為獨(dú)立裝置。在這種情況下，學(xué)習(xí)者可攜帯和使用用于外語(yǔ)學(xué)習(xí)的設(shè)備100，或在面對(duì)用于外語(yǔ)學(xué)習(xí)的設(shè)備的同時(shí)使用用于外語(yǔ)學(xué)習(xí)的設(shè)備100。此外，用于外語(yǔ)學(xué)習(xí)的設(shè)備100的全部或部分功能可實(shí)施在用戶終端或智能機(jī)器人中。此外，用于外語(yǔ)學(xué)習(xí)的設(shè)備100不僅可用作用于外語(yǔ)學(xué)習(xí)的設(shè)備，還可與諸如購(gòu)物和交易的各種內(nèi)容結(jié)合。此外，用于外語(yǔ)學(xué)習(xí)的設(shè)備100可應(yīng)用于能夠與用戶或自然語(yǔ)言處理人工智能代理進(jìn)行交談的對(duì)話系統(tǒng)，以便向用戶提供特殊服務(wù)。成員數(shù)據(jù)庫(kù)65、發(fā)言數(shù)據(jù)庫(kù)70、語(yǔ)境數(shù)據(jù)庫(kù)80、以及表達(dá)數(shù)據(jù)庫(kù)90可被實(shí)施為一個(gè)數(shù)據(jù)庫(kù)。在本發(fā)明的該實(shí)施方式中，已經(jīng)描述，用于外語(yǔ)學(xué)習(xí)的設(shè)備100包括成員數(shù)據(jù)庫(kù)65、發(fā)言數(shù)據(jù)庫(kù)70、以及語(yǔ)境數(shù)據(jù)庫(kù)80。然而，數(shù)據(jù)庫(kù)可不一定被包含在用于外語(yǔ)學(xué)習(xí)的設(shè)備100中，并且ー個(gè)或多個(gè)數(shù)據(jù)庫(kù)可單獨(dú)地實(shí)施在用于外語(yǔ)學(xué)習(xí)的設(shè)備100外部或被省略?，F(xiàn)在將參照?qǐng)D3和4對(duì)根據(jù)本發(fā)明的另ー個(gè)實(shí)施方式的用于外語(yǔ)學(xué)習(xí)的方法進(jìn)行描述。圖3是示出根據(jù)本發(fā)明的實(shí)施方式的用于外語(yǔ)學(xué)習(xí)的方法來(lái)提取發(fā)言含義的過(guò)程的流程圖。圖4是示出根據(jù)本發(fā)明的實(shí)施方式的用于外語(yǔ)學(xué)習(xí)的方法對(duì)學(xué)習(xí)者進(jìn)行響應(yīng)的過(guò)程的流程圖。首先，當(dāng)在如圖3所示的步驟S300中學(xué)習(xí)者輸入發(fā)言時(shí)，在步驟S310中，語(yǔ)音識(shí)別裝置10識(shí)別學(xué)習(xí)者的語(yǔ)音，并將被識(shí)別的語(yǔ)音轉(zhuǎn)換為發(fā)言文本，并將被轉(zhuǎn)換的發(fā)言文本轉(zhuǎn)移至發(fā)言含義識(shí)別裝置20。在步驟S325中，發(fā)言含義識(shí)別裝置20使用基于對(duì)話語(yǔ)境的模型基于對(duì)話語(yǔ)境信息估計(jì)估計(jì)發(fā)言含義和可靠性。同時(shí)，在步驟S320中，發(fā)言含義識(shí)別裝置20根據(jù)學(xué)習(xí)者的技能等級(jí)在第I至第η等級(jí)的基于發(fā)言的模型中選擇基于發(fā)言的模型，并使用所選擇的基于發(fā)言的模型基于學(xué)習(xí)者的發(fā)言文本估計(jì)估計(jì)發(fā)言含義和可靠性。隨后，在步驟S330中，發(fā)言含義識(shí)別裝置20合成基于發(fā)言的模型的發(fā)言含義和可靠性和基于對(duì)話語(yǔ)境的模型的發(fā)言含義和可靠性，并提取學(xué)習(xí)者的最終發(fā)言含義。在步驟S340中，發(fā)言含義識(shí)別裝置20將被提取的學(xué)習(xí)者發(fā)言含義轉(zhuǎn)移至對(duì)話管理模塊40。參照?qǐng)D4，在步驟S400中，對(duì)話管理模塊40確定學(xué)習(xí)者是否在預(yù)設(shè)時(shí)間內(nèi)輸入發(fā)言。當(dāng)發(fā)言在預(yù)設(shè)時(shí)間內(nèi)被輸入時(shí)(S400-Y)，在步驟S410中，對(duì)話管理模塊40確定被輸入的發(fā)言是否是明確請(qǐng)求幫助的發(fā)言。步驟S410可根據(jù)用戶對(duì)幫助請(qǐng)求按鈕的輸入來(lái)執(zhí)行，而不考慮用戶的發(fā)言。當(dāng)確定被輸入的發(fā)言不是明確請(qǐng)求幫助的發(fā)言時(shí)(S410-N)，在步驟S420中對(duì)話管理模塊40確定用戶的發(fā)言是否正確。當(dāng)確定用戶的發(fā)言正確時(shí)(S420-Y)，在步驟S430中對(duì)話管理模塊40通過(guò)考慮來(lái)自發(fā)言含義識(shí)別裝置20的學(xué)習(xí)者發(fā)言含義和對(duì)話語(yǔ)境生成對(duì)學(xué)習(xí)者的發(fā)言的合適響應(yīng)。當(dāng)確定學(xué)習(xí)者的發(fā)言不正確時(shí)(S420-N)，對(duì)話管理模塊40將控制轉(zhuǎn)移至反饋處理裝置30，并且反饋處理裝置30通過(guò)考慮學(xué)習(xí)者發(fā)言含義和對(duì)話語(yǔ)境從表達(dá)數(shù)據(jù)庫(kù)90提取正確表達(dá)。當(dāng)發(fā)言未在預(yù)設(shè)時(shí)間內(nèi)被輸入(S400-N)或被輸入的發(fā)言是明確請(qǐng)求幫助的發(fā)言時(shí)(S410-Y)，在步驟S450中對(duì)話管理模塊40將控制轉(zhuǎn)移至反饋處理裝置30，并且反饋處理裝置30基于對(duì)話語(yǔ)境信息從表達(dá)數(shù)據(jù)庫(kù)90提取推薦表達(dá)。同時(shí)，當(dāng)學(xué)習(xí)者的發(fā)言正確時(shí)(S420-Y)，在步驟S440中反饋處理裝置30從表達(dá)數(shù)據(jù)庫(kù)90提取與學(xué)習(xí)者的發(fā)言具有相同意思或相似意思的可替換表達(dá)。在步驟S450中，自然語(yǔ)言生成裝置60將由對(duì)話管理模塊40和反饋處理裝置30所生成的響應(yīng)轉(zhuǎn)換為自然語(yǔ)言發(fā)言。隨后，在步驟S460中，語(yǔ)音合成裝置50基于被轉(zhuǎn)換的自然語(yǔ)言發(fā)言來(lái)合成母語(yǔ)者所朗讀的語(yǔ)音。用于外語(yǔ)學(xué)習(xí)的設(shè)備100可通過(guò)揚(yáng)聲器等輸出被合成的語(yǔ)音，并根據(jù)需要以文本形式在顯示屏上單獨(dú)輸出自然語(yǔ)言發(fā)言。當(dāng)學(xué)習(xí)者無(wú)法使對(duì)話繼續(xù)或明確請(qǐng)求幫助時(shí)，學(xué)習(xí)者可從用于外語(yǔ)學(xué)習(xí)的設(shè)備100接收推薦表達(dá)并使對(duì)話繼續(xù)。當(dāng)學(xué)習(xí)者的發(fā)言不正確時(shí)，學(xué)習(xí)者可接收正確表達(dá)以糾正錯(cuò)誤。此外，由于學(xué)習(xí)者可通過(guò)對(duì)話自然地了解他/她的弱點(diǎn)，故學(xué)習(xí)者可在不受到壓カ的情況下學(xué)習(xí)外語(yǔ)。此外，即使當(dāng)學(xué)習(xí)者做出正確的發(fā)言時(shí)，學(xué)習(xí)者也可接收具有相同意思的另ー種表達(dá)，從而拓寬外語(yǔ)的表達(dá)范圍。根據(jù)本發(fā)明的實(shí)施方式，學(xué)習(xí)者的發(fā)言的含義可根據(jù)學(xué)習(xí)者的各個(gè)等級(jí)和對(duì)話語(yǔ) 境的語(yǔ)言性質(zhì)來(lái)確定。因此，即使學(xué)習(xí)者的技能等級(jí)很低，也可精確確定學(xué)習(xí)者的發(fā)言含義，從而可向?qū)W習(xí)者提供符合發(fā)言含義的響應(yīng)。此外，針對(duì)各種情況而定制的表達(dá)也可提供給學(xué)習(xí)者，這能夠使學(xué)習(xí)者在學(xué)習(xí)外語(yǔ)的同時(shí)使學(xué)習(xí)者所受到的壓カ最小化。由于學(xué)習(xí)者可接收各種表達(dá)并反復(fù)練習(xí)外語(yǔ)，故學(xué)習(xí)者可以較低成本學(xué)習(xí)外語(yǔ)。 雖然出于示意性目的而對(duì)本發(fā)明的優(yōu)選實(shí)施方式進(jìn)行了 詳細(xì)的說(shuō)明，但本領(lǐng)域技術(shù)人員應(yīng)理解，在不背離所附權(quán)利要求中公開(kāi)的本發(fā)明的精神和范圍的情況下，可以進(jìn)行多種修改、添加和替換。
權(quán)利要求
1.一種用于外語(yǔ)學(xué)習(xí)的設(shè)備，包括 語(yǔ)音識(shí)別裝置，被配置為識(shí)別用戶輸入的發(fā)言并將所述發(fā)言轉(zhuǎn)換為發(fā)言文本； 發(fā)言含義識(shí)別裝置，被配置為使用所述用戶的技能等級(jí)信息和對(duì)話語(yǔ)境信息提取所述發(fā)言文本的用戶發(fā)言含義；以及 反饋處理裝置，被配置為根據(jù)所述用戶發(fā)言含義和所述用戶的發(fā)言情況提取不同的表達(dá)。
2.如權(quán)利要求I所述的設(shè)備，其中，所述發(fā)言含義識(shí)別裝置使用針對(duì)所述用戶的技能等級(jí)而單獨(dú)生成的多個(gè)基于發(fā)言的模型和通過(guò)考慮對(duì)話語(yǔ)境而生成的基于對(duì)話語(yǔ)境的模型來(lái)提取所述用戶發(fā)言含義。
3.如權(quán)利要求2所述的設(shè)備，其中，所述發(fā)言含義識(shí)別裝置根據(jù)所述用戶的技能等級(jí)信息選擇基于發(fā)言的模型，并使用所選的基于發(fā)言的模型估計(jì)所述發(fā)言文本的發(fā)言含義，并且使用所述基于對(duì)話語(yǔ)境的模型基于所述對(duì)話語(yǔ)境信息估計(jì)發(fā)言含義。
4.如權(quán)利要求3所述的設(shè)備，其中，所述發(fā)言含義識(shí)別裝置在統(tǒng)計(jì)學(xué)上將以所述基于發(fā)言的模型為基礎(chǔ)的發(fā)言含義和以所述基于對(duì)話語(yǔ)境的模型為基礎(chǔ)的發(fā)言含義進(jìn)行合成，并提取所述用戶發(fā)言含義。
5.如權(quán)利要求I所述的設(shè)備，還包括對(duì)話管理模塊，所述對(duì)話管理模塊被配置為根據(jù)所述用戶發(fā)言含義和所述對(duì)話語(yǔ)境信息來(lái)生成對(duì)所述發(fā)言文本的響應(yīng)。
6.如權(quán)利要求I所述的設(shè)備，其中，當(dāng)所述用戶的發(fā)言未在預(yù)設(shè)時(shí)間內(nèi)被輸入或所述用戶發(fā)出幫助請(qǐng)求時(shí)，所述反饋處理裝置從數(shù)據(jù)庫(kù)中提取推薦表達(dá)并將所述推薦表達(dá)提供給所述用戶。
7.如權(quán)利要求I所述的設(shè)備，其中，當(dāng)所述用戶的發(fā)言不正確時(shí)，所述反饋處理裝置從數(shù)據(jù)庫(kù)中提取正確表達(dá)并將所述正確表達(dá)提供給所述用戶。
8.如權(quán)利要求I所述的設(shè)備，其中，當(dāng)所述用戶的發(fā)言正確時(shí)，所述反饋處理裝置從數(shù)據(jù)庫(kù)中提取與所述用戶的發(fā)言具有相同意思或相似意思的可替換表達(dá)，并將所述可替換表達(dá)提供給所述用戶。
9.如權(quán)利要求I所述的設(shè)備，還包括 自然語(yǔ)言生成裝置，被配置為將所述反饋處理裝置所提取的表達(dá)轉(zhuǎn)換為自然語(yǔ)言發(fā)言；以及 語(yǔ)音合成裝置，被配置為將所述自然語(yǔ)言生成裝置所轉(zhuǎn)換的所述自然語(yǔ)言發(fā)言合成為語(yǔ)音。
10.一種用于外語(yǔ)學(xué)習(xí)的設(shè)備，包括 語(yǔ)音識(shí)別裝置，被配置為識(shí)別用戶輸入的發(fā)言并將所述發(fā)言轉(zhuǎn)換為發(fā)言文本； 發(fā)言含義識(shí)別裝置，被配置為提取所述發(fā)言文本的用戶發(fā)言含義；以及反饋處理裝置，被配置為根據(jù)所述用戶發(fā)言含義和所述用戶的發(fā)言情況提取推薦表達(dá)、正確表達(dá)或可替換表達(dá)，并將所提取的表達(dá)提供給所述用戶。
11.如權(quán)利要求10所述的設(shè)備，其中，當(dāng)所述用戶的發(fā)言未在預(yù)設(shè)時(shí)間內(nèi)被輸入或所述用戶發(fā)出幫助請(qǐng)求時(shí)，所述反饋處理裝置從數(shù)據(jù)庫(kù)中提取所述推薦表達(dá)，當(dāng)所述用戶的發(fā)言不正確時(shí)，所述反饋處理裝置從數(shù)據(jù)庫(kù)中提取所述正確表達(dá)，并且當(dāng)所述用戶的發(fā)言正確時(shí)，所述反饋處理裝置從數(shù)據(jù)庫(kù)中提取所述可替換表達(dá)。
12.—種對(duì)話系統(tǒng)，包括 語(yǔ)音識(shí)別裝置，被配置為識(shí)別用戶輸入的發(fā)言并將所述發(fā)言轉(zhuǎn)換為發(fā)言文本；以及 發(fā)言含義識(shí)別裝置，被配置為使用針對(duì)所述用戶的技能等級(jí)而單獨(dú)生成的多個(gè)基于發(fā)言的模型和通過(guò)考慮對(duì)話語(yǔ)境而生成的基于對(duì)話語(yǔ)境的模型來(lái)提取所述發(fā)言文本的用戶發(fā)言含義。
13.如權(quán)利要求12所述的對(duì)話系統(tǒng)，其中，所述發(fā)言含義識(shí)別裝置根據(jù)所述用戶的技能等級(jí)信息選擇基于發(fā)言的模型，并使用所選的基于發(fā)言的模型估計(jì)所述發(fā)言文本的發(fā)言含義，并且使用所述基于對(duì)話語(yǔ)境的模型基于所述對(duì)話語(yǔ)境信息估計(jì)發(fā)言含義。
14.如權(quán)利要求13所述的對(duì)話系統(tǒng)，其中，所述發(fā)言含義識(shí)別裝置在統(tǒng)計(jì)學(xué)上將以所 述基于發(fā)言的模型為基礎(chǔ)的發(fā)言含義和以所述基于對(duì)話語(yǔ)境的模型為基礎(chǔ)的發(fā)言含義進(jìn)行合成，并提取所述用戶發(fā)言含義。
15.一種用于外語(yǔ)學(xué)習(xí)的方法，包括 對(duì)用戶輸入的發(fā)言進(jìn)行識(shí)別并將所述發(fā)言轉(zhuǎn)換為發(fā)言文本； 使用所述用戶的技能等級(jí)信息和對(duì)話語(yǔ)境信息提取所述發(fā)言文本的用戶發(fā)言含義；以及 根據(jù)所述用戶發(fā)言含義和所述用戶的發(fā)言情況提取不同表達(dá)。
16.如權(quán)利要求15所述的方法，其中，所述用戶發(fā)言含義的提取包括使用針對(duì)所述用戶的技能等級(jí)而單獨(dú)生成的多個(gè)基于發(fā)言的模型和通過(guò)考慮對(duì)話語(yǔ)境而生成的基于對(duì)話語(yǔ)境的模型來(lái)提取所述用戶的發(fā)言含義。
17.如權(quán)利要求16所述的方法，其中，所述用戶發(fā)言含義的提取包括根據(jù)所述用戶的技能等級(jí)信息選擇基于發(fā)言的模型，并使用所選的基于發(fā)言的模型估計(jì)所述發(fā)言文本的發(fā)言含義，并且使用所述基于對(duì)話語(yǔ)境的模型基于所述對(duì)話語(yǔ)境信息估計(jì)發(fā)言含義。
18.如權(quán)利要求17所述的方法，其中，所述用戶發(fā)言含義的提取包括在統(tǒng)計(jì)學(xué)上將以所述基于發(fā)言的模型為基礎(chǔ)的發(fā)言含義和以所述基于對(duì)話語(yǔ)境的模型為基礎(chǔ)的發(fā)言含義進(jìn)行合成，并提取所述用戶的發(fā)言含義。
19.如權(quán)利要求15所述的方法，還包括根據(jù)所述用戶的發(fā)言含義和所述對(duì)話語(yǔ)境信息生成對(duì)所述發(fā)言文本的響應(yīng)。
20.如權(quán)利要求15所述的方法，其中，所述不同表達(dá)的提取包括當(dāng)所述用戶的發(fā)言未在預(yù)設(shè)時(shí)間內(nèi)被輸入或所述用戶發(fā)出幫助請(qǐng)求時(shí)，從數(shù)據(jù)庫(kù)提取推薦表達(dá)并將所述推薦表達(dá)提供給所述用戶。
21.如權(quán)利要求15所述的方法，其中，所述不同表達(dá)的提取包括當(dāng)所述用戶的發(fā)言不正確時(shí)，從數(shù)據(jù)庫(kù)提取正確表達(dá)并將所述正確表達(dá)提供給所述用戶。
22.如權(quán)利要求15所述的方法，其中，所述不同表達(dá)的提取包括當(dāng)所述用戶的發(fā)言正確時(shí)，從數(shù)據(jù)庫(kù)提取與用戶的發(fā)言具有相同意思或相似意思的可替換表達(dá)并將所述可替換表達(dá)提供給所述用戶。
23.如權(quán)利要求15所述的方法，還包括 將被提取的表達(dá)轉(zhuǎn)換為自然語(yǔ)言發(fā)言；以及 將被轉(zhuǎn)換的自然語(yǔ)言發(fā)言合成為語(yǔ)音。
24.一種用于外語(yǔ)學(xué)習(xí)的方法，包括對(duì)用戶輸入的發(fā)言進(jìn)行識(shí)別并將所述發(fā)言轉(zhuǎn)換為發(fā)言文本； 提取所述發(fā)言文本的用戶發(fā)言含義；以及 根據(jù)所述用戶發(fā)言含義和所述用戶的發(fā)言情況提取推薦表達(dá)、正確表達(dá)或可替換表達(dá)，并將所提取的表達(dá)提供給所述用戶。
25.如權(quán)利要求24所述的方法，其中，所述推薦表達(dá)、所述正確表達(dá)或所述可替換表達(dá)的提取包括當(dāng)所述用戶的發(fā)言未在預(yù)設(shè)時(shí)間內(nèi)被輸入或用戶發(fā)出幫助請(qǐng)求時(shí)從數(shù)據(jù)庫(kù)提取所述推薦表達(dá)，當(dāng)所述用戶的發(fā)言不正確時(shí)從數(shù)據(jù)庫(kù)提取所述正確表達(dá)，并且當(dāng)所述用戶的發(fā)言正確時(shí)從數(shù)據(jù)庫(kù)提取所述可替換表達(dá)。
26.一種用于提供對(duì)話的方法，包括 識(shí)別用戶輸入的發(fā)言并將所述發(fā)言轉(zhuǎn)換為發(fā)言文本；以及 使用針對(duì)所述用戶的技能等級(jí)而單獨(dú)生成的多個(gè)基于發(fā)言的模型和通過(guò)考慮對(duì)話語(yǔ)境而生成的基于對(duì)話語(yǔ)境的模型來(lái)提取所述用戶的發(fā)言含義。
27.如權(quán)利要求26所述的方法，其中，所述用戶的發(fā)言含義的提取包括根據(jù)所述用戶的技能等級(jí)信息選擇基于發(fā)言的模型，并使用所選的基于發(fā)言的模型估計(jì)所述發(fā)言文本的發(fā)言含義，并且使用所述基于對(duì)話語(yǔ)境的模型基于所述對(duì)話語(yǔ)境信息估計(jì)發(fā)言含義。
28.如權(quán)利要求27所述的方法，其中，所述用戶的發(fā)言含義的提取包括在統(tǒng)計(jì)學(xué)上將以所述基于發(fā)言的模型為基礎(chǔ)的發(fā)言含義和以所述基于對(duì)話語(yǔ)境的模型為基礎(chǔ)的發(fā)言含義合成，并提取所述用戶的發(fā)言含義。
全文摘要
本發(fā)明涉及用于外語(yǔ)學(xué)習(xí)的設(shè)備與方法，用于外語(yǔ)學(xué)習(xí)的設(shè)備，包括語(yǔ)音識(shí)別裝置，被配置為識(shí)別用戶輸入的發(fā)言并將該發(fā)言轉(zhuǎn)換為發(fā)言文本；發(fā)言含義識(shí)別裝置，被配置為使用用戶的技能等級(jí)信息和對(duì)話語(yǔ)境信息提取發(fā)言文本的用戶發(fā)言含義；以及反饋處理裝置，被配置為根據(jù)用戶發(fā)言含義和用戶的發(fā)言情況提取不同的表達(dá)。根據(jù)本發(fā)明，即使學(xué)習(xí)者的技能很低，也可以確定學(xué)習(xí)者的發(fā)言的含義，并且可向?qū)W習(xí)者提供針對(duì)各種情況而定制的表達(dá)。
文檔編號(hào)G09B19/06GK102667889SQ201080056885
公開(kāi)日2012年9月12日 申請(qǐng)日期2010年10月15日 優(yōu)先權(quán)日2009年12月16日
發(fā)明者李星真, 李根培, 李清宰 申請(qǐng)人:浦項(xiàng)工科大學(xué)校產(chǎn)學(xué)協(xié)力團(tuán)