NUANCE 語音識別客戶端

RCEngine 實現總結

 

編寫目的：

         本文只是一個純技術性的文檔，主要從編程角度敘述了利用  RCEngine 開發語音識別的過程與步驟，具體語音識別的理論，請參考 Nuance 的相關技術材料。另外閱讀本文是最好是配合瀏覽 Nuance 的例子程序，以便加深理解。

1.   基礎概念：

RCEngine ：

是一個封裝了語音識別，語音文件操作，電話控制的類，它派生自 RCEngineInterface 抽象基類。所以要在程序中調用 Nuance 的語音識別功能你就必須實例化 RCEngine 。

NotifiableAdapter ：

RCEngine 的所有函數都是異步函數，它使用確認 --- 通知形式與用戶程序通信，要獲取到這些確認和通知消息你必須建立一個消息處理類，而這個類必須派生自 NotifiableAdapter ，并且在實例化 RCEngine 時把本類指針交給 RCEngine 。

Application object ：

通常 Nuance 把一個派生自 NotifiableAdapter 的且與一個 RCEngine 對象對應得實例化對象稱為一個 Application object 。一個應用程序可以根據自己有多少個 license 來創建多個 Application object 。在 Nuance 的例子和我寫的客戶端中 RCAPP 就是一個 Application object 。

Dispatcher object :

他是個事件分發對象，他一直都在不斷的作把識別事件分發給各個 RCEngine 的循環，當所有的 RCEngine 都摧毀時他便自動結束事件循環。

Triggerable ：

觸發器，你若要讓 Dispatcher 自動在某觸發事件放生時調用你的處理函數，那么你的處理函數實現的類必須要派生于 Triggerable 。所以我的代碼中 RCAPP 也派生于這個類。

 

2.   本客戶端組成：

    RCAPP ： 擔當 Application object 和 Triggerable 角色。

AudioSampleFetcher ： 一個為 RCEngine 提供識別數據的輔助類。

CRCDispatcher ： 擔當 Dispatcher object 角色。

3.   本程序中各個類之間的關系：

     每個 RCAPP 包含一個 AudioSampleFetcher 為它在識別時提供數據。

系統中可根據 license 個數創建多個 RCAPP 。各個 RCAPP 的消息需要由 CRCDispatcher 分發。而 CRCDispatcher 是個消息分發的循環體，它只有在所有 RCAPP 都被刪除時才退出循環。 CRCDispatcher 在系統中只可以有一個。

4.   識別客戶端初始化流程：

     一個客戶端從創建到開始可以進行識別需要一系列對象創建過程，這個過程很重要，而且也比較復雜。下面我將一步步地把這個過程描述出來：

4.1. Dispatcher object 的創建：

這是所有操作的開始點。我們需要一些準備工作來創建這個 Dispatcher 對象：

4.1.1. 創建一個 NuanceConfig 對象：

  對于單獨語法包的客戶端，我們可以用函數 NuanceConfigBuild （）來創建，只要向它提供語法包路徑就可以了。對于多語法包的客戶端我們要用 NuanceConfigBuildFromCommandLine （）函數來創建，創建時把所有參數作為一個存放字符串數組 (char**) 放到它的第二個參數里，它第一個參數是參數個數。這里必須要注意第二個參數的數據的格式和空格大小寫等，任何一個錯誤都會引起創建失敗。我的做法是用一個配置文件存儲所有的參數，然后逐一讀出，組裝成一個字符串指針數組。下面是我的配置文件的部分：

packagedir=H:\GHT\ICA\CVP_M

packagedir=H:\GHT\ICA\CVP_C

audio.Provider=mem

client.Behaviors=calllog,timeout

  。。。。

讀出整理后要求的格式是：

-package

H:\GHT\ICA\CVP_M

–package

H:\GHT\ICA\CVP_M

audio.Provider=mem

client.Behaviors=calllog,timeout

。。。。

上面每一行作為字符串（ char* ）分別存儲到以下的 punit 數組中：

typedef char* _tCmdLnUnit;

_tCmdLnUnit punit[256];

然后再調用 NuanceConfigBuildFromCommandLine （）

4.1.2.     創建一個 Dispatcher ：

這部分比較簡單只要把上一步創建的 NuanceConfig 作為參數傳入 Dispatcher 的構造函數即可。

 

4.2. 創建 Application object ：

4.2.1. 創建 RCAPP ：

      本客戶端的 RCAPP 對象就是 Application object 對象。它派生于 NotifiableAdapter 和 Triggerable ，并且它有一個 RCEngine * 的內部成員。

4.2.2.     創建 RCEngine ：

     其構造函數為： RCEngine(NuanceConfig const* config, DispatcherInterface & dispatcher, Notifiable & notifiable, NuanceStatus & status) ；把剛才創建的 NuanceConfig 對象、 Dispatcher 對象、 RCAPP 對象的指針作為參數即可。

4.3. 啟動 Dispatcher 的消息循環：

4.3.1.     創建一個線程：

Dispatcher 的消息循環需要獨占一個線程。

4.3.2.     執行消息循環：

只要執行 Dispatcher 的 Dispatch （）函數即可。該函數不會退出，除非所有 RCEngine 都被刪掉。當它退出時，就是這個 Dispatcher 應該被刪除的時候了。

4.4. HandleInitializationCompleted 被調用：

       當你的 Application object 的 HandleInitializationCompleted 被調用時且通告狀態值是 NUANCE_OK 時，說明你的 RCEngine 已初始化成功了。但注意這里并不是表示你可以進行識別了，你還需要做以完一下工作：

 

4.4.1.     設置播音為外部：

因為我們使用的是自己的播放音平臺，所以必須設定是外部播音。

4.4.2. 打開數據庫

    我們要用到動態語法所以必須要打開數據庫。用函數 OpenDatabase （）打開數據庫，這里要提供 odbc 數據源名稱，用戶帳號，數據庫類型的信息。

4.4.3. 打開 calllog 通道

   調用 OpenCalllogChannel （）函數打開 callog 通道讓 Nuance 把 callog 放到 NuanceConfig 對象創建時參數指定的位置，否則 callog 會放到客戶端程序同樣路徑下。

4.4.4. 創建 AudioSampleFetcher ：

這是個為識別提供數據的輔助類，在這里創建比較合適。

4.5. HandleNuanceDBOpened ：

通告狀態值是 NUANCE_OK 時，說明你的數據庫打開成功。這個時候，你的初始化成功完成了。你可以進入下一步，開始識別了。

4.6. 啟動識別：

4.6.1. 設定識別閥值：

     當的識別得分，低于這個值時，識別結果就會被拒絕。

4.6.2. 設定 NoSpeechTimeoutSecs 值：

      當 RCEngine 啟動超后在該值時間內沒有人聲輸入，系統就會結束識別并返回 NoSpeechTimeout 信息。

4.6.3.     預定義輸出結果格式：

           當需要格式化的識別結果時，要在這里設定好結果的輸出格式。比如我們輸入的格式是： <&confidence>spelling:<spelling> 則輸出的結果可以是： 69 spelling:chai4 shan1 shan1 . 表示識別分數 69, 識別出來的 slot （這里是 <spelling> ）對應的值是 chai4 　 shan1 　 shan1 。

4.6.4.     啟動識別：

　　　　　　使用 RCEngine 的 RecognizeUtterance （）函數啟動識別。這里要提供一個 Top grammar ，也就是靜態語法中的 top grammar. 識別過程需要一定的時間等待結果，若你要在被過程中啟動超時則可以通過設定 behavior.timeout.ExternalPromptDone 為 TRUE ，讓之前設定的 NoSpeechTimeoutSecs 生效。

4.6.5.     啟動錄音：

由 AudioSampleFetcher 的 StartPlatformDependentRecording 函數調用外部錄音平臺錄音。 AudioSampleFetcher 會創建觸發器，該觸發器會每 100 毫秒（該值可以在啟動觸發器時自己定義，推薦用默認的 100 毫秒）進行一次錄音數據的輸入。

4.6.6.     發現人音 HandleStartOfSpeech ：

正常的話，當在音頻數據中發現人聲時，你的 application object 的 HandleStartOfSpeech 被調用。這時你可以停掉外部的平臺放音。

4.6.7.     發現語音結束點 HandleEndOfSpeech ：

當識別系統認為人聲結束時，你的 application object 的 HandleEndOfSpeech 會被調用。

4.6.8.     發現語音結束點 HandleRecognitionStopped ：

當系統識別結束時這個 application object 的 HandleRecognitionStopped 會被調用。這時你要做的是用 AudioSampleFetcher 的 StopPlatformDependentRecording 停掉外部平臺錄音。用 RecResultGetType （）獲取識別結束原因，除了成功外，其中還飽含識別失敗的原因等，用 RecResultGetTextResult 獲取識別的格式化結果。至此一次識別結束。

5.   識別客戶端的關閉：

 

識別客戶端關閉的具體步驟是：

5.1. 停止所有識別任務：

用 RCEngine 的 Abort （）函數終止一切操作。

5.2. 關閉動態語法數據庫：

        用 RCEngine 的 CloseDatabase （）關閉語法數據庫。

5.3. 刪除所有 Application object( 在它釋構時刪除它的 RCEngine 對象成員 ) ：

        即刪除本客戶端的 RCAPP 對象。

5.4. Dispatcher 退出消息循環時刪除 Dispatcher object 對象：

      這里一定要等到 Dispatcher 自動退出循環才刪掉這個對象，不然會引起錯誤。

 

 

                                                           

                                                              lyman

                                                           2005.12.30