使用 SAPI 或同等功能的 SR 将音频文件转换为文本

Ara*_*ida 0 c++ com speech-recognition sapi

首先让我解释一下我的目标。我正在努力实现的目标是提供输入 .wav 文件,将其发送到某种语音识别 API,并返回带有转录的文本文件。我想到的应用程序非常简单。我不要求对其进行语法或标点符号解析。它可以返回一个又大又长的句子——这很好。我会将每个转录的单词视为文本文件(.tsv 或 .csv 格式)中的观察结果

然而,我确实需要的一个棘手的数据(棘手是因为我审查过的所有 3rd 方音频转录服务中 95% 不向用户提供此类数据)是 [0.00 - 1.00] 置信度得分SR 会对每个单词进行猜测。我想将该数据存储在文本文件的新列中,其中包含 .tsv 或 .csv 格式的转录文本。

就是这样。这就是我的目标。看来我的目标是可能的:这是相关帖子中专家的引用:

使用 SAPI 将音频(Wav 文件)转换为文本?

SAPI当然可以做你想做的事。从进程内识别器开始,将音频连接为文件流,设置听写模式,然后就可以开始了。

以下是 .wav 转录置信度分数的相关文档:

https://msdn.microsoft.com/en-us/library/jj127911.aspx

https://msdn.microsoft.com/en-us/library/microsoft.speech.recognition.recognizedwordunit.confidence(v=office.14).aspx

大家都说的很简单,现在我来解释一下问题;为什么我要发布问题。问题是,对我来说,我的目标遥不可及,因为我对 C++ 或 COM 几乎一无所知。我认为 SAPI 是日常 Windows 体验的一部分,并且有一个专用的、友好的用户界面。因此,我对这个程序研究得越多,就越感到震惊。但我仍然相信原则上这是一件非常简单的事情,所以我很乐观。

我有Python知识和一点JS知识。我知道 Python 对其他语言有代码魔力,所以我确信 Python 可以通过这种方式与 SAPI 交互,但由于我不懂 C++,我认为这不会让我过得更好。

所以重申一下,尽管技能不匹配,我仍然偏爱 SAPI,因为所有用户友好的替代方案,如 Dragon、Nuance、Chrome 插件等,都无法提供我需要的数据粒度。

现在让我谈谈我的问题的核心:

  1. 有人可以对我上述“目标”的难度进行评估吗?可以在单个 .bat 文件中完成吗?示例代码将不胜感激。

小智 5

这可能是不言而喻的,但我认为如果您对 C 作为一种语言没有很强的掌握,您会发现很难使用 SAPI 的 C 接口。我写了一个程序,它几乎完全符合你前一段时间所说的内容来测试这个概念。首先是代码转储:

#include "dirent.h"
#include <iostream>
#include <string>
#include <sapi.h>
#include <sphelper.h>

int main(int argc, char* argv[]){

    DIR *dir;
    struct dirent* entry;
    struct stat* statbuf;
    ::CoInitialize(NULL);
    if((dir = opendir(".")) != NULL){
        while((entry = readdir(dir)) != NULL){
            char extCheck[260];
            strcpy(extCheck, entry->d_name);
            if(strlen(extCheck) > 4 && !strcmp(strlwr(extCheck) + strlen(extCheck)-4, ".wav")){
                //printf("%s\n",entry->d_name);
                //1. Find the wav files
                //2. Check the wavs to make sure they're the correct format
                //3. Output any errors to the error log
                //4. Produce the text files for the wavs
                //5. Cleanup and exit
                FILE* fp;
                std::string fileName = std::string(entry->d_name,entry->d_name + strlen(entry->d_name)-4);
                fileName += ".txt";
                fp = fopen(fileName.c_str(), "w+");
                HRESULT hr = S_OK;
                CComPtr<ISpStream> cpInputStream;
                CComPtr<ISpRecognizer> cpRecognizer;
                CComPtr<ISpRecoContext> cpRecoContext;
                CComPtr<ISpRecoGrammar> cpRecoGrammar;
                CSpStreamFormat sInputFormat;
                hr = cpRecognizer.CoCreateInstance(CLSID_SpInprocRecognizer);
                hr = cpInputStream.CoCreateInstance(CLSID_SpStream);
                hr = sInputFormat.AssignFormat(SPSF_16kHz16BitStereo);
                std::string sInputFileName = entry->d_name;
                std::wstring wInputFileName = std::wstring(sInputFileName.begin(), sInputFileName.end());
                hr = cpInputStream->BindToFile(wInputFileName.c_str(), SPFM_OPEN_READONLY, &sInputFormat.FormatId(), sInputFormat.WaveFormatExPtr(), SPFEI_ALL_EVENTS);
                hr = cpRecognizer->SetInput(cpInputStream, TRUE);
                hr = cpRecognizer->CreateRecoContext(&cpRecoContext);
                hr = cpRecoContext->CreateGrammar(NULL, &cpRecoGrammar);
                hr = cpRecoGrammar->LoadDictation(NULL,SPLO_STATIC);

                hr = cpRecoContext->SetNotifyWin32Event();
                auto hEvent = cpRecoContext->GetNotifyEventHandle();
                hr = cpRecoContext->SetInterest(SPFEI(SPEI_RECOGNITION) | SPFEI(SPEI_END_SR_STREAM), SPFEI(SPEI_RECOGNITION) | SPFEI(SPEI_END_SR_STREAM));
                hr = cpRecoGrammar->SetDictationState(SPRS_ACTIVE);
                BOOL fEndStreamReached = FALSE;
                unsigned int timeOut = 0;
                //WaitForSingleObject(hEvent, INFINITE);
                while (!fEndStreamReached && S_OK == cpRecoContext->WaitForNotifyEvent(INFINITE)){
                    CSpEvent spEvent;

                     while (!fEndStreamReached && S_OK == spEvent.GetFrom(cpRecoContext)){

                        switch (spEvent.eEventId){

                            case SPEI_RECOGNITION:
                                {
                                    auto pPhrase = spEvent.RecoResult();
                                    SPPHRASE *phrase = nullptr;// new SPPHRASE();
                                    LPWSTR* text = new LPWSTR(L"");
                                    pPhrase->GetText(SP_GETWHOLEPHRASE, SP_GETWHOLEPHRASE, TRUE, text, NULL);
                                    pPhrase->GetPhrase(&phrase);

                                    if(phrase != NULL && phrase->pElements != NULL) {
                                        std::wstring wRuleName = L"";

                                        if(nullptr != phrase && phrase->Rule.pszName != NULL) {
                                            wRuleName = phrase->Rule.pszName;
                                        }

                                        std::wstring recognizedText = L"";
                                        bool firstWord = true;
                                        for(ULONG i = 0; i < (ULONG)phrase->Rule.ulCountOfElements; ++i) {

                                            if(phrase->pElements[i].pszDisplayText != NULL) {

                                                std::wstring outString = phrase->pElements[i].pszDisplayText;
                                                std::string soutString = std::string(outString.begin(), outString.end());
                                                if(!firstWord){
                                                    soutString = " " + soutString;
                                                    firstWord = false;
                                                }
                                                soutString = soutString + " ";
                                                fputs(soutString.c_str(),fp);
                                                /*if(recognizedText != L"") {
                                                    recognizedText += L" " + outString;
                                                } else {
                                                    recognizedText += outString;
                                                }*/
                                            }
                                        }

                                    }
                                    delete[] text;

                                    break;
                                }

                            case SPEI_END_SR_STREAM:
                                {
                                    fEndStreamReached = TRUE;
                                    break;
                                }

                        }

                        // clear any event data/object references
                        spEvent.Clear();
                    }
                }

                hr = cpRecoGrammar->SetDictationState(SPRS_INACTIVE);
                hr = cpRecoGrammar->UnloadDictation();
                hr = cpInputStream->Close();

                fclose(fp);
            }
        }
        closedir(dir);
    } else {
        perror("Error opening directory");
    }

    ::CoUninitialize();

    std::printf("Press any key to continue...");
    std::getchar();
    return 0;
}
Run Code Online (Sandbox Code Playgroud)

我已经很长时间没有运行这个了,但是你必须获得 dirent.h 才能让它工作。我使用该库没有其他原因,只是为了尝试一下。

使用提供的代码,您可能可以开始查看识别步骤中生成的置信值。如果您愿意,您还可以调整它以从批处理文件运行。

我遇到的问题如下:

  1. 准确性是一个问题,为了提高它,我必须训练识别器,这将需要比我更多的时间。
  2. 我发现直接翻译成文本毕竟不是我真正想要的。事实证明,音素数据更为重要。这样您就可以形成自己的信心方案,并针对您的应用开发自己的替代方案。
  3. Window 的识别器虽然很好,但无法识别它不认识的单词。您必须弄清楚如何将词汇添加到 Windows 语音识别器词典中。

话虽如此,使用 Windows 桌面语音识别器并不是一件容易的事。我会看一下现有的一些 API。如果您不限于仅限客户端应用程序,那么您最好研究一下其他 API。