使用语音到文本自动生成字幕的程序？

Question

我有一个要为其创建字幕的视频。是否有一个程序可以执行基本的语音到文本，以便

1. 设置每个独立字幕的正确开始/停止
2. 创建基本的文本字幕（使用某种语音到文本）

我知道侏儒字幕。但是，手动创建这些字幕需要付出大量努力。您需要为每个句子选择自己的开头和结尾。

Youtube 具有上述功能（使用语音到文本在正确的时间创建基本的文本字幕）。但是，我宁愿不将视频上传到 Youtube 只是为了获得我的字幕。是否可以在 Ubuntu 中有效地制作字幕？

更新：我打算只使用 .srt 字幕，不需要在视频上硬编码。我最大的要求是让程序自动找到每个句子的开头/结尾，以便我在其中编写文本。

更新 #2：有适用于 Linux 的 Speech-to-Text 软件，带有 CMU Sphinx 包。根据http://sourceforge.net/projects/cmusphinx/forums/forum/5471/topic/3949891可以使用带有字幕程序的 CMU Sphinx此外，有一个字幕工具知道 CMU Sphinx 的这个特性，http： //groups.google.com/group/universal-subtitles-testing/browse_thread/thread/613361ffb921b43b（基于网络的工具），但是在他们添加的CMU Sphinx的最新源代码中没有参考。任务继续寻找一个程序，它使用 CMU Sphinx 进行基本的文本语音转换（这也将设置正确的时间），就像 Youtube 已经做的那样。

Answer 1

您有多种选择：

YouTube

对于那些接受必须暂时将视频上传到 YouTube（必须选择视频语言）才能获取其字幕（隐藏字幕、歌词）的人：可以使用youtube-dl或yt-dlp提取/下载它：

yt-dlp --write-auto-sub \  # Write automatically generated subtitle file (YouTube only)
  --write-sub \                # Write subtitle file
  --sub-lang en,de,es \        # Languages of the subtitles to download (optional) separated by commas, use --list- subs for available language tags
  --convert-subs srt \         # Convert the subtitles to other format (currently supported: srt|ass|vtt|lrc)
  -o "~/%(uploader)s/%(playlist)s/%(playlist_index)s - %(title)s.%(ext)s" \  # OUTPUT TEMPLATE
  --skip-download \            # Do not download the video
  --ignore-errors vidURLorID   # Continue on download errors, for example to skip unavailable videos in a playlist

一行并简化：

yt-dlp --write-auto-sub --write-sub --sub-lang en --convert-subs srt --skip-download vidURLorID

如果转换不起作用，请使用FFmpeg进行转换：

ffmpeg -i myTitle.en.vtt output.srt

要将srt 转换为 txt：

yt-dlp --write-auto-sub --write-sub --sub-lang en --convert-subs srt --skip-download vidURLorID

相关回答。

耳语（OpenAI）

Whisper是一种通用语音识别模型。它是在各种音频的大型数据集上进行训练的，也是一个多任务模型，可以执行多语言语音识别以及语音翻译和语言识别。

您可以从这个很棒的列表中获取一些基于 Whisper 的工具。

实时字幕

Live Captions是一款为 Linux 桌面提供实时字幕的应用程序。

目前仅支持英语。其他语言可能会产生乱码或错误的语音翻译。

在Flathub上。

克登利夫

Kdenlive 具有自动字幕/语音转文本功能（可以选择使用 Whisper）。

Answer 2

我没有找到一种方法让字幕程序通过分析视频中的声音来自动添加基本字幕。

因此，我使用的替代方案是

1. 将视频上传到 Youtube（例如，私下）并使用内置工具自动创建基本字幕。

然后，

1. 如果 Youtube 中的自动方式不起作用或句子丢失，请将视频添加到http://www.universalsubtitles.org/并手动创建每个句子的时间范围。
2. 使用GNOME 字幕（可在软件中心找到）来清理字幕并修复任何计时。