使用skvideo.io.FFmpegWriter从相机写入帧

Question

我试图用精确控制在飞行中拍摄的摄像机图像帧的视频编码skvideo.io.FFmpegWriter和cv2.VideoCapture，如

from skvideo import io
import cv2

fps = 60
stream = cv2.VideoCapture(0)                    # 0 is for /dev/video0
print("fps: {}".format(stream.set(cv2.CAP_PROP_FPS, fps)))

stream.set(cv2.CAP_PROP_FRAME_WIDTH, 1920)
stream.set(cv2.CAP_PROP_FRAME_HEIGHT, 1080)
print("bit_depth: {}".format(stream.set(cv2.CAP_PROP_FORMAT, cv2.CV_8U)))

video = io.FFmpegWriter('/tmp/test_ffmpeg.avi', 
            inputdict={'-r': fps, '-width': 1920, '-height': 1080},
            outputdict={'-r': fps, '-vcodec': 'libx264', '-pix_fmt': 'h264'}
)

try:
    for i in range(fps*10):  # 10s of video
        ret, frame = stream.read()
        video.writeFrame(frame)
finally:
    stream.release()

try:
    video.close()
except:
    pass

但是，我收到以下异常（在Jupyter笔记本中）：

---------------------------------------------------------------------------
TypeError                                 Traceback (most recent call last)

<ipython-input-33-007a547c4229> in <module>()
     18     while range(fps*10):
     19         ret, frame = stream.read()
---> 20         video.writeFrame(frame)
     21 except BaseException as err:
     22     raise err

/usr/local/lib/python3.6/site-packages/skvideo/io/ffmpeg.py in writeFrame(self, im)
    446         T, M, N, C = vid.shape
    447         if not self.warmStarted:
--> 448             self._warmStart(M, N, C)
    449 
    450         # Ensure that ndarray image is in uint8

/usr/local/lib/python3.6/site-packages/skvideo/io/ffmpeg.py in _warmStart(self, M, N, C)
    412         cmd = [_FFMPEG_PATH + "/" + _FFMPEG_APPLICATION, "-y"] + iargs + ["-i", "-"] + oargs + [self._filename]
    413 
--> 414         self._cmd = " ".join(cmd)
    415 
    416         # Launch process

TypeError: sequence item 3: expected str instance, int found

将其更改为会video.writeFrame(frame.tostring())导致ValueError: Improper data input，让我感到难过。

我应该如何将每个帧（由OpenCV返回）写入FFmpegWriter实例？

编辑

如果我从通话中删除inputdict并outputdict退出io.FFmpegWriter通话，代码可以正常工作，但是这对我来说就达不到目的，因为我需要对视频编码进行精细控制（我正在尝试对从摄像头捕获的原始视频进行无损/近无损压缩，并尝试在压缩与保真度方面建立最佳折衷方案以满足我的需求）。

Answer 1

这里要注意几点：

• skvideo.io.FFmpegWriter使用ffmpeg命令行工具来编码视频，而不是C API。因此，请ffmpeg首先在终端中测试您的命令，以确保您的管道正常运行。
• 该inputdict={},outputdict={}拿的字符串输入不是整数。如果您有整数变量，请使用str(var_name)将其转换为字符串。
• 您必须确保pix_fmt编解码器支持您正在使用的代码。获得所有pix_fmt使用的清单ffmpeg -pix_fmts。请记住，x264不接受所有pix_fmt，且s ffmpeg内部支持。

因此，对于近乎无损的编码（请参阅this和this），我们可以使用以下命令：

ffmpeg -s 1920x1080 -r 60 -i /dev/video0 -s 1920x1080 -r 60 -c:v libx264 -crf 17 -preset ultrafast -pix_fmt yuv444p test_ffmpeg.avi

相同的命令翻译为skvideo.io.FFmpegWriter：

fps = 60
width = 1920
height = 1080
crf = 17
video = io.FFmpegWriter('/tmp/test_ffmpeg.avi', 
            inputdict={'-r': str(fps), '-s':'{}x{}'.format(width,height)},
            outputdict={'-r': str(fps), '-c:v': 'libx264', '-crf': str(crf), '-preset': 'ultrafast', '-pix_fmt': 'yuv444p'}
)