python中基于opencv图像创建rtsp流

Question

我的目标是从 rtsp 服务器读取帧，对帧进行一些 opencv 操作并将操作的帧写入新的 rtsp 服务器。

我尝试了以下基于在 python 中从 opencv 写入 Gstreamer 管道的方法，但我无法弄清楚创建 rtsp 服务器的适当 gst-launch-1.0 参数应该是什么。任何人都可以协助 gst-launch-1.0 的适当参数吗？我试过的那些卡在“管道正在预滚动”中

import cv2

cap = cv2.VideoCapture("rtsp://....")

framerate = 25.0

out = cv2.VideoWriter('appsrc ! videoconvert ! '
  'x264enc noise-reduction=10000 speed-preset=ultrafast 
   tune=zerolatency ! '
  'rtph264pay config-interval=1 pt=96 !'
  'tcpserversink host=192.168.1.27 port=5000 sync=false',
  0, framerate, (640, 480))


counter = 0
while cap.isOpened():
  ret, frame = cap.read()
  if ret:
    out.write(frame)

    if cv2.waitKey(1) & 0xFF == ord('q'):
      break
  else:
    break

cap.release()
out.release()

我还尝试了另一种基于Write opencv frames into gstreamer rtsp server pipeline 的解决方案

import cv2
import gi 

gi.require_version('Gst', '1.0')
gi.require_version('GstRtspServer', '1.0') 
from gi.repository import Gst, GstRtspServer, GObject

class SensorFactory(GstRtspServer.RTSPMediaFactory):
  def __init__(self, **properties): 
    super(SensorFactory, self).__init__(**properties) 
    #self.cap = cv2.VideoCapture(0)
    self.cap = cv2.VideoCapture("rtsp://....")
    self.number_frames = 0 
    self.fps = 30
    self.duration = 1 / self.fps * Gst.SECOND  # duration of a frame in nanoseconds 
    self.launch_string = 'appsrc name=source is-live=true block=true format=GST_FORMAT_TIME ' \
                         'caps=video/x-raw,format=BGR,width=640,height=480,framerate={}/1 ' \
                         '! videoconvert ! video/x-raw,format=I420 ' \
                         '! x264enc speed-preset=ultrafast tune=zerolatency ' \
                         '! rtph264pay config-interval=1 name=pay0 pt=96'.format(self.fps)

  def on_need_data(self, src, lenght):
    if self.cap.isOpened():
      ret, frame = self.cap.read()
      if ret:
        data = frame.tostring() 
        buf = Gst.Buffer.new_allocate(None, len(data), None)
        buf.fill(0, data)
        buf.duration = self.duration
        timestamp = self.number_frames * self.duration
        buf.pts = buf.dts = int(timestamp)
        buf.offset = timestamp
        self.number_frames += 1
        retval = src.emit('push-buffer', buf) 

        print('pushed buffer, frame {}, duration {} ns, durations {} s'.format(self.number_frames, self.duration, self.duration / Gst.SECOND)) 

        if retval != Gst.FlowReturn.OK: 
          print(retval) 

  def do_create_element(self, url): 
    return Gst.parse_launch(self.launch_string) 

  def do_configure(self, rtsp_media): 
    self.number_frames = 0 
    appsrc = rtsp_media.get_element().get_child_by_name('source') 
    appsrc.connect('need-data', self.on_need_data) 


class GstServer(GstRtspServer.RTSPServer): 
  def __init__(self, **properties): 
    super(GstServer, self).__init__(**properties) 
    self.factory = SensorFactory() 
    self.factory.set_shared(True) 
    self.get_mount_points().add_factory("/test", self.factory) 
    self.attach(None) 


GObject.threads_init() 
Gst.init(None) 

server = GstServer() 

loop = GObject.MainLoop() 
loop.run()

此解决方案自行生成 rtsp 服务器并传输到它。我能够在 VLC 中打开生成的 rtsp 流，但它一直显示第一帧并且不更新新帧。有谁知道为什么？

我正在寻找任何解决方案，使我能够以低延迟将帧从 rtsp 服务器读取为 opencv 格式，操作帧并将帧输出到新的 rtsp 服务器（我也需要创建）。如果存在更好的东西，该解决方案不需要基于 gstreamer。

我正在使用 Ubuntu 16.04 和 python2.7 和 opencv 3.4.1

Answer 1

没有尝试过，但你可以尝试：

\n

将 nvv4l2h264enc 替换为 omxh264enc，因为它看起来更好。我很快就尝试了 UDP 流 9，发现 nvv4l2h264enc 使用的默认配置文件在我的情况下高于 omxh264enc，即使设置最快的预设，它也会通过 UDP 失去同步，而 omxh264enc 则保持同步（也许我错过了一些选项）。 \n在 h264 编码器之后添加 h264parse\n在 h264parse 和 rstpclientsink 之间添加 rtph264pay config-interval=1。\n在 appsrc 之后添加队列。\n如果有效，请随意尝试删除任何无用的部分。

\n

另请注意，如果升级 opencv 版本/版本，python 中的 VideoWriter API 可能已更改（第二个参数现在是使用的 API，例如 cv2.CAP_GSTREAMER 或 cv2.CAP_ANY），但它似乎并没有\xe2\x80\x99t是你的情况，因为你有一个工作案例。

\n

希望我有帮助

\n