在 Python 3 中通过套接字的 OpenCV 实时流视频

Question

我正在尝试创建一个简单的应用程序，以使用 OpenCV 通过 Python 3 中的套接字发送实时流视频。我是 OpenCV 和套接字编程的新手，所以如果您能提供详细的答案，我将不胜感激。谢谢你。

这是sender.py

import socket
import time

import cv2

capture = cv2.VideoCapture(0)
sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
sock.connect(('192.168.1.10', 50505))

while True:
    ret, frame = capture.read()
    data = cv2.imencode('.jpg', frame)[1].tostring()
    sock.sendall(data)
    time.sleep(2)

这是receiver.py

import socket
import cv2
import numpy as np
import time

HOST = '192.168.1.10'
PORT = 50505

s = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
print('Socket created')

s.bind((HOST, PORT))
print('Socket bind complete')

s.listen(10)
print('Socket now listening')

conn, addr = s.accept()

while True:
    data = conn.recv(8192)
    nparr = np.fromstring(data, np.uint8)
    frame = cv2.imdecode(nparr, cv2.IMREAD_COLOR)
    cv2.imshow('frame', frame)
    time.sleep(2)

这是错误

 receiver.py", line 29, in <module>
        cv2.imshow('frame', frame)
    cv2.error: D:\Build\OpenCV\opencv-3.4.0\modules\highgui\src\window.cpp:339:
error: (-215) size.width>0 && size.height>0 in function cv::imshow

Answer 1

我是强大的VidGear视频处理 Python 库的作者，该库现在还提供NetGear API，专门设计用于通过网络在互连系统之间实时同步传输视频帧。您可以按如下方式尝试：

A. 服务器端：（Bare-Minimum 示例）

打开你最喜欢的终端并执行以下 python 代码：

注意： 您可以通过在服务器端键盘上按 [Ctrl+c] 随时在服务器端和客户端结束流式传输！

# import libraries
from vidgear.gears import VideoGear
from vidgear.gears import NetGear

stream = VideoGear(source='test.mp4').start() #Open any video stream
server = NetGear() #Define netgear server with default settings

# infinite loop until [Ctrl+C] is pressed
while True:
    try: 
        frame = stream.read()
        # read frames

        # check if frame is None
        if frame is None:
            #if True break the infinite loop
            break

        # do something with frame here

        # send frame to server
        server.send(frame)
    
    except KeyboardInterrupt:
        #break the infinite loop
        break

# safely close video stream
stream.stop()
# safely close server
writer.close()

B. 客户端：（Bare-Minimum 示例）

然后在同一系统上打开另一个终端并执行以下python代码并查看输出：

# import libraries
from vidgear.gears import NetGear
import cv2

#define netgear client with `receive_mode = True` and default settings
client = NetGear(receive_mode = True)

# infinite loop
while True:
    # receive frames from network
    frame = client.recv()

    # check if frame is None
    if frame is None:
        #if True break the infinite loop
        break

    # do something with frame here

    # Show output window
    cv2.imshow("Output Frame", frame)

    key = cv2.waitKey(1) & 0xFF
    # check for 'q' key-press
    if key == ord("q"):
        #if 'q' key-pressed break out
        break

# close output window
cv2.destroyAllWindows()
# safely close client
client.close()

NetGear 目前支持两种 ZeroMQ 消息传递模式：即zmq.PAIR和zmq.REQ and zmq.REP支持的协议是：'tcp' and 'ipc'

更高级的用法可以在这里找到： https : //abhitronix.github.io/vidgear/latest/gears/netgear/overview/

Answer 2

这是因为您收到的数据量很小，并且图像不完整。99.99% 的情况下，8192 字节是不够的，因为每个图像都大于 8Kb。您需要获取发件人发送的所有数据，以便将其转换为图像。

您可以在github上查看我的代码并根据您的需要进行更改。

长话短说，简单的选择是首先向客户端发送字节数，然后发送图像本身。在客户端代码中，接收到图像长度后，循环直到接收到所有字节。例如：

...
img_len = 175428 # received by sender.py
e=0
data = ''
while e < img_len:
  d = sock.recv(1024)
  e += len(d)
  data += d

nparr = np.fromstring(data, np.uint8)
frame = cv2.imdecode(nparr, cv2.IMREAD_COLOR)
cv2.imshow('frame', frame)