如何通过 ZeroMQ 将图像（opencv Matrix/numpy 数组）从 c++ 发布者传输到 python 发送者？

Question

我知道如何通过 zeromq 从 C++ 向 python 发送字符串消息。

这是我知道的发送字符串消息的代码：

C++ 发件人代码：

void *context = zmq_ctx_new();
void *publisher = zmq_socket(context, ZMQ_PUB);
int bind = zmq_bind(publisher, "tcp://localhost:5563");
std::string message = "Hello from sender";
const char *message_char = message.c_str();
zmq_send(publisher, message_char, strlen(message_char), ZMQ_NOBLOCK);

Python接收器代码：

context = zmq.Context()
receiver = context.socket(zmq.SUB)
receiver.connect("tcp://*:5563")
receiver.setsockopt_string(zmq.SUBSCRIBE, "")
message = receiver.recv_string()

我想要的是将图像从 c++ zeromq 发布者发送到 python 接收器。

Answer 1

免责声明： 回答我自己的问题，以便其他人不会停留在我所做的事情上。

所以让我们开始吧。

什么是零MQ？

ZeroMQ 是一个高性能的异步消息库，旨在用于分布式或并发应用程序。它提供了一个消息队列，但与面向消息的中间件不同，ZeroMQ 系统可以在没有专用消息代理的情况下运行。

之前，我们开始这里是基础知识：

使用的协议/库：ZeroMQ

发布者：面向 C++

订阅者：面向Python

通过 ZeroMQ 发送字符串/字符数组消息：

C++ 发布者：-

// Setting up ZMQ context & socket variables
void *context = zmq_ctx_new();
void *publisher = zmq_socket(context, ZMQ_PUB); 
int bind = zmq_bind(publisher, "tcp://*:9000");
std::string message = "Hello from sender";
const char *message_char = message.c_str(); // Converting c++ string to char array
// Sending char array via ZMQ
zmq_send(publisher, message_char, strlen(message_char), ZMQ_NOBLOCK);

Python订阅者：-

// Setting up ZMQ context & socket variables
context = zmq.Context()
receiver = context.socket(zmq.SUB)
receiver.connect("tcp://localhost:9000")
// Subscribing to start receiving messages
receiver.setsockopt_string(zmq.SUBSCRIBE, "")
message = receiver.recv_string()

通过 ZeroMQ 发送 Image/ndarray 数组消息：

对于处理图像，opencv 是一个很棒的库。简单，易于编码和闪电般快速。

C++ 发布者：-

void *context = zmq_ctx_new();
void *publisher = zmq_socket(context, ZMQ_PUB);
int bind = zmq_bind(publisher, "tcp://*:9000");

// Reading the image through opencv package
cv::Mat image = cv::imread("C:/Users/rohit/Desktop/sample.bmp", CV_LOAD_IMAGE_GRAYSCALE );
int height = image.rows;
int width = image.cols;
zmq_send(publisher, image.data, (height*width*sizeof(UINT8)), ZMQ_NOBLOCK);

在上面的代码中，图像被读取为灰度图像，您也可以通过在 opencv 的 imread 方法中传递适当的参数来读取 3 通道（RGB）图像。

还要记住相应地修改大小（zmq_send 函数调用中的第三个参数）。

Python订阅者：-

context = zmq.Context()
receiver = context.socket(zmq.SUB)
receiver.connect("tcp://localhost:9000")
receiver.setsockopt_string(zmq.SUBSCRIBE, "")
// Receiving image in bytes
image_bytes = receiver.recv()
int width = 4096; // My image width
int height = 4096; // My image height
// Converting bytes data to ndarray
image = numpy.frombuffer(image_byte, dtype=uint8).reshape((width, height))

TO DO / IMPROVEMENT： 您还可以从 c++ 发布者处传递图像大小以及图像数据。因此，可以在 python 端相应地重塑该图像。

ZMQ_SNDMORE 标志在这里派上用场

只需在 c++ 端添加另一个 zmq_send 语句。

zmq_send(publisher, img_height, strlen(img_height), ZMQ_SNDMORE)
zmq_send(publisher, img_width, strlen(img_width), ZMQ_SNDMORE)
zmq_send(publisher, image.data, (height*width*sizeof(UINT8)), ZMQ_NOBLOCK);

同理，在python端添加相应的接收语句。

height = receiver.recv_string(ZMQ_RCVMORE)
width = receiver.recv_string(ZMQ_RCVMORE)
image_bytes = receiver.recv()

另一个改进

感谢@Mark Setchell 指出改进。

直接通过网络发送大尺寸的 opencv 矩阵可能会很昂贵。更好的方法是在通过网络发送之前对图像进行编码。

C++ 发布者：-

void *context = zmq_ctx_new();
void *publisher = zmq_socket(context, ZMQ_PUB);
int bind = zmq_bind(publisher, "tcp://*:9000");

// Reading the image through opencv package
cv::Mat image = cv::imread("C:/Users/rohit/Desktop/sample.bmp", CV_LOAD_IMAGE_GRAYSCALE );
int height = image.rows;
int width = image.cols;
cv::vector<uchar> buffer;
cv::imencode(".jpg", image, buffer);
zmq_send(publisher, buffer.data(), buffer.size(), ZMQ_NOBLOCK);

Python订阅者：-

context = zmq.Context()
receiver = context.socket(zmq.SUB)
receiver.connect("tcp://localhost:9000")
receiver.setsockopt_string(zmq.SUBSCRIBE, "")
// Receiving image in bytes
image_bytes = receiver.recv()
// Decoding the image -- Python's PIL.Image library is used for decoding
image = numpy.array(Image.open(io.BytesIO(image_byte)))