两个独立的 Python 引擎之间的通信

Question

问题陈述如下：

我正在使用 Abaqus，这是一个分析机械问题的程序。它基本上是一个独立的 Python 解释器，有自己的对象等。在这个程序中，我运行一个 python 脚本来设置我的分析（所以这个脚本可以修改）。它还包含一个必须在接收到外部信号时执行的方法。这些信号来自我在自己的 Python 引擎中运行的主脚本。

现在，我有以下工作流程：当 Abaqus 脚本必须执行特定函数时，主脚本将布尔值设置为 True，并将此布尔值腌制到文件中。Abaqus 脚本会定期检查此文件以查看布尔值是否已设置为 true。如果是这样，它会进行分析并腌制输出，以便主脚本可以读取此输出并对其进行操作。

我正在寻找一种更有效的方法来通知另一个进程开始分析，因为有很多不必要的检查正在进行中。通过pickle进行数据交换对我来说不是问题，但当然欢迎更有效的解决方案。

搜索结果总是给我提供子进程或类似的解决方案，这是针对在同一个解释器中启动的两个进程。我也看过ZeroMQ，因为这应该可以实现这样的事情，但我认为这是矫枉过正，希望在python中找到解决方案。两个解释器都运行 python 2.7（虽然版本不同）

Answer 1

编辑：

像@MattP 一样，我将添加我的理解声明：

背景

我相信您正在运行一个名为 abaqus 的产品。abaqus 产品包括一个链接的 python 解释器，您可以以某种方式访问​​它（可能通过abaqus python foo.py在命令行上运行）。

您还有一个单独的 python 安装，在同一台机器上。您正在开发代码，可能包括 numpy/scipy，以在该 python 安装上运行。

这两个安装是不同的：它们有不同的二进制解释器、不同的库、不同的安装路径等。但它们生活在同一个物理主机上。

您的目标是使您编写的“普通 python”程序能够与在“Abaqus python”环境中运行的一个或多个脚本进行通信，以便这些脚本可以在 Abaqus 系统内执行工作并返回结果。

解决方案

这是一个基于套接字的解决方案。有两部分，abqlistener.py和abqclient.py。这种方法的优点是它使用定义良好的“等待工作”机制。不轮询文件等。它是一个“硬”API。您可以从同一台机器上的进程连接到侦听器进程，运行相同版本的 python，或者从不同的机器，或者从不同版本的 python，或者从 ruby​​ 或 C 或 perl 甚至 COBOL。它允许您在系统中放置一个真正的“气隙”，因此您可以以最小的耦合开发两个部分。

服务器部分是abqlistener. 目的是将其中一些代码复制到 Abaqus 脚本中。然后 abq 进程将成为服务器，侦听特定端口号上的连接，并进行响应工作。发回回复，或者不。等等。

我不确定您是否需要为每项工作进行设置工作。如果是这样，那将必须是连接的一部分。这只会启动 ABQ，监听端口（永远），并处理请求。任何特定于工作的设置都必须是工作流程的一部分。（也许发送参数字符串，或配置文件的名称，或其他任何内容。）

客户端部分是abqclient. 这可以移动到一个模块中，或者只是复制/粘贴到您现有的非 ABQ 程序代码中。基本上，您打开到正确的主机：端口组合的连接，并且您正在与服务器通话。发送一些数据，取回一些数据，等等。

这些东西主要是从在线示例代码中抓取的。所以如果你开始深入研究，它应该看起来很熟悉。

这是 abqlistener.py：

# The below usage example is completely bogus. I don't have abaqus, so
# I'm just running python2.7 abqlistener.py [options]
usage = """
abacus python abqlistener.py [--host 127.0.0.1 | --host mypc.example.com ] \\
        [ --port 2525 ]

Sets up a socket listener on the host interface specified (default: all
interfaces), on the given port number (default: 2525). When a connection
is made to the socket, begins processing data.
"""



import argparse

parser = argparse.ArgumentParser(description='Abacus listener',
    add_help=True,
    usage=usage)

parser.add_argument('-H', '--host', metavar='INTERFACE', default='',
                    help='Interface IP address or name, or (default: empty string)')
parser.add_argument('-P', '--port', metavar='PORTNUM', type=int, default=2525,
                    help='port number of listener (default: 2525)')

args = parser.parse_args()

import SocketServer
import json

class AbqRequestHandler(SocketServer.BaseRequestHandler):
    """Request handler for our socket server.

    This class is instantiated whenever a new connection is made, and
    must override `handle(self)` in order to handle communicating with
    the client.
    """

    def do_work(self, data):
        "Do some work here. Call abaqus, whatever."
        print "DO_WORK: Doing work with data!"
        print data
        return { 'desc': 'low-precision natural constants','pi': 3, 'e': 3 }

    def handle(self):
        # Allow the client to send a 1kb message (file path?)
        self.data = self.request.recv(1024).strip()
        print "SERVER: {} wrote:".format(self.client_address[0])
        print self.data
        result = self.do_work(self.data)
        self.response = json.dumps(result)
        print "SERVER: response to {}:".format(self.client_address[0])
        print self.response
        self.request.sendall(self.response)


if __name__ == '__main__':
    print args
    server = SocketServer.TCPServer((args.host, args.port), AbqRequestHandler)
    print "Server starting. Press Ctrl+C to interrupt..."
    server.serve_forever()

这是abqclient.py：

usage = """
python2.7 abqclient.py [--host HOST] [--port PORT]

Connect to abqlistener on HOST:PORT, send a message, wait for reply.
"""

import argparse

parser = argparse.ArgumentParser(description='Abacus listener',
    add_help=True,
    usage=usage)

parser.add_argument('-H', '--host', metavar='INTERFACE', default='',
                    help='Interface IP address or name, or (default: empty string)')
parser.add_argument('-P', '--port', metavar='PORTNUM', type=int, default=2525,
                    help='port number of listener (default: 2525)')

args = parser.parse_args()

import json
import socket

message = "I get all the best code from stackoverflow!"

print "CLIENT: Creating socket..."
s = socket.socket(socket.AF_INET, socket.SOCK_STREAM)

print "CLIENT: Connecting to {}:{}.".format(args.host, args.port)
s.connect((args.host, args.port))

print "CLIENT: Sending message:", message
s.send(message)

print "CLIENT: Waiting for reply..."
data = s.recv(1024)

print "CLIENT: Got response:"
print json.loads(data)

print "CLIENT: Closing socket..."
s.close()

这是我一起运行它们时打印的内容：

$ python2.7 abqlistener.py --port 3434 &
[2] 44088
$ Namespace(host='', port=3434)
Server starting. Press Ctrl+C to interrupt...

$ python2.7 abqclient.py --port 3434
CLIENT: Creating socket...
CLIENT: Connecting to :3434.
CLIENT: Sending message: I get all the best code from stackoverflow!
CLIENT: Waiting for reply...
SERVER: 127.0.0.1 wrote:
I get all the best code from stackoverflow!
DO_WORK: Doing work with data!
I get all the best code from stackoverflow!
SERVER: response to 127.0.0.1:
{"pi": 3, "e": 3, "desc": "low-precision natural constants"}
CLIENT: Got response:
{u'pi': 3, u'e': 3, u'desc': u'low-precision natural constants'}
CLIENT: Closing socket...

参考：

argparse, SocketServer, json,socket都是“标准”Python 库。