Parallel：从兄弟文件夹导入一个python文件

Question

我有一个目录树

working_dir\
    main.py
my_agent\
    my_worker.py
my_utility\
    my_utils.py

每个文件中的代码如下

""" main.py """

import os, sys
sys.path.append(os.path.dirname(os.path.dirname(os.path.abspath(__file__))))

from my_agent.my_worker import MyWorker
import ray

ray.init()
workers = [MyWorker.remote(i) for i in range(10)]
ids = [worker.get_id.remote() for worker in workers]
# print(*ids, sep='\n')
print(*ray.get(ids), sep='\n')

""" worker.py """
from my_utility import my_utils
import ray

@ray.remote
class MyWorker():
    def __init__(self, id):
        self.id = id

    def get_id(self):
        return my_utils.f(self.id)

""" my_utils.py """
def f(id):
    return '{}: Everything is fine...'.format(id)

这是我收到的错误消息的一部分

回溯（最近一次调用最后一次）：

文件“/Users/aptx4869/anaconda3/envs/p35/lib/python3.5/site-packages/ray/function_manager.py”，第 616 行，在 fetch_and_register_actor unpickled_class = pickle.loads(pickled_class)

文件“/Users/aptx4869/anaconda3/envs/p35/lib/python3.5/site-packages/ray/cloudpickle/cloudpickle.py”，第894行，在子 导入（名称）中

导入错误：没有名为“my_utility”的模块

回溯（最近一次调用最后一次）：

文件“main.py”，第 12 行，在 print(*ray.get(ids), sep='\n')

文件“/Users/aptx4869/anaconda3/envs/p35/lib/python3.5/site-packages/ray/worker.py”，第 2377 行，在获取提升值 ray.worker.RayTaskError: ray_worker (pid=30025, host =AiMacbook)

异常：名称为 MyWorker 的actor 导入失败，因此无法执行此方法

如果我删除所有与 相关的语句ray，上面的代码就可以正常工作。因此，我大胆猜测原因是ray每个actor运行在一个新的进程中，并且sys.path.append只在主进程中起作用。所以我将以下代码添加到worker.py

import os, sys
sys.path.append(os.path.abspath(os.path.join(os.path.dirname(__file__), '..')))

但它仍然不起作用：出现相同的错误消息。现在我的想法用完了，我该怎么办？

Answer 1

你是正确的问题是什么。

在您的示例中，您修改sys.pathinmain.py以便能够导入my_agent.my_worker和my_utility.my_utils.

但是，此路径更改不会传播到工作进程，因此如果您要运行远程函数，例如

@ray.remote
def f():
    # Print the PYTHONPATH on the worker process.
    import sys
    print(sys.path)

f.remote()

您会看到sys.path在工作器上不包括您添加的父目录。

修改sys.path工人（例如，在MyWorker构造函数中）不起作用的原因是MyWorker类定义被腌制并运送给工人。然后 worker 将它解压，解压类定义的过程需要my_utils导入，这失败了，因为 actor 构造函数还没有机会运行。

这里有几个可能的解决方案。

1. 使用类似的东西运行脚本

   PYTHONPATH=$(dirname $(pwd)):$PYTHONPATH python main.py
   

   （从内working_dir/）。这应该可以解决问题，因为在这种情况下，工作进程是从调度程序进程分叉出来的（当您调用时，它是从主 Python 解释器分叉出来的ray.init()，因此环境变量将由工作人员继承（这sys.path可能不会发生，因为它不是环境变量）。

2. 看起来像添加行

   parent_dir = os.path.dirname(os.path.dirname(os.path.abspath(__file__)))
   os.environ["PYTHONPATH"] = parent_dir + ":" + os.environ.get("PYTHONPATH", "")
   

   in main.py（在ray.init()调用之前）也出于与上述相同的原因。

3. 考虑添加一个setup.py并将您的项目安装为 Python 包，以便它自动位于相关路径上。