Linux上Python系统范围的互斥体

Question

有没有简单的方法在Linux上使用Python系统范围的互斥？通过"系统范围",我的意思是互斥体将被一组Python 进程使用 ; 这与传统互斥体形成对比,传统互斥体由同一进程中的一组线程使用.

编辑:我不确定Python的multiprocessing包是我需要的.例如,我可以在两个不同的解释器中执行以下操作:

from multiprocessing import Lock
L = Lock()
L.acquire()

当我在两个单独的解释器中同时执行这些命令时,我希望其中一个挂起.相反,它们都没有挂起; 看起来他们没有获得相同的互斥锁.

Answer 1

"传统的"Unix答案是使用文件锁.您可以使用lockf(3)锁定文件的各个部分,以便其他进程无法编辑它; 一个非常常见的滥用是将其用作进程之间的互斥.python等价物是fcntl.lockf.

传统上,您将锁定进程的PID写入锁定文件,以便在保持锁定时由于进程死亡而导致的死锁是可识别和可修复的.

这可以获得您想要的,因为您的锁在全局命名空间(文件系统)中并且可供所有进程访问.这种方法还具有非Python程序可以参与锁定的特权.缺点是你需要一个这个锁文件存放的地方; 此外,某些文件系统实际上并未正确锁定,因此存在无法实现排除的风险.你赢了一些,你输了一些.

Answer 2

POSIX标准指定了可用于此目的的进程间信号量. http://linux.die.net/man/7/sem_overview

multiprocessingPython中的模块是基于此API和其他模块构建的.特别是,multiprocessing.Lock提供了一个跨进程的"互斥". http://docs.python.org/library/multiprocessing.html#synchronization-between-processes

编辑回复编辑过的问题:

在你的概念证明中,每个过程都在构建一个Lock().所以你有两个单独的锁.这就是为什么这两个进程都没有等待 您需要在进程之间共享相同的锁.我在multiprocessing文档中链接的部分解释了如何执行此操作.

Answer 3

试试ilock库:

from ilock import ILock

with ILock('Unique lock name'):
    # The code should be run as a system-wide single instance
    ...

Answer 4

我的答案与其他答案重叠，但只是为了添加一些人们可以复制粘贴的内容，我经常做这样的事情。

class Locker:
    def __enter__ (self):
        self.fp = open("./lockfile.lck")
        fcntl.flock(self.fp.fileno(), fcntl.LOCK_EX)

    def __exit__ (self, _type, value, tb):
        fcntl.flock(self.fp.fileno(), fcntl.LOCK_UN)
        self.fp.close()

然后将其用作：

print("waiting for lock")
with Locker():
    print("obtained lock")
    time.sleep(5.0)

要进行测试，请touch lockfile.lck在两个或多个不同的终端（来自同一目录）中运行上述代码。

Answer 5

只是为了在列表中添加一个，有posix_ipc库，它有一个Semaphore类。

计数为 1 的信号量可以用作互斥体。为了完成线程三重奏，SystemEvent库还使用posix_ipc并提供了事件。

我还要注意，这也不会轮询您的硬盘驱动器！