标签: shared-memory

从Runnable类中访问共享变量

我需要在Main类的main()方法中定义一个共享变量.我需要两个线程才能访问该共享变量.我通过实现Runnable接口并实现接口的抽象run()方法来创建线程.如何在我的类中定义的实现Runnable接口的run()方法中引用Main类的main()方法中定义的共享变量?显然,只是按名称调用它们是行不通的 - 因为它们出现在我的Runnable类的范围之外.

编辑 - 道歉,这是一个简单的例子

public Class DoThread implements Runnable {

    public void run(){
        sharedVar += 1
    }


}
Run Code Online (Sandbox Code Playgroud)

并在一个单独的.class文件中:

public Class Main {

    public static void main(String[] args) {
        int sharedVar = 0;

        Thread t1 = new Thread(new DoThread());
        Thread t2 = new Thread(new DoThread());

        t1.start();
        t2.start();

        t1.join();
        t2.join();

    }


}
Run Code Online (Sandbox Code Playgroud)

那么我应该创建一个对象来存储共享var,然后在创建线程时将该对象传递给两个DoThread()构造函数?有时在java通过ref或传递var之间会感到困惑,所以如果我这样做,t2会看到t1对共享变量的影响吗?

java multithreading shared-memory

6
推荐指数
2
解决办法
2万
查看次数

内存映射文件:优点和缺点?

我需要在同一台机器上运行的两个Java应用程序(两个不同的JVM)之间共享数据.我确切地说要共享的数据很大(大约7 GB).应用程序必须非常快速地访问数据,因为它们必须以非常高的速率应答传入的查询.我不希望应用程序为每个应用程序保存一份数据副本.

我已经看到一个选项是使用内存映射文件.应用程序A从某处获取数据(比如数据库)并将其存储在文件中.然后应用程序B可以使用访问这些文件java.nio.我不知道到底内存映射文件是如何工作的,我只知道数据存储在一个文件,这个文件(或它的一部分)映射到内存的区域(虚拟内存?).因此,这两个应用程序可以读写内存中的数据,并且更改会自动(我猜?)提交到文件中.我也不知道文件的最大大小是否完全映射到内存中.

我的第一个问题是两个应用程序在这种情况下共享数据的不同可能性(我的意思是考虑到数据量非常大,并且访问这些数据必须非常快)?我确切地说这个问题与内存映射I/O无关,它只是知道解决同一问题的其他方法是什么.

我的第二个问题是使用内存映射文件的优缺点是什么?

谢谢

java ipc shared-memory memory-mapped-files

6
推荐指数
1
解决办法
3434
查看次数

通过nfs共享的mmap文件?

情景A:

要在同一主机上运行的两个进程之间共享读/写内存块,Joe会从两个进程中映射相同的本地文件.

情景B:

为了在两个不同主机上运行的两个进程之间共享读/写内存块,Joe在主机之间通过nfs共享文件,然后从两个进程mmaps共享文件.

有人试过Scenario B吗?场景B中出现的哪些额外问题不适用于场景A?

linux memory-management nfs mmap shared-memory

6
推荐指数
2
解决办法
4989
查看次数

在shmget中用作键的安全值

我正在使用shmget在Linux上的项目进程之间共享数据.

int shmget(key_t key, size_t size, int shmflg);
Run Code Online (Sandbox Code Playgroud)

但是,任何其他程序也可以调用shmget,因此它可能导致键冲突(因为我使用常量作为调用shmget的键,我必须使用常量而不是生成的键,因为横向进程是构建和运行的分别).

什么应该是shmget中用作键的安全值?

c++ linux key shared-memory

6
推荐指数
2
解决办法
3957
查看次数

如何获得进程的准确共享内存大小?

我试图在Linux上获得进程的共享内存大小.这是使用2个不同命令的结果:

  1. 顶部并检查SHR字段:

     PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND
    1734 root      20   0  201m 4072 1012 S  0.0  0.1  22:00.65 php-fpm
    
    Run Code Online (Sandbox Code Playgroud)
  2. pmap -d:

    mapped: 206672K    writeable/private: 4352K    shared: 128K
    
    Run Code Online (Sandbox Code Playgroud)

您可以看到pmap中的共享内存大小远小于top.

我读了一些源代码来找到原因.top似乎从/ proc // statm读取值,值由以下公式计算:

unsigned long task_statm(struct mm_struct *mm,
    unsigned long *shared, unsigned long *text,
    unsigned long *data, unsigned long *resident)
{
    *shared = get_mm_counter(mm, MM_FILEPAGES);
    *text = (PAGE_ALIGN(mm->end_code) - (mm->start_code & PAGE_MASK))
                                                       >> PAGE_SHIFT;
    *data = mm->total_vm - mm->shared_vm;
    *resident = *shared + get_mm_counter(mm, …
Run Code Online (Sandbox Code Playgroud)

linux memory-management shared-memory

6
推荐指数
1
解决办法
2529
查看次数

使用python多处理动态创建共享数组列表

我想用python的多处理模块在不同的子进程之间共享几个numpy数组.我希望这些数组可以单独锁定,我希望在运行时动态确定数组的数量.这可能吗?

在这个答案中,JF Sebastian提出了一种在多处理过程中在共享内存中使用python的numpy数组的好方法.该数组是可锁定的,这就是我想要的.我想做一些非常相似的事情,除了可变数量的共享数组.数组的数量将在运行时确定.他的示例代码非常清晰,几乎完全符合我的要求,但我不清楚如何声明可变数量的此类数组,而不给每个数组一个硬编码的名称,如shared_arr_1,shared_arr_2等等.这样做的正确方法是什么?

python ipc numpy shared-memory multiprocessing

6
推荐指数
1
解决办法
2153
查看次数

synchronized的用例(new Object())

在最近的回答中,我建议可以在包含我们需要的变量的对象上实现volatileby 的功能(asker无法访问代码中的变量).synchronizingvolatile

这让我觉得我实际上不需要阻塞包含对象,我只需要实现内存屏障.由于synchronized实现了同步和内存屏障,如果我只需要内存屏障(在这种情况下),实际上更好的是synchronized(new Object())用来实现我的内存屏障并确保锁永远不会争用?

java multithreading synchronization shared-memory

6
推荐指数
1
解决办法
479
查看次数

mpi4py中的共享内存

我使用MPI(mpi4py)脚本(在单个节点上),该脚本可用于非常大的对象。为了让所有进程都可以访问该对象,我通过分发了该对象comm.bcast()。这会将对象复制到所有进程,并占用大量内存,尤其是在复制过程中。因此,我想共享诸如指针之类的东西,而不是对象本身。我发现一些memoryview有用的功能有助于增强流程中对象的工作。同样,对象的实际内存地址也可以通过memoryview对象字符串表示形式进行访问,并且可以这样分配:

from mpi4py import MPI

comm = MPI.COMM_WORLD
rank = comm.Get_rank()

if rank:
    content_pointer = comm.bcast(root = 0)
    print(rank, content_pointer)
else:
    content = ''.join(['a' for i in range(100000000)]).encode()
    mv = memoryview(content)
    print(mv)
    comm.bcast(str(mv).split()[-1][: -1], root = 0)
Run Code Online (Sandbox Code Playgroud)

打印:

<memory at 0x7f362a405048>
1 0x7f362a405048
2 0x7f362a405048
...
Run Code Online (Sandbox Code Playgroud)

这就是为什么我认为必须有一种方法可以在另一个过程中重构对象。但是,我在文档中找不到有关如何执行此操作的线索。

简而言之,我的问题是:是否可以在中同一节点上的进程之间共享对象mpi4py?

mpi shared-memory python-3.x memoryview mpi4py

6
推荐指数
2
解决办法
1928
查看次数

共享内存中的Shared_dirty vs Private_dirty

我有使用共享内存的多进程应用程序.我试图在我的应用程序中检测内存泄漏.我在/ proc/$ pid/smap中找到了这个

 2b51cd2b2000-2b53b8aa4000 rw-s 00000000 00:09 17151225                   /dev/zero (deleted)
  Size:           8052680 kB
  Rss:              31608 kB
  Shared_Clean:      1524 kB
  Shared_Dirty:     25736 kB
  Private_Clean:        0 kB
  Private_Dirty:     4348 kB
  Swap:                 0 kB
  Pss:               6945 kB
Run Code Online (Sandbox Code Playgroud)

这是我分配的共享内存.(大小告诉我这是我用mmap分配的内存)

我试图了解内存本身共享的上下文中共享/私有之间的区别.看's'标志.

如果任何人可以在共享内存的上下文中解释Shared_Clean与Private_Clean Shared_Dirty vs Private_Dirty之间的区别.

linux operating-system memory-management shared-memory linux-kernel

6
推荐指数
1
解决办法
2804
查看次数

在没有继承的情况下在多个进程之间共享numpy数组

我想在多个进程之间共享numpy数组.有工作的解决方案在这里.但是它们都通过继承将数组传递给子进程,这对我来说不起作用,因为我必须事先启动一些工作进程,而且我不知道稍后我要处理多少个数组.有没有办法在进程启动后创建这样的数组并通过队列将这些数组传递给进程?

顺便说一下,我无法使用multiprocessing.Manager.

python numpy shared-memory multiprocessing

6
推荐指数
1
解决办法
497
查看次数