标签: shared-memory

数据共享 - SQLite 与共享内存 IPC

我想就数据共享的设计实现征求您的意见。

我正在 Linux 嵌入式设备(mips 200 Mhz)上工作,我希望在多个进程之间进行某种数据共享,这些进程可以一次读取或写入多个参数。

该数据包含大约 200 个每秒更新的字符串参数。进程可以在 1 秒内访问大约 10 次数据。

我非常想尝试使设计高效(CPU / Mem)。

此数据不需要是持久的,每次重新启动都会重新创建。

目前,我正在考虑两种选择:

  1. 使用分片内存 IPC (SHM) + 信号量(锁定所有 SHM)。
  2. 使用基于 SQLite 内存的数据库。

对于任一选项,我将提供一个 C 接口库,它将执行数据库操作的所有逻辑。

对于 SHM,这意味着锁定/解锁信号量并访问可以称为索引数组的参数。

对于 SQLite,我的库将是 SQLite 接口库的包装器,因此该过程不必知道 SQL 语法,(应该对查询和回复进行一些解析)。

我相信共享内存效率更高:

无需使用和解析SQL,以数组的形式访问。

话虽如此,使用 SQLite 也有一些优点:已经可以工作和调试(DB 级别)。增加灵活性。在许多嵌入式系统中广泛使用。

进入正题,

性能方面,我没有使用 SQLite 的经验,如果您能分享您的意见和经验,我将不胜感激。

谢谢

sqlite shared-memory embedded-linux

5
推荐指数
1
解决办法
3489
查看次数

Dart 隔离访问共享对象实例

我目前正在使用隔离将查询并行发送到数据库服务器。我有一个连接器对象来建立到数据库的连接,我想在所有隔离中共享它,所以我不必为每个隔离创建单独的连接。

到目前为止,我似乎只能在隔离之间共享特殊的可序列化对象。我正在使用发送和接收端口进行消息传递。对于其他对象(例如我的连接器对象),dart-vm 产生错误:

Illegal argument(s): Illegal argument in isolate message : (object extends NativeWrapper)
Run Code Online (Sandbox Code Playgroud)

您知道在多个隔离之间共享通用对象实例的任何方法吗?还是我必须为每个隔离创建一个单独的实例?

谢谢!

佩德罗

shared-memory dart dart-isolates

5
推荐指数
1
解决办法
1599
查看次数

如何正确使用 shm_open 和 mmap

我正在尝试使用我在网上找到的示例和文档来创建共享内存区域。我的目标是 IPC ,所以我可以让不同的进程相互通信。

这是我的 C 文件

#include <stdio.h>
#include <sys/types.h>
#include <sys/stat.h>
#include <fcntl.h>
#include <unistd.h>
#include <sys/mman.h>
#include <errno.h>

int main (int argc, char *argv[])
{

struct stat sb;
off_t len;
char *p;
int fd;

fd = shm_open("test",  O_RDWR | O_CREAT); //,S_IRUSR | S_IWUSR);

if (fd == -1) {
    perror("open");
    return 1;
}

if (fstat(fd, &sb)==-1){
    perror("fstat");
    return 1;
}

/*if (!S_ISREG(sb.st_mode)){
    fprintf(stderr, "%s is not a file\n",fileName);
    return 1;
}*/

p = mmap(0, sb.st_size, PROT_WRITE, MAP_SHARED, fd, 0); …
Run Code Online (Sandbox Code Playgroud)

c macos mmap shared-memory

5
推荐指数
1
解决办法
6870
查看次数

Linux 上共享内存的生命周期是多长

我正在使用 ftok/shmget/shmat/shmdt 函数在 Linux 上创建、写入和读取共享段。

如果我在一个程序中写入该段然后退出,然后稍后从另一个程序读取该段,我会惊讶地发现数据仍然存在。

我原以为当共享一个段的最后一个进程执行 shmdt 时,该段将被释放。

我可以依赖这种行为吗?还是类似于在 free() 之后继续使用指针?

c c++ linux shared-memory

5
推荐指数
1
解决办法
1469
查看次数

在 celery 任务之间共享巨大的分类器对象

我有一个大约 200MB 的泡菜对象(分类器)。我尝试使用静态成员变量来初始化对象并运行 celery 任务。Celery 创建了大约 8 个新进程,每个进程将对象读入内存并冻结我的计算机。是否有任何共享对象解决方案或解决此问题的任何解决方案。

我正在尝试使用此对象对文章进行分类,并将其保存在 db 中作为后台任务。

编辑。这是我的分类器任务的代码

from model import Article
import cPickle as pkl
from classifierclasses import Remover, Classifier, ItemSelector, PreProcessor
from celery import Celery
app = Celery('tasks', backend='redis://localhost/')

class ClassiferTask(app.Task):
    classifier = pkl.load(open('clf.p', 'rb')) #loading classifier  object initially (huge file)
    def classify(self, article_id, text):
        self.prediction = ClassiferTask.classifier.predict([text])[0]
        Article.update(prediction=self.prediction, is_analyzed=1).where(Article.id == article_id).execute()

    def run(self, id, *args, **kwargs):
        self.classify(id, args[0])
Run Code Online (Sandbox Code Playgroud)

当我将此作业提交给 celery 时,它创建了新进程,每个进程都试图读入内存并占用大内存 ~200MB * 8

我怎么解决这个问题?这个问题有没有更好的解决办法。是否有可以共享单个(只读)对象的 celery 任务。

python pickle shared-memory celery scikit-learn

5
推荐指数
1
解决办法
1299
查看次数

并行计算中处理器和进程的区别?

每次我遇到诸如“进程 0 执行x任务”之类的内容时,我都倾向于认为它们是指处理器。

After reading a bit more about it, I find that there are two memory classifications, shared memory and distributed memory: A shared memory executes something like a thread (implying same data is available to all processors- hence it makes sense to call it a process) However, even for distributed memory it is called a process instead of a processor. For example: "Process 0 is computing the partial dot product" …

distributed-computing mpi openmp shared-memory

5
推荐指数
1
解决办法
4141
查看次数

如何在 App Engine Flexible 中更改 /dev/shm 的大小

如何更改/dev/shmApp Engine 柔性应用中共享内存文件夹的大小?

默认情况下它设置为 64M,太低而无法运行许多应用程序(例如,chrome)。我看不出有什么办法可以改变它。如果您有权访问docker run 命令,则有多种方法可以更改它,但在启动应用引擎灵活应用程序时,我们没有此类访问权限。

google-app-engine shared-memory docker app-engine-flexible

5
推荐指数
1
解决办法
1688
查看次数

共享内存 - shm_open 导致权限被拒绝

我正在编写一个使用 POSIX 共享内存的程序,但有一个我不确定如何修复的错误。我寻找了类似的问题,但找不到与此特定问题相关的任何问题。

涉及两个文件 - server.c,其中包含程序运行的代码,以及 shm.c,其中包含为处理共享内存提供抽象的函数。这是一个作业,所以我不能偏离当前的结构太远。

以下是每个文件的相关代码:

服务器.c

int shmFd;

shmFd = createSHM(SHNAME);
Run Code Online (Sandbox Code Playgroud)

shm.c

int createSHM(char * shname)
{
    int fileDesc;

    fileDesc = shm_open(shname, O_CREAT | O_RDWR, 0);

    if(fileDesc == -1)
    {
        perror("Error: Could not create shared memory space");
    }

  return fileDesc;
}
Run Code Online (Sandbox Code Playgroud)

shm.h

#define SHNAME "/shmserver" 
Run Code Online (Sandbox Code Playgroud)

当我尝试在终端中运行构建的程序时,出现以下错误:

Error: Could not create shared memory space: Permission denied 
Run Code Online (Sandbox Code Playgroud)

任何帮助将非常感激。

c posix shared-memory

5
推荐指数
1
解决办法
6182
查看次数

在打开的项目窗口之间共享的 Intellij IDEA 的 ls -Xmx 内存限制?

Intellij IDEA 内存设置可以通过编辑选项进行自定义。比方说,我设置-Xmxidea64.vmoptions

-Xmx2g
Run Code Online (Sandbox Code Playgroud)

然后同时打开5个不同的项目。IDEA 最终能消耗大约 10gb 的内存,还是会被限制在 2gb+一些开销?

在IDEA窗口右下角的内存使用监视器中,我看到每个项目分配的内存的不同值。另一方面,这些值似乎随着时间的推移而相关。

memory heap-memory intellij-idea shared-memory

5
推荐指数
1
解决办法
437
查看次数

为什么在尝试使用 SharedMemoryManager (python 3.8) 作为 BaseManager 的替代品时会出现 NameError?

Python 3.8 引入了新的共享内存功能。我们正在尝试使用SharedMemoryManager并且 aNameError被抛出。

我认为我们可能在复杂的场景中做错了什么,所以我使用 python 文档片段对其进行了分解。

try:
    # python >= 3.8
    from multiprocessing.managers import SharedMemoryManager as Manager
except:
    # python < 3.8
    from multiprocessing.managers import BaseManager as Manager

class MathsClass:
    def add(self, x, y):
        return x + y
    def mul(self, x, y):
        return x * y

class MyManager(Manager):
    pass

MyManager.register('Maths', MathsClass)

if __name__ == '__main__':
    with MyManager() as manager:
        maths = manager.Maths()
        print(maths.add(4, 3))         # prints 7
        print(maths.mul(7, 8))         # prints 56

Run Code Online (Sandbox Code Playgroud)

这几乎取自多处理文档(回退导入除外),在 python 3.7 …

python shared-memory multiprocessing python-3.x python-multiprocessing

5
推荐指数
1
解决办法
467
查看次数