我想就数据共享的设计实现征求您的意见。
我正在 Linux 嵌入式设备(mips 200 Mhz)上工作,我希望在多个进程之间进行某种数据共享,这些进程可以一次读取或写入多个参数。
该数据包含大约 200 个每秒更新的字符串参数。进程可以在 1 秒内访问大约 10 次数据。
我非常想尝试使设计高效(CPU / Mem)。
此数据不需要是持久的,每次重新启动都会重新创建。
目前,我正在考虑两种选择:
对于任一选项,我将提供一个 C 接口库,它将执行数据库操作的所有逻辑。
对于 SHM,这意味着锁定/解锁信号量并访问可以称为索引数组的参数。
对于 SQLite,我的库将是 SQLite 接口库的包装器,因此该过程不必知道 SQL 语法,(应该对查询和回复进行一些解析)。
我相信共享内存效率更高:
无需使用和解析SQL,以数组的形式访问。
话虽如此,使用 SQLite 也有一些优点:已经可以工作和调试(DB 级别)。增加灵活性。在许多嵌入式系统中广泛使用。
进入正题,
性能方面,我没有使用 SQLite 的经验,如果您能分享您的意见和经验,我将不胜感激。
谢谢
我目前正在使用隔离将查询并行发送到数据库服务器。我有一个连接器对象来建立到数据库的连接,我想在所有隔离中共享它,所以我不必为每个隔离创建单独的连接。
到目前为止,我似乎只能在隔离之间共享特殊的可序列化对象。我正在使用发送和接收端口进行消息传递。对于其他对象(例如我的连接器对象),dart-vm 产生错误:
Illegal argument(s): Illegal argument in isolate message : (object extends NativeWrapper)
Run Code Online (Sandbox Code Playgroud)
您知道在多个隔离之间共享通用对象实例的任何方法吗?还是我必须为每个隔离创建一个单独的实例?
谢谢!
佩德罗
我正在尝试使用我在网上找到的示例和文档来创建共享内存区域。我的目标是 IPC ,所以我可以让不同的进程相互通信。
这是我的 C 文件
#include <stdio.h>
#include <sys/types.h>
#include <sys/stat.h>
#include <fcntl.h>
#include <unistd.h>
#include <sys/mman.h>
#include <errno.h>
int main (int argc, char *argv[])
{
struct stat sb;
off_t len;
char *p;
int fd;
fd = shm_open("test", O_RDWR | O_CREAT); //,S_IRUSR | S_IWUSR);
if (fd == -1) {
perror("open");
return 1;
}
if (fstat(fd, &sb)==-1){
perror("fstat");
return 1;
}
/*if (!S_ISREG(sb.st_mode)){
fprintf(stderr, "%s is not a file\n",fileName);
return 1;
}*/
p = mmap(0, sb.st_size, PROT_WRITE, MAP_SHARED, fd, 0); …Run Code Online (Sandbox Code Playgroud) 我正在使用 ftok/shmget/shmat/shmdt 函数在 Linux 上创建、写入和读取共享段。
如果我在一个程序中写入该段然后退出,然后稍后从另一个程序读取该段,我会惊讶地发现数据仍然存在。
我原以为当共享一个段的最后一个进程执行 shmdt 时,该段将被释放。
我可以依赖这种行为吗?还是类似于在 free() 之后继续使用指针?
我有一个大约 200MB 的泡菜对象(分类器)。我尝试使用静态成员变量来初始化对象并运行 celery 任务。Celery 创建了大约 8 个新进程,每个进程将对象读入内存并冻结我的计算机。是否有任何共享对象解决方案或解决此问题的任何解决方案。
我正在尝试使用此对象对文章进行分类,并将其保存在 db 中作为后台任务。
编辑。这是我的分类器任务的代码
from model import Article
import cPickle as pkl
from classifierclasses import Remover, Classifier, ItemSelector, PreProcessor
from celery import Celery
app = Celery('tasks', backend='redis://localhost/')
class ClassiferTask(app.Task):
classifier = pkl.load(open('clf.p', 'rb')) #loading classifier object initially (huge file)
def classify(self, article_id, text):
self.prediction = ClassiferTask.classifier.predict([text])[0]
Article.update(prediction=self.prediction, is_analyzed=1).where(Article.id == article_id).execute()
def run(self, id, *args, **kwargs):
self.classify(id, args[0])
Run Code Online (Sandbox Code Playgroud)
当我将此作业提交给 celery 时,它创建了新进程,每个进程都试图读入内存并占用大内存 ~200MB * 8
我怎么解决这个问题?这个问题有没有更好的解决办法。是否有可以共享单个(只读)对象的 celery 任务。
每次我遇到诸如“进程 0 执行x任务”之类的内容时,我都倾向于认为它们是指处理器。
After reading a bit more about it, I find that there are two memory classifications, shared memory and distributed memory: A shared memory executes something like a thread (implying same data is available to all processors- hence it makes sense to call it a process) However, even for distributed memory it is called a process instead of a processor. For example: "Process 0 is computing the partial dot product" …
如何更改/dev/shmApp Engine 柔性应用中共享内存文件夹的大小?
默认情况下它设置为 64M,太低而无法运行许多应用程序(例如,chrome)。我看不出有什么办法可以改变它。如果您有权访问docker run 命令,则有多种方法可以更改它,但在启动应用引擎灵活应用程序时,我们没有此类访问权限。
我正在编写一个使用 POSIX 共享内存的程序,但有一个我不确定如何修复的错误。我寻找了类似的问题,但找不到与此特定问题相关的任何问题。
涉及两个文件 - server.c,其中包含程序运行的代码,以及 shm.c,其中包含为处理共享内存提供抽象的函数。这是一个作业,所以我不能偏离当前的结构太远。
以下是每个文件的相关代码:
服务器.c
int shmFd;
shmFd = createSHM(SHNAME);
Run Code Online (Sandbox Code Playgroud)
shm.c
int createSHM(char * shname)
{
int fileDesc;
fileDesc = shm_open(shname, O_CREAT | O_RDWR, 0);
if(fileDesc == -1)
{
perror("Error: Could not create shared memory space");
}
return fileDesc;
}
Run Code Online (Sandbox Code Playgroud)
shm.h
#define SHNAME "/shmserver"
Run Code Online (Sandbox Code Playgroud)
当我尝试在终端中运行构建的程序时,出现以下错误:
Error: Could not create shared memory space: Permission denied
Run Code Online (Sandbox Code Playgroud)
任何帮助将非常感激。
Intellij IDEA 内存设置可以通过编辑选项进行自定义。比方说,我设置-Xmxidea64.vmoptions
-Xmx2g
Run Code Online (Sandbox Code Playgroud)
然后同时打开5个不同的项目。IDEA 最终能消耗大约 10gb 的内存,还是会被限制在 2gb+一些开销?
在IDEA窗口右下角的内存使用监视器中,我看到每个项目分配的内存的不同值。另一方面,这些值似乎随着时间的推移而相关。
Python 3.8 引入了新的共享内存功能。我们正在尝试使用SharedMemoryManager并且 aNameError被抛出。
我认为我们可能在复杂的场景中做错了什么,所以我使用 python 文档片段对其进行了分解。
try:
# python >= 3.8
from multiprocessing.managers import SharedMemoryManager as Manager
except:
# python < 3.8
from multiprocessing.managers import BaseManager as Manager
class MathsClass:
def add(self, x, y):
return x + y
def mul(self, x, y):
return x * y
class MyManager(Manager):
pass
MyManager.register('Maths', MathsClass)
if __name__ == '__main__':
with MyManager() as manager:
maths = manager.Maths()
print(maths.add(4, 3)) # prints 7
print(maths.mul(7, 8)) # prints 56
Run Code Online (Sandbox Code Playgroud)
这几乎取自多处理文档(回退导入除外),在 python 3.7 …
python shared-memory multiprocessing python-3.x python-multiprocessing
shared-memory ×10
c ×3
python ×2
c++ ×1
celery ×1
dart ×1
docker ×1
heap-memory ×1
linux ×1
macos ×1
memory ×1
mmap ×1
mpi ×1
openmp ×1
pickle ×1
posix ×1
python-3.x ×1
scikit-learn ×1
sqlite ×1