可能重复:
C++中是否存在生产就绪无锁队列或散列实现
我正在寻找一个经过充分测试,公开可用的无锁队列的C/C++实现.
我至少需要多个生产者/单一消费者功能.如果存在,多用户甚至更好.
我正在瞄准VC的_Interlocked...内在函数,尽管任何直接进入端口的东西都可以.
任何人都可以给出任何指示吗?
我想存储在一个队列中,数据结构无关紧要,只有我插入的元素说的是从当前时间开始的最后5分钟.任何较旧的东西都应该被删除 - 这样每当我得到队列的大小时,它将给出在最后5分钟插入的对象的数量.
基本上我要知道的是,在下一次通话之前,我的应用程序在最后5分钟内对服务器进行了多少次http呼叫.
如果有人知道可能有这个实现的现有库请分享.
我正在努力完成以下任务:
有一个线程从一个非常大的文件读取大约10GB的数据并将它们推入队列.(我不希望队列变得非常大)
当buildQueue线程将数据推送到队列的同时,大约有5个工作线程将排队并处理数据.
我做了一次尝试,但由于我的线程中有一个连续的循环,我的其他线程无法访问buildQueue.
我的做法可能完全错了.感谢您的帮助,非常感谢.
这是以下代码buildQueue:
sub buildQueue {
print "Enter a file name: ";
my $dict_path = <STDIN>;
chomp($dict_path);
open DICT_FILE, $dict_path or die("Sorry, could not open file!");
while (1) {
if (<DICT_FILE>) {
if ($queue->pending() < 100) {
my $query = <DICT_FILE>;
chomp($query);
$queue->enqueue($query);
my $count = $queue->pending();
print "Queue Size: $count Query: $query\n";
}
}
}
}
Run Code Online (Sandbox Code Playgroud)
正如我所预料的那样,当执行此线程之后,其他任何事情都将被执行,因为这个线程将无法完成.
my $builder = new Thread(&buildQueue);
Run Code Online (Sandbox Code Playgroud)
由于构建器线程将运行很长一段时间,我永远不会创建工作线程.
这是整个代码:
#!/usr/bin/perl -w
use strict;
use Thread; …Run Code Online (Sandbox Code Playgroud) 我们需要建立一个系统,其中多个进程在同一个数据集上工作.我们的想法是拥有一组可以被我们的工作进程(异步)拉出的元素(即没有重复的值).这些进程可能分布在多个服务器上,因此我们需要一个分布式解决方案.
目前,我们正在考虑的模式是使用Redis来保存一个包含工作数据的集合.每个进程都应连接到该集,并从中弹出一个值.随机功能spop对我们来说实际上是一个加分,因为我们需要随机访问集合中的元素.必须从我们的主PostgreSQL数据库填充数据.
就像我说的,我们还有一个可供查询的PostgreSQL数据库,进程在请求元素时可以访问.但是,我们不知道是否在重载下可能成为瓶颈.我们确实希望在这个子系统上进行繁重的 - 非常繁重的并发访问(想想数百甚至数千个进程).
如果它与此有任何关联,我们使用Python rQ来处理异步任务(作业和工作者).
编辑:就大小而言,元素可能不会很大 - 顶部大小应该在500-1000字节左右.它们基本上是URL,所以除非发生奇怪的事情,否则它们应该远低于这个大小.元素的数量将取决于并发进程的数量,因此大约10-50 K元素可能是一个很好的球场.请记住,这更像是一个临时区域,因此重点应放在速度上而不是尺寸上.
总之,我的问题是:
在使用多个进程时,Redis是否为共享访问设置了一个好主意?是否有任何数据可以让我们知道该解决方案将如何扩展?如果是这样,你能提供任何指示或建议吗?
填充共享数据时,什么是一个好的更新策略?
非常感谢你!
我有一个命令,可以选择几天.我没有在调度程序文档中看到如何传入选项.是否可以将选项传递给命令调度程序?
这是我的命令,带有日期选项:
php artisan users:daysInactiveInvitation --days=30
Run Code Online (Sandbox Code Playgroud)
预定它将是:
$schedule->command('users:daysInactiveInvitation')->daily();
Run Code Online (Sandbox Code Playgroud)
我最好可以通过以下方式传递选项:
$schedule->command('users:daysInactiveInvitation')->daily()->options(['days'=>30]);
Run Code Online (Sandbox Code Playgroud) 当我在Queue中放置一个对象时,是否需要创建对象的深层副本然后放入Queue?
使用bash和常用工具为Linux构建最小任务队列系统的最佳/最简单方法是什么?
我有一个9'000行的文件,每行有一个bash命令行,命令是完全独立的.
command 1 > Logs/1.log
command 2 > Logs/2.log
command 3 > Logs/3.log
...
Run Code Online (Sandbox Code Playgroud)
我的盒子有多个核心,我想同时执行X任务.我在网上搜索了一个很好的方法来做到这一点.显然,很多人都有这个问题,但到目前为止还没有人有一个好的解决方案.
如果解决方案具有以下功能,那将是很好的:
command; command)ls > /tmp/ls.txt)如果它适用于其他Unix克隆而没有太多异国情调的要求,则可获得奖励积分.
我有一个程序使用python的包多处理和队列.我的一个函数有这个结构:
from multiprocessing import Process, Queue
def foo(queue):
while True:
try:
a = queue.get(block = False)
doAndPrintStuff(a)
except:
print "the end"
break
if __name__ == "__main__"
nthreads = 4
queue = Queue.Queue()
# put stuff in the queue here
for stuff in moreStuff:
queue.put(stuff)
procs = [Process(target = foo, args = (queue,)) for i in xrange(nthreads)]
for p in procs:
p.start()
for p in procs:
p.join()
Run Code Online (Sandbox Code Playgroud)
我的想法是,当我尝试从队列中提取并且它是空的时,它将引发异常并终止循环.所以我有两个问题:
1)这是一个安全的成语吗?有没有更好的方法来做到这一点?
2)我试图找到当我尝试.get()从空队列中引发的确切异常.目前我的程序正在捕获所有异常,当错误发生在其他地方并且我只收到"结束"消息时会很糟糕.
我试过了:
import Queue
queue = Queue.Queue()
[queue.put(x) for x …Run Code Online (Sandbox Code Playgroud) 无论如何以原子方式弹出列表中的项目并将其添加到集合中?
我的案例场景是我有一个独特项目的"工作队列"列表,我想跟踪"正在进行"集合中正在处理的内容.如果我的工作进程在处理项目时崩溃,这也将允许"进行中"设置中的项目重新排队.
我更喜欢它是原子的,所以从列表中弹出的任何东西都会在集合中.我只是无法弄清楚如何使用MULTI/EXEC执行此操作,即:
redis> MULTI
OK
redis> LPOP workqueue
"foobar"
redis> SADD inprog "foobar"
redis> EXEC
Run Code Online (Sandbox Code Playgroud)