标签: queue

经过良好测试的C/C++锁定免费队列?

可能重复:
C++中是否存在生产就绪无锁队列或散列实现

我正在寻找一个经过充分测试,公开可用的无锁队列的C/C++实现.

我至少需要多个生产者/单一消费者功能.如果存在,多用户甚至更好.

我正在瞄准VC的_Interlocked...内在函数,尽管任何直接进入端口的东西都可以.

任何人都可以给出任何指示吗?

c c++ queue lock-free

8
推荐指数
1
解决办法
7852
查看次数

我为什么要使用JMS而不是RMI + Queue?

目前我正在使用RMI或粗体库在我的服务器和客户端之间进行通信(通过LinkedBlockingQueue).现在我读到了可以在这个领域使用的JMS.它是否正确?如果是的话,你介意给我一个简单的优缺点列表,因为它似乎是一个非常复杂和"全面 - 企业"的领域.

有什么好处?与RMI + Queue相比,性能如何呢?JMS能否击败RMI +队列?

PS:我知道有类似的问题,但我希望将JMS与RMI + Queue进行比较.

java queue jms rmi

8
推荐指数
2
解决办法
5968
查看次数

在一段时间内排队带有时间戳的元素

我想存储在一个队列中,数据结构无关紧要,只有我插入的元素说的是从当前时间开始的最后5分钟.任何较旧的东西都应该被删除 - 这样每当我得到队列的大小时,它将给出在最后5分钟插入的对象的数量.

基本上我要知道的是,在下一次通话之前,我的应用程序在最后5分钟内对服务器进行了多少次http呼叫.

如果有人知道可能有这个实现的现有库请分享.

java queue data-structures

8
推荐指数
2
解决办法
7934
查看次数

Perl队列和线程

我正在努力完成以下任务:

  1. 有一个线程从一个非常大的文件读取大约10GB的数据并将它们推入队列.(我不希望队列变得非常大)

  2. 当buildQueue线程将数据推送到队列的同时,大约有5个工作线程将排队并处理数据.

我做了一次尝试,但由于我的线程中有一个连续的循环,我的其他线程无法访问buildQueue.

我的做法可能完全错了.感谢您的帮助,非常感谢.

这是以下代码buildQueue:

sub buildQueue {
    print "Enter a file name: ";
    my $dict_path = <STDIN>;
    chomp($dict_path);
    open DICT_FILE, $dict_path or die("Sorry, could not open file!");
    while (1) {
        if (<DICT_FILE>) {
            if ($queue->pending() < 100) {
                 my $query = <DICT_FILE>;
                 chomp($query);
                 $queue->enqueue($query);
                 my $count = $queue->pending();
                 print "Queue Size: $count Query: $query\n";
            }
        }
    }
}
Run Code Online (Sandbox Code Playgroud)

正如我所预料的那样,当执行此线程之后,其他任何事情都将被执行,因为这个线程将无法完成.

my $builder = new Thread(&buildQueue);
Run Code Online (Sandbox Code Playgroud)

由于构建器线程将运行很长一段时间,我永远不会创建工作线程.

这是整个代码:

#!/usr/bin/perl -w
use strict;
use Thread; …
Run Code Online (Sandbox Code Playgroud)

queue perl multithreading

8
推荐指数
1
解决办法
9167
查看次数

如何在多个进程之间共享一组数据?

我们需要建立一个系统,其中多个进程在同一个数据集上工作.我们的想法是拥有一组可以被我们的工作进程(异步)拉出的元素(即没有重复的值).这些进程可能分布在多个服务器上,因此我们需要一个分布式解决方案.

目前,我们正在考虑的模式是使用Redis来保存一个包含工作数据的集合.每个进程都应连接到该集,并从中弹出一个值.随机功能spop对我们来说实际上是一个加分,因为我们需要随机访问集合中的元素.必须从我们的主PostgreSQL数据库填充数据.

就像我说的,我们还有一个可供查询的PostgreSQL数据库,进程在请求元素时可以访问.但是,我们不知道是否在重载下可能成为瓶颈.我们确实希望在这个子系统上进行繁重的 - 非常繁重的并发访问(想想数百甚至数千个进程).

如果它与此有任何关联,我们使用Python rQ来处理异步任务(作业和工作者).

编辑:就大小而言,元素可能不会很大 - 顶部大小应该在500-1000字节左右.它们基本上是URL,所以除非发生奇怪的事情,否则它们应该远低于这个大小.元素的数量将取决于并发进程的数量,因此大约10-50 K元素可能是一个很好的球场.请记住,这更像是一个临时区域,因此重点应放在速度上而不是尺寸上.

总之,我的问题是:

  1. 在使用多个进程时,Redis是否为共享访问设置了一个好主意?是否有任何数据可以让我们知道该解决方案将如何扩展?如果是这样,你能提供任何指示或建议吗?

  2. 填充共享数据时,什么是一个好的更新策略?

非常感谢你!

postgresql queue asynchronous distributed-computing redis

8
推荐指数
1
解决办法
209
查看次数

Laravel 5命令调度程序,如何传入选项

我有一个命令,可以选择几天.我没有在调度程序文档中看到如何传入选项.是否可以将选项传递给命令调度程序?

这是我的命令,带有日期选项:

php artisan users:daysInactiveInvitation --days=30
Run Code Online (Sandbox Code Playgroud)

预定它将是:

 $schedule->command('users:daysInactiveInvitation')->daily();
Run Code Online (Sandbox Code Playgroud)

我最好可以通过以下方式传递选项:

 $schedule->command('users:daysInactiveInvitation')->daily()->options(['days'=>30]);
Run Code Online (Sandbox Code Playgroud)

queue command scheduled-tasks laravel laravel-5

8
推荐指数
2
解决办法
7531
查看次数

python多处理队列对于对象放置是否安全?

当我在Queue中放置一个对象时,是否需要创建对象的深层副本然后放入Queue?

python queue deep-copy multiprocessing

8
推荐指数
1
解决办法
2346
查看次数

使用库存Linux工具的最小"任务队列"来利用多核CPU

使用bash和常用工具为Linux构建最小任务队列系统的最佳/最简单方法是什么?

我有一个9'000行的文件,每行有一个bash命令行,命令是完全独立的.

command 1 > Logs/1.log
command 2 > Logs/2.log
command 3 > Logs/3.log
...
Run Code Online (Sandbox Code Playgroud)

我的盒子有多个核心,我想同时执行X任务.我在网上搜索了一个很好的方法来做到这一点.显然,很多人都有这个问题,但到目前为止还没有人有一个好的解决方案.

如果解决方案具有以下功能,那将是很好的:

  • 可以解释多个命令(例如command; command)
  • 可以解释行上的流重定向(例如ls > /tmp/ls.txt)
  • 仅使用常见的Linux工具

如果它适用于其他Unix克隆而没有太多异国情调的要求,则可获得奖励积分.

queue parallel-processing bash

7
推荐指数
2
解决办法
3293
查看次数

在python的多处理中检查空队列

我有一个程序使用python的包多处理和队列.我的一个函数有这个结构:

from multiprocessing import Process, Queue
def foo(queue):
   while True:
       try:
           a = queue.get(block = False)
           doAndPrintStuff(a)
       except:
           print "the end"
           break

   if __name__ == "__main__"
     nthreads = 4
     queue = Queue.Queue()
     # put stuff in the queue here 
     for stuff in moreStuff:
         queue.put(stuff)
     procs = [Process(target = foo, args = (queue,)) for i in xrange(nthreads)]
     for p in procs:
       p.start()
     for p in procs:
       p.join()
Run Code Online (Sandbox Code Playgroud)

我的想法是,当我尝试从队列中提取并且它是空的时,它将引发异常并终止循环.所以我有两个问题:

1)这是一个安全的成语吗?有没有更好的方法来做到这一点?

2)我试图找到当我尝试.get()从空队列中引发的确切异常.目前我的程序正在捕获所有异常,当错误发生在其他地方并且我只收到"结束"消息时会很糟糕.

我试过了:

  import Queue
  queue = Queue.Queue()
  [queue.put(x) for x …
Run Code Online (Sandbox Code Playgroud)

python queue multiprocessing

7
推荐指数
1
解决办法
3万
查看次数

redis:原子LPOP和SADD可能吗?

无论如何以原子方式弹出列表中的项目并将其添加到集合中?

我的案例场景是我有一个独特项目的"工作队列"列表,我想跟踪"正在进行"集合中正在处理的内容.如果我的工作进程在处理项目时崩溃,这也将允许"进行中"设置中的项目重新排队.

我更喜欢它是原子的,所以从列表中弹出的任何东西都会在集合中.我只是无法弄清楚如何使用MULTI/EXEC执行此操作,即:

redis> MULTI
OK
redis> LPOP workqueue
"foobar"
redis> SADD inprog "foobar"
redis> EXEC
Run Code Online (Sandbox Code Playgroud)

queue list set redis

7
推荐指数
1
解决办法
3164
查看次数