标签: queue

C中的多写程序线程安全队列

我正在使用pthreads处理多线程C应用程序.我有一个写入数据库的线程(数据库只能在单个线程中使用),还有几个线程正在收集数据,处理它,然后需要将结果发送到数据库线程进行存储.我在上面提到过,在C中创建一个多编写器安全队列是"可能的",但是我看到这个提到的每个地方只是说它"对于这个例子来说太复杂了"而只是演示了一个单一编写器的安全队列.

我需要以下东西:

  • 高效插入和移除.我会假设像任何其他队列O(1)排队和出队是可能的.
  • 动态分配的内存,即链接结构.我需要对队列的大小没有任意限制,所以数组真的不是我想要的.

编辑:读取线程不应该在空队列上旋转,因为没有写入可能会有几分钟的时间,并且会有大量写入的短暂突发.

c queue pthreads thread-safety

13
推荐指数
3
解决办法
3万
查看次数

13
推荐指数
1
解决办法
2296
查看次数

什么是正确的处理方式(在python中)IOError:[Errno 4]由多处理引发的系统调用中断.Queue.get

当我使用multiprocessing.Queue.get时,由于EINTR,我有时会得到一个异常.

我肯定知道有时这种情况没有任何理由(我在tmux buffr中打开另一个窗格),在这种情况下我想继续工作并重试该操作.

我可以想象,在其他一些情况下,错误是由于一个很好的理由,我应该停止运行或修复一些错误.

我该如何区分这两者?

提前致谢

python queue error-handling multiprocessing ioerror

13
推荐指数
2
解决办法
1万
查看次数

检查python队列中的项目

是否可以Queue在不调用的情况下检查Python中的项目.get()?根据文档,Queue中不允许编制索引.我需要检查队列头部的项是否满足某些条件,如果是,请将其从队列中删除.类似地,我需要检查队列中的任何其他项是否满足相似条件并将其删除.

我在这里使用了错误的数据结构吗?

python queue

13
推荐指数
3
解决办法
1万
查看次数

Node.js 公牛队列中的作业陷入“等待”状态

我有一堆工作在公牛队列中,其中一个被卡住了 1 个多小时(通常需要大约 2 分钟才能运行),但没有失败。我无法使用我使用的 bull arena UI 将作业从活动状态中删除,因此我删除了 Redis 中活动作业的密钥。

这消除了卡住的活动作业,但现在队列没有从等待列表中拉出任何作业。

有任何想法吗?关于如何修复它有什么想法吗?

queue redis node.js bull-queue

13
推荐指数
1
解决办法
9541
查看次数

使用多处理写入文件

我在python中遇到以下问题.

我需要并行进行一些计算,我需要在文件中顺序编写结果.所以我创建了一个接收multiprocessing.Queue文件句柄的函数,进行计算并在文件中打印结果:

import multiprocessing
from multiprocessing import Process, Queue
from mySimulation import doCalculation   

# doCalculation(pars) is a function I must run for many different sets of parameters and collect the results in a file

def work(queue, fh):
while True:
    try:
        parameter = queue.get(block = False)
        result = doCalculation(parameter) 
        print >>fh, string
    except:
        break


if __name__ == "__main__":
    nthreads = multiprocessing.cpu_count()
    fh = open("foo", "w")
    workQueue = Queue()
    parList = # list of conditions for which I want to …
Run Code Online (Sandbox Code Playgroud)

python queue file-io multiprocessing

12
推荐指数
2
解决办法
2万
查看次数

RabbitMQ等待多个队列完成

好的,这是对正在发生的事情的概述:

    M <-- Message with unique id of 1234
    |
    +-Start Queue
    |
    |
    | <-- Exchange
   /|\
  / | \
 /  |  \ <-- bind to multiple queues
Q1  Q2  Q3
\   |   / <-- start of the problem is here
 \  |  / 
  \ | /
   \|/
    |
    Q4 <-- Queues 1,2 and 3 must finish first before Queue 4 can start
    |
    C <-- Consumer 
Run Code Online (Sandbox Code Playgroud)

所以我有一个推送到多个队列的交换,每个队列都有一个任务,一旦所有任务完成,只有队列4才能启动.

因此,具有唯一ID 1234的消息被发送到交换机,交换机将其路由到所有任务队列(Q1,Q2,Q3等...),当消息ID 1234的所有任务都已完成时,运行Q4以获取消息id 1234.

我该如何实现呢?

使用Symfony2,RabbitMQBundle和RabbitMQ 3.x

资源:

更新#1 …

php queue messaging rabbitmq symfony

12
推荐指数
2
解决办法
4588
查看次数

PostgreSQL - 实现可靠的队列

我正在尝试使用postgres数据库实现具有多个编写器和多个读取器的可靠队列.如何避免在队列读取器扫描表时丢失行,然后在读取后正在进行的事务提交.

我们有一个读者使用"检查点"时间批量选择行,其中每个批次获取上一批次中最后一个时间戳之后的行,并且我们缺少行.(原因:时间戳值基于INSERT发生的时间(00.00.00).在重负载时,如果事务需要更长的时间,它会被插入,比如10秒后(00.00.10),读者将错过这一行(row1)如果它在10秒内读取并找到一个行,其行的INSERT时间晚于(00.00.05)而不是row1.问题的完整描述类似于本博客中写的那个.http:/ /blog.thefourthparty.com/stopping-time-in-postgresql/)

相关的上下文问题:Postgres LISTEN/NOTIFY - 低延迟,实时?

更新:我已经将问题从单个读者更新到多个读者.读者阅读的顺序很重要.

postgresql queue concurrency

12
推荐指数
1
解决办法
1032
查看次数

如何取消Laravel或Redis中的排队作业

如何浏览Redis队列中的所有待处理作业,以便取消具有某个emailAddress-sendTime对的Mailable?

我正在使用Laravel 5.5并拥有一个Mailable,我正在成功使用如下:

$sendTime = Carbon::now()->addHours(3);
Mail::to($emailAddress)
      ->bcc([config('mail.supportTeam.address'), config('mail.main.address')])
                    ->later($sendTime, new MyCustomMailable($subject, $dataForMailView));
Run Code Online (Sandbox Code Playgroud)

运行此代码时,作业将添加到我的Redis队列中.

我已经阅读过Laravel文档,但仍然感到困惑.

如何取消Mailable(阻止发送)?

我喜欢在我的Laravel应用程序中编写一个网页,这对我来说很容易.

或者也许有一些工具已经让这很容易(也许是FastoRedis?)?在这种情况下,关于如何以这种方式实现这一目标的说明也将非常有用.谢谢!

更新:

我尝试使用FastoRedis浏览Redis队列,但我无法弄清楚如何删除Mailable,例如红色箭头指向此处: 在此输入图像描述

更新:

请看下面我提供的综合答案.

queue jobs delay redis laravel

12
推荐指数
3
解决办法
1万
查看次数

跟踪地图中队列之间的进度

我目前有两个队列和物品在他们之间旅行.最初,一个项目被放入firstQueue,然后三个专用线程中的一个移动它secondQueue,最后另一个专用线程删除它.这些举措显然包括一些处理.我需要能够得到任何项目的状态(IN_FIRST,AFTER_FIRST,IN_SECOND,AFTER_SECOND,或ABSENT),我手动实现它做的更新statusMap,其中队列被修改的像

while (true) {
    Item i = firstQueue.take();
    statusMap.put(i, AFTER_FIRST);
    process(i);
    secondQueue.add(i);
    statusMap.put(i, IN_SECOND);
}
Run Code Online (Sandbox Code Playgroud)

这是有效的,但它很丑陋并且留下了状态不一致的时间窗口.这种不一致并不是什么大不了的事情,它可以通过同步来解决,但这可能适得其反,因为队列的容量有限,可能会阻塞.丑陋使我​​更加困扰.

效率几乎不重要,因为处理需要几秒钟.专用线程用于控制并发.任何项目都不应该处于多个状态(但这不是非常重要,并且不能通过我目前的流行方法保证).会有更多的队列(和状态),它们会有不同的种类(DelayQueue,ArrayBlockingQueue也许PriorityQueue).

我想知道是否有一个很好的解决方案可以推广到多个队列?

java queue concurrency concurrenthashmap

12
推荐指数
1
解决办法
253
查看次数