我正在使用pthreads处理多线程C应用程序.我有一个写入数据库的线程(数据库只能在单个线程中使用),还有几个线程正在收集数据,处理它,然后需要将结果发送到数据库线程进行存储.我在上面提到过,在C中创建一个多编写器安全队列是"可能的",但是我看到这个提到的每个地方只是说它"对于这个例子来说太复杂了"而只是演示了一个单一编写器的安全队列.
我需要以下东西:
编辑:读取线程不应该在空队列上旋转,因为没有写入可能会有几分钟的时间,并且会有大量写入的短暂突发.
所以,如果我的服务器崩溃,我仍然有我的任务?
当我使用multiprocessing.Queue.get时,由于EINTR,我有时会得到一个异常.
我肯定知道有时这种情况没有任何理由(我在tmux buffr中打开另一个窗格),在这种情况下我想继续工作并重试该操作.
我可以想象,在其他一些情况下,错误是由于一个很好的理由,我应该停止运行或修复一些错误.
我该如何区分这两者?
提前致谢
是否可以Queue在不调用的情况下检查Python中的项目.get()?根据文档,Queue中不允许编制索引.我需要检查队列头部的项是否满足某些条件,如果是,请将其从队列中删除.类似地,我需要检查队列中的任何其他项是否满足相似条件并将其删除.
我在这里使用了错误的数据结构吗?
我有一堆工作在公牛队列中,其中一个被卡住了 1 个多小时(通常需要大约 2 分钟才能运行),但没有失败。我无法使用我使用的 bull arena UI 将作业从活动状态中删除,因此我删除了 Redis 中活动作业的密钥。
这消除了卡住的活动作业,但现在队列没有从等待列表中拉出任何作业。
有任何想法吗?关于如何修复它有什么想法吗?
我在python中遇到以下问题.
我需要并行进行一些计算,我需要在文件中顺序编写结果.所以我创建了一个接收multiprocessing.Queue文件句柄的函数,进行计算并在文件中打印结果:
import multiprocessing
from multiprocessing import Process, Queue
from mySimulation import doCalculation
# doCalculation(pars) is a function I must run for many different sets of parameters and collect the results in a file
def work(queue, fh):
while True:
try:
parameter = queue.get(block = False)
result = doCalculation(parameter)
print >>fh, string
except:
break
if __name__ == "__main__":
nthreads = multiprocessing.cpu_count()
fh = open("foo", "w")
workQueue = Queue()
parList = # list of conditions for which I want to …Run Code Online (Sandbox Code Playgroud) 好的,这是对正在发生的事情的概述:
M <-- Message with unique id of 1234
|
+-Start Queue
|
|
| <-- Exchange
/|\
/ | \
/ | \ <-- bind to multiple queues
Q1 Q2 Q3
\ | / <-- start of the problem is here
\ | /
\ | /
\|/
|
Q4 <-- Queues 1,2 and 3 must finish first before Queue 4 can start
|
C <-- Consumer
Run Code Online (Sandbox Code Playgroud)
所以我有一个推送到多个队列的交换,每个队列都有一个任务,一旦所有任务完成,只有队列4才能启动.
因此,具有唯一ID 1234的消息被发送到交换机,交换机将其路由到所有任务队列(Q1,Q2,Q3等...),当消息ID 1234的所有任务都已完成时,运行Q4以获取消息id 1234.
我该如何实现呢?
使用Symfony2,RabbitMQBundle和RabbitMQ 3.x
资源:
更新#1 …
我正在尝试使用postgres数据库实现具有多个编写器和多个读取器的可靠队列.如何避免在队列读取器扫描表时丢失行,然后在读取后正在进行的事务提交.
我们有一个读者使用"检查点"时间批量选择行,其中每个批次获取上一批次中最后一个时间戳之后的行,并且我们缺少行.(原因:时间戳值基于INSERT发生的时间(00.00.00).在重负载时,如果事务需要更长的时间,它会被插入,比如10秒后(00.00.10),读者将错过这一行(row1)如果它在10秒内读取并找到一个行,其行的INSERT时间晚于(00.00.05)而不是row1.问题的完整描述类似于本博客中写的那个.http:/ /blog.thefourthparty.com/stopping-time-in-postgresql/)
相关的上下文问题:Postgres LISTEN/NOTIFY - 低延迟,实时?
更新:我已经将问题从单个读者更新到多个读者.读者阅读的顺序很重要.
如何浏览Redis队列中的所有待处理作业,以便取消具有某个emailAddress-sendTime对的Mailable?
我正在使用Laravel 5.5并拥有一个Mailable,我正在成功使用如下:
$sendTime = Carbon::now()->addHours(3);
Mail::to($emailAddress)
->bcc([config('mail.supportTeam.address'), config('mail.main.address')])
->later($sendTime, new MyCustomMailable($subject, $dataForMailView));
Run Code Online (Sandbox Code Playgroud)
运行此代码时,作业将添加到我的Redis队列中.
我已经阅读过Laravel文档,但仍然感到困惑.
如何取消Mailable(阻止发送)?
我喜欢在我的Laravel应用程序中编写一个网页,这对我来说很容易.
或者也许有一些工具已经让这很容易(也许是FastoRedis?)?在这种情况下,关于如何以这种方式实现这一目标的说明也将非常有用.谢谢!
更新:
我尝试使用FastoRedis浏览Redis队列,但我无法弄清楚如何删除Mailable,例如红色箭头指向此处:

我目前有两个队列和物品在他们之间旅行.最初,一个项目被放入firstQueue,然后三个专用线程中的一个移动它secondQueue,最后另一个专用线程删除它.这些举措显然包括一些处理.我需要能够得到任何项目的状态(IN_FIRST,AFTER_FIRST,IN_SECOND,AFTER_SECOND,或ABSENT),我手动实现它做的更新statusMap,其中队列被修改的像
while (true) {
Item i = firstQueue.take();
statusMap.put(i, AFTER_FIRST);
process(i);
secondQueue.add(i);
statusMap.put(i, IN_SECOND);
}
Run Code Online (Sandbox Code Playgroud)
这是有效的,但它很丑陋并且留下了状态不一致的时间窗口.这种不一致并不是什么大不了的事情,它可以通过同步来解决,但这可能适得其反,因为队列的容量有限,可能会阻塞.丑陋使我更加困扰.
效率几乎不重要,因为处理需要几秒钟.专用线程用于控制并发.任何项目都不应该处于多个状态(但这不是非常重要,并且不能通过我目前的流行方法保证).会有更多的队列(和状态),它们会有不同的种类(DelayQueue,ArrayBlockingQueue也许PriorityQueue).
我想知道是否有一个很好的解决方案可以推广到多个队列?