为什么最优先级/堆队列实现为0是最高优先级?我假设我错过了一些关键的数学原理.当我最近实现自己的优先级队列时,如果优先级随着整数值的增加而编写插入函数似乎更容易,但显然比我聪明的人认为应该采用另一种方式.
有任何想法吗?
我认为我遇到了一个基本的误解,就我在红宝石中如何处理线程而言,我希望得到一些见解.
我想拥有一个简单的制作人和消费者.首先,一个生产者线程从文件中提取线条并将它们粘贴到SizedQueue中; 当那些用完时,最后贴上一些令牌让消费者知道事情已经完成.
require 'thread'
numthreads = 2
filename = 'edition-2009-09-11.txt'
bq = SizedQueue.new(4)
producerthread = Thread.new(bq) do |queue|
File.open(filename) do |f|
f.each do |r|
queue << r
end
end
numthreads.times do
queue << :end_of_producer
end
end
Run Code Online (Sandbox Code Playgroud)
现在有几个消费者.为简单起见,我们让他们什么都不做.
consumerthreads = []
numthreads.times do
consumerthreads << Thread.new(bq) do |queue|
until (line = queue.pop) === :end_of_producer
# do stuff in here
end
end
end
producerthread.join
consumerthreads.each {|t| t.join}
puts "All done"
Run Code Online (Sandbox Code Playgroud)
我的理解是(a)一旦SizedQueue已满,生产者线程将阻塞并最终回到填充状态,并且(b)消费者线程将从SizedQueue中拉出,在它清空时阻塞,并最终完成.
但是在ruby1.9下(ruby 1.9.1p243(2009-07-16修订版24175)[i386-darwin9])我在连接上遇到死锁错误.这里发生了什么?我只是没有看到线程之间的任何交互,除了通过SizedQueue,它应该是线程安全的.
任何见解都会受到高度赞赏.
假设我们有一个单生产者线程单消费者线程无锁队列,并且生产者可能会长时间没有产生任何数据.当队列中没有任何东西时,让消费者线程休眠是有益的(为了节省电力并为其他进程/线程释放CPU).如果队列不是无锁的,解决这个问题的直接方法是让生成线程锁定互斥锁,执行其工作,发出条件变量信号并解锁,并为读取线程锁定互斥锁,等待条件变量,做它的阅读,然后解锁.但是,如果我们使用无锁队列,使用互斥锁的方式完全相同,就会消除我们首先使用无锁队列所获得的性能.
天真的解决方案是让每个插入队列后的生产者锁定互斥锁,发出条件变量信号,然后解锁互斥锁,保持实际工作(插入队列)完全在锁外,并让消费者做同样,锁定互斥锁,等待条件变量,解锁它,将所有内容从队列中拉出,然后重复,保持队列的读取在锁外.这里有一个竞争条件:在读取器拉出队列并进入睡眠状态之间,生产者可能已经将一个项目插入队列中.现在读者将进入睡眠状态,并且可以无限期地保持这种状态,直到生产者插入另一个项目并再次发出状态变量信号.这意味着您偶尔会遇到特定的项目,这些项目似乎需要很长时间才能通过队列.如果您的队列始终处于活动状态,这可能不是问题,但如果它始终处于活动状态,您可能完全忘记了条件变量.
AFAICT解决方案是让生产者的行为与使用常规需求锁定队列的行为相同.它应该锁定互斥锁,插入无锁队列,发出条件变量信号,解锁.但是,消费者的行为应该不同.当它唤醒时,它应立即解锁互斥锁,而不是等到它读取队列.然后它应尽可能多地拉出队列并处理它.最后,只有当消费者想要进入睡眠状态时,它是否应该锁定互斥锁,检查是否有任何数据,然后如果解锁并处理它,或者如果没有,则等待条件变量.这样,互斥锁的争用频率低于锁定队列的频率,但是没有数据仍然留在队列中的睡眠风险.
这是最好的方法吗?还有替代品吗?
注意:通过'最快',我的意思是'最快没有专门核心来反复检查队列',但这不适合标题; p
一种替代方案:使用天真的解决方案,但让消费者等待条件变量,其超时对应于您愿意容忍通过队列的项目的最大延迟.如果所需的超时时间相当短,则可能低于操作系统的最短等待时间,或者仍然消耗过多的CPU.
大家好,
我有一个系统(源)需要在某些对象发生变化时异步通知另一个系统(目标).扭曲是源系统可能在短时间内多次突变单个对象(更新非常"突发"),在这种情况下,理想的情况是仅通知目标系统一次,并且最终状态为宾语.
我的想法是在ThreadPoolExecutor前面使用某种延时的重复数据删除队列.这个队列会:
将项目保留在队列中的时间最短(理想情况下配置为仅比典型突发突发的持续时间长的smidgin)
如果重复(由对象的标识符定义)入队,则替换现有对象.但是,该项目应该保留在队列中的原始位置(以避免任何一个项目永久地碰到队列的后面 - 在某些时候我们需要发送通知,即使另一个项目将暂时出现).
我在java.util中没有看到任何完全相同的东西,而我在这方面的google-fu似乎特别弱.
有没有人以前实现过这个,知道一个行为方式的BlockingQueue实现,或者有关于如何实现一个的提示?
提前致谢!
彼得
PS.我知道ESB会做这种事情,但在这种情况下,这是一种过于重要的方法 - 理想情况下,我根本不想在源系统中添加任何新的库依赖项.
我在Coldfusion 9的邮件假脱机中有大约9,000个未传送的消息.据我所知,管理这些消息的唯一方法是通过CF Admin GUI一次操作10个消息.
我正在寻找一种方法来加快这个过程.我想清除队列,或批量发送它们.
有谁知道如何做到这一点?
谢谢,
戴夫
我开始在队列上运行一堆线程,我想在发送SIGINT时按下它们(Ctrl + C).处理这个问题的最佳方法是什么?
targets = Queue.Queue()
threads_num = 10
threads = []
for i in threads_num:
t = MyThread()
t.setDaemon(True)
threads.append(t)
t.start()
targets.join()
Run Code Online (Sandbox Code Playgroud) 关于成员函数std::queue的复杂性,该类尚不清楚size.它似乎基于当时使用的数据结构实现.
人们会认为这size将是O(C),但它是完全可能的它是O(N).显然,我可以保持自己的体型,但我宁愿打电话size.
(问题修改):既然deque是默认容器,什么是std :: deque :: size()的O()?
我有一个在Linux系统上运行的Python守护进程.我想提供诸如"Bob","Alice"等信息,并将守护进程打印为"Hello Bob".和"Hello Alice"到一个文件.
这必须是异步的.Python守护进程必须等待信息并在收到信息时打印它.
实现这一目标的最佳方法是什么?
我在考虑命名管道或Queue库,但可能有更好的解决方案.
我已经使用Java几年了.最近遇到了Vavr,一个Java的函数库,它提供了不可变的集合API.我很想知道拥有不可变队列的原因.
我的理解是,Queue用于在一端为其生成数据,然后另一个线程从另一端消耗数据.
不可变队列不允许你在构造之后添加数据,那么为什么我会在这里使用队列.
理想情况下,我会按如下方式处理队列,但对于不可变的队列,这将进入无限循环.
while(!queue.isEmpty()) {
queue.dequeue(); // process elements in queue.
}
Run Code Online (Sandbox Code Playgroud)
当我用Google搜索时,所有的讨论都围绕着如何实现不可变队列,但并没有解释它的必要性.
我愿意使用将电子邮件发送到电子邮件地址列表queue。不使用队列,我的代码可以正常工作,但是使用队列,它显示以下错误:
Exception in Queue.php line 86: Serialization of 'Closure' is not allowed
in /home/hizbul/Development/Projects/Laravel/fastskool/vendor/laravel/framework/src/Illuminate/Queue/Queue.php line 86
at serialize(object(SendMessageToStudent)) in Queue.php line 86
at Queue->createPayload(object(SendMessageToStudent), '') in DatabaseQueue.php line 81
at DatabaseQueue->push(object(SendMessageToStudent)) in Dispatcher.php line 184
at Dispatcher->pushCommandToQueue(object(DatabaseQueue), object(SendMessageToStudent)) in Dispatcher.php line 159
at Dispatcher->dispatchToQueue(object(SendMessageToStudent)) in Dispatcher.php line 73
at Dispatcher->dispatch(object(SendMessageToStudent)) in DispatchesJobs.php line 17
at Controller->dispatch(object(SendMessageToStudent)) in MessageController.php line 49
at MessageController->store(object(Request))
at call_user_func_array(array(object(MessageController), 'store'), array(object(Request))) in Controller.php line 55
at Controller->callAction('store', array(object(Request))) in ControllerDispatcher.php line 44
at …Run Code Online (Sandbox Code Playgroud)