标签: queue

Python 2.6通过Queue/Pipe/etc发送连接对象

鉴于此错误(Python问题4892),会引发以下错误:

>>> import multiprocessing
>>> multiprocessing.allow_connection_pickling()
>>> q = multiprocessing.Queue()
>>> p = multiprocessing.Pipe()
>>> q.put(p)
>>> q.get()
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File     "/.../python2.6/multiprocessing/queues.py", line 91, in get
    res = self._recv()
TypeError: Required argument 'handle' (pos 1) not found
Run Code Online (Sandbox Code Playgroud)

有没有人知道在队列上传递Connection对象的解决方法?

谢谢.

python queue pipe pickle multiprocessing

11
推荐指数
2
解决办法
3721
查看次数

Python利用多个处理器

让我们说我有一个很大的不同长度的音乐列表需要转换或不同大小的图像需要调整大小或类似的东西.顺序无关紧要,因此非常适合分割多个处理器.

如果我使用multiprocessing.Pool的map函数,似乎所有的工作都是提前划分的,并没有考虑到某些文件可能需要更长时间来完成其他工作的事实.

如果我有12个处理器......接近处理结束时,1或2个处理器将剩下2或3个文件处理,而其他可以使用的处理器闲置.

是否有某种队列实现可以保持所有处理器加载,直到没有剩下的工作要做?

python queue multithreading batch-file multiprocessing

11
推荐指数
1
解决办法
2390
查看次数

在队列中选择特定对象(即peek +1)

如果Peek返回队列中的下一个对象,是否有可用于获取特定对象的方法?例如,我想在队列中找到第三个对象并更改其中一个值?

现在我只是通过队列做一个f​​oreach,这可能是最好的解决方案,但我不知道是否有一些特殊的你可以使用peek?即Queue.Peek(2)

c# queue peek

11
推荐指数
2
解决办法
3万
查看次数

为什么我们"使用2个堆栈实现队列"?

可能重复:
为什么要使用两个堆栈来建立队列?

我得到了这个赋值问题,要求我使用两个堆栈实现一个队列.我的问题不是如何做到,而是为什么这样做?我不是来自计算机背景,我试图找到答案,但无法真正找到原因吗?我认为你的专家可以帮助我理解实现这样一个东西有什么好处.我发现了一篇相关文章为什么要使用两个堆栈来建立队列?谈论这个,但想知道是否还有更多.

algorithm queue stack data-structures

11
推荐指数
1
解决办法
2273
查看次数

在C\C++中实现多生产者/消费者无锁队列

我已经在无锁队列上的单个生产者/消费者上完成了我的基本实现,并且运行良好.但是,当我尝试将其扩展到多个生产者/消费者时,我开始遇到冲突.我通过SO发现了一个与此问题相关的类似帖子(对于多个读取或写入线程,是否存在无锁队列?)我发现一篇文章在原始实现上更进一步.我也对这篇希望得到一些指导的文章感到困惑.

第一个是这个实现在使用多个生产者/消费者时是否真的有用,或者在原始的Michael-Scott实现中缺少某些与多个生产者/消费者设置一起工作的东西.

第二个是文章" 无锁FIFO队列的乐观方法", Dequeue部分显示了虚拟值的使用.如何确定要使用的适当值?如果我使用整数,那么我会确定我为虚拟值选择的整数不是我决定排队的实际值吗?

任何建议或总体方向都会很棒.如果有人想知道我在Visual Studio中创建它以更好地理解非阻塞算法.我想尽可能地使它成为通用的,以便我可以排队所需的任何内容(队列中的数据是模板化的,因此用户可以指定要排队的内容).

c++ queue multithreading nonblocking

11
推荐指数
2
解决办法
4951
查看次数

使用默认值初始化队列或堆栈?

您可以使用预先放置的值初始化列表:

List<int> L1 = new List<int> {1, 2, 3};

队列中是否有相当于以上的内容?我的想法是:

Queue<int> Q1 = new Queue<int> {1, 2, 3};

这不起作用.有没有解决方法?

是

Queue<int> Q1 = new Queue<int>();
Q1.Enqueue(1);
Q1.Enqueue(2);
Q1.Enqueue(3);
Run Code Online (Sandbox Code Playgroud)

唯一有效的解决方案?

c# queue stack

11
推荐指数
1
解决办法
1万
查看次数

繁忙旋转以减少上下文切换延迟(java)

在我的应用程序中,有几个服务在自己的线程上处理信息,当它们完成时,它们将消息发布到下一个服务,然后继续在其自己的线程上进行工作.消息的切换是通过LinkedBlockingQueue完成的.切换通常需要50-80 us(从将消息放入队列直到消费者开始处理消息).为了加速最重要服务的切换,我想使用繁忙的旋转而不是阻塞方法(我有12个处理器内核,并希望将3个专用于这些重要的服务).所以..我将LinkedBlockingQueue更改为ConcurrentLinkedQueue

并做到了

for(;;)
{
 Message m = queue.poll();
 if( m != null )
  ....
}
Run Code Online (Sandbox Code Playgroud)

现在..结果是第一个消息传递需要1 us,但随后延迟在接下来的25次切换中增加,直到达到500 us,然后延迟突然回到1 us并且开始增加..所以我有延迟循环有25次迭代,其中延迟从1 us开始,到500 us结束.(消息每秒传递大约100次)

平均延迟为250,这并不是我想要的性能增益.

我还尝试使用LMAX Disruptor ringbuffer而不是ConcurrentLinkedQueue.这个框架在繁忙的旋转实现和完全不同的队列实现中有自己的构建,但结果是相同的.所以我很确定它不是队列的错误或我滥用的东西..

问题是...... Heck在这里发生了什么?为什么我会看到这个奇怪的延迟周期?

干杯!!

java queue performance multithreading

11
推荐指数
1
解决办法
2513
查看次数

Heroku的Laravel队列工作者

我在Heroku上运行Laravel 5.我正在使用Laravel Queue进行后台任务.什么是最可靠的方式来监听队列并运行它的工作?

queue heroku laravel laravel-5

11
推荐指数
2
解决办法
3851
查看次数

我将如何使用concurrent.futures和队列进行实时场景?

使用Python 3的concurrent.futures模块进行并行工作相当容易,如下所示.

with concurrent.futures.ThreadPoolExecutor(max_workers=10) as executor:
    future_to = {executor.submit(do_work, input, 60): input for input in dictionary}
    for future in concurrent.futures.as_completed(future_to):
        data = future.result()  
Run Code Online (Sandbox Code Playgroud)

将项目插入和检索到队列中也非常方便.

q = queue.Queue()
for task in tasks:
q.put(task)
while not q.empty():
   q.get()
Run Code Online (Sandbox Code Playgroud)

我有一个在后台运行的脚本,用于监听更新.现在,理论上假设,当这些更新到达时,我会将它们排队并使用它们同时处理它们ThreadPoolExecutor.

现在,单独地说,所有这些组件都是孤立的,并且有意义,但我如何一起使用它们呢?我不知道是否可以ThreadPoolExecutor实时从队列中提取工作,除非预先确定的数据是什么?

简而言之,我想做的就是,每秒接收4条消息的更新,将它们推入队列,然后让我的concurrent.futures对它们进行处理.如果我不这样做,那么我会陷入一种缓慢的顺序方法.

我们来看下面Python文档中的规范示例:

with concurrent.futures.ThreadPoolExecutor(max_workers=5) as executor:
    future_to_url = {executor.submit(load_url, url, 60): url for url in URLS}
    for future in concurrent.futures.as_completed(future_to_url):
        url = future_to_url[future]
        try:
            data = future.result()
        except Exception as exc:
            print('%r …
Run Code Online (Sandbox Code Playgroud)

python queue concurrency multithreading python-3.x

11
推荐指数
2
解决办法
5006
查看次数

laravel队列 - 同步驱动程序如何工作?它是在单独的进程还是主执行线程中执行?

我从我的服务器发送推送通知,并希望它只是在后台进程中执行.我已经阅读了Laravel文档,我也了解了数据库驱动程序和其他一些选项.我已经在我的本地机器上使用数据库驱动程序,但有一件事让我烦恼,我要启动后台线程来侦听使用添加到队列中的作业php artisan queue:listen --deamon.

关键是,它总是通过像'crone'任务一样运行来消耗我的一些资源和内存.我只想在触发推送通知时创建一个新进程,它应该在添加后立即开始执行,之后应该关闭该进程.另一方面,在laravel作业中,我总是需要运行一个我想避免的后台进程,而且我正在使用共享主机,它不允许我在我的服务器上安装"supervisor"来监视我的作业执行.

任何人都可以清除这种含糊之处吗?处理这种情况的更好方法是什么?

php queue jobs multithreading laravel

11
推荐指数
1
解决办法
1万
查看次数