标签: queue

<queue>的位和推送之间的区别

<queue>的emplace和push 之间有什么区别?

这是关于std :: queue :: emplace和std :: queue :: push的解释 。

这两种方法都会在其当前最后一个元素return之后添加元素None。

c++ queue push emplace

7
推荐指数
1
解决办法
4006
查看次数

Python线程队列非常慢

我在线程中以非常高的速率(每秒几千个样本)获取样本(整数),并将put()它们放在threading.Queue. 主线程get()将样本逐个放入长度为4096的列表中,然后msgpack将它们发送出去,最后通过ZeroMQ将它们发送到客户端。客户端在屏幕上显示块(打印或绘图)。简而言之,最初的想法是,用单个样本填充队列,但以大块的形式清空它。

一切都 100% 符合预期。但后一部分,即访问队列非常非常慢。队列变大,输出总是滞后几秒到几十秒。

我的问题是:我该如何做才能使队列访问更快?有更好的方法吗?

python queue multithreading python-multithreading pyzmq

7
推荐指数
1
解决办法
4838
查看次数

如何通过索引获取双端队列元素?

我有以下双端队列对象:

test = deque([np.zeros((4,1,1))+0.5] * 25)
Run Code Online (Sandbox Code Playgroud)

所以有 25 个某种形状的数组,我将追加对象,在另一端弹出旧的数组,等等。

在某些时候,我想要在双端队列中选择元素的子集:

>>> idx = np.round(np.linspace(0, 20, 4, dtype='int'))
>>> idx
array([ 0,  6, 13, 20])
Run Code Online (Sandbox Code Playgroud)

所以我想要那些索引。我试过:

>>> test[idx]
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
TypeError: only integer scalar arrays can be converted to a scalar index
Run Code Online (Sandbox Code Playgroud)

也许deque不支持这种类型的索引操作。idx如何轻松(高效)地获取from中的元素列表test?

编辑 -

有关我最初目标的更多信息。我有一个 3D numpy 数组列表,即(N, H,W,3)实时地将一个新的 3D 数组移入 的列表中N,即一个新的大小数组(H,W,3)(如队列)移入 N 的列表中。

如果能为所有内容都提供一个 numpy 形状数组就好了(N, H,W,3),但我不知道如何获得高效的队列功能,所以我选择了deque …

python arrays queue numpy deque

7
推荐指数
1
解决办法
4949
查看次数

如何Dynamodb向SQS发送消息

我在 AWS Dynamodb 中有一个表,我需要在创建新项目时向 AWS SQS 发送消息。因此,我希望在创建新项目时触发我的 Dynamodb,这是一条针对 AWS SQS 的消息。那可能吗?

queue amazon-sqs amazon-web-services amazon-dynamodb

7
推荐指数
1
解决办法
2万
查看次数

NServiceBus、MassTransit 和 Rabbit MQ 还是 Kafka?

我正在尝试学习消息传递系统。我发现有很多选项,比如 RabbitMq NServiceBus MassTransit Kafka ...

我的问题是:

每一种有什么区别?每个有什么用?(使用场景)

queue message-queue

7
推荐指数
1
解决办法
2893
查看次数

whatsapp 或 FB Messenger 中使用的队列

在思考实时聊天的系统设计时,我很好奇 whatsapp 或 FB Messenger 在服务器端使用什么样的队列来将消息传递给收件人。我在想的是有一个每个人的队列/kafka 主题,因此当需要将新消息传递给用户 A 时,该消息将排队到 A 的队列中。

但是,可能有数十亿用户(FB 有 20 亿用户),这是否意味着我们需要 20 亿个队列/主题(在 kafka 术语中)?如果是这样,哪个队列可以有效地处理这个问题。

欢迎任何评论!

谢谢!

queue message-queue rabbitmq whatsapp apache-kafka

7
推荐指数
0
解决办法
1300
查看次数

如何处理 Amazon SQS 中的死信队列?

我正在为我的一个项目使用事件驱动架构。Amazon Simple Queue Service 支持处理失败。

如果消息未成功处理,它不会到达我从队列中删除消息的部分。如果是一次性失败,会得到宽容的处理。但是,如果它是错误消息,则会进入 DLQ。

我的问题是DLQ 稍后会发生什么?有数千条这样的消息被困在 DLQ 中。他们应该如何处理?

我很想听到一些组织中已有的现实例子和工程流程。

queue events amazon-sqs amazon-web-services

7
推荐指数
1
解决办法
6133
查看次数

类型错误:无法使用 RQ 腌制“_thread.lock”对象

我正在使用带有烧瓶的 RQ 在循环中排队作业。我有以下代码:

from rq import Queue
from rq.job import Job
from worker import conn

q = Queue(connection=conn)

for i in range(5):
    job = q.enqueue_call(
    func=process_data, args=(i, data,))
    print(job.get_id()) 
Run Code Online (Sandbox Code Playgroud)

现在我收到错误:

TypeError: cannot pickle '_thread.lock' object
Run Code Online (Sandbox Code Playgroud)

我有以下代码的工人:

import os

import redis
from rq import Worker, Queue, Connection

listen = ['default']

redis_url = os.getenv('REDISTOGO_URL', 'redis://localhost:6379')

conn = redis.from_url(redis_url)

if __name__ == '__main__':
    with Connection(conn):
        worker = Worker(list(map(Queue, listen)))
        worker.work()
Run Code Online (Sandbox Code Playgroud)

如何纠正?

python queue flask

7
推荐指数
1
解决办法
1188
查看次数

如何在 dart 中实现具有多个并发工作线程(异步)的异步任务队列

我的目标是用 Dart 创建一种网络爬虫。为此,我想维护一个任务队列,其中存储需要爬网的元素(例如 URL)。这些元素在爬行函数中爬行,该函数返回需要处理的更多元素的列表。因此,这些元素被添加到队列中。示例代码:

import "dart:collection";
final queue = Queue<String>();
main() async{
  queue
    ..add("...")
    ..add("...")
    ..add("...");
  while (queue.isNotEmpty) {
    results = await crawl(queue.removeFirst());
    queue.addAll(results);
  }
}

Future<List<String>> crawl(String x) async {
  ...
  res = await http.get(x)
  ...
  return results;
}
Run Code Online (Sandbox Code Playgroud)

这段粗略代码一次仅处理一个元素。不过,我想要一个工作池(例如 5 个),它们从队列中取出元素并同时处理它们,然后将结果添加回队列。由于瓶颈是 HTTP 请求,我认为对多个工作线程进行 Future.wait() 调用可以加快执行速度。但是我不想让服务器超载,因此我也想限制工作人员的数量。

这可以用基本的异步原语和信号量来实现吗?我希望尽可能避免隔离,以使解决方案尽可能简单。

queue asynchronous dart flutter

7
推荐指数
1
解决办法
6642
查看次数

将来自循环的多个线程排队的最安全方法是什么?

我的脚本遍历输入文件的每一行,并使用每一行中的字符串执行一些操作。由于在每一行上执行的任务是相互独立的,我决定将任务分开,threads这样脚本就不必等待任务完成才能继续循环。代码如下。


def myFunction(line, param):
    # Doing something with line and param
    # Sends multiple HTTP requests and parse the response and produce outputs
    # Returns nothing

param = arg[1]   
with open(targets, "r") as listfile:
    for line in listfile:
        print("Starting a thread for: ",line)
        t=threading.Thread(target=myFunction, args=(line, param,)) 
        threads.append(t)
        t.start()

Run Code Online (Sandbox Code Playgroud)

我意识到这是一个坏主意,因为输入文件中的行数越来越大。使用此代码,线程数将与行数一样多。研究了一下,认为这queues就是方法。

我想了解在这种情况下使用队列的最佳方式,以及是否有任何我可以使用的替代方案。

python queue python-multithreading python-3.x

7
推荐指数
2
解决办法
461
查看次数