<queue>的emplace和push 之间有什么区别?
这是关于std :: queue :: emplace和std :: queue :: push的解释 。
这两种方法都会在其当前最后一个元素return之后添加元素None。
我在线程中以非常高的速率(每秒几千个样本)获取样本(整数),并将put()它们放在threading.Queue. 主线程get()将样本逐个放入长度为4096的列表中,然后msgpack将它们发送出去,最后通过ZeroMQ将它们发送到客户端。客户端在屏幕上显示块(打印或绘图)。简而言之,最初的想法是,用单个样本填充队列,但以大块的形式清空它。
一切都 100% 符合预期。但后一部分,即访问队列非常非常慢。队列变大,输出总是滞后几秒到几十秒。
我的问题是:我该如何做才能使队列访问更快?有更好的方法吗?
我有以下双端队列对象:
test = deque([np.zeros((4,1,1))+0.5] * 25)
Run Code Online (Sandbox Code Playgroud)
所以有 25 个某种形状的数组,我将追加对象,在另一端弹出旧的数组,等等。
在某些时候,我想要在双端队列中选择元素的子集:
>>> idx = np.round(np.linspace(0, 20, 4, dtype='int'))
>>> idx
array([ 0, 6, 13, 20])
Run Code Online (Sandbox Code Playgroud)
所以我想要那些索引。我试过:
>>> test[idx]
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
TypeError: only integer scalar arrays can be converted to a scalar index
Run Code Online (Sandbox Code Playgroud)
也许deque不支持这种类型的索引操作。idx如何轻松(高效)地获取from中的元素列表test?
编辑 -
有关我最初目标的更多信息。我有一个 3D numpy 数组列表,即(N, H,W,3)实时地将一个新的 3D 数组移入 的列表中N,即一个新的大小数组(H,W,3)(如队列)移入 N 的列表中。
如果能为所有内容都提供一个 numpy 形状数组就好了(N, H,W,3),但我不知道如何获得高效的队列功能,所以我选择了deque …
我在 AWS Dynamodb 中有一个表,我需要在创建新项目时向 AWS SQS 发送消息。因此,我希望在创建新项目时触发我的 Dynamodb,这是一条针对 AWS SQS 的消息。那可能吗?
我正在尝试学习消息传递系统。我发现有很多选项,比如 RabbitMq NServiceBus MassTransit Kafka ...
我的问题是:
每一种有什么区别?每个有什么用?(使用场景)
在思考实时聊天的系统设计时,我很好奇 whatsapp 或 FB Messenger 在服务器端使用什么样的队列来将消息传递给收件人。我在想的是有一个每个人的队列/kafka 主题,因此当需要将新消息传递给用户 A 时,该消息将排队到 A 的队列中。
但是,可能有数十亿用户(FB 有 20 亿用户),这是否意味着我们需要 20 亿个队列/主题(在 kafka 术语中)?如果是这样,哪个队列可以有效地处理这个问题。
欢迎任何评论!
谢谢!
我正在为我的一个项目使用事件驱动架构。Amazon Simple Queue Service 支持处理失败。
如果消息未成功处理,它不会到达我从队列中删除消息的部分。如果是一次性失败,会得到宽容的处理。但是,如果它是错误消息,则会进入 DLQ。
我的问题是DLQ 稍后会发生什么?有数千条这样的消息被困在 DLQ 中。他们应该如何处理?
我很想听到一些组织中已有的现实例子和工程流程。
我正在使用带有烧瓶的 RQ 在循环中排队作业。我有以下代码:
from rq import Queue
from rq.job import Job
from worker import conn
q = Queue(connection=conn)
for i in range(5):
job = q.enqueue_call(
func=process_data, args=(i, data,))
print(job.get_id())
Run Code Online (Sandbox Code Playgroud)
现在我收到错误:
TypeError: cannot pickle '_thread.lock' object
Run Code Online (Sandbox Code Playgroud)
我有以下代码的工人:
import os
import redis
from rq import Worker, Queue, Connection
listen = ['default']
redis_url = os.getenv('REDISTOGO_URL', 'redis://localhost:6379')
conn = redis.from_url(redis_url)
if __name__ == '__main__':
with Connection(conn):
worker = Worker(list(map(Queue, listen)))
worker.work()
Run Code Online (Sandbox Code Playgroud)
如何纠正?
我的目标是用 Dart 创建一种网络爬虫。为此,我想维护一个任务队列,其中存储需要爬网的元素(例如 URL)。这些元素在爬行函数中爬行,该函数返回需要处理的更多元素的列表。因此,这些元素被添加到队列中。示例代码:
import "dart:collection";
final queue = Queue<String>();
main() async{
queue
..add("...")
..add("...")
..add("...");
while (queue.isNotEmpty) {
results = await crawl(queue.removeFirst());
queue.addAll(results);
}
}
Future<List<String>> crawl(String x) async {
...
res = await http.get(x)
...
return results;
}
Run Code Online (Sandbox Code Playgroud)
这段粗略代码一次仅处理一个元素。不过,我想要一个工作池(例如 5 个),它们从队列中取出元素并同时处理它们,然后将结果添加回队列。由于瓶颈是 HTTP 请求,我认为对多个工作线程进行 Future.wait() 调用可以加快执行速度。但是我不想让服务器超载,因此我也想限制工作人员的数量。
这可以用基本的异步原语和信号量来实现吗?我希望尽可能避免隔离,以使解决方案尽可能简单。
我的脚本遍历输入文件的每一行,并使用每一行中的字符串执行一些操作。由于在每一行上执行的任务是相互独立的,我决定将任务分开,threads这样脚本就不必等待任务完成才能继续循环。代码如下。
def myFunction(line, param):
# Doing something with line and param
# Sends multiple HTTP requests and parse the response and produce outputs
# Returns nothing
param = arg[1]
with open(targets, "r") as listfile:
for line in listfile:
print("Starting a thread for: ",line)
t=threading.Thread(target=myFunction, args=(line, param,))
threads.append(t)
t.start()
Run Code Online (Sandbox Code Playgroud)
我意识到这是一个坏主意,因为输入文件中的行数越来越大。使用此代码,线程数将与行数一样多。研究了一下,认为这queues就是方法。
我想了解在这种情况下使用队列的最佳方式,以及是否有任何我可以使用的替代方案。
queue ×10
python ×4
amazon-sqs ×2
apache-kafka ×1
arrays ×1
asynchronous ×1
c++ ×1
dart ×1
deque ×1
emplace ×1
events ×1
flask ×1
flutter ×1
numpy ×1
push ×1
python-3.x ×1
pyzmq ×1
rabbitmq ×1
whatsapp ×1