标签: queue

主动删除旧消息的字典+队列数据结构

我想创建一个数据结构来表示一组队列(理想情况下是哈希、映射或类似查找的字典),其中队列中的消息在达到一定年龄后将被主动删除。ttl 值将是全局的;消息不需要也没有单独的 ttl。ttl 的分辨率不需要非常准确 - 只需在一秒左右即可。

我什至不知道要在这里搜索什么。我可以创建一个单独的全局队列,后台线程正在监视该队列,从全局队列中查看和拉出指向消息的指针,告诉它从各个队列中删除项目,但行为需要双向进行。如果某个项目从单独队列中删除,则需要从全局队列中删除。

我希望这个数据结构能够在 Python 中实现,理想情况下,并且一如既往,速度是最重要的(比内存使用更重要)。对于从哪里开始有什么建议吗?

python queue data-structures

6
推荐指数
1
解决办法
1万
查看次数

使用队列列表的 Python 多处理

我尝试使用 Python 2.7 多处理包创建队列列表。每个子进程拥有一个单独的队列,并有两个任务:从自己的队列中获取元素并将元素放入其他子进程的队列中。因此,每个子进程必须知道哪个队列属于它,这就是我使用队列列表的原因。

我制作的代码如下:

mgr = multiprocessing.Manager()

sharedQueueList = mgr.list()

for i in xrange(num_processes):
  sharedQueueList .append(mgr.Queue())
Run Code Online (Sandbox Code Playgroud)

但是,我收到以下错误消息:

**raise convert_to_error(kind, result)**
RemoteError: 
---------------------------------------------------------------------------
Unserializable message: ('#RETURN', < Queue.Queue instance at 0x02AD3170 >)
---------------------------------------------------------------------------
Run Code Online (Sandbox Code Playgroud)

python queue serialization multithreading list

6
推荐指数
1
解决办法
4827
查看次数

线程轮询 sqs 并将其添加到 python 队列中以处理模具

我有一段多线程代码 - 3 个线程,用于从 SQS 轮询数据并将其添加到 python 队列中。5 个线程从 python 队列中获取消息,处理它们并将其发送到后端系统。

这是代码:

python_queue = Queue.Queue()

class GetDataFromSQS(threading.Thread):
    """Threaded Url Grab"""
    def __init__(self, python_queue):
        threading.Thread.__init__(self)
        self.python_queue = python_queue

    def run(self):
        while True:
            time.sleep(0.5) //sleep for a few secs before querying again
            try:
                msgs = sqs_queue.get_messages(10)
                if msgs == None:
                    print "sqs is empty now"!
                for msg in msgs:
                    #place each message block from sqs into python queue for processing
                    self.python_queue.put(msg)
                    print "Adding a new message to Queue. Queue size is now …
Run Code Online (Sandbox Code Playgroud)

python queue multithreading amazon-sqs

6
推荐指数
1
解决办法
3607
查看次数

在 Laravel 中将事务与队列相结合

有没有办法告诉队列外观不要自动保留推送到队列的内容,直到我专门告诉它为止?

Queue::noPersist()
Queue::push()
Queue::push()
Queue::persist()
Run Code Online (Sandbox Code Playgroud)

看到我的问题如下,我的代码执行被包装在一个事务中。

在此输入图像描述

在该事务中,添加了一些雄辩的记录,并且紧接着将作业推送到队列中。

队列在事务提交之前运行:问题是队列有时在事务完成之前开始运行,因此它尝试引用尚未“提交”的记录。

如果我的设计没问题,我想我真正需要的是队列仅在事务成功提交后提交:可以这么说,如果事务失败,那么作业也应该回滚。或者换句话说,在事务成功之前不应推送作业。

队列延迟我看到 laravel 有一个延迟,我可以添加到队列中,但我不想在那里破解一个随机数,因为这有点脆弱,我真的只想在事务成功时才提交队列。

有什么指导或内置功能可以帮助我解决这个问题吗?

DB::transaction(function() {
    // add record A to DB
    // add JOB to QUEUE (this job starts firing before transaction commits and fails finding the record A)
    // more operations
});
Run Code Online (Sandbox Code Playgroud)

php queue transactions laravel laravel-5.1

6
推荐指数
1
解决办法
7813
查看次数

如何在Python中将项目放在队列顶部?

是否可以将项目放在队列的顶部而不是底部?在相同的情况下,我需要在获得项目后保持原始订单来重新填充队列。

python queue python-2.7

6
推荐指数
1
解决办法
1万
查看次数

多处理队列批量获取最多 N 个元素

我需要以阻塞方式从队列中获取尽可能多的项目(最多 N 个)。例如:

queue.get(16)
Run Code Online (Sandbox Code Playgroud)

最多应返回 16 个元素,但如果为空则阻塞。

python queue

6
推荐指数
1
解决办法
3769
查看次数

JavaScript 队列本机

我正在学习算法和 DS。如何在 JavaScript 中使用队列?

我知道你可以做这样的事情。

var stack = [];
stack.push(2);       // stack is now [2]
stack.push(5);       // stack is now [2, 5]
var i = stack.pop(); // stack is now [2]
alert(i);            // displays 5

var queue = [];
queue.push(2);         // queue is now [2]
queue.push(5);         // queue is now [2, 5]
var i = queue.shift(); // queue is now [5]
alert(i);              // displays 2
Run Code Online (Sandbox Code Playgroud)

但shift()不会改变所有东西因此,时间复杂度是O(N),而不是Java中的Dequeue,时间复杂度是O(1)

为什么 JavaScript 本身没有像 Stack(数组)那样的队列概念?

我只是好奇而已。请赐教。

(我问自己这个问题,但找不到 ES8 或 ES9 内置 Dequeue O(1) 和 enqueue …

javascript queue

6
推荐指数
1
解决办法
4930
查看次数

multiprocessing.Pipe() 与 .Queue()

import multiprocess as mp
Run Code Online (Sandbox Code Playgroud)

mp.Pipe()和 之间的主要区别是什么mp.Queue()?它们对我来说似乎是一样的:基本上Pipe.recv()相当于Queue.get(),Pipe.send()和Queue.put()。

queue multiprocessing python-3.x

6
推荐指数
1
解决办法
3065
查看次数

如何最有效地使用collections.deque(popleft 与appendleft)

我在学习Python数据结构时一直在学习队列,并想问一个有关其使用的问题。

我想有两种方法从队列中追加/弹出。第一种方法是使用deque.append()和deque.popleft()。另一种方法是使用deque.appendleft()和deque.pop()。两者之间有性能差异吗?如果没有,根据您的经验,哪一种更常用?您是否出于其他原因推荐其中之一?

从我的角度来看,它们本质上做同样的事情,因为它们都实现先进先出。我们将非常感谢您的意见!

python queue performance deque data-structures

6
推荐指数
2
解决办法
3507
查看次数

AWS SQS FIFO 队列:队列应该启用 ContentBasedDeduplication 还是明确提供 MessageDeduplicationId?

当我尝试向我的FIFO SQSusing添加一条消息时,我AWS CLI得到:

An error occurred (InvalidParameterValue) when calling the SendMessage operation: The queue should either have ContentBasedDeduplication enabled or MessageDeduplicationId provided explicitly
Run Code Online (Sandbox Code Playgroud)

我的请求:

C:\Windows\system32>aws sqs send-message --queue-url https://sqs.us-east-1.amazonaws.com/307125934878/myqueue.fifo --message-body "hello world" --region us-east-1 --message-group-id 3
Run Code Online (Sandbox Code Playgroud)

我该如何解决这个问题?

queue fifo amazon-sqs amazon-web-services aws-cli

6
推荐指数
1
解决办法
4559
查看次数