我想创建一个数据结构来表示一组队列(理想情况下是哈希、映射或类似查找的字典),其中队列中的消息在达到一定年龄后将被主动删除。ttl 值将是全局的;消息不需要也没有单独的 ttl。ttl 的分辨率不需要非常准确 - 只需在一秒左右即可。
我什至不知道要在这里搜索什么。我可以创建一个单独的全局队列,后台线程正在监视该队列,从全局队列中查看和拉出指向消息的指针,告诉它从各个队列中删除项目,但行为需要双向进行。如果某个项目从单独队列中删除,则需要从全局队列中删除。
我希望这个数据结构能够在 Python 中实现,理想情况下,并且一如既往,速度是最重要的(比内存使用更重要)。对于从哪里开始有什么建议吗?
我尝试使用 Python 2.7 多处理包创建队列列表。每个子进程拥有一个单独的队列,并有两个任务:从自己的队列中获取元素并将元素放入其他子进程的队列中。因此,每个子进程必须知道哪个队列属于它,这就是我使用队列列表的原因。
我制作的代码如下:
mgr = multiprocessing.Manager()
sharedQueueList = mgr.list()
for i in xrange(num_processes):
sharedQueueList .append(mgr.Queue())
Run Code Online (Sandbox Code Playgroud)
但是,我收到以下错误消息:
**raise convert_to_error(kind, result)**
RemoteError:
---------------------------------------------------------------------------
Unserializable message: ('#RETURN', < Queue.Queue instance at 0x02AD3170 >)
---------------------------------------------------------------------------
Run Code Online (Sandbox Code Playgroud) 我有一段多线程代码 - 3 个线程,用于从 SQS 轮询数据并将其添加到 python 队列中。5 个线程从 python 队列中获取消息,处理它们并将其发送到后端系统。
这是代码:
python_queue = Queue.Queue()
class GetDataFromSQS(threading.Thread):
"""Threaded Url Grab"""
def __init__(self, python_queue):
threading.Thread.__init__(self)
self.python_queue = python_queue
def run(self):
while True:
time.sleep(0.5) //sleep for a few secs before querying again
try:
msgs = sqs_queue.get_messages(10)
if msgs == None:
print "sqs is empty now"!
for msg in msgs:
#place each message block from sqs into python queue for processing
self.python_queue.put(msg)
print "Adding a new message to Queue. Queue size is now …Run Code Online (Sandbox Code Playgroud) 有没有办法告诉队列外观不要自动保留推送到队列的内容,直到我专门告诉它为止?
Queue::noPersist()
Queue::push()
Queue::push()
Queue::persist()
Run Code Online (Sandbox Code Playgroud)
看到我的问题如下,我的代码执行被包装在一个事务中。
在该事务中,添加了一些雄辩的记录,并且紧接着将作业推送到队列中。
队列在事务提交之前运行:问题是队列有时在事务完成之前开始运行,因此它尝试引用尚未“提交”的记录。
如果我的设计没问题,我想我真正需要的是队列仅在事务成功提交后提交:可以这么说,如果事务失败,那么作业也应该回滚。或者换句话说,在事务成功之前不应推送作业。
队列延迟我看到 laravel 有一个延迟,我可以添加到队列中,但我不想在那里破解一个随机数,因为这有点脆弱,我真的只想在事务成功时才提交队列。
有什么指导或内置功能可以帮助我解决这个问题吗?
DB::transaction(function() {
// add record A to DB
// add JOB to QUEUE (this job starts firing before transaction commits and fails finding the record A)
// more operations
});
Run Code Online (Sandbox Code Playgroud) 是否可以将项目放在队列的顶部而不是底部?在相同的情况下,我需要在获得项目后保持原始订单来重新填充队列。
我需要以阻塞方式从队列中获取尽可能多的项目(最多 N 个)。例如:
queue.get(16)
Run Code Online (Sandbox Code Playgroud)
最多应返回 16 个元素,但如果为空则阻塞。
我正在学习算法和 DS。如何在 JavaScript 中使用队列?
我知道你可以做这样的事情。
var stack = [];
stack.push(2); // stack is now [2]
stack.push(5); // stack is now [2, 5]
var i = stack.pop(); // stack is now [2]
alert(i); // displays 5
var queue = [];
queue.push(2); // queue is now [2]
queue.push(5); // queue is now [2, 5]
var i = queue.shift(); // queue is now [5]
alert(i); // displays 2
Run Code Online (Sandbox Code Playgroud)
但shift()不会改变所有东西因此,时间复杂度是O(N),而不是Java中的Dequeue,时间复杂度是O(1)
为什么 JavaScript 本身没有像 Stack(数组)那样的队列概念?
我只是好奇而已。请赐教。
(我问自己这个问题,但找不到 ES8 或 ES9 内置 Dequeue O(1) 和 enqueue …
import multiprocess as mp
Run Code Online (Sandbox Code Playgroud)
mp.Pipe()和 之间的主要区别是什么mp.Queue()?它们对我来说似乎是一样的:基本上Pipe.recv()相当于Queue.get(),Pipe.send()和Queue.put()。
我在学习Python数据结构时一直在学习队列,并想问一个有关其使用的问题。
我想有两种方法从队列中追加/弹出。第一种方法是使用deque.append()和deque.popleft()。另一种方法是使用deque.appendleft()和deque.pop()。两者之间有性能差异吗?如果没有,根据您的经验,哪一种更常用?您是否出于其他原因推荐其中之一?
从我的角度来看,它们本质上做同样的事情,因为它们都实现先进先出。我们将非常感谢您的意见!
当我尝试向我的FIFO SQSusing添加一条消息时,我AWS CLI得到:
An error occurred (InvalidParameterValue) when calling the SendMessage operation: The queue should either have ContentBasedDeduplication enabled or MessageDeduplicationId provided explicitly
Run Code Online (Sandbox Code Playgroud)
我的请求:
C:\Windows\system32>aws sqs send-message --queue-url https://sqs.us-east-1.amazonaws.com/307125934878/myqueue.fifo --message-body "hello world" --region us-east-1 --message-group-id 3
Run Code Online (Sandbox Code Playgroud)
我该如何解决这个问题?
queue ×10
python ×6
amazon-sqs ×2
aws-cli ×1
deque ×1
fifo ×1
javascript ×1
laravel ×1
laravel-5.1 ×1
list ×1
performance ×1
php ×1
python-2.7 ×1
python-3.x ×1
transactions ×1