标签: queue

在fixed_sized<true>情况下增强无锁队列行为

当我将我的队列声明为

typedef boost::lockfree::queue<MyMessage, boost::lockfree::fixed_sized<true>> MessageQueue
Run Code Online (Sandbox Code Playgroud)

我尝试将队列用作多生产者单消费者队列,即从多个线程向其发布消息并轮询队列以获取来自单个线程的消息,消费者线程被锁定。没有任何进展。

但是当我不使用固定大小属性时,即不指定模板参数时fixed_sized<true>,队列工作正常。但在这种情况下,队列实际上进行了内存分配/释放,这违背了使用无锁队列的目的。

所以我的问题是“如果使用该属性设置,boost::lockfree::queue 是否会成为单生产者单消费者队列fixed_sized<true>?”

我需要使用一些不同的推送/弹出方法吗?

我想要一个不进行内存分配释放的 MPMC 队列。如果 boost 不提供这个,我可以使用任何其他队列吗?

提前致谢,

c++ queue boost lock-free

3
推荐指数
1
解决办法
5322
查看次数

Python 在线程内调用时排队内存泄漏

我有 python TCP 客户端,需要循环发送媒体(.mpg)文件到“C”TCP 服务器。

我有以下代码,在单独的线程中,我正在读取 10K 文件块并发送它,然后在循环中再次执行此操作,我认为这是因为我实现了线程模块或 tcp 发送。我正在使用队列在 GUI ( Tkinter ) 上打印日志,但一段时间后它会耗尽内存。。

更新 1 - 根据要求添加更多代码

线程类“Sendmpgthread”用于创建发送数据的线程

.
. 
def __init__ ( self, otherparams,MainGUI):
    .
    .
    self.MainGUI = MainGUI
    self.lock = threading.Lock()
    Thread.__init__(self)

#This is the one causing leak, this is called inside loop
def pushlog(self,msg):
    self.MainGUI.queuelog.put(msg)

def send(self, mysocket, block):
    size = len(block)
    pos = 0;
    while size > 0:
        try:
            curpos = mysocket.send(block[pos:])
        except socket.timeout, msg:
            if self.over:
                 self.pushlog(Exit Send)
                return …
Run Code Online (Sandbox Code Playgroud)

python queue multithreading memory-leaks python-2.7

3
推荐指数
1
解决办法
6515
查看次数

使用 Java 邮件排队或不排队

该场景是通过 Web 请求(以及将来可能的其他邮件相关任务)向用户发送密码重置邮件。

我提出的排队论点:

  • 我认为应该尽快处理网络请求

  • 将发送操作与请求分离,更容易允许邮件系统的外部化(如果将来需要)

我认可的反对排队的论点:

  • 如果消息发送过程中出现问题,用户不会得到反馈

这次讨论还有哪些争论?对于那些支持排队的人来说,您将如何实现排队?预定的行动?无限出队任务(当然有间隔)?

谢谢!

java queue jakarta-mail

3
推荐指数
1
解决办法
4019
查看次数

Java:我可以使用Redis db创建优先级队列并根据数据集中的key的值设置优先级

我是 Redis 新手。我想通过 Java 客户端在 Redis 中使用优先级队列。我将有一组键值对。并将其用作优先级队列。

数据集包含键及其对应的值。示例 [a:1,b:1,c:1]。值字段将表示键在数据集中出现的次数。如果另一个键“a”插入到数据集中,那么它就变成[a:2,b:1,c:1]。

优先事项来了。集合中存在的大多数键将具有最高优先级,在示例中是 [a],并且它应该位于队列的顶部。因此,当我弹出队列时,优先级最高的元素应该弹出。

另外,如果数据集看起来像这样 [a:2,b:2,c:2],那么我想随机选择一个从队列中弹出。

由于我的数据集将是键值对,我想使用 Redis[你可能会建议一个更好的]。

java queue redis

3
推荐指数
1
解决办法
4628
查看次数

用于存储最新值的 C++ 固定大小容器

我想知道对于C++中的以下问题最合适的数据结构是什么

我想存储 100 个按新近度排序的浮点数。因此,当我添加(推送)一个新项目时,其他元素会向上移动一个位置。每次触发事件时,我都会收到一个值,然后将其添加到我的数据结构中。

当元素数量达到 100 时,我想删除(弹出)末尾的项目(最旧的)。

我希望能够迭代所有元素并对它们执行一些数学运算。

我已经查看了所有标准 C++ 容器,但没有一个能够满足我的所有需求。使用标准 C++ 代码实现此目的最简单的方法是什么?

c++ queue stack containers

3
推荐指数
1
解决办法
3844
查看次数

Php artisan 队列:工作不工作,但工作已插入

我对 php artisanqueue::work 命令感到困扰。

我的命令不起作用,但我的作业已插入作业表但从未执行。

我正在使用 mongodb 驱动程序进行队列。

我做错了什么请建议我。

queue mongodb laravel-5

3
推荐指数
1
解决办法
8619
查看次数

我可以在不使用堆栈的情况下反转队列吗?

我有一个包含一些数字的队列,例如 5,6,7,8 在队列中,5 是 q->front,8 是 q->rear。我可以在队列中反转它们但不使用堆栈吗?

algorithm queue stack reverse

3
推荐指数
1
解决办法
5625
查看次数

如何使用multiprocessing.Queue.get方法?

下面的代码将三个数字放入队列中。然后它尝试从队列中取回号码。但它永远不会。如何从队列中获取数据?

import multiprocessing

queue = multiprocessing.Queue()

for i in range(3):
    queue.put(i)

while not queue.empty():
    print queue.get()
Run Code Online (Sandbox Code Playgroud)

python queue multiprocessing python-multiprocessing

3
推荐指数
1
解决办法
4050
查看次数

wait queue.put(item) 到 asyncio.Queue 上似乎没有释放事件循环的控制

在这个简单的生产者/消费者示例中,就好像await queue.put(item)不释放事件循环以允许消费者运行直到完成。这会导致生产者将其所有项目放入队列中,然后消费者才能将其取出。

这是预期的吗?

await queue.put(item)如果我遵循with ,我就会得到我正在寻找的结果await asyncio.sleep(0)。

然后,生产者将 1 个项目放入队列中,然后消费者从队列中取出 1 个项目。

我在 Python 3.6.8 和 3.7.2 中得到相同的结果。

import asyncio

async def produce(queue, n):
    for x in range(1, n + 1):
        print('producing {}/{}'.format(x, n))
        item = str(x)
        await queue.put(item)
        # await asyncio.sleep(0)
    await queue.put(None)

async def consume(queue):
    while True:
        item = await queue.get()
        if item is None:
            break
        print('consuming item {}...'.format(item))

loop = asyncio.get_event_loop()
queue = asyncio.Queue(loop=loop)
producer_coro = produce(queue, 10)
consumer_coro = consume(queue)
loop.run_until_complete(asyncio.gather(producer_coro, …
Run Code Online (Sandbox Code Playgroud)

python queue async-await python-asyncio

3
推荐指数
1
解决办法
1533
查看次数

如何在 Docker 中使用 Laravel 队列监听

在本地主机上运行时,我使用:

php artisan queue:listen database

它监听并充当队列。在我想要 Dockerize 我的 Laravel 应用程序之前,这一切都很好。我已经完成了此操作,因此无法运行该命令以便容器具有队列侦听器。

我读到我可以执行以下操作:

docker exec -t (containername) php artisan queue:listen

我想找到另一种方法来执行此操作,因为如果容器死亡并自行重新启动,则该命令将不会被执行,并且我不能只观察容器何时死亡,以便我可以手动执行此操作。我想要一种自动的方式。每个启动的容器都必须自动运行此命令。我在 Dockerfile 中尝试过,但没有任何效果。

queue laravel docker docker-compose

3
推荐指数
1
解决办法
1万
查看次数