标签: queue

从自定义队列中选择下一条消息的速度慢

我有一个简单的基于表的队列系统.在最简单的形式中,它由id,队列名称和状态组成.当从给定队列中读取下一条消息时,我们需要确保FIFO(先进先出),即具有给定状态的给定队列中的最低id.这一切都可以正常运行几千行,但是当我们达到1M +行时,它就不再适合了.

我们不能使用rownum = 1,因为这是在排序之前完成的,排序是基于id列完成的(asc).如果我制作一个游标并按id排序1000次,这大约需要100ms,这是一个很好的性能(0.1 ms /循环).如果我在查询中包含状态和队列名称(我需要,因为我需要特定队列的未读消息的最低id),10个循环(130ms /循环)需要大约1300ms,这远远不行.

我尝试在三列中的每一列上都有一个索引,也是id,queue,status的组合索引,最后是id的索引和队列和状态的组合索引.id列也是主键.已经在基于规则的设置中尝试了所有组合(使用规则提示).

此致,Michael Ringholm Sundgaard - iHedge A/S www.ihedge.dk www.ibrain.dk

sql sorting oracle indexing queue

3
推荐指数
1
解决办法
742
查看次数

用于线程队列的设计模式

我有一个非常复杂的系统(100多个线程)需要发送电子邮件而不会阻塞.我对这个问题的解决方案是实现一个名为的类EmailQueueSender,它在执行开始时启动,并且ScheduledExecutorService每隔500毫秒查看一个内部队列,如果size()> 0则清空它.

在这种情况下,有一个同步的静态方法addEmailToQueue(String[]),它接受一个包含body的主题,subject..etc作为一个数组.系统确实有效,我的其他线程可以继续将他们的电子邮件添加到队列中而不会阻塞,甚至担心电子邮件是否成功发送...它似乎有点乱......或者说是hackish ...每个程序员当他们知道自己做错了什么或者有更好的方法时,会在胃里感受到这种感觉.也就是说,有人可以打我的手腕,并提出一个更有效的方法来实现这一目标吗?

谢谢!

java queue multithreading

3
推荐指数
1
解决办法
2959
查看次数

为什么在有界队列中使用数组作为数据结构是个坏主意?

我正在考虑使用数组实现有界队列(固定容量).然后我偶然发现了这篇关于有界队列的wiki文章.它提到:

由于将项目复制到队列前面所花费的时间,因此数组效率低下

我不太明白这是怎么回事?当我们入队或出队时,我们只是将索引更新为head或tail.我们在哪里将项目复制到队列的前面?

arrays algorithm queue data-structures

3
推荐指数
1
解决办法
1116
查看次数

为什么std :: queue没有operator []?

在std::queue与默认情况下,双端队列来实现.std::deque有下标运算符,operator[]并且可能用数组实现.那么,为什么std::queue有operator[]?

我意识到你可以有一个列表作为底层容器.(std::queue<int, std::list<int>>.)但即使这会使下标操作符变慢,这真的是一个不包含它的理由吗?这是我能想到它不包括在内的唯一原因.

c++ queue subscript-operator

3
推荐指数
1
解决办法
1675
查看次数

Python线程:我缺少什么?(task_done()调用次数太多)

我为前面的长篇大论道歉.希望它能为解决方案提供足够的背景信息.我试图创建一个实用程序函数,它将使用任意数量的旧函数并将classmethod它们粘贴到多线程队列中:

class QueuedCall(threading.Thread):

    def __init__(self, name, queue, fn, args, cb):
        threading.Thread.__init__(self)
        self.name = name

        self._cb = cb
        self._fn = fn
        self._queue = queue
        self._args = args

        self.daemon = True
        self.start()

    def run(self):
        r = self._fn(*self._args) if self._args is not None \
            else self._fn()

        if self._cb is not None:
            self._cb(self.name, r)

            self._queue.task_done()
Run Code Online (Sandbox Code Playgroud)

这是我的调用代码的样子(在一个类中)

data = {}
def __op_complete(name, r):
    data[name] = r

q = Queue.Queue()

socket.setdefaulttimeout(5)

q.put(QueuedCall('twitter', q, Twitter.get_status, [5,], __op_complete))
q.put(QueuedCall('so_answers', q, StackExchange.get_answers,
    ['api.stackoverflow.com', 534476, 5], __op_complete))
q.put(QueuedCall('so_user', …
Run Code Online (Sandbox Code Playgroud)

python queue multithreading

3
推荐指数
1
解决办法
5548
查看次数

C# - 始终运行和Dequeing的队列管理

我需要构建一个在WCF中侦听新任务的进程.(异步)每个任务都得到入队(不知何故).

什么是循环队列和出列队列的最佳(逻辑和性能)方法.

我想过:

while(true){
   queue.Dequeue();
}
Run Code Online (Sandbox Code Playgroud)

我认为有更好的方法可以做到这一点.

谢谢

c# queue

3
推荐指数
1
解决办法
1398
查看次数

使用队列和链表的Groovy示例应用程序

你能否使用Groovy给我一个使用队列和链表的示例应用程序?

queue groovy linked-list

3
推荐指数
1
解决办法
5207
查看次数

推入队列时的内存泄漏

我一直在为我的数据网络课程工作,我遇到了内存泄漏,但我不明白为什么会发生这种情况.

顺便说一句,我知道C和C++有很多混合,但是我无法做任何事情,它基于类代码,我无法修改它,我知道这不是一个好方法它和我需要使用char*作为必要条件.

我的程序是多线程的,我处理这个结构:

typedef struct packetQueue
{
    char* buf;
    int length;

    packetQueue()
    {
        buf = nullptr;
        length = 0;
    }

    packetQueue(char* buffer, int len)
    {
        length = len;
        buf = new char[length + 1];
        memcpy(buf, buffer, len);
        buf[length] = '\0';
    }

    packetQueue(const packetQueue& other)
    {
        length = other.length;

        if (other.buf)
        {
            buf = new char[length + 1];
            memcpy(buf, other.buf, length);
            buf[length] = '\0';
        }
        else
        {
            buf = nullptr;
        }
    }

    packetQueue& operator=(const packetQueue& that)
    {
        if (this == &that) …
Run Code Online (Sandbox Code Playgroud)

c c++ queue memory-leaks

3
推荐指数
1
解决办法
1151
查看次数

在python中学习队列模块(如何运行它)

最近引入了队列设计,关于延迟处理能力以及实现"FIFO"等.

查看文档以尝试获取示例队列,以了解如何在我自己的设计/程序中实现它.但我遇到运行此代码的问题:

import queue

def worker():
    while True:
        item = q.get()
        do_work(item)
        q.task_done()

def main():

    q = queue.Queue(maxsize=0)
    for i in range(num_worker_threads):
         t = Thread(target=worker)
         t.daemon = True
         t.start()

    for item in source():
        q.put(item)

    q.join()       # block until all tasks are done

main()
Run Code Online (Sandbox Code Playgroud)

问题:希望有人解释for循环正在做什么,我只是运行代码时出错,所以我不得不遗漏一些东西.

问题发生错误: NameError:未定义全局名称'num_worker_threads'

谢谢-Python新手 -

python queue multithreading python-3.x

3
推荐指数
1
解决办法
2万
查看次数

为什么一个简单的python生产者/消费者多线程程序不会通过添加工作者数量来加速?

下面的代码几乎与http://docs.python.org/2/library/queue.html上的python官方Queue示例相同.

from Queue import Queue
from threading import Thread
from time import time
import sys

num_worker_threads = int(sys.argv[1])
source = xrange(10000)

def do_work(item):
    for i in xrange(100000):
        pass

def worker():
    while True:
        item = q.get()
        do_work(item)
        q.task_done()

q = Queue()

for item in source:
    q.put(item)

start = time()

for i in range(num_worker_threads):
    t = Thread(target=worker)
    t.daemon = True
    t.start()

q.join()

end = time()

print(end - start)
Run Code Online (Sandbox Code Playgroud)

这些是Xeon 12核处理器的结果:

$ ./speed.py 1
12.0873839855

$ ./speed.py 2
15.9101941586

$ ./speed.py …
Run Code Online (Sandbox Code Playgroud)

python queue multithreading producer-consumer

3
推荐指数
2
解决办法
4425
查看次数