我有一个简单的基于表的队列系统.在最简单的形式中,它由id,队列名称和状态组成.当从给定队列中读取下一条消息时,我们需要确保FIFO(先进先出),即具有给定状态的给定队列中的最低id.这一切都可以正常运行几千行,但是当我们达到1M +行时,它就不再适合了.
我们不能使用rownum = 1,因为这是在排序之前完成的,排序是基于id列完成的(asc).如果我制作一个游标并按id排序1000次,这大约需要100ms,这是一个很好的性能(0.1 ms /循环).如果我在查询中包含状态和队列名称(我需要,因为我需要特定队列的未读消息的最低id),10个循环(130ms /循环)需要大约1300ms,这远远不行.
我尝试在三列中的每一列上都有一个索引,也是id,queue,status的组合索引,最后是id的索引和队列和状态的组合索引.id列也是主键.已经在基于规则的设置中尝试了所有组合(使用规则提示).
此致,Michael Ringholm Sundgaard - iHedge A/S www.ihedge.dk www.ibrain.dk
我有一个非常复杂的系统(100多个线程)需要发送电子邮件而不会阻塞.我对这个问题的解决方案是实现一个名为的类EmailQueueSender,它在执行开始时启动,并且ScheduledExecutorService每隔500毫秒查看一个内部队列,如果size()> 0则清空它.
在这种情况下,有一个同步的静态方法addEmailToQueue(String[]),它接受一个包含body的主题,subject..etc作为一个数组.系统确实有效,我的其他线程可以继续将他们的电子邮件添加到队列中而不会阻塞,甚至担心电子邮件是否成功发送...它似乎有点乱......或者说是hackish ...每个程序员当他们知道自己做错了什么或者有更好的方法时,会在胃里感受到这种感觉.也就是说,有人可以打我的手腕,并提出一个更有效的方法来实现这一目标吗?
谢谢!
在std::queue与默认情况下,双端队列来实现.std::deque有下标运算符,operator[]并且可能用数组实现.那么,为什么std::queue有operator[]?
我意识到你可以有一个列表作为底层容器.(std::queue<int, std::list<int>>.)但即使这会使下标操作符变慢,这真的是一个不包含它的理由吗?这是我能想到它不包括在内的唯一原因.
我为前面的长篇大论道歉.希望它能为解决方案提供足够的背景信息.我试图创建一个实用程序函数,它将使用任意数量的旧函数并将classmethod它们粘贴到多线程队列中:
class QueuedCall(threading.Thread):
def __init__(self, name, queue, fn, args, cb):
threading.Thread.__init__(self)
self.name = name
self._cb = cb
self._fn = fn
self._queue = queue
self._args = args
self.daemon = True
self.start()
def run(self):
r = self._fn(*self._args) if self._args is not None \
else self._fn()
if self._cb is not None:
self._cb(self.name, r)
self._queue.task_done()
Run Code Online (Sandbox Code Playgroud)
这是我的调用代码的样子(在一个类中)
data = {}
def __op_complete(name, r):
data[name] = r
q = Queue.Queue()
socket.setdefaulttimeout(5)
q.put(QueuedCall('twitter', q, Twitter.get_status, [5,], __op_complete))
q.put(QueuedCall('so_answers', q, StackExchange.get_answers,
['api.stackoverflow.com', 534476, 5], __op_complete))
q.put(QueuedCall('so_user', …Run Code Online (Sandbox Code Playgroud) 我需要构建一个在WCF中侦听新任务的进程.(异步)每个任务都得到入队(不知何故).
什么是循环队列和出列队列的最佳(逻辑和性能)方法.
我想过:
while(true){
queue.Dequeue();
}
Run Code Online (Sandbox Code Playgroud)
我认为有更好的方法可以做到这一点.
谢谢
我一直在为我的数据网络课程工作,我遇到了内存泄漏,但我不明白为什么会发生这种情况.
顺便说一句,我知道C和C++有很多混合,但是我无法做任何事情,它基于类代码,我无法修改它,我知道这不是一个好方法它和我需要使用char*作为必要条件.
我的程序是多线程的,我处理这个结构:
typedef struct packetQueue
{
char* buf;
int length;
packetQueue()
{
buf = nullptr;
length = 0;
}
packetQueue(char* buffer, int len)
{
length = len;
buf = new char[length + 1];
memcpy(buf, buffer, len);
buf[length] = '\0';
}
packetQueue(const packetQueue& other)
{
length = other.length;
if (other.buf)
{
buf = new char[length + 1];
memcpy(buf, other.buf, length);
buf[length] = '\0';
}
else
{
buf = nullptr;
}
}
packetQueue& operator=(const packetQueue& that)
{
if (this == &that) …Run Code Online (Sandbox Code Playgroud) 最近引入了队列设计,关于延迟处理能力以及实现"FIFO"等.
查看文档以尝试获取示例队列,以了解如何在我自己的设计/程序中实现它.但我遇到运行此代码的问题:
import queue
def worker():
while True:
item = q.get()
do_work(item)
q.task_done()
def main():
q = queue.Queue(maxsize=0)
for i in range(num_worker_threads):
t = Thread(target=worker)
t.daemon = True
t.start()
for item in source():
q.put(item)
q.join() # block until all tasks are done
main()
Run Code Online (Sandbox Code Playgroud)
问题:希望有人解释for循环正在做什么,我只是运行代码时出错,所以我不得不遗漏一些东西.
问题发生错误: NameError:未定义全局名称'num_worker_threads'
谢谢-Python新手 -
下面的代码几乎与http://docs.python.org/2/library/queue.html上的python官方Queue示例相同.
from Queue import Queue
from threading import Thread
from time import time
import sys
num_worker_threads = int(sys.argv[1])
source = xrange(10000)
def do_work(item):
for i in xrange(100000):
pass
def worker():
while True:
item = q.get()
do_work(item)
q.task_done()
q = Queue()
for item in source:
q.put(item)
start = time()
for i in range(num_worker_threads):
t = Thread(target=worker)
t.daemon = True
t.start()
q.join()
end = time()
print(end - start)
Run Code Online (Sandbox Code Playgroud)
这些是Xeon 12核处理器的结果:
$ ./speed.py 1
12.0873839855
$ ./speed.py 2
15.9101941586
$ ./speed.py …Run Code Online (Sandbox Code Playgroud)