标签: queue

消息队列系统

我正在编写消息队列系统.

我的问题是......用文件或数据库做这个队列会更好吗?

如果我选择数据库,它需要每秒检查一次新的工作,这对我来说似乎有点开销?

如果它是文件,我猜你只是不断监视文件夹并根据它执行?

BR,

c# queue message-queue

15
推荐指数
3
解决办法
1万
查看次数

LinkedBlockingQueue的Java性能问题

这是我在stackoverflow上的第一篇文章...我希望有人可以帮助我

我对Java 6有很大的性能回归LinkedBlockingQueue.在第一个线程中,我生成了一些我推入队列的对象.在第二个线程中,我将这些对象拉出来.当频繁调用take()方法时,会发生性能回归LinkedBlockingQueue.我监控了整个程序,并且该take()方法总体上占据了最多的时间.吞吐量从~58Mb/s到0.9Mb/s ......

队列弹出并使用此类中的静态方法调用方法

public class C_myMessageQueue {

    private static final LinkedBlockingQueue<C_myMessageObject> x_queue = new LinkedBlockingQueue<C_myMessageObject>( 50000 );

    /**
     * @param message
     * @throws InterruptedException
     * @throws NullPointerException
     */
    public static void addMyMessage( C_myMessageObject message )
            throws InterruptedException, NullPointerException {
        x_queue.put( message );
    }

    /**
     * @return Die erste message der MesseageQueue
     * @throws InterruptedException
     */
    public static C_myMessageObject getMyMessage() throws InterruptedException {
        return x_queue.take();
    }
}
Run Code Online (Sandbox Code Playgroud)

如何调整take()方法以达到至少25Mb/s,或者是否有一个我可以使用的类,它将在"队列"满或空时阻塞.

亲切的问候 …

java queue performance multithreading

15
推荐指数
3
解决办法
3万
查看次数

ConcurrentLinkedQueue的大小

阅读Java的ConcurrentLinkedQueue Docs,我想知道为什么实现不可能存储大小:

请注意,与大多数集合不同,size方法不是恒定时间操作.由于这些队列的异步性质,确定当前元素数量需要遍历元素.

凡来源是这样的"异步性"?我只看到一个while循环来重试排队,直到AtomicReferences匹配预期的值/引用.为什么size:AtomicInteger在成功向队列提供值后无法增加?

非常感谢.

java size queue concurrency

15
推荐指数
2
解决办法
4806
查看次数

为什么concurrent_queue是非阻塞的?

在VS2010中引入的并发运行时,有一个concurrent_queue类.它有一个非阻塞的try_pop()函数.
类似于英特尔线程构建模块(TBB),从版本2.1到2.2时,阻止pop()调用被删除.

我想知道阻塞调用的问题是什么.为什么要从TBB中删除?为什么没有阻塞concurrent_queue?

我正处于需要阻塞并发队列的情况,我不想忙碌等待.除了自己编写队列之外,并发运行时还有另一种可能吗?

c++ queue concurrency

15
推荐指数
1
解决办法
6057
查看次数

为什么Queue(T)和Stack(T)没有实现ICollection(T)?

之前,我甚至问,让我得到了明显的答案的方式进行:该ICollection<T>接口包括Remove删除任意元素,该方法Queue<T>并Stack<T>不能真正支持(因为他们只能删除"结束"元素).

好的,我意识到了.实际上,我的问题并不是关于Queue<T>或Stack<T>收集类型; 更确切地说,它是关于不执行的设计决定ICollection<T>了任何泛型类型是基本的集合T值.

这是我觉得奇怪的事情.假设我有一个接受任意集合的方法T,并且出于我正在编写的代码的目的,知道集合的大小会很有用.例如(以下代码是微不足道的,仅供参考!):

// Argument validation omitted for brevity.
static IEnumerable<T> FirstHalf<T>(this ICollection<T> source)
{
    int i = 0;
    foreach (T item in source)
    {
        yield return item;
        if ((++i) >= (source.Count / 2))
        {
            break;
        }
    }
}
Run Code Online (Sandbox Code Playgroud)

现在,除了那些类型没有实现之外,没有理由为什么这个代码不能在a Queue<T>或a 上运行.当然,他们确实实现了 - 我主要是为了单独测试属性 - 但是这会导致像这样的奇怪的优化代码:Stack<T>ICollection<T>ICollectionCount

// OK, so to accommodate …
Run Code Online (Sandbox Code Playgroud)

.net queue stack interface icollection

15
推荐指数
1
解决办法
1377
查看次数

C中的信号排队

我在Linux下有一个简单的程序,它在一个循环中将SIGUSR1信号发送到它的子进程.但是,当我发送10个信号时,有时会发生,孩子只收到其中的3个.最后发送的信号始终是SIGUSR2,每次都会收到.

信号是排队的,还是当进程没有处理前一个时,它只是被覆盖了?有没有办法可以在队列中发送信号?

c linux queue signals

15
推荐指数
2
解决办法
9054
查看次数

Android:intentservice,如何中止或跳过handleintent队列中的任务

我有一个调用意图服务的活动("ApplicationActivity")("DownloadService")

intentService在后台下载来自互联网的文件,但我希望能够中止特定的下载.........

所以我要说我把5个文件放在队列中:文件1,2,3,4,5

意图服务开始下载数字1,然后是第二个等等...... 1)有没有办法说意图服务中止你在方法句柄事件中当前正在做什么(在这种情况下下载文件) 1)并开始下载下一个?

2)是否可以从队列中删除元素,例如在下载文件1时,从队列中删除文件4,以便在数字3之后直接进入5?

不久,我需要一种方法来与队列通信来执行这两个简单的操作,但我没有在互联网上找到任何有用的东西:(

TNX

queue android android-intent android-intentservice

15
推荐指数
3
解决办法
8507
查看次数

Node.js/Express和并行队列

我们正在构建一个具有Node.js服务器和Express的基础架构.

在服务器中,发生的事情如下:

  1. 服务器接受来自客户端的传入HTTP请求.
  2. 服务器生成两个文件(此操作可以"相对较长",也意味着0.1秒左右)
  3. 服务器将生成的文件(每个约20-200 KB)上载到外部CDN
  4. 服务器响应客户端,这包括CDN上文件的URI

目前,服务器按顺序为每个请求执行此操作,这非常有效(Node/Express可以自动处理并发请求).但是,随着我们计划增长,并发请求的数量可能会增加,我们认为实现队列处理请求会更好.否则,我们可能会面临同时运行太多任务以及与CDN打开过多连接的风险.快速响应客户并不是一件相关的事情.

我在想的是在节点服务器中有一个单独的部分,其中包含一些 "工作者"(2-3,但我们将进行测试以确定正确的同时操作数).所以,新流程看起来像:

  1. 在接受来自客户端的请求之后,服务器将操作添加到队列.
  2. 有2-3个(待测试的)工作人员将元素从队列中取出并执行所有操作(生成文件并将其上载到CDN).
  3. 当工作人员处理了操作(如果它在队列中停留相对较长时间无关紧要),它会通知节点服务器(回调),服务器响应客户端(同时等待客户端) ).

您如何看待这种方法?你认为这是正确的吗?

最重要的是,如何在Node/Express中实现?

感谢您的时间

queue concurrency node.js express

15
推荐指数
2
解决办法
1万
查看次数

在O(1)时间内支持Min,Max操作的队列的正确数据结构是什么?

支持Enque,Dequeue,Peak,Min和Max操作的队列的正确数据结构是什么,并在O(1)时间内执行所有这些操作.

最明显的数据结构是链表,但Min,Max操作将是O(n).Priority Queue是另一个完美的选择,但Enqueue,Dequeue应该以Queue的正常方式工作.(FIFO)

想到的另一个选项是Heap,但是我无法弄清楚如何使用Heaps设置具有Min,Max操作的队列.

任何帮助深表感谢.

heap queue

15
推荐指数
2
解决办法
1618
查看次数

执行multiprocessing.Queue和queue.Queue

我正在寻找有关Python中Queues实现的更多见解,而不是在文档中找到的.

根据我的理解,如果我错了,请原谅我的无知:

queue.Queue():通过内存中的基本数组实现,因此不能在多个进程之间共享,但可以在线程之间共享.到现在为止还挺好.

multiprocessing.Queue():是通过man 2 pipes具有大小限制的管道()来实现的(相当小:在Linux上,man 7 pipe说65536未经处理):

从Linux 2.6.35开始,默认管道容量为65536字节,但可以使用fcntl(2) F_GETPIPE_SZ和F_SETPIPE_SZ操作查询和设置容量

但是,在Python中,每当我尝试将大于65536字节的数据写入管道时,它都可以毫无例外地工作 - 我可以通过这种方式充斥我的内存:

import multiprocessing
from time import sleep

def big():
    result = ""
    for i in range(1,70000):
        result += ","+str(i)
    return result # 408888 bytes string

def writequeue(q):
    while True:
        q.put(big())
        sleep(0.1)

if __name__ == '__main__':
    q = multiprocessing.Queue()
    p = multiprocessing.Process(target=writequeue, args=(q,))
    p.start()
    while True:
        sleep(1) # No pipe consumption, we just want to flood the pipe …
Run Code Online (Sandbox Code Playgroud)

python linux queue pipe

15
推荐指数
1
解决办法
1900
查看次数