标签: queue

如何在Go中实现队列?

当前的Go库不提供队列容器.为了实现一个简单的队列,我使用circle数组作为底层数据结构.它遵循TAOCP中提到的算法:

Insert Y into queue X: X[R]<-Y; R<-(R+1)%M; if R=F then OVERFLOW.
Delete Y from queue X: if F=R then UNDERFLOW; Y<-X[F]; F<-(F+1) % M.
F: Front, R: Rear, M: Array length.
Run Code Online (Sandbox Code Playgroud)

以下是代码:

package main

import (
    "fmt"
)

type Queue struct {
    len        int 
    head, tail int 
    q          []int
}

func New(n int) *Queue {
    return &Queue{n, 0, 0, make([]int, n)} 
}

func (p *Queue) Enqueue(x int) bool {
    p.q[p.tail] = x 
    p.tail = (p.tail + 1) % p.len …
Run Code Online (Sandbox Code Playgroud)

queue go data-structures

6
推荐指数
2
解决办法
7541
查看次数

如何在Celery中强制执行rate_limit?

我正在运行一个Django网站,我使用Celery来实现预防性缓存 - 也就是说,即使在用户请求之前,我也会计算和缓存结果.

但是,在某些情况下,我的一个Celery任务可能会被调用很多(实际上我说比平均完成的速度要快得多).我想对它进行速率限制,以便它实际上没那么有用时不会消耗大量资源.

但是,我想首先了解如何强制执行Celery的celery.task.base.Task.rate_limit属性.任务被拒绝了吗?它们是否延迟并在以后执行?

提前致谢!

python django queue asynchronous celery

6
推荐指数
1
解决办法
1096
查看次数

当我们在java中使用peek()和poll()时,为什么要使用element()和remove()

当我们有peek()和poll()时,在Queue接口中使用element()和remove()会有什么用?

我检查了文档,发现这些方法也存在于java 7中.提到的唯一区别是element()和remove()会抛出空队列的异常.如果队列为空,我们可以手动抛出异常(如果需要的话).

是否真的有必要为这个唯一的区别保留两套方法?如果我们开始根据这些差异制作不同的方法,我认为java类和接口将充满大量的方法.这是一种真正的面向对象的风格吗?

编辑:只是为了让我的问题清楚,所以我不会得到相同的"你需要异常使用这个,否则使用"答案.我无法理解的是有很多这样的方法,其中有一个具有相同差异的额外方法将是有用的.那么为什么它仅在某些情况下实现而在其他情况下不实现?为什么同样的原则没有全面应用?我可以理解,也许只有语言创作者可以回答这些原因.我想知道这种方法是否符合OOP原则?

java queue data-structures

6
推荐指数
1
解决办法
9318
查看次数

使用yield return实现数据库队列

我正在重构遗留应用程序.有问题的应用程序使用SQL Server数据库表对由一个或多个Windows服务检索和处理的作业进行排队.我想创建一个迭代器,它将处理"等待"状态的下一个排队作业进行处理,同时保持正确的锁定.样本单元测试包括在下面.我的问题是,我的方法是否有任何潜在的showstoppers.

// Database DDL

if object_id('Jobs') is not null begin
   drop table Jobs;
end
go
create table Jobs
(
    Id int identity(1,1) not null primary key clustered
,   JobStatus varchar(50) not null
);

insert Jobs
select 'Waiting'
union all
select 'Waiting'
union all
select 'Processing'
union all
select 'Completed'
union all
select 'Failed';

// Unit Test

// Data Model
public sealed class Job
{
    public readonly int JobId;

    public Job(int jobId)
    {
        JobId = jobId;
    }
}

[TestFixture]
public …
Run Code Online (Sandbox Code Playgroud)

.net c# queue yield-return sql-server-2008

6
推荐指数
0
解决办法
816
查看次数

Queue &lt;Integer&gt; q =新的LinkedList &lt;Integer&gt;()

这是“如何在Java中实例化Queue对象?”的答案。,

Queue是一个接口。除了通过匿名内部类,您不能直接实例化接口。通常,这不是您要为集合执行的操作。而是选择一个现有的实现。例如:

队列q = new LinkedList();

要么

队列q = new ArrayDeque();

通常,您可以根据您感兴趣的性能和并发特性来选择集合实现。

这是如何运作的?接口Queue实施LinkedList意味着什么?

这是否意味着对象可以在FIFO中(先进先出顺序)出队,并且调用链表方法就q可以了?

java queue data-structures

6
推荐指数
1
解决办法
1万
查看次数

简单的多线程Haskell的大量内存消耗

我有一个相对简单的"复制"程序,它只是将一个文件的所有行复制到另一个文件.我玩弄Haskell的并发支持TMQueue和STM所以我想我会尝试这样的:

{-# LANGUAGE BangPatterns #-}

module Main where

import Control.Applicative
import Control.Concurrent.Async              -- from async
import Control.Concurrent.Chan
import Control.Concurrent.STM (atomically)
import Control.Concurrent.STM.TMQueue        -- from stm-chans
import Control.Monad (replicateM, forM_, forever, unless)
import qualified Data.ByteString.Char8 as B
import Data.Function (fix)
import Data.Maybe (catMaybes, maybe)
import System.IO (withFile, IOMode(..), hPutStrLn, hGetLine)
import System.IO.Error (catchIOError)

input  = "data.dat"
output = "out.dat"
batch = 100 :: Int

consumer :: TMQueue B.ByteString -> IO ()
consumer q = withFile output WriteMode …
Run Code Online (Sandbox Code Playgroud)

queue multithreading haskell ghc

6
推荐指数
1
解决办法
384
查看次数

在Python中将线程和进程与共享队列一起使用

我正在尝试同时使用多线程队列和多处理队列.20个线程将使用线程队列来检索许多网页.然后,我想将页面放入多进程队列,以便4个进程工作者可以处理数据.以下是我的基本结构.我的问题是,工作队列给出了一个错误,说Queue不可迭代.我认为多线程队列正在覆盖多进程队列,但我真的不知道出了什么问题.

ticker_queue = Queue()

work_queue = Queue()
tickers = get_tickers()


for i in tickers:
    ticker_queue.put(i)

for i in range(20):
    t = Thread(target=network_worker, args = (ticker_queue, work_queue)).start()

for i in range(4):
    p = Process(target = worker, args = (work_queue)).start()
Run Code Online (Sandbox Code Playgroud)

这是追溯

Traceback (most recent call last):
  File "OneDrive\Python\andys.py", line 108, in <module>
    p = Process(target = worker, args = (work_queue)).start()
  File "C:\Python27\lib\multiprocessing\process.py", line 104, in __init__
    self._args = tuple(args)
TypeError: 'Queue' object is not iterable
Run Code Online (Sandbox Code Playgroud)

python queue multithreading

6
推荐指数
1
解决办法
5784
查看次数

Laravel 5.1失败的排队作业在failed()方法失败,防止调用队列失败事件处理程序

我正在测试Laravel 5.1中的队列功能.我可以在我的数据库表中将作业排队,称为作业,我可以让它们成功运行.我还创建了一个名为failed_jobs的队列故障表.为了测试它,在jobs表中我操纵有效负载数据使其失败然后我像这样运行队列工作守护进程,所以它会在一次失败尝试后将作业放入failed_jobs表中:

php artisan queue:work --daemon --tries=1 --queue=myqueue
Run Code Online (Sandbox Code Playgroud)

当作业失败时,它会立即按预期放入failed_jobs表中.

仅供参考我就像Laravel 5.1文档推荐的那样:

http://laravel.com/docs/5.1/queues#dealing-with-failed-jobs

我已经尝试在AppServiceProvider的boot()方法中注册我的队列失败事件,如文档中所述:

Queue::failing(function ($connection, $job, $data) {
            Log::error('Job failed!');
        });
Run Code Online (Sandbox Code Playgroud)

我也在实际的作业脚本中尝试了fail()方法,如下所示:

/**
         * Handle a job failure.
         *
         * @return void
         */
        public function failed()
        {
            Log::error('failed!');
        }
Run Code Online (Sandbox Code Playgroud)

无论哪种方式,当排队的作业失败时都不会触发这些事件.我在日志中看不到任何内容,除了我故意发生的异常堆栈跟踪.Laravel 5.1在这里有错误还是我遗漏了什么?

更新:

我做了一些更多的研究.当发生队列作业失败时,处理该失败的逻辑在vendor/laravel/framework/src/Illuminate/Queue/Worker.php中:

protected function logFailedJob($connection, Job $job)
    {
        if ($this->failer) {
            $this->failer->log($connection, $job->getQueue(), $job->getRawBody());

            $job->delete();

            $job->failed();

            $this->raiseFailedJobEvent($connection, $job);
        }

        return ['job' => $job, 'failed' => true];
    }
Run Code Online (Sandbox Code Playgroud)

失败的()函数永远不会执行,它会阻止调用下一个函数raiseFailedJobEvent().就好像脚本在调用failed()时静默停止.现在,如果我颠倒这些行的顺序,我可以触发raiseFailedJobEvent(),如果我在EventServiceProvider.php或AppServiceProvider.php中注册一个队列事件处理程序,我可以验证它被触发,我可以成功处理该事件.不幸的是,在raiseFailedJobEvent()之前失败()会阻止此事件发生.

更新:

问题似乎源于我如何使其失败.如果我故意破坏作业队列表中的数据,则永远不会调用failed()方法.日志中有一个堆栈跟踪:

Stack trace:
#0 [internal function]: Illuminate\Foundation\Bootstrap\HandleExceptions->handleError(8, 'unserialize():
Run Code Online (Sandbox Code Playgroud)

如果我实际进入vendor/laravel/framework/src/Illuminate/Queue/Worker.php并在每次运行时强制它失败(当然是以无异常的方式),则调用failure().显然,问题是如何知道这个队列在真实世界中的失败?如果损坏的数据库数据导致失败但仍然阻止调用fail(),则这是不好的.如果现实世界中存在db队列数据的实际损坏怎么办?

queue jobs laravel laravel-5

6
推荐指数
1
解决办法
6193
查看次数

Redis vs Kafka vs RabbitMQ的1MB消息

我目前正在研究排队解决方案来处理1MB的中型消息.除了Redis,Kafka和RabbitMQ之间的功能差异,我找不到任何关于他们在大小约1MB的消息上的表现的好答案.

  1. 你们中的任何人都知道有多少1MB的消息可以处理吗?
  2. 你知道其他任何可以表现更好的排队解决方案吗?

queue performance rabbitmq redis apache-kafka

6
推荐指数
2
解决办法
6191
查看次数

为什么我的示例和标签顺序错误?

我正在尝试读取tensorflow中的一些数据,然后将其与其标签进行匹配.我的设置如下:

  • 我有一系列英文字母, "a", "b", "c", "d", "e", ...
  • 我有一系列"西里尔"字母"a", "b", "w, "g", "d", ...,
  • 我有一系列数字, 0, 1, 2, 3, 4, ...

我想创建一个包含前两个数组之间的对的示例队列,比如["b", "b"], ["d", "g"], ["c", "w"], ....我还想要一个相应数字的队列到那些对,在这种情况下将是1, 3, 2, ...

但是,当我生成这些队列时,我的示例和我的数字不匹配 - 例如,一个队列["b", "b"], ["d", "g"], ["c", "w"], ...与一个标签队列一起5, 0, 2, ....

可能是什么导致了这个?为了测试,我已禁用队列/批处理生成中的所有混洗,但问题仍然存在.



这是我的代码:

#!/usr/bin/env python
# -*- coding: utf-8 -*-

import tensorflow as tf

from constants import FLAGS


letters_data = ["a", "b", "c", "d", "e", "f", "g", "h", "i", …
Run Code Online (Sandbox Code Playgroud)

python queue shuffle input tensorflow

6
推荐指数
1
解决办法
281
查看次数