标签: queue

java世界是否有类似于芹菜的任务队列?

看到j​​ava是如此成熟,我希望有人能告诉我java是否有类似于http://celeryproject.org/的内容

它是一个分布式任务队列.

我正在给rabbitmq写信,想知道除了芹菜之外还有什么选择.

java queue celery

9
推荐指数
1
解决办法
1895
查看次数

Azure存储队列 - 将响应与请求相关联

当Web角色将消息放入存储队列时,如何轮询特定的相关响应?我希望后端的Worker Role将消息放入响应队列,目的是让调用者选择响应并从那里开始.

我们的目的是利用Queue将一些繁重的处理卸载到后端的Worker Roles上,以确保Web角色的高性能.但是,在后端Worker完成并做出响应之前,我们不希望响应HTTP请求.

queue message-queue azure azure-storage

9
推荐指数
1
解决办法
3232
查看次数

是否有可能确保Rabbitmq队列中的唯一消息?

基本上我的消费者也是生产者.我们得到一个初始数据集,然后将其发送到队列.消费者接受物品并对其进行处理,从那时起有3种可能性:

  1. 数据很好,可以为存储设置一个"好"的队列
  2. 数据很糟糕并被丢弃
  3. 数据不好(尚)或坏(尚未),因此数据被分解为较小的部分并发送回队列以进行进一步处理.

我的问题在于第3步,因为队列起初非常快,可能会将一段数据分解为队列中重复的部分,并且消费者继续处理它并最终进入无限循环.

我认为防止这种情况的方法是防止重复进入队列.我不能在客户端做到这一点,因为在一个小时的过程中,我可能会有许多核心处理数十亿个数据点(让每个客户端在提交之前对其进行扫描会使我的速度减慢太多).我认为这需要在服务器端完成,但是,正如我所提到的,数据非常大,我不知道如何有效地确保没有重复.

我可能会问不可能,但我想我会试一试.任何想法将不胜感激.

queue rabbitmq

9
推荐指数
2
解决办法
2万
查看次数

如何在Azure Service Bus主题上删除DeadLetter消息

我正在写一段代码,这将允许我们:

  1. 查看Azure Service Bus主题(Peek)中存在的所有死信消息的列表
  2. 修复并将它们发送回主题
  3. 重新发送时从死信队列中删除它们.

前2分我没有问题; 使用Peek接收模式,我可以显示消息列表,我们可以编辑和重新发送,没有任何问题.

当我想从死信队列中删除消息时,问题就来了.

我们如何通过消息级别对消息执行此操作?我们可能只想删除驻留在死信队列中的2条消息,并保留其他消息以便稍后查看.调用.Complete()死信队列中的消息是否像在主订阅中那样删除它?

以供参考; 这是我们获取SubscriptionClient死信队列的代码:

private SubscriptionClient GetOrCreateSubscriptionClient(string connectionString)
{
    if (!NamespaceManager.TopicExists(_topicName))
    {
        NamespaceManager.CreateTopic(new TopicDescription(_topicName)
        {
            MaxSizeInMegabytes = 5120,
            DefaultMessageTimeToLive = TimeSpan.FromSeconds(DEFAULT_LOCK_DURATION_IN_SECONDS)
        });
    }

    if (!NamespaceManager.SubscriptionExists(_topicName, _subscriptionName))
    {
        NamespaceManager.CreateSubscription(_topicName, _subscriptionName);
    }

    var deadLetterPath = SubscriptionClient.FormatDeadLetterPath(_topicName, _subscriptionName);

    var client = SubscriptionClient.CreateFromConnectionString(
        connectionString, deadLetterPath, _subscriptionName, ReceiveMode.PeekLock);

    return client;

}
Run Code Online (Sandbox Code Playgroud)

c# queue azure dead-letter azureservicebus

9
推荐指数
1
解决办法
6747
查看次数

SynchronousQueue与TransferQueue之间的区别

这些实现之间有什么区别,哪些情况应该使用一个或另一个队列?

java queue concurrency producer-consumer

9
推荐指数
1
解决办法
1920
查看次数

Laravel 队列速率限制或节流

我正在开发一个需要从第三方服务器获取数据的应用程序,并且该服务器每秒最多允许 1 个请求。

现在,所有请求都作为作业发送,我正在尝试实施 Laravel 的“速率限制”以每秒发布 1 个作业,但无法弄清楚为什么应该实施它,并且网络中没有实际示例。

有人实施了吗?

这有什么暗示吗?

queue laravel laravel-5 laravel-queue

9
推荐指数
2
解决办法
8322
查看次数

如何在 celery task.apply_async 中使用优先级

我test在芹菜中有一个队列,我已经为它定义了一个任务:

@celery_app.task(queue='test', ignore_result=True)
def priority_test(priority):
    print(priority)
Run Code Online (Sandbox Code Playgroud)

刚刚打印argument.I要设置priority其定义属性在这里进行appy_async。所以,我写了一个for loop这样的:

for i in range(100):
    priority_test.apply_async((i%10,), queue="test", priority=i%10)
Run Code Online (Sandbox Code Playgroud)

我希望看到这样的结果:

[2017-12-26 17:21:37,309: WARNING/ForkPoolWorker-1] 10
[2017-12-26 17:21:37,311: WARNING/ForkPoolWorker-1] 10
[2017-12-26 17:21:37,314: WARNING/ForkPoolWorker-1] 10
[2017-12-26 17:21:37,317: WARNING/ForkPoolWorker-1] 9
[2017-12-26 17:21:37,319: WARNING/ForkPoolWorker-1] 9
[2017-12-26 17:21:37,321: WARNING/ForkPoolWorker-1] 9
[2017-12-26 17:21:37,323: WARNING/ForkPoolWorker-1] 8
[2017-12-26 17:21:37,326: WARNING/ForkPoolWorker-1] 8
[2017-12-26 17:21:37,329: WARNING/ForkPoolWorker-1] 8
[2017-12-26 17:21:37,332: WARNING/ForkPoolWorker-1] 7
[2017-12-26 17:21:37,334: WARNING/ForkPoolWorker-1] 7
[2017-12-26 17:21:37,336: WARNING/ForkPoolWorker-1] 7
[2017-12-26 17:21:37,341: WARNING/ForkPoolWorker-1] 6
[2017-12-26 17:21:37,344: …
Run Code Online (Sandbox Code Playgroud)

python queue priority-queue rabbitmq celery

9
推荐指数
1
解决办法
4256
查看次数

具有大量数据的 Multiprocessing.Queue 会导致 _wait_for_tstate_lock

当我在 a和viathreading._wait_for_tstate_lock之间传输大量数据时,会引发异常。ProcessThreadmultiprocessing.Queue

我的最小工作示例首先看起来有点复杂 - 抱歉。我会解释。原始应用程序将大量(不那么重要)文件加载到 RAM 中。这是在单独的进程中完成的,以节省资源。主 GUI 线程不应冻结。

  1. GUI 启动一个单独的进程Thread以防止 gui 事件循环冻结。

  2. Thread然后,这个单独的任务将启动一个Process应该完成工作的任务。

a) 这Thread实例化了 a multiprocess.Queue(注意这是 amultiprocessing而不是threading!)

b) 这是为了从回Process共享数据。ProcessThread

  1. 做Process了一些工作(3 个步骤)并将.put()结果放入multiprocessing.Queue.

  2. 当Process结束时Thread,再次接管并收集来自的数据Queue,将其存储到自己的属性中MyThread.result。

  3. 告诉ThreadGUI 主循环/线程在有时间的情况下调用回调函数。

  4. 回调函数 ( MyWindow::callback_thread_finished()) 从 中获取结果MyWindow.thread.result。

问题是,如果放入的数据Queue发生了很大的事情,我不明白 -MyThread永远不会结束。我必须通过 Strg+C 取消该应用程序。

我从文档中得到了一些提示。但我的问题是我没有完全理解文档。但我有一种感觉,我的问题的关键就在那里。 …

python queue python-multithreading python-3.x python-multiprocessing

9
推荐指数
1
解决办法
3430
查看次数

如何使用spring boot在rabbit mq中创建动态队列?

我需要帮助。

我正在开发一个 spring 启动应用程序,我希望我向rabbitMQ 发布消息。我想将它发送到一个队列,该队列在消息本身中命名。这样我想动态创建队列。我只找到了使用“静态”队列的示例。

我已经研究了一些东西,但没有找到任何东西。我是 RabbitMQ 的新手,学习了基本概念。我对春天也很陌生。

RabbotMQ 配置

@Configuration
public class RabbitMQConfig {

    @Value("amq.direct")
    String exchange;

    @Value("queue-name") // Don't want to do this
    String queueName;

    @Value("routing-key") // Or this
    String routingkey;

    @Bean
    Queue queue() {
        return new Queue(queueName, true);
    }

    @Bean
    DirectExchange exchange() {
        return new DirectExchange(exchange);
    }

    @Bean
    Binding binding(Queue queue, DirectExchange exchange) {
        return BindingBuilder.bind(queue).to(exchange).with(routingkey);
    }

    @Bean
    public MessageConverter jsonMessageConverter() {
        return new Jackson2JsonMessageConverter();
    }

    @Bean
    public AmqpTemplate template(ConnectionFactory connectionFactory) {
        final RabbitTemplate rabbitTemplate = new …
Run Code Online (Sandbox Code Playgroud)

java queue spring amqp rabbitmq

9
推荐指数
1
解决办法
6455
查看次数

节点错误 - 在 MakeCallback 中使用域属性已被弃用

我在执行请求时收到此错误。

(节点:3993)[DEP0097] 弃用警告:不推荐在 MakeCallback 中使用域属性。请改用 MakeCallback 的 async_context 变体或 AsyncResource 类。

那是我的控制器 的代码:AppointmentController队列的代码:Queue Nodemailer:Mail

async delete(req, res) {
    const { appointment_id } = req.params;

    if (!appointment_id) {
      return res.status(404).json({
        error: "It's not possible to cancel an appointment with passing an id",
      });
    }

    const appointment = await Appointment.findByPk(appointment_id, {
      include: [
        {
          model: Restaurant,
          as: 'restaurant',
          attributes: ['id', 'name', 'provider_id'],
          include: [
            {
              model: Provider,
              foreignKey: 'provider_id',
              as: 'provider',
            },
          ],
        },
        {
          model: User,
          as: …
Run Code Online (Sandbox Code Playgroud)

javascript queue redis node.js

9
推荐指数
2
解决办法
1万
查看次数