标签: queue

由生成器生成的 Python 3 队列,由多进程消耗

我有一个生成器会生成超过 1 万亿个字符串,我想把它们放在一个队列中,让一个工作池来消耗这个队列。但是,我无法将整个 1 万亿个字符串放入内存中并将它们映射到线程。

生成器非常快,消费工人不是。我需要将队列的长度保持在一定水平,以免破坏我的记忆。这意味着我需要找到一种方法来暂停和重新启动队列。

任何人都可以提供有关如何在 Python 3.4 中完成此任务的提示吗?

python queue multithreading

5
推荐指数
1
解决办法
2857
查看次数

Mailgun:取消排队的电子邮件

我正在使用 mailgun API 发送电子邮件。我错误地调用了一个在 Mailgun 中排队数千封电子邮件的函数。

有没有办法取消/清除队列?

php email queue mail-queue mailgun

5
推荐指数
1
解决办法
3048
查看次数

multiprocessing.queue.get() 阻塞并且不返回

我正在一个带有很少 RAM(只有 256 MB)的嵌入式 Linux 设备上构建一个网络服务器。该网络服务器应该能够使用 发出 shell 命令subprocess.check_output,但是由于每个check_output似乎都需要与父进程消耗的 RAM 一样多的可用 RAM,因此当 Python 仍然没有消耗太多内存时,我正在使用多处理在开始时创建第二个进程。然后,此进程使用 amultiprocessing.Queue从主进程接收命令,执行它们并使用另一个 返回输出multiprocessing.Queue。这曾经有效,但我似乎有某种竞争条件导致整个事情陷入困境。

这是我复制问题的最小测试用例:

# shwrapper.py
from multiprocessing import Process, Queue

def f(iq,oq):
    oq.put("Ready")
    while True:
        oq.put(iq.get()+" out")

def init():
    iq = Queue()
    oq = Queue()
    p = Process(target=f, args=(iq,oq,))
    p.start()
    print oq.get()
    iq.put("test")
    print(oq.get())
init()
Run Code Online (Sandbox Code Playgroud)

如果我尝试导入它,我会得到这个结果:

>>> import shwrapper
Ready
Run Code Online (Sandbox Code Playgroud)

在这里它卡住了。现在我发出一个KeyboardInterrupt:

^CProcess Process-1:
Traceback (most recent call last):
  File "/usr/lib/python27.zip/multiprocessing/process.py", line 258, in _bootstrap
Traceback (most recent call …
Run Code Online (Sandbox Code Playgroud)

queue multiprocessing python-2.7

5
推荐指数
1
解决办法
4031
查看次数

如何在laravel 5中覆盖失败的作业插入的数据库连接?

我正在尝试开发一个多租户多数据库应用程序,这基本上意味着每个租户都有自己的数据库、自己的用户、资源等。

当然,当请求进来时,Laravel 需要知道要使用哪个 DB 连接,所以我编写了一个中间件,它基本上解析请求中的 JWT 并查找租户 ID 或用户名,然后简单地连接到租户的数据库。

但是现在我正在使用队列,并且我试图超越连接到主数据库并插入失败作业记录的 laravel 5 的默认行为。

当我深入研究供应商文件时,我发现了一个FailedJobProvider接口:

<?php

namespace Illuminate\Queue\Failed;

interface FailedJobProviderInterface
{
    /**
     * Log a failed job into storage.
     *
     * @param  string  $connection
     * @param  string  $queue
     * @param  string  $payload
     * @return void
     */
    public function log($connection, $queue, $payload);

    /**
     * Get a list of all of the failed jobs.
     *
     * @return array
     */
    public function all();

    /**
     * Get a single failed job.
     *
     * …
Run Code Online (Sandbox Code Playgroud)

php queue laravel laravel-5

5
推荐指数
1
解决办法
1964
查看次数

Ruby 队列到数组

有没有除此之外的其他方法来获取队列对象的所有元素?

def method queue
    array = []
    until queue.empty? do
        array << queue.pop
    end
    array
end
Run Code Online (Sandbox Code Playgroud)

我正在尝试这样的事情:

def method queue
    Array(until queue.empty? do queue.pop end)
end
Run Code Online (Sandbox Code Playgroud)

但这会返回一个空数组。

ruby arrays queue loops

5
推荐指数
2
解决办法
2543
查看次数

队列对象只能通过继承在进程之间共享

我有两个 python 类,它们共享一个基类,假设定义了一个 multiprocessing.Queue。

这些类中的每一个都将在单独的子进程上启动,并且需要通过队列共享信息。

现在,如果基类定义了一个队列,那么每个子类对象将实例化它自己的队列,从而无法共享队列元素。但话又说回来,我发现这记录

Queue objects should only be shared between processes through inheritance. 
Run Code Online (Sandbox Code Playgroud)

那么在子进程之间共享队列的正确方法是什么,上面的句子甚至如何有意义?

请注意,我显然可以在子进程初始化时传递对队列的引用,但我想使用继承来解决这个问题

python queue python-multiprocessing

5
推荐指数
1
解决办法
5522
查看次数

NotImplementedError(使用排队后端...)使用delayed_job

在我的 Rails 应用程序 (4.2.4) 中,我一直在尝试让异步邮件发送工作。

我安装了 delay_job 作为我的队列适配器,并在几个地方将它设置为适配器:config/application.rb、config/environments/{development,production}.rb 和 config/initializers/active_job.rb。

安装:

我将此添加到我的 Gemfile 中:

gem 'delayed_job_active_record'
Run Code Online (Sandbox Code Playgroud)

然后,我运行了以下命令:

$ bundle install
$ rails generate delayed_job:active_record
$ rake db:migrate
$ bin/delayed_job start
Run Code Online (Sandbox Code Playgroud)

在 config/application.rb、config/environments/production.rb、config/environments/development.rb 中:

config.active_job.queue_adapter = :delayed_job
Run Code Online (Sandbox Code Playgroud)

在 config/initializers/active_job.rb 中(在上述方法不起作用时添加):

ActiveJob::Base.queue_adapter = :delayed_job
Run Code Online (Sandbox Code Playgroud)

我还为 delay_job 运行了 ActiveRecord 迁移,并在运行我的服务器之前启动了 bin/delayed_job。

话虽如此,任何时候我尝试:

UserMailer.welcome_email(@user).deliver_later(wait: 1.minutes)
Run Code Online (Sandbox Code Playgroud)

我收到以下错误:

NotImplementedError (Use a queueing backend to enqueue jobs in the
future. Read more at http://guides.rubyonrails.org/active_job_basics.html):
    app/controllers/user_controller.rb:25:in `create'
    config.ru:25:in `call'
Run Code Online (Sandbox Code Playgroud)

我的印象是 delay_job 是一个排队后端......我错过了什么吗?

编辑:

我也不能让 sucker_punch 工作。在捆绑器中安装吸盘冲床时,并使用:

config.active_job.queue_adapter = …
Run Code Online (Sandbox Code Playgroud)

queue ruby-on-rails delayed-job

5
推荐指数
1
解决办法
1900
查看次数

队列与非阻塞 I/O

因此,我们正在设计一种新的微服务架构。最大的挑战之一是内部沟通。对于需要响应的通信,我们使用 REST API。但是对于那些只想传递信息的服务来说,这种 API 处理是不必要的开销。

一种方法是使用队列。service1 会将信息推送到队列中,service2 可以从那里消费。因此 service1 不必等待(与 API 调用不同)。(如果在处理信息时出现任何错误,service2 可以通过回调 URL 通知 service1,或者任何其他方式;此时这不是问题[1])

现在有了 Queue ,有两种选择,一种是RabbitMQ。另一个是AWS SQS。使用 RabbitMQ 我不得不担心服务器设置和一切(可以完成,但想避免它)。所以在 SQS 的 POC 之后,这似乎是一个不错的选择,但问题是 SQS 内部使用 Rest API 与 AWS 服务器通信,在这两个点上(推送时为 service1,消费时为 service2),都会有开销。所以现在我在想为什么不在 NodeJS 中这样做,service1 会用信息命中 service2。Service2 将立即响应,承认它已收到信息,如果有任何错误,则 [1]。

现在我可以总结的优点/缺点是 -

兔MQ

  • 易于实施
  • 在接收方不可用的情况下,发送方不必担心重试。
  • 服务器设置成本 + 维护(+ 调优)

质量标准

  • 最容易实施
  • 价钱
  • 消息的持续轮询
  • 推送/接收开销

非阻塞 API

  • 沟通不需要第三种媒介
  • Service1 必须管理重试机制
  • 相对于 SQS,开销更少
  • 信息将在内存中直到被处理

所以对一些人来说,我的问题是,使用非阻塞 API 是个好主意吗?或者在使系统可扩展方面,哪一种方法会更好。

编辑 - 可以使用 PubNub 或 Pusher 等 PubSub 提供程序代替队列吗?

architecture queue rabbitmq amazon-sqs node.js

5
推荐指数
1
解决办法
1087
查看次数

Apache Kafka LEADER_NOT_AVAILABLE

我遇到了一个我不明白的 apache Kafka 问题。我在我的经纪人中订阅了一个名为 "topic-received" 的主题。这是代码:

protected String readResponse(final String idMessage) {
    if (props != null) {
        kafkaClient = new KafkaConsumer<>(props);
        logger.debug("Subscribed to topic-received");
        kafkaClient.subscribe(Arrays.asList("topic-received"));
        logger.debug("Waiting for reading : topic-received");
        ConsumerRecords<String, String> records =    
                       kafkaClient.poll(kafkaConfig.getRead_timeout());

        if (records != null) {
            for (ConsumerRecord<String, String> record : records) {
                logger.debug("Resultado devuelto : "+record.value());
                return record.value();
            }
        }
    }
    return null;
}
Run Code Online (Sandbox Code Playgroud)

发生这种情况时,我从另一个点向“主题接收”发送消息。代码如下:

private void sendMessageToKafkaBroker(String idTopic, String value) {
    Producer<String, String> producer = null;
    try {
        producer = new KafkaProducer<String, String>(mapProperties());
        ProducerRecord<String, …
Run Code Online (Sandbox Code Playgroud)

java queue apache-kafka

5
推荐指数
1
解决办法
2万
查看次数

加入多处理队列需要很长时间

在 Python 2.7 中,我实现了一个具有多个队列和消费者的多处理场景。简化的想法是,我有一个作业的生产者,这些作业被提供给消费者,处理作业和一个错误处理程序,它负责所有的日志记录。非常简化,看起来都可以与之媲美:

import multiprocessing as mp
import Queue

job_queue = mp.Queue()
error_queue = mp.Queue()
for i in range(10):
    job_queue.put(i)

def job_handler(job_queue, error_queue):
    print 'Job handler'
    while True:
        try: 
            element = job_queue.get_nowait()
            print element
        except:
# t1
            error_queue.put('Error')
            error_queue.close()
            error_queue.join_thread()
            job_queue.close()
            job_queue.join_thread()
# t2
            return 1

def error_handler(error_queue):
    result = error_queue.get()
    if result == 'Error':
        error_queue.close()
        error_queue.join_thread()

if __name__ == '__main__':
    print 'Starting'
    p1 = mp.Process(target = error_handler, args = (error_queue, ))
    p1.start()
    p2 = mp.Process(target = job_handler, args …
Run Code Online (Sandbox Code Playgroud)

python queue python-multiprocessing

5
推荐指数
1
解决办法
3513
查看次数