我有一个生成器会生成超过 1 万亿个字符串,我想把它们放在一个队列中,让一个工作池来消耗这个队列。但是,我无法将整个 1 万亿个字符串放入内存中并将它们映射到线程。
生成器非常快,消费工人不是。我需要将队列的长度保持在一定水平,以免破坏我的记忆。这意味着我需要找到一种方法来暂停和重新启动队列。
任何人都可以提供有关如何在 Python 3.4 中完成此任务的提示吗?
我正在使用 mailgun API 发送电子邮件。我错误地调用了一个在 Mailgun 中排队数千封电子邮件的函数。
有没有办法取消/清除队列?
我正在一个带有很少 RAM(只有 256 MB)的嵌入式 Linux 设备上构建一个网络服务器。该网络服务器应该能够使用 发出 shell 命令subprocess.check_output,但是由于每个check_output似乎都需要与父进程消耗的 RAM 一样多的可用 RAM,因此当 Python 仍然没有消耗太多内存时,我正在使用多处理在开始时创建第二个进程。然后,此进程使用 amultiprocessing.Queue从主进程接收命令,执行它们并使用另一个 返回输出multiprocessing.Queue。这曾经有效,但我似乎有某种竞争条件导致整个事情陷入困境。
这是我复制问题的最小测试用例:
# shwrapper.py
from multiprocessing import Process, Queue
def f(iq,oq):
oq.put("Ready")
while True:
oq.put(iq.get()+" out")
def init():
iq = Queue()
oq = Queue()
p = Process(target=f, args=(iq,oq,))
p.start()
print oq.get()
iq.put("test")
print(oq.get())
init()
Run Code Online (Sandbox Code Playgroud)
如果我尝试导入它,我会得到这个结果:
>>> import shwrapper
Ready
Run Code Online (Sandbox Code Playgroud)
在这里它卡住了。现在我发出一个KeyboardInterrupt:
^CProcess Process-1:
Traceback (most recent call last):
File "/usr/lib/python27.zip/multiprocessing/process.py", line 258, in _bootstrap
Traceback (most recent call …Run Code Online (Sandbox Code Playgroud) 我正在尝试开发一个多租户多数据库应用程序,这基本上意味着每个租户都有自己的数据库、自己的用户、资源等。
当然,当请求进来时,Laravel 需要知道要使用哪个 DB 连接,所以我编写了一个中间件,它基本上解析请求中的 JWT 并查找租户 ID 或用户名,然后简单地连接到租户的数据库。
但是现在我正在使用队列,并且我试图超越连接到主数据库并插入失败作业记录的 laravel 5 的默认行为。
当我深入研究供应商文件时,我发现了一个FailedJobProvider接口:
<?php
namespace Illuminate\Queue\Failed;
interface FailedJobProviderInterface
{
/**
* Log a failed job into storage.
*
* @param string $connection
* @param string $queue
* @param string $payload
* @return void
*/
public function log($connection, $queue, $payload);
/**
* Get a list of all of the failed jobs.
*
* @return array
*/
public function all();
/**
* Get a single failed job.
*
* …Run Code Online (Sandbox Code Playgroud) 有没有除此之外的其他方法来获取队列对象的所有元素?
def method queue
array = []
until queue.empty? do
array << queue.pop
end
array
end
Run Code Online (Sandbox Code Playgroud)
我正在尝试这样的事情:
def method queue
Array(until queue.empty? do queue.pop end)
end
Run Code Online (Sandbox Code Playgroud)
但这会返回一个空数组。
我有两个 python 类,它们共享一个基类,假设定义了一个 multiprocessing.Queue。
这些类中的每一个都将在单独的子进程上启动,并且需要通过队列共享信息。
现在,如果基类定义了一个队列,那么每个子类对象将实例化它自己的队列,从而无法共享队列元素。但话又说回来,我发现这记录
Queue objects should only be shared between processes through inheritance.
Run Code Online (Sandbox Code Playgroud)
那么在子进程之间共享队列的正确方法是什么,上面的句子甚至如何有意义?
请注意,我显然可以在子进程初始化时传递对队列的引用,但我想使用继承来解决这个问题
在我的 Rails 应用程序 (4.2.4) 中,我一直在尝试让异步邮件发送工作。
我安装了 delay_job 作为我的队列适配器,并在几个地方将它设置为适配器:config/application.rb、config/environments/{development,production}.rb 和 config/initializers/active_job.rb。
安装:
我将此添加到我的 Gemfile 中:
gem 'delayed_job_active_record'
Run Code Online (Sandbox Code Playgroud)
然后,我运行了以下命令:
$ bundle install
$ rails generate delayed_job:active_record
$ rake db:migrate
$ bin/delayed_job start
Run Code Online (Sandbox Code Playgroud)
在 config/application.rb、config/environments/production.rb、config/environments/development.rb 中:
config.active_job.queue_adapter = :delayed_job
Run Code Online (Sandbox Code Playgroud)
在 config/initializers/active_job.rb 中(在上述方法不起作用时添加):
ActiveJob::Base.queue_adapter = :delayed_job
Run Code Online (Sandbox Code Playgroud)
我还为 delay_job 运行了 ActiveRecord 迁移,并在运行我的服务器之前启动了 bin/delayed_job。
话虽如此,任何时候我尝试:
UserMailer.welcome_email(@user).deliver_later(wait: 1.minutes)
Run Code Online (Sandbox Code Playgroud)
我收到以下错误:
NotImplementedError (Use a queueing backend to enqueue jobs in the
future. Read more at http://guides.rubyonrails.org/active_job_basics.html):
app/controllers/user_controller.rb:25:in `create'
config.ru:25:in `call'
Run Code Online (Sandbox Code Playgroud)
我的印象是 delay_job 是一个排队后端......我错过了什么吗?
编辑:
我也不能让 sucker_punch 工作。在捆绑器中安装吸盘冲床时,并使用:
config.active_job.queue_adapter = …Run Code Online (Sandbox Code Playgroud) 因此,我们正在设计一种新的微服务架构。最大的挑战之一是内部沟通。对于需要响应的通信,我们使用 REST API。但是对于那些只想传递信息的服务来说,这种 API 处理是不必要的开销。
一种方法是使用队列。service1 会将信息推送到队列中,service2 可以从那里消费。因此 service1 不必等待(与 API 调用不同)。(如果在处理信息时出现任何错误,service2 可以通过回调 URL 通知 service1,或者任何其他方式;此时这不是问题[1])
现在有了 Queue ,有两种选择,一种是RabbitMQ。另一个是AWS SQS。使用 RabbitMQ 我不得不担心服务器设置和一切(可以完成,但想避免它)。所以在 SQS 的 POC 之后,这似乎是一个不错的选择,但问题是 SQS 内部使用 Rest API 与 AWS 服务器通信,在这两个点上(推送时为 service1,消费时为 service2),都会有开销。所以现在我在想为什么不在 NodeJS 中这样做,service1 会用信息命中 service2。Service2 将立即响应,承认它已收到信息,如果有任何错误,则 [1]。
现在我可以总结的优点/缺点是 -
所以对一些人来说,我的问题是,使用非阻塞 API 是个好主意吗?或者在使系统可扩展方面,哪一种方法会更好。
编辑 - 可以使用 PubNub 或 Pusher 等 PubSub 提供程序代替队列吗?
我遇到了一个我不明白的 apache Kafka 问题。我在我的经纪人中订阅了一个名为 "topic-received" 的主题。这是代码:
protected String readResponse(final String idMessage) {
if (props != null) {
kafkaClient = new KafkaConsumer<>(props);
logger.debug("Subscribed to topic-received");
kafkaClient.subscribe(Arrays.asList("topic-received"));
logger.debug("Waiting for reading : topic-received");
ConsumerRecords<String, String> records =
kafkaClient.poll(kafkaConfig.getRead_timeout());
if (records != null) {
for (ConsumerRecord<String, String> record : records) {
logger.debug("Resultado devuelto : "+record.value());
return record.value();
}
}
}
return null;
}
Run Code Online (Sandbox Code Playgroud)
发生这种情况时,我从另一个点向“主题接收”发送消息。代码如下:
private void sendMessageToKafkaBroker(String idTopic, String value) {
Producer<String, String> producer = null;
try {
producer = new KafkaProducer<String, String>(mapProperties());
ProducerRecord<String, …Run Code Online (Sandbox Code Playgroud) 在 Python 2.7 中,我实现了一个具有多个队列和消费者的多处理场景。简化的想法是,我有一个作业的生产者,这些作业被提供给消费者,处理作业和一个错误处理程序,它负责所有的日志记录。非常简化,看起来都可以与之媲美:
import multiprocessing as mp
import Queue
job_queue = mp.Queue()
error_queue = mp.Queue()
for i in range(10):
job_queue.put(i)
def job_handler(job_queue, error_queue):
print 'Job handler'
while True:
try:
element = job_queue.get_nowait()
print element
except:
# t1
error_queue.put('Error')
error_queue.close()
error_queue.join_thread()
job_queue.close()
job_queue.join_thread()
# t2
return 1
def error_handler(error_queue):
result = error_queue.get()
if result == 'Error':
error_queue.close()
error_queue.join_thread()
if __name__ == '__main__':
print 'Starting'
p1 = mp.Process(target = error_handler, args = (error_queue, ))
p1.start()
p2 = mp.Process(target = job_handler, args …Run Code Online (Sandbox Code Playgroud) queue ×10
python ×3
php ×2
amazon-sqs ×1
apache-kafka ×1
architecture ×1
arrays ×1
delayed-job ×1
email ×1
java ×1
laravel ×1
laravel-5 ×1
loops ×1
mail-queue ×1
mailgun ×1
node.js ×1
python-2.7 ×1
rabbitmq ×1
ruby ×1