我使用过很多分发任务包,例如celery,,python-rq它们都依赖于外部服务,例如redis,rabbit-mq等等。
但是,通常我不需要queue service,换句话说,不想redis在我的vps上安装或其他非python服务。(也是为了简化环境)
producer我应该说,拆分和worker不同的进程(两个代码文件)是很好的。使用multiprocessing.Queue需要将所有内容放入一个文件中,并且需要编写大量附加代码来捕获ctrl+c以处理exit并保存当前排队的任务。celery使用,不会发生这种情况python-rq,尽管停止工作人员和生产者,但任务仍然保存在队列中。
我想使用本地队列(可以通过pip install xxx),例如磁盘队列。经过一番搜索,只找到了queuelib(持久(基于磁盘)队列的集合),但遗憾的是它不支持多进程访问。
这可能是一个愚蠢的问题,为什么队列或列表没有 Length 属性,而只有 Count 属性?同样,为什么数组有 Length 属性?
谢谢
当向 ActiveMQ 队列添加大量负载时,它似乎按预期将消息入队/出队,但存储仍然已满。
这会导致生产者在一段时间后(当存储达到 100% 时)阻塞,进而导致应用程序停止响应请求。
这是我们正在使用的相关 activeMQ Spring 配置:
<beans
xmlns="http://www.springframework.org/schema/beans"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://www.springframework.org/schema/beans
http://www.springframework.org/schema/beans/spring-beans.xsd
http://activemq.apache.org/schema/core
http://activemq.apache.org/schema/core/activemq-core.xsd
http://activemq.apache.org/schema/core
http://activemq.apache.org/schema/core/activemq-core.xsd">
<!-- =====================================================
Broker Configuration
===================================================== -->
<broker id="appEmbeddedBroker"
xmlns="http://activemq.apache.org/schema/core"
brokerName="${msg.embedded.broker.name}"
persistent="true"
dataDirectory="${msg.embedded.broker.data.directory}"
useJmx="true" >
<destinationPolicy>
<policyMap>
<policyEntries>
<policyEntry topic=">" >
<pendingMessageLimitStrategy>
<constantPendingMessageLimitStrategy limit="1000"/>
</pendingMessageLimitStrategy>
</policyEntry>
</policyEntries>
</policyMap>
</destinationPolicy>
<managementContext>
<managementContext connectorPort="${msg.embedded.broker.jmx.port}" createConnector="false"/>
</managementContext>
<persistenceAdapter>
<levelDB directory="${msg.embedded.broker.db.directory}" />
</persistenceAdapter>
<systemUsage>
<systemUsage>
<memoryUsage>
<memoryUsage percentOfJvmHeap="10"/>
</memoryUsage>
<storeUsage>
<storeUsage limit="${msg.embedded.broker.system.usage.store.usage}"/> <!-- Configured for 200Mb -->
</storeUsage>
<tempUsage>
<tempUsage limit="${msg.embedded.broker.system.usage.temp.usage}"/> <!-- Configured for 40Mb --> …Run Code Online (Sandbox Code Playgroud) 伙计们,我正在使用 Linux 服务器来托管我的 Laravel 应用程序。我的应用程序使用 Laravel 作业调度程序和队列来处理后台进程,例如获取电子邮件和发送系统生成的电子邮件。当我尝试在本地计算机上侦听后台进程的排队作业时,它工作正常。但在实时服务器上,它无法处理作业。我已经在服务器上设置了一个 cron 作业,该作业运行 artisan 命令来监听队列。

这是运行队列监听命令的函数
protected function schedule(Schedule $schedule) {
if (env('DB_INSTALL') == 1) {
$queue = $this->getCurrentQueue();
$schedule->command('queue:listen '.$queue, ['--tries' => 1])->everyMinute()->withoutOverlapping();
$this->execute($schedule, 'fetching');
$this->execute($schedule, 'notification');
$this->execute($schedule, 'work');
$this->execute($schedule, 'followup');
$this->execute($schedule, 'message');
loging('cron', 'executed successfully','info');
}
}
Run Code Online (Sandbox Code Playgroud)
在我的日志文件中,它记录了 cron 已成功执行,但没有处理后台邮件。有时它会显示错误异常
谁能帮我解决这个错误。TIA
我是否可以进行配置Queue.Queue,使其始终接受新项目,并在队列已满时简单地删除最旧的项目?
如果没有,标准库中是否有另一个队列类可以做到这一点?
(我无法使用双端队列,因为我有一个需要同步的生产者/消费者设置。)
我见过一些在 Go 中使用切片的 FIFO 队列的实现。当项目退出队列时,是否可以释放该内存而不重新分配底层数组?如果不发生这种情况,在我看来,队列将泄漏大量内存。这就是我的意思:
type queue
{
[]int
int head
}
func (q *queue) enqueue(val int) {
q = append(q, val)
}
func (q *queue) dequeue() int {
return (*q)[q.head++]
}
Run Code Online (Sandbox Code Playgroud)
多次调用入队/出队后,切片下方数组的低索引不再可用,但我也不知道如何释放它们。有人可以向我指出一个不使用指针的正确队列实现,并且不会像这样泄漏内存或存在性能问题吗?或者,对其如何工作的描述也将受到赞赏。
谢谢你,普拉门
是否有进程安全的持久(基于磁盘)Python FIFO 队列?
有人可以提供一个简单的示例,其中包含一个将字符串写入队列的脚本,以及另一个从队列中一次读取一个字符串的脚本吗?请注意,每个进程都可以从命令行启动多次。即多个作者和多个读者。
背景:我有几个脚本,每个脚本每隔一段时间就会产生一些输出。我想了解他们创建的输出,并使用另一个脚本来处理他们产生的信息。不幸的是,我无法使用 Python 的多处理或线程模块,因为脚本可以在同一文件系统上的不同计算机上运行。即每个脚本都是从命令行启动的。
我所需要的只是每个队列元素都是一个字符串,并且队列是进程安全的。
编辑:我找到了queuelib pqueque的模块,但它们不提供进程安全性。我正在考虑用atomicfile调用替换queuelib的文件处理。但我担心调试它的时间太长,因为我时间不够,而且在编写应该是进程安全的软件时总是有一些细节需要注意。
注1:我使用的是Python 2.7。
注意2:我知道这个问题,但是我的要求非常适中,我正在寻找一个简单的解决方案,而该问题提供的答案涉及复杂的库,没有关于如何使用队列的示例。
编辑(2019):对于登陆这里的任何人,我发现SQLite 数据库提供原子访问,它有一个 python API,并且它是无服务器的。因此,我相信用它来实现我的问题中的队列是可能的(并且很容易)。
我有一个 Laravel 5.3 安装作为纯 API 应用程序运行,需要从多个不同的应用程序进行连接。
一切都工作正常(毕竟我们谈论的是 Laravel :P),除了我不明白一件事:
我有一个 MQTT 服务器,它正在侦听来自多个设备的消息(无论是什么)。这些消息包含有关需要在后端调用的作业类和方法的信息。
我无法直接调用API,设备根本不支持这一点(他们支持,但这比使用MQTT传输数据要费力得多)。我的想法是将一个新作业推送到队列中,定义要调用哪个 Laravel 作业类(以及哪个方法)。问题是 JSON 序列化...
MQTT 服务器在 NodeJS 上运行,我的队列在 Redis 上运行。我记得 Taylor 在推文中提到,理论上可以序列化所需的 JSON 并从 Laravel 外部推送到队列,然后由 Laravel 处理作业。
有人知道如何解决这个问题吗?有没有关于 JSON 结构的文档?
我还应该提到,Laravel 工作线程消耗的 NodeJS 推送队列这个解决方案对我来说不起作用。与上面的结果相同,作业被放置在队列中,但在没有被处理或抛出任何错误的情况下被丢弃。
Redis 中排队事件的示例数据结构如下所示:
"{\"job\":\"Illuminate\\\\Broadcasting\\\\BroadcastEvent\",\"data\":{\"event\":\"O:28:\\\"App\\\\Events\\\\NotificationEvent\\\":5:{s:7:\\\"\\u0000*\\u0000name\\\";s:12:\\\"notification\\\";s:4:\\\"data\\\";a:4:{s:4:\\\"testkey\\\";s:14:\\\"testval\\\";s:9:\\\"timestamp\\\";s:19:\\\"2017-02-24 11:07:48\\\";s:5:\\\"event\\\";s:12:\\\"notification\\\";s:5:\\\"class\\\";s:28:\\\"App\\\\Events\\\\NotificationEvent\\\";}s:10:\\\"\\u0000*\\u0000channel\\\";N;s:7:\\\"\\u0000*\\u0000user\\\";O:45:\\\"Illuminate\\\\Contracts\\\\Database\\\\ModelIdentifier\\\":2:{s:5:\\\"class\\\";s:8:\\\"App\\\\User\\\";s:2:\\\"id\\\";i:2;}s:6:\\\"socket\\\";N;}\"},\"id\":\"XuUKRTf8CTSdzaVgp2gRcvmxQqLcpBUG\",\"attempts\":1}"
基于该结构,我认为对象(需要序列化)应该类似于以下内容:
{
"job":"EventClass@method", //<-- Just a name
"data":{
"event":"EventClass", //<-- Just a name
"name":"EventName", //<-- Just a name
"data":{
"key":"value"
"event":"EventName" //<-- Same as data.name
"class":"EventClass@method" //<-- This is actually being called
}
}
Run Code Online (Sandbox Code Playgroud)
Laravel 实际放入队列的内容中还包含其他信息(例如时间戳、用户模型标识符等),但我认为这对于触发作业来说不是必需的。 …
我们希望使用laravel作业向客户发送发票。我们有这个工作班。它期望构造函数中的支付模型。
namespace App\Jobs;
use App\Jobs\Job;
use Illuminate\Queue\SerializesModels;
use Illuminate\Queue\InteractsWithQueue;
use Illuminate\Contracts\Queue\ShouldQueue;
class SendInvoiceEmail extends Job implements ShouldQueue
{
use InteractsWithQueue, SerializesModels;
public $paypalModel;
/**
* Create a new job instance.
*
* @return void
*/
public function __construct($paypalModel)
{
$this->paypalModel = $paypalModel;
}
/**
* The number of times the job may be attempted.
*
* @var int
*/
public $tries = 5;
/**
* Execute the job.
*
* @return void
*/
public function handle()
{
$rechnung …Run Code Online (Sandbox Code Playgroud) 我是Python新手,我试图将五个不同进程的结果保存到一个excel文件中(每个进程写入不同的工作表)。我在这里阅读了不同的帖子,但仍然无法完成它,因为我对 pool.map、队列和锁非常困惑,而且我不确定这里需要什么来完成这项任务。到目前为止,这是我的代码:
list_of_days = ["2017.03.20", "2017.03.21", "2017.03.22", "2017.03.23", "2017.03.24"]
results = pd.DataFrame()
if __name__ == '__main__':
global list_of_days
writer = pd.ExcelWriter('myfile.xlsx', engine='xlsxwriter')
nr_of_cores = multiprocessing.cpu_count()
l = multiprocessing.Lock()
pool = multiprocessing.Pool(processes=nr_of_cores, initializer=init, initargs=(l,))
pool.map(f, range(len(list_of_days)))
pool.close()
pool.join()
def init(l):
global lock
lock = l
def f(k):
global results
*** DO SOME STUFF HERE***
results = results[ *** finished pandas dataframe *** ]
lock.acquire()
results.to_excel(writer, sheet_name=list_of_days[k])
writer.save()
lock.release()
Run Code Online (Sandbox Code Playgroud)
结果是在 Excel 中只创建了一张工作表(我认为这是最后完成的过程)。关于这段代码的一些问题:
非常感谢这里的一些意见,因为我认为掌握多处理是有帮助的。谢谢