标签: queue

为什么C#队列或列表只有计数而数组有长度?

这可能是一个愚蠢的问题,为什么队列或列表没有 Length 属性,而只有 Count 属性?同样,为什么数组有 Length 属性?

谢谢

c# arrays queue list content-length

5
推荐指数
1
解决办法
904
查看次数

ActiveMQ 未释放队列的磁盘存储空间

当向 ActiveMQ 队列添加大量负载时,它似乎按预期将消息入队/出队,但存储仍然已满。

这会导致生产者在一段时间后(当存储达到 100% 时)阻塞,进而导致应用程序停止响应请求。

这是我们正在使用的相关 activeMQ Spring 配置:

<beans
    xmlns="http://www.springframework.org/schema/beans"
    xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
    xsi:schemaLocation="http://www.springframework.org/schema/beans
                        http://www.springframework.org/schema/beans/spring-beans.xsd
                        http://activemq.apache.org/schema/core
                        http://activemq.apache.org/schema/core/activemq-core.xsd
                        http://activemq.apache.org/schema/core
                        http://activemq.apache.org/schema/core/activemq-core.xsd">

<!-- =====================================================
     Broker Configuration
     ===================================================== -->
<broker id="appEmbeddedBroker"
        xmlns="http://activemq.apache.org/schema/core"
        brokerName="${msg.embedded.broker.name}"
        persistent="true"
        dataDirectory="${msg.embedded.broker.data.directory}"
        useJmx="true" >

    <destinationPolicy>
        <policyMap>
            <policyEntries>
                <policyEntry topic=">" >
                    <pendingMessageLimitStrategy>
                        <constantPendingMessageLimitStrategy limit="1000"/>
                    </pendingMessageLimitStrategy>
                </policyEntry>
            </policyEntries>
        </policyMap>
    </destinationPolicy>

    <managementContext>
        <managementContext connectorPort="${msg.embedded.broker.jmx.port}" createConnector="false"/>
    </managementContext>

    <persistenceAdapter>
        <levelDB directory="${msg.embedded.broker.db.directory}" />
    </persistenceAdapter>

    <systemUsage>
        <systemUsage>
            <memoryUsage>
                <memoryUsage percentOfJvmHeap="10"/>
            </memoryUsage>
            <storeUsage>
                <storeUsage limit="${msg.embedded.broker.system.usage.store.usage}"/> <!-- Configured for 200Mb -->
            </storeUsage>
            <tempUsage>
                <tempUsage limit="${msg.embedded.broker.system.usage.temp.usage}"/> <!-- Configured for 40Mb --> …
Run Code Online (Sandbox Code Playgroud)

queue spring activemq-classic

5
推荐指数
1
解决办法
3739
查看次数

ErrorException proc_open(): 分叉失败 - 资源暂时不可用'

伙计们,我正在使用 Linux 服务器来托管我的 Laravel 应用程序。我的应用程序使用 Laravel 作业调度程序和队列来处理后台进程,例如获取电子邮件和发送系统生成的电子邮件。当我尝试在本地计算机上侦听后台进程的排队作业时,它工作正常。但在实时服务器上,它无法处理作业。我已经在服务器上设置了一个 cron 作业,该作业运行 artisan 命令来监听队列。 在此输入图像描述

这是运行队列监听命令的函数

 protected function schedule(Schedule $schedule) {
    if (env('DB_INSTALL') == 1) {
        $queue = $this->getCurrentQueue();
        $schedule->command('queue:listen '.$queue, ['--tries' => 1])->everyMinute()->withoutOverlapping();
        $this->execute($schedule, 'fetching');
        $this->execute($schedule, 'notification');
        $this->execute($schedule, 'work');
        $this->execute($schedule, 'followup');
        $this->execute($schedule, 'message');
        loging('cron', 'executed successfully','info');
    }
}
Run Code Online (Sandbox Code Playgroud)

在我的日志文件中,它记录了 cron 已成功执行,但没有处理后台邮件。有时它会显示错误异常

在此输入图像描述

谁能帮我解决这个错误。TIA

queue cron exception laravel server

5
推荐指数
0
解决办法
2782
查看次数

从 python 的 Queue.Queue 中删除最旧的项目(带同步)

我是否可以进行配置Queue.Queue,使其始终接受新项目,并在队列已满时简单地删除最旧的项目?

如果没有,标准库中是否有另一个队列类可以做到这一点?

(我无法使用双端队列,因为我有一个需要同步的生产者/消费者设置。)

python queue

5
推荐指数
1
解决办法
2648
查看次数

Go中使用切片的队列实现

我见过一些在 Go 中使用切片的 FIFO 队列的实现。当项目退出队列时,是否可以释放该内存而不重新分配底层数组?如果不发生这种情况,在我看来,队列将泄漏大量内存。这就是我的意思:

type queue
{
  []int
  int head
}

func (q *queue) enqueue(val int) {
   q = append(q, val)
}

func (q *queue) dequeue() int {
   return (*q)[q.head++]
}
Run Code Online (Sandbox Code Playgroud)

多次调用入队/出队后,切片下方数组的低索引不再可用,但我也不知道如何释放它们。有人可以向我指出一个不使用指针的正确队列实现,并且不会像这样泄漏内存或存在性能问题吗?或者,对其如何工作的描述也将受到赞赏。

谢谢你,普拉门

queue go slice data-structures

5
推荐指数
1
解决办法
2235
查看次数

从 Laravel 外部推送到 Laravel 队列 (NodeJS)

我有一个 Laravel 5.3 安装作为纯 API 应用程序运行,需要从多个不同的应用程序进行连接。

一切都工作正常(毕竟我们谈论的是 Laravel :P),除了我不明白一件事:

我有一个 MQTT 服务器,它正在侦听来自多个设备的消息(无论是什么)。这些消息包含有关需要在后端调用的作业类和方法的信息。

我无法直接调用API,设备根本不支持这一点(他们支持,但这比使用MQTT传输数据要费力得多)。我的想法是将一个新作业推送到队列中,定义要调用哪个 Laravel 作业类(以及哪个方法)。问题是 JSON 序列化...

MQTT 服务器在 NodeJS 上运行,我的队列在 Redis 上运行。我记得 Taylor 在推文中提到,理论上可以序列化所需的 JSON 并从 Laravel 外部推送到队列,然后由 Laravel 处理作业。

有人知道如何解决这个问题吗?有没有关于 JSON 结构的文档?

我还应该提到,Laravel 工作线程消耗的 NodeJS 推送队列这个解决方案对我来说不起作用。与上面的结果相同,作业被放置在队列中,但在没有被处理或抛出任何错误的情况下被丢弃。

Redis 中排队事件的示例数据结构如下所示:

"{\"job\":\"Illuminate\\\\Broadcasting\\\\BroadcastEvent\",\"data\":{\"event\":\"O:28:\\\"App\\\\Events\\\\NotificationEvent\\\":5:{s:7:\\\"\\u0000*\\u0000name\\\";s:12:\\\"notification\\\";s:4:\\\"data\\\";a:4:{s:4:\\\"testkey\\\";s:14:\\\"testval\\\";s:9:\\\"timestamp\\\";s:19:\\\"2017-02-24 11:07:48\\\";s:5:\\\"event\\\";s:12:\\\"notification\\\";s:5:\\\"class\\\";s:28:\\\"App\\\\Events\\\\NotificationEvent\\\";}s:10:\\\"\\u0000*\\u0000channel\\\";N;s:7:\\\"\\u0000*\\u0000user\\\";O:45:\\\"Illuminate\\\\Contracts\\\\Database\\\\ModelIdentifier\\\":2:{s:5:\\\"class\\\";s:8:\\\"App\\\\User\\\";s:2:\\\"id\\\";i:2;}s:6:\\\"socket\\\";N;}\"},\"id\":\"XuUKRTf8CTSdzaVgp2gRcvmxQqLcpBUG\",\"attempts\":1}"

基于该结构,我认为对象(需要序列化)应该类似于以下内容:

{
"job":"EventClass@method", //<-- Just a name
"data":{
    "event":"EventClass", //<-- Just a name
    "name":"EventName", //<-- Just a name
    "data":{
    "key":"value"
    "event":"EventName" //<-- Same as data.name
    "class":"EventClass@method" //<-- This is actually being called
    }
}
Run Code Online (Sandbox Code Playgroud)

Laravel 实际放入队列的内容中还包含其他信息(例如时间戳、用户模型标识符等),但我认为这对于触发作业来说不是必需的。 …

javascript queue redis node.js laravel

5
推荐指数
1
解决办法
4569
查看次数

在作业(队列)中未找到类异常

我们希望使用laravel作业向客户发送发票。我们有这个工作班。它期望构造函数中的支付模型。

namespace App\Jobs;

use App\Jobs\Job;
use Illuminate\Queue\SerializesModels;
use Illuminate\Queue\InteractsWithQueue;
use Illuminate\Contracts\Queue\ShouldQueue;

class SendInvoiceEmail extends Job implements ShouldQueue
{
    use InteractsWithQueue, SerializesModels;

    public $paypalModel;

    /**
     * Create a new job instance.
     *
     * @return void
     */
    public function __construct($paypalModel) 
    {
        $this->paypalModel = $paypalModel;
    }

    /**
     * The number of times the job may be attempted.
     *
     * @var int
     */
    public $tries = 5;

    /**
     * Execute the job.
     *
     * @return void
     */
    public function handle()
    {
        $rechnung …
Run Code Online (Sandbox Code Playgroud)

queue jobs laravel laravel-5

5
推荐指数
1
解决办法
5219
查看次数

python multiprocessing:写入同一个excel文件

我是Python新手,我试图将五个不同进程的结果保存到一个excel文件中(每个进程写入不同的工作表)。我在这里阅读了不同的帖子,但仍然无法完成它,因为我对 pool.map、队列和锁非常困惑,而且我不确定这里需要什么来完成这项任务。到目前为止,这是我的代码:

list_of_days = ["2017.03.20", "2017.03.21", "2017.03.22", "2017.03.23", "2017.03.24"]
results = pd.DataFrame()

if __name__ == '__main__':
    global list_of_days
    writer = pd.ExcelWriter('myfile.xlsx', engine='xlsxwriter')
    nr_of_cores = multiprocessing.cpu_count()
    l = multiprocessing.Lock()
    pool = multiprocessing.Pool(processes=nr_of_cores, initializer=init, initargs=(l,))
    pool.map(f, range(len(list_of_days)))
    pool.close()
    pool.join()

def init(l):
    global lock
    lock = l

def f(k):
    global results

    *** DO SOME STUFF HERE***

    results = results[ *** finished pandas dataframe *** ]

    lock.acquire()
    results.to_excel(writer, sheet_name=list_of_days[k])
    writer.save()
    lock.release()
Run Code Online (Sandbox Code Playgroud)

结果是在 Excel 中只创建了一张工作表(我认为这是最后完成的过程)。关于这段代码的一些问题:

  • 如何避免定义全局变量?
  • 是否可以传递数据帧?
  • 我应该将锁定移至 main 吗?

非常感谢这里的一些意见,因为我认为掌握多处理是有帮助的。谢谢

python queue locking multiprocessing

5
推荐指数
1
解决办法
6455
查看次数

使用 Tensorflow 对象检测 api 打乱训练数据集

我正在使用 Faster-RCNN 模型和 Tensorflow 对象检测 API 来开发徽标检测算法。我的数据集按字母顺序排列(因此有一百个阿迪达斯徽标,然后是一百个苹果徽标等)。我希望在训练时对其进行洗牌。

我在配置文件中添加了一些值:

train_input_reader:{
          shuffle: true
          queue_capacity: some value
          min_after_dequeue : some other value}
Run Code Online (Sandbox Code Playgroud)

然而,无论我输入什么值,算法首先对所有 a 的徽标(阿迪达斯、苹果等)进行训练,并且在开始看到 b 的徽标(宝马等)后仅经过一段时间,然后c 是一个等等。

当然,我可以直接打乱输入数据集,但我想了解其背后的逻辑。

PS:我看过这篇关于 shuffle 和 min_after_dequeue 的文章,但我仍然不太明白。我的批量大小是 1,所以它不应该使用,tf.train.shuffle_batch()但只能使用tf.RandomShuffleQueue

我的训练数据集大小是 5000,如果我写min_after_dequeue: 4000 or 5000它仍然没有正确洗牌。为什么呢?


更新:@AllenLavoie 这对我来说有点难;因为有很多依赖项,而且我是 Tensorflow 的新手。但最终队列是由

tf.contrib.slim.parallel_reader.parallel_read(    _, string_tensor = parallel_reader.parallel_read(
        config.input_path,
        reader_class=tf.TFRecordReader,
        num_epochs=(input_reader_config.num_epochs
                    if input_reader_config.num_epochs else None),
        num_readers=input_reader_config.num_readers,
        shuffle=input_reader_config.shuffle,
        dtypes=[tf.string, tf.string],
        capacity=input_reader_config.queue_capacity,
        min_after_dequeue=input_reader_config.min_after_dequeue)
Run Code Online (Sandbox Code Playgroud)

似乎当我放入num_readers = 1配置文件时,数据集最终按照我想要的方式进行洗牌(至少在开始时),但是当开始时有更多内容时,徽标将按字母顺序排列。

queue shuffle object-detection tensorflow

5
推荐指数
1
解决办法
2178
查看次数

有没有办法获取有关 QNetworkAccessManager 队列的信息?

来自Qt 4 文档:

注意:QNetworkAccessManager将收到的请求排队。

现在,我希望能够做两件事(使用 PyQt):

  1. 检查“内部”队列中有多少请求QNetworkAccessManager等待发送。
  2. 检查有多少请求已收到答案(即计算已完成的 QNetworkReplies 的数量)。

我认为这些信息一定已经可供内部使用QNetworkAccessManager,但我还没有找到访问它的方法。我在 Qt 文档或其他地方找不到任何内容,但也许我找错了地方或使用了错误的术语。

有人可以告诉我 Qt 是否提供某种方式来访问有关QNetworkAccessManager队列的信息吗?

只是为了清楚起见:我可以想出几种方法来自己跟踪这些事情,例如通过检查各个 QNetworkReply 状态,但这不是我正在寻找的解决方案(仅作为最后的手段,如果 Qt 不提供更简单的方法)。

- - 编辑 - -

一个稍微比最小但仍然微不足道的例子来说明我想到的这种事情:

import sys
import json
from PyQt4 import QtNetwork, QtGui, QtCore

def show_reply_content(reply):
    print 'url from reply content: {}'.format(
        json.loads(str(reply.readAll()))['url'])

    # Quit if all replies are finished
    reply.deleteLater()
    reply.manager().replies_unfinished -= 1
    if not reply.manager().replies_unfinished:
    app.quit()

# Some initialization
app = QtGui.QApplication(sys.argv)
manager …
Run Code Online (Sandbox Code Playgroud)

queue qt pyqt pyside qnetworkaccessmanager

5
推荐指数
1
解决办法
1150
查看次数