标签: queue

使用 Tensorflow 对象检测 api 打乱训练数据集

我正在使用 Faster-RCNN 模型和 Tensorflow 对象检测 API 来开发徽标检测算法。我的数据集按字母顺序排列(因此有一百个阿迪达斯徽标,然后是一百个苹果徽标等)。我希望在训练时对其进行洗牌。

我在配置文件中添加了一些值:

train_input_reader:{
          shuffle: true
          queue_capacity: some value
          min_after_dequeue : some other value}
Run Code Online (Sandbox Code Playgroud)

然而,无论我输入什么值,算法首先对所有 a 的徽标(阿迪达斯、苹果等)进行训练,并且在开始看到 b 的徽标(宝马等)后仅经过一段时间,然后c 是一个等等。

当然,我可以直接打乱输入数据集,但我想了解其背后的逻辑。

PS:我看过这篇关于 shuffle 和 min_after_dequeue 的文章,但我仍然不太明白。我的批量大小是 1,所以它不应该使用,tf.train.shuffle_batch()但只能使用tf.RandomShuffleQueue

我的训练数据集大小是 5000,如果我写min_after_dequeue: 4000 or 5000它仍然没有正确洗牌。为什么呢?


更新:@AllenLavoie 这对我来说有点难;因为有很多依赖项,而且我是 Tensorflow 的新手。但最终队列是由

tf.contrib.slim.parallel_reader.parallel_read(    _, string_tensor = parallel_reader.parallel_read(
        config.input_path,
        reader_class=tf.TFRecordReader,
        num_epochs=(input_reader_config.num_epochs
                    if input_reader_config.num_epochs else None),
        num_readers=input_reader_config.num_readers,
        shuffle=input_reader_config.shuffle,
        dtypes=[tf.string, tf.string],
        capacity=input_reader_config.queue_capacity,
        min_after_dequeue=input_reader_config.min_after_dequeue)
Run Code Online (Sandbox Code Playgroud)

似乎当我放入num_readers = 1配置文件时,数据集最终按照我想要的方式进行洗牌(至少在开始时),但是当开始时有更多内容时,徽标将按字母顺序排列。

queue shuffle object-detection tensorflow

5
推荐指数
1
解决办法
2178
查看次数

有没有办法获取有关 QNetworkAccessManager 队列的信息?

来自Qt 4 文档:

注意:QNetworkAccessManager将收到的请求排队。

现在,我希望能够做两件事(使用 PyQt):

  1. 检查“内部”队列中有多少请求QNetworkAccessManager等待发送。
  2. 检查有多少请求已收到答案(即计算已完成的 QNetworkReplies 的数量)。

我认为这些信息一定已经可供内部使用QNetworkAccessManager,但我还没有找到访问它的方法。我在 Qt 文档或其他地方找不到任何内容,但也许我找错了地方或使用了错误的术语。

有人可以告诉我 Qt 是否提供某种方式来访问有关QNetworkAccessManager队列的信息吗?

只是为了清楚起见:我可以想出几种方法来自己跟踪这些事情,例如通过检查各个 QNetworkReply 状态,但这不是我正在寻找的解决方案(仅作为最后的手段,如果 Qt 不提供更简单的方法)。

- - 编辑 - -

一个稍微比最小但仍然微不足道的例子来说明我想到的这种事情:

import sys
import json
from PyQt4 import QtNetwork, QtGui, QtCore

def show_reply_content(reply):
    print 'url from reply content: {}'.format(
        json.loads(str(reply.readAll()))['url'])

    # Quit if all replies are finished
    reply.deleteLater()
    reply.manager().replies_unfinished -= 1
    if not reply.manager().replies_unfinished:
    app.quit()

# Some initialization
app = QtGui.QApplication(sys.argv)
manager …
Run Code Online (Sandbox Code Playgroud)

queue qt pyqt pyside qnetworkaccessmanager

5
推荐指数
1
解决办法
1150
查看次数

有没有办法在 Symfony 4 中放置队列工作者?

目前我正在 Symfony 4 环境中工作,该环境需要定期(通过 cron)执行命令/操作队列,而无需安装像 RabbitMQ 这样的服务器包。

Laravel 中有一个强大的队列系统,可以与数据库同步队列和监听工作线程配合使用。Symfony 4 可以使用类似的功能吗?

我尝试安装JMSJobQueueBundle和QueueBundle,但两者都无法在 Symfony 4 中安装。

php queue symfony laravel symfony4

5
推荐指数
1
解决办法
7657
查看次数

阻塞 FIFO 队列并能够跳过元素?

简洁版本: 如何在 Java 中最好地实现阻塞 FIFO 队列,如果队列中的项目在从队列中弹出时不满足某些条件,则能够暂时跳过或跳过队列中的项目?

长版:

我已经在应用程序中使用 ArrayBlockingQueue 多年了,它对于我的目的来说工作得很好。到目前为止我只需要调用 put() 和 take() 。效果很好。

现在,当通过 take() 检索元素时,需要满足某些条件。如果它不符合标准,它应该返回队列,但处于与之前相同的位置。

想象一下国际机场海关排队的情况。由于某种原因,乘客在登机时只收到了海关申报表。乘客们都在拼命地写字,以便在轮到他们之前完成表格。队伍前面有一名保安。当海关官员准备好接待下一位乘客时,保安人员会检查队伍中的第一位乘客是否填写了海关申报单。如果是这样,他会将乘客送往海关官员。如果没有,他会检查第二名乘客,然后是第三名,依此类推,直到找到完成检查的人。他将该人送往海关官员。每次海关官员有空时都会发生同样的情况,总是先让线路上的第一位乘客开始。

在研究过程中,我唯一想到的就是使用双端队列(deque)并从前面取出元素,直到找到满足条件的元素。然后按照我取下它们的相反顺序将元件放回正面。

有人有推荐吗?

java queue

5
推荐指数
1
解决办法
803
查看次数

Pytest + 多处理队列不能很好地协同工作

我正在测试多队列。我的测试涉及一个带有 getter 和 setter 的简单类,围绕多队列。

当我重新运行 i 时,我的测试在通过和失败之间交替[编辑:当使用 block=False 时会发生这种情况。按照建议将其设置为 True 会挂起程序]。

我如何重写这个以便

(1) 清除程序执行之间的多队列以及 (2) 在 .get() 方法中读取队列中的所有值?

import multiprocessing
import queue

class MyClass:
    def __init__(self):
        self.q = multiprocessing.Queue()
        self.results = []

    def put(self, x):
        self.q.put(x)

    def get(self):
        while True:
            try:
                self.results.append(self.q.get(block=True))
            except queue.Empty:
                break
        return self.results

    @pytest.fixture
    def wrapped_queue():
        yield MyClass()

    def test_multiprocessing_queue(wrapped_queue):
        wrapped_queue.put("a")
        wrapped_queue.put("b")
        result = wrapped_queue.get()
        assert result == ["a", "b"]
Run Code Online (Sandbox Code Playgroud)

python queue pytest python-multiprocessing

5
推荐指数
1
解决办法
7103
查看次数

使用 Laravel 队列发送批量电子邮件

我们正在尝试使用 PHP Laravel 框架发送批量电子邮件 (100k)。使用 Laravel 队列发送批量电子邮件的正确方法是什么?

情况1。

//controller
public function runQueue(){    
    dispatch(new ShootEmailJob());
}

//job 
public function handle(){
        $emails = EmailList::get(['email']);

        foreach($emails as $email){
            Mail::to($email)->send();
        }
 }
Run Code Online (Sandbox Code Playgroud)

案例2。

//controller
public function runQueue(){

    $emailList = EmailList::get(['email']);

    foreach($emailList as $emailAddress){
        dispatch(new ShootEmailJob($emailAddress->email));
    }
}

//job    
 public function handle(){
    Mail::to($emailAddress)->send(new ShootMail($emailAddress));
 }
Run Code Online (Sandbox Code Playgroud)

案例 1 和案例 2 哪一种是正确的做法?

php queue bulk-email laravel

5
推荐指数
1
解决办法
8929
查看次数

Laravel 5.7 - 队列作业太慢

我使用 Laravel 5.7 和 3 个队列作业,作业之间的时间太长/太慢。

我在第一份工作中 foreach RSS 提要项目,然后在第二份工作中调度该项目,等等...我没有输入详细信息,但有一些可笑的小计算,一定不需要花时间。

问题是每次派遣工作都需要花费大量时间。地平线和望远镜不允许我调试。

我使用的机器有 32 GB RAM,并且有多个进程(每个进程 15 个)可以转动尾巴。

[program:mywebsite_feeder]
command=/RunCloud/Packages/php72rc/bin/php artisan queue:work redis --queue=feeder --tries=3 --sleep=0
directory=/home/runcloud/webapps/mywebsite
redirect_stderr=true
autostart=true
autorestart=true
user=runcloud
numprocs=15
process_name=%(program_name)s_%(process_num)s
Run Code Online (Sandbox Code Playgroud)

我在 laravel.log 中遇到此错误:

Production.ERROR:App\Jobs\FeederJob 尝试次数过多或运行时间过长。该作业之前可能已超时。

php queue redis supervisord laravel

5
推荐指数
1
解决办法
5346
查看次数

multiprocessing.Manager 嵌套共享对象不适用于队列

模块状态的 Python 文档multiprocessing:

版本 3.6 中的更改:共享对象可以嵌套。例如,共享容器对象(例如共享列表)可以包含其他共享对象,这些对象都将由SyncManager.

这确实适用于list和dict。Queue但是,如果我尝试在共享内创建共享dict,则会收到错误:

>>> from multiprocessing import Manager
>>> m = Manager()
>>> d = m.dict()
>>> d['a'] = m.list()
>>> d['b'] = m.dict()
>>> d['c'] = m.Queue()
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "<string>", line 2, in __setitem__
  File "/usr/lib/python3.6/multiprocessing/managers.py", line 772, in _callmethod
    raise convert_to_error(kind, result)
multiprocessing.managers.RemoteError: 
---------------------------------------------------------------------------
Traceback (most recent call last):
  File "/usr/lib/python3.6/multiprocessing/managers.py", …
Run Code Online (Sandbox Code Playgroud)

python queue memory-management process multiprocessing

5
推荐指数
1
解决办法
2227
查看次数

Laravel:为了安全起见,队列工作失败了 pcntl_signal()

尝试运行php artisan queue:work会返回此错误:

ErrorException  : pcntl_signal() has been disabled for security reasons
Run Code Online (Sandbox Code Playgroud)

已经pcntl_signal, pcntl_signal_dispatch从php.ini中的disable_functions中删除并重新启动,但没有效果 安全性

queue laravel laravel-artisan

5
推荐指数
1
解决办法
1527
查看次数

即使设置了操作的优先级和依赖关系,操作队列也不会按顺序执行

我正在进行三个 api 调用,并希望 API1 应首先执行,完成后应执行 API2,然后执行 API3。我为此使用了操作队列,并添加了对操作的依赖性。我也尝试设置优先级,但没有按顺序获取 api 调用。帮我看看如何正确制作。

代码是这样的:

let op1 = Operation()
op1.completionBlock = {
    self.APICall(urlString: self.url1)
}
op1.queuePriority = .veryHigh

let op2 = Operation()
op2.completionBlock = {
    self.APICall(urlString: self.url2)
}
op2.queuePriority = .high

let op3 = Operation()
op3.completionBlock = {
    self.APICall(urlString: self.url3)
}

op3.queuePriority = .normal

op2.addDependency(op1)
op3.addDependency(op2)

queue.addOperations([op1, op2, op3], waitUntilFinished: false)
Run Code Online (Sandbox Code Playgroud)

我将 API 调用方法放在 DispatchQueue.main.sync 中,如下所示:

func APICall(urlString: String) {

    let headers: HTTPHeaders = [
        "Accept": "text/html"
    ]
    print(urlString)
    DispatchQueue.main.sync {

        Alamofire.request(urlString.addingPercentEncoding(withAllowedCharacters: CharacterSet.urlQueryAllowed)!, method: .get, …
Run Code Online (Sandbox Code Playgroud)

queue nsoperationqueue ios swift

5
推荐指数
1
解决办法
1892
查看次数