标签: queue

回收释放的对象

假设我需要经常在堆上分配和删除对象(任意大小),如果不是删除这些对象,而是将它返回到某个“池”以供以后重用,是否有任何性能优势?

它会通过减少堆分配/解除分配带来好处吗?或者与内存分配器性能相比它会更慢,因为“池”需要管理指针的动态集合。

我的用例:假设我基于链表创建了一个队列容器,并且该列表的每个节点都分配在堆上,因此每次调用 push() 和 pop() 都会分配和释放该节点:

`

template <typename T> struct QueueNode {
    QueueNode<T>* next;
    T object;
}

template <typename T> class Queue {
    void push(T object) {
        QueueNode<T>* newNode = QueueNodePool<T>::get(); //get recycled node
        if(!newNode) {
            newNode = new QueueNode<T>(object);
        }
        // push newNode routine here..
    }
    T pop() {
        //pop routine here...
        QueueNodePool<T>::store(unusedNode); //recycle node
        return unusedNode->object;
    }
}
Run Code Online (Sandbox Code Playgroud)

`

c++ queue memory-management allocation recycle

4
推荐指数
1
解决办法
2008
查看次数

python:如何在带有队列的线程之间共享sqlite连接?

我在 Arch Linux x86_64 上使用 Python 3.2.1。
我正在尝试使用一些类似于以下代码的线程定时循环更新 sqlite 数据库:

import sqlite3
from threading import Timer
from queue import Queue

class DBQueue(Queue):
    def give(self, item):
        self.task_done()
        self.join()
        self.put(item)
        return True


def timer():
    print('A')
    Timer(3, add).start()


def add():
    print('B')
    db = qdb.get()
    cur = db.cursor()
    cur.execute('INSERT INTO Foo (id) VALUES (NULL)')
    qdb.give(db)
    timer()

qdb = DBQueue()
# SOLUTION #1:
# qdb.put(sqlite3.connect(':memory:', check_same_thread=False))
# SOLUTION #2: see Eli Bendersky's answer
qdb.put(sqlite3.connect(':memory:'))
db = qdb.get()
cur = db.cursor()
cur.execute('CREATE TABLE Foo (id INTEGER …
Run Code Online (Sandbox Code Playgroud)

python sqlite queue multithreading timer

4
推荐指数
1
解决办法
1万
查看次数

Amazon SES 最大发送速率

我们正在使用 Amazon SES 发送电子邮件,它说我们的最大发送速率是每秒 5 次。

我不知道如果我们每秒发送超过 5 个会发生什么? 他们排队还是被拒绝?

我们有一个邮件列表,上面有 1,000 多人,他们都尝试一次性发送所有邮件(我们已获准为此使用 Amazon SES)。

这是我用来发送电子邮件的代码:

namespace Amazon
{
    public class Emailer
    {
        /// <summary>
        /// Send an email using the Amazon SES service
        /// </summary>
        public static void SendEmail(String from, String To, String Subject, String HTML = null, String emailReplyTo = null, String returnPath = null)
        {
            try
            {
                List<String> to
                    = To
                    .Replace(", ", ",")
                    .Split(',')
                    .ToList();

                var destination = new Destination();
                destination.WithToAddresses(to);

                var subject = new …
Run Code Online (Sandbox Code Playgroud)

email queue amazon amazon-ses

4
推荐指数
2
解决办法
6067
查看次数

如何设置DelayQueue的延迟

我刚刚开始使用java进行编码我正在努力设置DelayQueue,

我想拥有它,

DelayQueue queue = new DelayQueue();

If (counter > 0){
queue.offer(Integer, *A custom delay*)
} Else {
queue.offer(Integer, *A different custom delay*)
}
Run Code Online (Sandbox Code Playgroud)

我只是想学习所有的基础知识,而且我已经阅读了API并且似乎无法掌握它.

提前致谢

java queue delay timeunit

4
推荐指数
2
解决办法
5961
查看次数

PHP有一个peek数组操作吗?

我想看一下数组的第一个元素.此操作将等效于此代码:

function peek($list)
{
  $item = array_shift($list);
  array_unshift($list, $item);
  return $item;
}
Run Code Online (Sandbox Code Playgroud)

这段代码对我来说似乎很重要,而peek通常由队列和堆栈库提供.php有一个已经构建的函数或一些更有效的方法来做到这一点?我搜索了php.net但无法找到任何东西.

为清楚起见,附加说明: 数组不一定是数字索引.数组也可能有一些未设置的项(在数字索引数组的情况下)弄乱了数字排序.假设$ list [0]是第一个元素是不安全的.

php arrays queue stack

4
推荐指数
1
解决办法
2422
查看次数

Tensorflow:批处理输入队列,然后更改队列源

我有一个模型在一组图像上运行并使用它们计算一些统计数据 - 为简单起见,它只是输出集合中的平均图像(它比实际中的图像更多).我有许多包含图像的目录,我想从每个目录中获取输出.每个目录中都有可变数量的图像.

我为我的脚本构建了一次图形,输出变量和损失函数.输入使用稍微适应的代码进行批处理.我改编它采取一系列路径,我使用可变大小的占位符.我从这里得到了灵感.

然后我遍历目录并运行以下内容:

  1. 初始化变量(这会从先前目录中计算的结果重置先前的输出变量)
  2. 将image paths变量设置为新目录中的当前文件数组: sess.run(image_paths.initializer, feed_dict={image_paths_initializer: image_paths})
  3. 启动队列运行: queue_threads = tf.train.start_queue_runners(sess=sess, coord=coord)
  4. 运行一些时代以获得结果
  5. 关闭线程 coord.request_stop(); coord.join(queue_threads); coord.clear_stop()
  6. 返回结果,保存结果,移动到下一个目录...

问题是,当涉及到第二个目录时,队列运行程序线程拒绝启动(我可以通过调试queue_threads变量来看到这一点).这给出了如下错误:

Compute status: Aborted: FIFOQueue '_1_input_producer' is closed.
Compute status: Aborted: RandomShuffleQueue '_0_shuffle_batch/random_shuffle_queue' is closed.
Run Code Online (Sandbox Code Playgroud)

如果我不关闭线程(并且不再次启动它们),那么它们不会从新目录生成文件 - 它们忽略了(2)中的变量赋值操作.是不是可以像这样重启队列?

我已经尝试在他们自己的单独会话中设置队列并从中提取批次,但这给了我各种CUDA /内存错误.如果我这样做并添加调试停止,我可以让它在它到达之前运行很远 - 但我不知道是否有可能在不相交的会话/图形之间添加控制依赖项?

对于每个新目录,都可以从头开始,但这会给我试图避免的进程增加很多开销.我已经做了类似的事情(即,重置变量并使用不同的输入重新运行)没有队列,它节省了大量的时间,所以我知道这有点工作.

你们中的任何一个人都可以想出一个出路吗?

python queue multithreading tensorflow

4
推荐指数
1
解决办法
6965
查看次数

什么是使用django芹菜和redis异步刮取并存储我的结果的正确方法并存储我的?

当我尝试使用我在django应用程序中创建的函数进行刮擦时,我一直在试图理解我的问题.该功能转到网站收集数据并将其存储在我的数据库中.起初我尝试使用rq和redis一段时间,但我不断收到错误消息.所以有人认为我应该尝试使用芹菜,我做到了.但我现在看到rq和芹菜都是问题所在.因为我收到的错误信息与之前相同.我累了导入它,但仍然得到了错误信息,然后我想好了也许如果我在tasks.py文件中有实际的功能,它会产生影响,但事实并非如此.继承了我试图在tasks.py中使用的功能

import requests
from bs4 import BeautifulSoup
from src.blog.models import Post
import random
import re
from django.contrib.auth.models import User
import os

@app.tasks
def p_panties():
    def swappo():
        user_one = ' "Mozilla/5.0 (Windows NT 6.0; WOW64; rv:24.0) Gecko/20100101 Firefox/24.0" '
        user_two = ' "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_5)" '
        user_thr = ' "Mozilla/5.0 (Windows NT 6.3; Trident/7.0; rv:11.0) like Gecko" '
        user_for = ' "Mozilla/5.0 (Macintosh; Intel Mac OS X x.y; rv:10.0) Gecko/20100101 Firefox/10.0" '

        agent_list = [user_one, user_two, user_thr, …
Run Code Online (Sandbox Code Playgroud)

python django queue rabbitmq django-celery

4
推荐指数
1
解决办法
955
查看次数

如何从Laravel的工作ID获得排队的工作?

有没有办法从Laravel的工作ID获得排队的工作?将作业添加到队列时,我存储作业ID.稍后在某个时间点(处理队列中的作业有延迟),我想从队列中删除该作业.如果我可以使用作业ID获取队列中的作业,我可以使用delete()方法将其删除.

queue jobs laravel laravel-5.2

4
推荐指数
2
解决办法
2525
查看次数

在Laravel 5.3中,如何在将作业分派到作业队列后获取作业ID?

在Laravel 5.3中,在控制器中,我们可以将作业调度到作业队列,如下所示:

$job = (new JobClass())->onQueue('queuename');
dispatch($job);
Run Code Online (Sandbox Code Playgroud)

在使用InteractsWithQueuetrait 的Job类中,在handle函数中,我们可以得到这样的Job ID:

$this->job->getJobId();
Run Code Online (Sandbox Code Playgroud)

但是,我希望在使用之后在我的控制器中获取作业ID dispatch($job).

如何在控制器中获取作业ID?

如果没有这样的函数可用,我们可以扩展dispatch辅助函数来添加这个函数吗?

queue laravel laravel-5 laravel-5.3

4
推荐指数
1
解决办法
4011
查看次数

通过数组在C中排队

我用C语言实现了一个使用结构数组的队列.

typedef struct{
    req_t     buffer[BUFFER_SIZE];   // buffer
    uint16_t    size;                          // length of the queue
    uint16_t    count;                 // number of elements present in the queue
    req_t     *p_head;                 // pointer to head of the queue (read end)
    req_t     *p_tail;                 // pointer to tail of the queue (write end)
}circular_buffer_t;

void init_cb(circular_buffer_t *p_cb){

    p_cb->p_head = p_cb->buffer;
    p_cb->p_tail = p_cb->buffer;
    p_cb->count = 0;
    p_cb->size = BUFFER_SIZE;

}
Run Code Online (Sandbox Code Playgroud)

问题是上面给出的实现仅可用于存储req_t结构的实例.现在我需要存储另一个结构的实例,我不知道如何以更一般的方式定义队列,以便我能够为不同结构的实例使用相同的队列.问题是我需要在缓冲区定义之前知道结构类型.有人知道如何解决这个问题吗?

    #ifndef CIRCULAR_BUFFER_H_
#define CIRCULAR_BUFFER_H_

#define BUFFER_SIZE 32

// macro creates variant of the queue for each …
Run Code Online (Sandbox Code Playgroud)

c queue

4
推荐指数
1
解决办法
624
查看次数