标签: queue

MySql - 是否有查询队列

我在我的 php 脚本中使用了一个循环来运行插入查询到我的数据库中。循环循环了数千次。我在运行之前停止了我的 php 脚本。尽管如此,我的数据库表一直在不断地填充。我想肯定有一个队列。但这只是一个猜测。所以我想知道是否可以停止执行所有挂起的查询?另外我想知道是否有可能在某个地方看到那个队列?预先感谢您的回复。干杯。马克。

mysql queue

4
推荐指数
1
解决办法
8547
查看次数

为运行多处理队列的 python 脚本激活了内存不足杀手?

由于不断收集数据,我编写了一个需要一次运行多天的python程序。以前我一次运行这个程序几个月都没有问题。我最近对该程序进行了一些更新,现在大约 12 个小时后,我得到了可怕的记忆杀手。'dmesg' 输出如下:

[9084334.914808] Out of memory: Kill process 2276 (python2.7) score 698 or sacrifice child
[9084334.914811] Killed process 2276 (python2.7) total-vm:13279000kB, anon-rss:4838164kB, file-rss:8kB
Run Code Online (Sandbox Code Playgroud)

除了一般的 Python 编码外,对程序所做的主要更改是添加了多处理队列。这是我第一次使用此功能,所以我不确定这是否可能是问题的原因。我的程序中队列的目的是能够在并行进程中进行动态更改。队列在主程序中启动,并在并行进程中不断被监视。我如何在并行过程中执行此操作的简化版本如下(“q”是队列):

while(1):

    if q.empty():
        None

    else:
        fr = q.get()
        # Additional code

    time.sleep(1)
Run Code Online (Sandbox Code Playgroud)

'q' 的动态更改不会经常发生,因此大部分时间 q.empty() 将是 true,但是一旦进行更改,循环就会准备就绪。我的问题是,一次运行此代码多个小时会导致内存最终耗尽吗?由于“while”循环非常短并且基本上不停地运行,我认为这可能是一个问题。如果这可能是问题的原因,是否有人对如何改进代码以便不调用内存不足杀手有任何建议?

非常感谢。

python queue out-of-memory multiprocessing kill-process

4
推荐指数
1
解决办法
9196
查看次数

python多处理队列错误

我有这个 python 代码来读取一个文件,做一些处理并并行写入结果:

def line_chunker(path):
    """
    Reads a file in chunks and yields each chunk.
    Each chunk is guaranteed to end at a carriage return (EOL).
    Each chunk is returned a single string.

    The number of chunks the file is split into is equal to the number of CPU cores
    available
    """
    size = os.path.getsize(path)
    cores = mp.cpu_count()
    chunksize = size/cores # gives truncated integer

    f = open(path)
    s = f.readline() # skip header
    while True:
        part = f.readlines(chunksize)
        if …
Run Code Online (Sandbox Code Playgroud)

python queue multiprocessing eoferror

4
推荐指数
1
解决办法
7439
查看次数

多线程 - 覆盖队列中的旧值?

我有两个线程:生产者和消费者。生产者定期获取信息并将其提供给消费者。消费者只需要最新的信息副本,并且会不定期地检查它,可能会间隔很长时间。

促进这种交流的最简单机制似乎是创建一个Queue.Queue(maxsize=1). 但是,如果生产者在消费旧信息之前获取新信息,它将阻塞,直到消费者首先使用过时的信息。生产者有没有办法覆盖旧信息?

有没有更好的线程安全机制来实现这一点?

python queue multithreading

4
推荐指数
2
解决办法
2239
查看次数

覆盖 Laravel 队列监听器输出 [Laravel <=5.2 only]

有没有办法以某种方式覆盖队列侦听器的输出?

Processed: Illuminate\Queue\CallQueuedHandler@call 不是很有用,如果我能以某种方式输出实际的作业名称,以及实际正在处理的一些参数,那就太好了。

挖了代码,WorkCommandclass用这一行来输出job的名字,但是我实际的job class和这里使用的job不一样。

$this->output->writeln('<error>['.Carbon::now()->format('Y-m-d H:i:s').'] Failed:</error> '.$job->getName());

queue laravel laravel-5.2

4
推荐指数
1
解决办法
954
查看次数

优先队列 VS 队列

优先级队列队列数据结构。由于它不遵循 FIFO,因此不应该将其命名为 Priority Array 或 Priority Linked LIst 主要是因为 Priority Queues 不像 FIFO 队列那样遵循时尚

queue priority-queue data-structures

4
推荐指数
1
解决办法
4550
查看次数

如何限制创建 celery 任务比消耗它们更快的脚本?

我有一个脚本可以生成数百万个 Celery 任务,数据库中每行一个。有没有办法限制它,使其不会完全淹没芹菜?

理想情况下,我想让 Celery 保持忙碌,但我不希望 Celery 队列的长度超过几十个任务,因为这只是浪费内存(特别是因为没有某种限制,脚本会将数百万个任务添加到几乎立即排队)。

python queue task celery

4
推荐指数
1
解决办法
1257
查看次数

Laravel 队列 - 如何设置 FAST 处理器

我正在使用 Laravel 5.5 并且我正在尝试设置一些快速队列处理。我遇到了一个又一个的障碍。

该网站是雇主/雇员匹配服务。因此,当雇主发布工作职位时,它需要遍历我们系统中的所有员工并计算一些变量,以确定他们与工作的匹配程度。我们已经弄清楚了这一切,但是当系统中有数千名员工时,一次处理一个需要很长时间。所以,我准备写几个表。第一个是定义位置 ID 和状态的简单表。第二个表列出了所有员工 ID、职位 ID 和正在处理的员工的状态。这只需几秒钟即可写入,然后允许用户在应用程序中继续前进。

然后我有另一个服务器设置,每分钟运行一个 cron,检查第一个表中的新条目。找到后,它会将其标记为已开始,然后抓取所有员工并遍历每个员工并在 Laravel 中启动排队作业。我定义的作业确实正确提交到队列,而运行queue:work实际上确实正确处理了作业。这都是经过测试的。

但是,我遇到的问题是,我已经为队列尝试了数据库 (MySQL)、Redis 和 SQS,但它们都非常慢。我正在使用同一台服务器来尝试操作queue:work(使用 Supervisor 并尝试运行多达 300 个进程),但随后创建了 3 个不运行 cron 而仅运行 Supervisor(每个克隆 100 个进程)的克隆,并在第一个服务器。使用数据库它可以正常处理,尽管运行 10k 排队作业需要几个小时,但是使用 SQS 和 Redis 我遇到了很多失败。脚本花费的时间太长或什么的。我检查了运行 worker 的克隆上的 CPU,它们几乎没有达到 40%,所以我不会对服务器过度征税。

我只是在阅读有关地平线的信息,我不确定它是否对这种情况有所帮助。我一直在寻找有关如何使用 Laravel 正确设置队列处理系统的信息,并且一直遇到的问题多于答案。

有没有人熟悉这些东西并且对如何正确设置它有任何建议,以便它非常快速且无故障(假设我的代码没有错误)?

更新:根据其他一些帖子建议,我想我会分享更多细节:

  1. 我正在使用 Forge 作为具有 2G RAM 的 AWS EC2 服务器的设置工具。
  2. 三个克隆中的每一个都具有以下工作器配置:

    command=php /home/forge/default/artisan queue:work sqs --sleep=10 --daemon --quiet --timeout=30 --tries=3  
    
    process_name=%(program_name)s_%(process_num)02d  
    autostart=true  
    autorestart=true  
    stopasgroup=true  
    killasgroup=true  
    user=forge  
    numprocs=100  
    stdout_logfile=/home/forge/.forge/worker-149257.log
    
    Run Code Online (Sandbox Code Playgroud)
  3. 数据库位于 Amazon RDS 上。

我很好奇 …

php queue laravel laravel-5.5 laravel-horizon

4
推荐指数
1
解决办法
4024
查看次数

AWS SQS FIFO 队列——我可以让多个消费者一次提取 10 条消息吗?

AWS sqs FIFO 队列限制消费者一次只能拉取 10 条消息。我是否可以让多个消费者同时提取 10 条消息以增加我一次可以处理的消息量?

queue fifo amazon-sqs amazon-web-services

4
推荐指数
1
解决办法
4304
查看次数

Nodejs异步承诺队列

我需要使用速率受限的 API。例如,我在一秒钟内只能进行 10 次 API 调用,因此我需要等待当前一秒结束才能进行另一次 API 调用。

为了实现这一点,我想制作一个可以自行管理的异步队列。它的主要功能是让我向队列添加一个新的承诺,当承诺得到解决时,应用程序会收到通知:

let queue = new Queue()

queue.add(api.get('/somepath')).then(res => { // handle response });
Run Code Online (Sandbox Code Playgroud)

我如何使用普通的 Promise 来实现这一点?

export class AsyncQueue {

    private queue: Array<Promise<any>>;


    add(promise, fct) {
        this.queue.push(promise);
    }

    resolveNext() {
        this.queue.pop().then({
            // how to resolve the waiting promise in my application
        })
    }

    get length() {
        return this.queue.length
    }

}
Run Code Online (Sandbox Code Playgroud)

javascript queue asynchronous node.js es6-promise

4
推荐指数
1
解决办法
2259
查看次数