我在我的 php 脚本中使用了一个循环来运行插入查询到我的数据库中。循环循环了数千次。我在运行之前停止了我的 php 脚本。尽管如此,我的数据库表一直在不断地填充。我想肯定有一个队列。但这只是一个猜测。所以我想知道是否可以停止执行所有挂起的查询?另外我想知道是否有可能在某个地方看到那个队列?预先感谢您的回复。干杯。马克。
由于不断收集数据,我编写了一个需要一次运行多天的python程序。以前我一次运行这个程序几个月都没有问题。我最近对该程序进行了一些更新,现在大约 12 个小时后,我得到了可怕的记忆杀手。'dmesg' 输出如下:
[9084334.914808] Out of memory: Kill process 2276 (python2.7) score 698 or sacrifice child
[9084334.914811] Killed process 2276 (python2.7) total-vm:13279000kB, anon-rss:4838164kB, file-rss:8kB
Run Code Online (Sandbox Code Playgroud)
除了一般的 Python 编码外,对程序所做的主要更改是添加了多处理队列。这是我第一次使用此功能,所以我不确定这是否可能是问题的原因。我的程序中队列的目的是能够在并行进程中进行动态更改。队列在主程序中启动,并在并行进程中不断被监视。我如何在并行过程中执行此操作的简化版本如下(“q”是队列):
while(1):
if q.empty():
None
else:
fr = q.get()
# Additional code
time.sleep(1)
Run Code Online (Sandbox Code Playgroud)
'q' 的动态更改不会经常发生,因此大部分时间 q.empty() 将是 true,但是一旦进行更改,循环就会准备就绪。我的问题是,一次运行此代码多个小时会导致内存最终耗尽吗?由于“while”循环非常短并且基本上不停地运行,我认为这可能是一个问题。如果这可能是问题的原因,是否有人对如何改进代码以便不调用内存不足杀手有任何建议?
非常感谢。
我有这个 python 代码来读取一个文件,做一些处理并并行写入结果:
def line_chunker(path):
"""
Reads a file in chunks and yields each chunk.
Each chunk is guaranteed to end at a carriage return (EOL).
Each chunk is returned a single string.
The number of chunks the file is split into is equal to the number of CPU cores
available
"""
size = os.path.getsize(path)
cores = mp.cpu_count()
chunksize = size/cores # gives truncated integer
f = open(path)
s = f.readline() # skip header
while True:
part = f.readlines(chunksize)
if …Run Code Online (Sandbox Code Playgroud) 我有两个线程:生产者和消费者。生产者定期获取信息并将其提供给消费者。消费者只需要最新的信息副本,并且会不定期地检查它,可能会间隔很长时间。
促进这种交流的最简单机制似乎是创建一个Queue.Queue(maxsize=1). 但是,如果生产者在消费旧信息之前获取新信息,它将阻塞,直到消费者首先使用过时的信息。生产者有没有办法覆盖旧信息?
有没有更好的线程安全机制来实现这一点?
有没有办法以某种方式覆盖队列侦听器的输出?
Processed: Illuminate\Queue\CallQueuedHandler@call 不是很有用,如果我能以某种方式输出实际的作业名称,以及实际正在处理的一些参数,那就太好了。
挖了代码,WorkCommandclass用这一行来输出job的名字,但是我实际的job class和这里使用的job不一样。
$this->output->writeln('<error>['.Carbon::now()->format('Y-m-d H:i:s').'] Failed:</error> '.$job->getName());
优先级队列队列数据结构。由于它不遵循 FIFO,因此不应该将其命名为 Priority Array 或 Priority Linked LIst 主要是因为 Priority Queues 不像 FIFO 队列那样遵循时尚
我有一个脚本可以生成数百万个 Celery 任务,数据库中每行一个。有没有办法限制它,使其不会完全淹没芹菜?
理想情况下,我想让 Celery 保持忙碌,但我不希望 Celery 队列的长度超过几十个任务,因为这只是浪费内存(特别是因为没有某种限制,脚本会将数百万个任务添加到几乎立即排队)。
我正在使用 Laravel 5.5 并且我正在尝试设置一些快速队列处理。我遇到了一个又一个的障碍。
该网站是雇主/雇员匹配服务。因此,当雇主发布工作职位时,它需要遍历我们系统中的所有员工并计算一些变量,以确定他们与工作的匹配程度。我们已经弄清楚了这一切,但是当系统中有数千名员工时,一次处理一个需要很长时间。所以,我准备写几个表。第一个是定义位置 ID 和状态的简单表。第二个表列出了所有员工 ID、职位 ID 和正在处理的员工的状态。这只需几秒钟即可写入,然后允许用户在应用程序中继续前进。
然后我有另一个服务器设置,每分钟运行一个 cron,检查第一个表中的新条目。找到后,它会将其标记为已开始,然后抓取所有员工并遍历每个员工并在 Laravel 中启动排队作业。我定义的作业确实正确提交到队列,而运行queue:work实际上确实正确处理了作业。这都是经过测试的。
但是,我遇到的问题是,我已经为队列尝试了数据库 (MySQL)、Redis 和 SQS,但它们都非常慢。我正在使用同一台服务器来尝试操作queue:work(使用 Supervisor 并尝试运行多达 300 个进程),但随后创建了 3 个不运行 cron 而仅运行 Supervisor(每个克隆 100 个进程)的克隆,并在第一个服务器。使用数据库它可以正常处理,尽管运行 10k 排队作业需要几个小时,但是使用 SQS 和 Redis 我遇到了很多失败。脚本花费的时间太长或什么的。我检查了运行 worker 的克隆上的 CPU,它们几乎没有达到 40%,所以我不会对服务器过度征税。
我只是在阅读有关地平线的信息,我不确定它是否对这种情况有所帮助。我一直在寻找有关如何使用 Laravel 正确设置队列处理系统的信息,并且一直遇到的问题多于答案。
有没有人熟悉这些东西并且对如何正确设置它有任何建议,以便它非常快速且无故障(假设我的代码没有错误)?
更新:根据其他一些帖子建议,我想我会分享更多细节:
三个克隆中的每一个都具有以下工作器配置:
command=php /home/forge/default/artisan queue:work sqs --sleep=10 --daemon --quiet --timeout=30 --tries=3
process_name=%(program_name)s_%(process_num)02d
autostart=true
autorestart=true
stopasgroup=true
killasgroup=true
user=forge
numprocs=100
stdout_logfile=/home/forge/.forge/worker-149257.log
Run Code Online (Sandbox Code Playgroud)数据库位于 Amazon RDS 上。
我很好奇 …
AWS sqs FIFO 队列限制消费者一次只能拉取 10 条消息。我是否可以让多个消费者同时提取 10 条消息以增加我一次可以处理的消息量?
我需要使用速率受限的 API。例如,我在一秒钟内只能进行 10 次 API 调用,因此我需要等待当前一秒结束才能进行另一次 API 调用。
为了实现这一点,我想制作一个可以自行管理的异步队列。它的主要功能是让我向队列添加一个新的承诺,当承诺得到解决时,应用程序会收到通知:
let queue = new Queue()
queue.add(api.get('/somepath')).then(res => { // handle response });
Run Code Online (Sandbox Code Playgroud)
我如何使用普通的 Promise 来实现这一点?
export class AsyncQueue {
private queue: Array<Promise<any>>;
add(promise, fct) {
this.queue.push(promise);
}
resolveNext() {
this.queue.pop().then({
// how to resolve the waiting promise in my application
})
}
get length() {
return this.queue.length
}
}
Run Code Online (Sandbox Code Playgroud) queue ×10
python ×4
laravel ×2
amazon-sqs ×1
asynchronous ×1
celery ×1
eoferror ×1
es6-promise ×1
fifo ×1
javascript ×1
kill-process ×1
laravel-5.2 ×1
laravel-5.5 ×1
mysql ×1
node.js ×1
php ×1
task ×1