我正在尝试通过队列使解析器成为多线程。它似乎有效,但我的队列挂起。如果有人能告诉我如何解决这个问题,我将不胜感激,因为我很少编写多线程代码。
此代码从 Q 中读取:
from silk import *
import json
import datetime
import pandas
import Queue
from threading import Thread
l = []
q = Queue.Queue()
def parse_record():
d = {}
while not q.empty():
rec = q.get()
d['timestamp'] = rec.stime.strftime("%Y-%m-%d %H:%M:%S")
# ... many ops like this
d['dport'] = rec.dport
l.append(d) # l is global
Run Code Online (Sandbox Code Playgroud)
这填补了问题:
def parse_records():
ffile = '/tmp/query.rwf'
flows = SilkFile(ffile, READ)
numthreads = 2
# fill queue
for rec in flows:
q.put(rec)
# work on Queue …Run Code Online (Sandbox Code Playgroud) Python 3 文档给出了使用队列的工作线程的示例(https://docs.python.org/3/library/queue.html):
def worker():
while True:
item = q.get()
if item is None:
break
do_work(item)
q.task_done()
q = queue.Queue()
threads = []
for i in range(num_worker_threads):
t = threading.Thread(target=worker)
t.start()
threads.append(t)
for item in source():
q.put(item)
# block until all tasks are done
q.join()
# stop workers
for i in range(num_worker_threads):
q.put(None)
for t in threads:
t.join()
Run Code Online (Sandbox Code Playgroud)
在这个例子中,为什么是q.join()必要的?q.put(None)后续的和操作难道不会t.join()完成同样的事情,即阻塞主线程直到工作线程完成吗?
在 laravel 4 中,我可以使用 将闭包推送到队列上queue::push(function...),但这在 laravel 5 中不再有效。相反,我似乎必须为要推送到队列中的每个函数创建一个自定义 Job 类。
由于我想要推送的函数只有几行长,并且只在一个地方使用过,所以为每种情况编写一个完整的类似乎真的是浪费时间和空间。
我目前能想到的最好的“解决方案”是要么有一个辅助函数,它使用 PHP 的反射方法在调用时动态生成一个新类,要么有一个接受闭包作为参数的通用作业,即dispatch(new ClosureJob(function(){...}));
这些对我来说似乎不太理想。还有其他方法可以做到这一点吗?或者我必须实施其中之一吗?
import threading
from queue import Queue
print_lock = threading.Lock()
def job(worker):
with print_lock:
with open('messages.txt') as f:
for line in f:
print(line)
def reader():
while True:
worker = q.get()
job(worker)
q.task_done()
q = Queue()
for x in range(10):
t = threading.Thread(target=reader)
t.daemon = True
t.start()
for worker in range(1):
q.put(worker)
q.join()
Run Code Online (Sandbox Code Playgroud)
所以我想要的是每个线程读取不同的消息,
我已经使用 python 实现了一些线程应用程序。在运行时我想捕获 CTRL+C sigcall 并退出程序。为此,我注册了一个名为 exit_graceively 的函数,该函数还负责以更受控的方式停止线程。然而,它似乎不起作用。看来处理程序从未被调用过
这是我正在使用的示例:
import Queue
import threading
import signal
import sys
import time
queue = Queue.Queue()
workers = list()
def callback(id, item):
print("{}: {}".format(id, item))
time.sleep(1)
def exit_gracefully(signum, frame):
print("Ctrl+C was pressed. Shutting threads down ...")
print("Stopping workers ...")
for worker in workers:
worker.stop()
sys.exit(1)
class ThreadedTask(threading.Thread):
def __init__(self, id, queue, callbacks):
threading.Thread.__init__(self)
self._stop_event = threading.Event()
self.id = str(id)
self.queue = queue
self.callbacks = callbacks
self._stopped = False
def run(self):
while not self.stopped():
item …Run Code Online (Sandbox Code Playgroud) 是否有一个选项可以检查队列是否为空并且所有线程都已完成处理其任务(即 task_done() 已运行)?仅当两个条件都满足时我才想添加其他任务。
因为我希望能够添加更多任务,所以我不能只是退出未使用的线程并使用 activeCount()。另外,我不想 join() 队列,因为我希望能够主动监视执行进度。
这是一个示例代码:
from Queue import Queue
from threading import Thread
import time
queue = Queue()
def my_method(queue):
while True:
task = queue.get()
time.sleep((task + 2) * 3)
queue.task_done()
num_queue_threads = 2
queue_threads = [None] * num_queue_threads
for i in range(num_queue_threads):
queue_threads[i] = Thread(target=my_method, args=(queue,))
queue_threads[i].setDaemon(True)
queue_threads[i].start()
for task in range(3):
queue.put(task)
#queue.join() #need to wait actively
while True:
print("queue.qsize(): {}, queue.empty(): {}".format(queue.qsize(), queue.empty()))
time.sleep(1)
Run Code Online (Sandbox Code Playgroud)
一旦开始执行最后一个任务,队列就为空。
我想记录工作人员回调的工作状态,并在左侧队列中包含一些消息。
到目前为止,我找到的唯一解决方案是获取queue_declare结果数组的第二个成员,但这应该在每个工作进程启动时调用一次,并且我需要在每条新消息中更新信息。
UPD:基于IMSoP 答案的解决方案:
<?php
require_once __DIR__ . '/../vendor/autoload.php';
use PhpAmqpLib\Connection\AMQPStreamConnection;
$connection = new AMQPStreamConnection('localhost', 5672, 'guest', 'guest');
$channel = $connection->channel();
$channel->queue_declare('test1');
echo "[*] Waiting for messages. To exit press CTRL+C\n";
$callback = function ($msg) use ($channel) {
list (, $cn) = $channel->queue_declare('test1', true);
echo ' [x] Received ', $msg->body, " $cn left";
for ($i = 0; $i < $msg->body; ++$i) {
sleep(1);
echo '.';
}
echo "\n";
};
$channel->basic_qos(null, 1, null);
$channel->basic_consume('test1', '', false, …Run Code Online (Sandbox Code Playgroud) 我是 Bull 的新手。我尝试根据他们的文档代码运行 bull。流程正在启动,但我的工作尚未完成,或者不确定它是否触发完成事件?我不确定我在哪里犯了错误
下面附上我的代码
const Queue = require('bull');
const myFirstQueue = new Queue('my-first-queue',
{
redis: {
port: Config.redis.port,
host: Config.redis.host,
password: Config.redis.password
},
});
(async function ad() {
const job = await myFirstQueue.add({
foo: 'bar',
});
})();
myFirstQueue.process(async (job, data) => {
log.debug({ job, data }, 'Job data');
let progress = 0;
for (let i = 0; i < 10; i++) {
await doSomething(data);
progress += 10;
job.progress(progress).catch(err => {
log.debug({ err }, 'Job progress err');
});
log.debug({ progress …Run Code Online (Sandbox Code Playgroud) Python中是否有这样一个队列的实现,它具有固定长度,当满时,弹出最左边的元素,同时在右边追加一个元素?
假设q = Queue([1,2,3,4,5])我的队列的最大长度为 5,我说q.append(6),那么预期输出print(q)应该是Queue([2,3,4,5,6])
这个问题也可以链接到:是否有一个固定大小的队列可以删除过多的元素?
我正在使用 flutter audio_service ( https://pub.dev/packages/audio_service ) 和 just_audio ( https://pub.dev/packages/just_audio ) 在前台和后台播放音频文件。
我对BackgroundAudioTask进行了子类化,添加了 AudioPlayer 的实例,并重写了所需的方法。例如我更新了重复模式:
@override
Future<void> onSetRepeatMode(AudioServiceRepeatMode repeatMode) async {
super.onSetRepeatMode(repeatMode);
switch (repeatMode)
{
case AudioServiceRepeatMode.all:
_audioPlayer.setLoopMode(LoopMode.all);
break;
case AudioServiceRepeatMode.none:
_audioPlayer.setLoopMode(LoopMode.off);
break;
case AudioServiceRepeatMode.one:
_audioPlayer.setLoopMode(LoopMode.one);
break;
case AudioServiceRepeatMode.group:
_audioPlayer.setLoopMode(LoopMode.all);
break;
}
}
@override
Future<void> onPlayFromMediaId(String mediaId) async {
await _audioPlayer.stop();
// Get queue index by mediaId.
_queueIndex = _queue.indexWhere((test) => test.id == mediaId);
// Set url source to _audioPlayer.
downloadAndPlay(_mediaItem);
}
Run Code Online (Sandbox Code Playgroud)
我正在尝试添加播放列表并循环播放音频文件,但似乎缺少某些内容,并且在播放第 1 首曲目后,播放器会尝试从相同的第 1 首曲目开始并再次播放。这是我的代码(downloadAndPlay …
queue ×10
python ×6
python-3.x ×2
audio ×1
closures ×1
dispatch ×1
flutter ×1
freeze ×1
job-queue ×1
just-audio ×1
laravel-5 ×1
node.js ×1
php ×1
php-amqplib ×1
python-2.7 ×1
rabbitmq ×1