我有一个接收任务并将它们放入通道的函数。每个任务都有 ID、一些属性和一个放置结果的通道。看起来像这样
task.Result = make(chan *TaskResult)
queue <- task
result := <-task.Result
sendReponse(result)
Run Code Online (Sandbox Code Playgroud)
另一个 goroutine 从通道中获取一个任务,对其进行处理并将结果放入任务的通道中
task := <-queue
task.Result <- doExpensiveComputation(task)
Run Code Online (Sandbox Code Playgroud)
这段代码工作正常。但现在我想在queue. 任务处理是一个非常昂贵的操作,所以我想一次处理队列中具有相同 ID 的所有任务。我看到了两种方法。
第一个是不要将具有相同 ID 的任务放入队列,因此当现有任务到达时,它将等待它的副本完成。这是伪代码
if newTask in queue {
existing := queue.getById(newTask.ID)
existing.waitForComplete()
sendResponse(existing.ProcessingResult)
} else {
queue.enqueue(newTask)
}
Run Code Online (Sandbox Code Playgroud)
因此,我可以使用 go channel 和 map 进行随机访问 + 一些同步方式(如互斥锁)来实现它。我不喜欢这种方式的一点是我必须在代码中同时携带地图和频道,并保持它们的内容同步。
第二种方式是将所有任务放入队列,但是当结果到达时从队列中提取任务和所有具有相同ID的任务,然后将结果发送给所有任务。这是伪代码
someTask := queue.dequeue()
result := doExpensiveComputation(someTask)
someTask.Result <- result
moreTasks := queue.getAllWithID(someTask.ID)
for _,theSameTask := range moreTasks {
theSameTask.Result <- result
}
Run Code Online (Sandbox Code Playgroud)
我知道如何以与上述相同的方式使用 chan + …
这适用于 Python 3.x
我正在从 CSV 文件中以 300 个块为单位加载记录,然后生成工作线程以将它们提交给 REST API。我将 HTTP 响应保存在队列中,以便在处理整个 CSV 文件后获得跳过记录数的计数。但是,在我向我的工作人员添加一个队列之后,线程似乎不再关闭。我想监视线程数有两个原因:(1) 一旦全部完成,我可以计算并显示跳过计数;(2) 我想增强我的脚本以生成不超过 20 个左右的线程,所以我不要耗尽内存。
我有两个问题:
q.put()吗?这是我的代码(有些简化,因为我无法分享我正在调用的 API 的确切细节):
import requests, json, csv, time, datetime, multiprocessing
TEST_FILE = 'file.csv'
def read_test_data(path, chunksize=300):
leads = []
with open(path, 'rU') as data:
reader = csv.DictReader(data)
for index, row in enumerate(reader):
if (index % chunksize == 0 and index > 0):
yield leads
del leads[:]
leads.append(row)
yield leads
def worker(leads, q):
payload = {"action":"createOrUpdate","input":leads}
r = …Run Code Online (Sandbox Code Playgroud) python queue multithreading python-3.x python-multiprocessing
我正在尝试使用 C++ 创建一个协作调度程序,为此我需要一个包含函数指针的队列。
C++ 队列 STL 库在这种情况下有帮助吗?
我正在查看 java 队列,我坚持这一行“队列实现通常不定义 equals 和 hashCode 方法的基于元素的版本,而是从 Object 继承基于身份的版本。 ”
1.需要以上文字的完整意思。
2.什么是equals和hashcode的基于元素的版本——它指的是什么?
3.基于身份的版本——这是什么意思?
4. 版本是属于类还是对象/谁的版本以及它将在哪里?
网址:https : //docs.oracle.com/javase/tutorial/collections/interfaces/queue.html
我有一个 Runnable 即使条件设置为停止也不会停止。不知道为什么会这样。有时一些线程仍然活着,其他则不是。我已经让它运行了一个多小时,看看它是否会停止,但它不会。它与我传递参数的方式有关吗?
public class ParserWorker implements Runnable {
private BlockingQueue<String> queue = null;
private ZipReader zip = null;
public ParserWorker(BlockingQueue<String> queue, ZipReader zip) {
this.queue = queue;
this.zip = zip;
}
@Override
public void run() {
try {
while (!queue.isEmpty() || !zip.isClosed()) {
String line = queue.take();
}
} catch (InterruptedException e) {
e.printStackTrace();
}
}
}
Run Code Online (Sandbox Code Playgroud)
这是开始一切的课程。
public Start() throws InterruptedException {
File zipFile = new File("C:\\development\\data2.zip");
BlockingQueue<String> queue = new ArrayBlockingQueue<String>(1024);
ZipReader zip = new ZipReader(queue, zipFile); …Run Code Online (Sandbox Code Playgroud) 我正在构建一个小嗅探器来接收我网络中设备的答案。我宁愿通过实现answers()Scapys Packet 类的方法来解决这个问题,但这并没有按预期工作。我试图通过首先创建一个嗅探线程,然后将数据包发送到设备并等待答案来绕过它。
import threading
from scapy.all import sniff
class SnifferThread(threading.Thread):
""" Thread that sniffs for incoming packets
"""
def __init__(self, queue, timeout=1, checkFunction=None, filter=None):
""" Initialization method """
if queue is None:
raise Exception, "queue must not be None"
self.q = queue
self.filter = filter
self.timeout = timeout
self.checkFunction = checkFunction
threading.Thread.__init__(self)
def putInQueue(self, packet):
""" Checks packet and puts it into the queue if it matches """
if self.checkFunction:
if self.checkFunction(packet):
self.q.put(packet)
print "put"
else:
self.q.put(packet) …Run Code Online (Sandbox Code Playgroud) 我正在通过事件订阅者处理多个事件,而不是制作单独的事件/侦听器。我想将这些事件中的几个加入队列,但我没有找到实现这一目标的方法。我遵循了官方文档(https://laravel.com/docs/5.2/events#event-subscribers),但不知道如何选择我想要排队的事件(不是所有订阅者)。
有什么建议?(请不要单独的事件/听众)
提前致谢!
Laravel 队列是异步的还是同步的?例如,如果我添加 2 个作业,它将如何执行?
1)同步:
job #1 started
job #1 finished
job #2 started
job #2 finished
Run Code Online (Sandbox Code Playgroud)
2)或异步:
job #1 started
job # 2 started
job #1 finished
job #2 finished
Run Code Online (Sandbox Code Playgroud)
如果它同步,我怎样才能使它异步(如 2)
在 ruby 中,如果我想实现一个队列,那么我可以使用标准库的 Queue 类,或者我可以使用带有 push 和 shift 方法的数组分别在队列中入队和出队。在 ruby 中实现队列的两种方法是否有任何性能差异,或者它们是否相同?
谢谢
我希望有一个进程持续监视 RPi 输入,并将变量(我选择了一个队列)设置为 True 或 False 以反映去抖动值。然后另一个进程将捕获图像(从流中)。我写了一些代码只是为了检查我可以让多处理和信号(队列)工作正常(我是一个业余编码器......)。
线程处理一切正常,但多处理会产生奇怪的错误。特别是“多处理,EOFError:读取一行时的EOF”。代码输出:-
this computer has the following number of CPU's 6
OK, started thread on separate processor, now we monitor variable
enter something, True is the key word:
Process Process-1:
Traceback (most recent call last):
File "c:\Python34\lib\multiprocessing\process.py", line 254, in _bootstrap
self.run()
File "c:\Python34\lib\multiprocessing\process.py", line 93, in run
self._target(*self._args, **self._kwargs)
File "C:\Users\Peter\Documents\NetBeansProjects\test_area\src\test4.py", line 16, in Wait4InputIsTrue
ValueIs = input("enter something, True is the key word: ")
EOFError: EOF when reading a line
Run Code Online (Sandbox Code Playgroud)
#test4.py …Run Code Online (Sandbox Code Playgroud)