标签: queue

合并频道中的项目

我有一个接收任务并将它们放入通道的函数。每个任务都有 ID、一些属性和一个放置结果的通道。看起来像这样

task.Result = make(chan *TaskResult)
queue <- task
result := <-task.Result
sendReponse(result)
Run Code Online (Sandbox Code Playgroud)

另一个 goroutine 从通道中获取一个任务,对其进行处理并将结果放入任务的通道中

task := <-queue
task.Result <- doExpensiveComputation(task)
Run Code Online (Sandbox Code Playgroud)

这段代码工作正常。但现在我想在queue. 任务处理是一个非常昂贵的操作,所以我想一次处理队列中具有相同 ID 的所有任务。我看到了两种方法。

第一个是不要将具有相同 ID 的任务放入队列,因此当现有任务到达时,它将等待它的副本完成。这是伪代码

if newTask in queue {
  existing := queue.getById(newTask.ID)
  existing.waitForComplete()
  sendResponse(existing.ProcessingResult)
} else {
  queue.enqueue(newTask)
}
Run Code Online (Sandbox Code Playgroud)

因此,我可以使用 go channel 和 map 进行随机访问 + 一些同步方式(如互斥锁)来实现它。我不喜欢这种方式的一点是我必须在代码中同时携带地图和频道,并保持它们的内容同步。

第二种方式是将所有任务放入队列,但是当结果到达时从队列中提取任务和所有具有相同ID的任务,然后将结果发送给所有任务。这是伪代码

someTask := queue.dequeue()
result := doExpensiveComputation(someTask)
someTask.Result <- result
moreTasks := queue.getAllWithID(someTask.ID)
for _,theSameTask := range moreTasks {
  theSameTask.Result <- result
}
Run Code Online (Sandbox Code Playgroud)

我知道如何以与上述相同的方式使用 chan + …

queue multithreading go

2
推荐指数
1
解决办法
406
查看次数

Python - 使用队列时不会关闭多处理线程

这适用于 Python 3.x

我正在从 CSV 文件中以 300 个块为单位加载记录,然后生成工作线程以将它们提交给 REST API。我将 HTTP 响应保存在队列中,以便在处理整个 CSV 文件后获得跳过记录数的计数。但是,在我向我的工作人员添加一个队列之后,线程似乎不再关闭。我想监视线程数有两个原因:(1) 一旦全部完成,我可以计算并显示跳过计数;(2) 我想增强我的脚本以生成不超过 20 个左右的线程,所以我不要耗尽内存。

我有两个问题:

  • 有人可以解释为什么线程在使用时保持活动状态q.put()吗?
  • 是否有不同的方法来管理线程数并监视所有线程是否已完成?

这是我的代码(有些简化,因为我无法分享我正在调用的 API 的确切细节):

import requests, json, csv, time, datetime, multiprocessing

TEST_FILE = 'file.csv'

def read_test_data(path, chunksize=300):
    leads = []
    with open(path, 'rU') as data:
        reader = csv.DictReader(data)
        for index, row in enumerate(reader):
            if (index % chunksize == 0 and index > 0):
                yield leads
                del leads[:]
            leads.append(row)
        yield leads

def worker(leads, q):
    payload = {"action":"createOrUpdate","input":leads}
    r = …
Run Code Online (Sandbox Code Playgroud)

python queue multithreading python-3.x python-multiprocessing

2
推荐指数
1
解决办法
4029
查看次数

如何在 C++ 中创建函数指针队列

我正在尝试使用 C++ 创建一个协作调度程序,为此我需要一个包含函数指针的队列。

C++ 队列 STL 库在这种情况下有帮助吗?

c++ queue stl function-pointers scheduler

2
推荐指数
1
解决办法
5056
查看次数

java队列接口

我正在查看 java 队列,我坚持这一行“队列实现通常不定义 equals 和 hashCode 方法的基于元素的版本,而是从 Object 继承基于身份的版本。 ”

1.需要以上文字的完整意思。
2.什么是equals和hashcode的基于元素的版本——它指的是什么?
3.基于身份的版本——这是什么意思?
4. 版本是属于类还是对象/谁的版本以及它将在哪里?

网址:https : //docs.oracle.com/javase/tutorial/collections/interfaces/queue.html

java queue interface

2
推荐指数
1
解决办法
455
查看次数

使用 BlockingQueue 时 Runnable 不会停止

我有一个 Runnable 即使条件设置为停止也不会停止。不知道为什么会这样。有时一些线程仍然活着,其他则不是。我已经让它运行了一个多小时,看看它是否会停止,但它不会。它与我传递参数的方式有关吗?

public class ParserWorker implements Runnable {

    private BlockingQueue<String> queue = null;
    private ZipReader zip = null;

    public ParserWorker(BlockingQueue<String> queue, ZipReader zip) {
        this.queue = queue;
        this.zip = zip;
    }

    @Override
    public void run() {
        try {
            while (!queue.isEmpty() || !zip.isClosed()) {
                String line = queue.take();
            }
        } catch (InterruptedException e) {
            e.printStackTrace();
        }
    }
}
Run Code Online (Sandbox Code Playgroud)

这是开始一切的课程。

public Start() throws InterruptedException   {
    File zipFile = new File("C:\\development\\data2.zip");
    BlockingQueue<String> queue = new ArrayBlockingQueue<String>(1024);

    ZipReader zip = new ZipReader(queue, zipFile); …
Run Code Online (Sandbox Code Playgroud)

java queue multithreading runnable

2
推荐指数
1
解决办法
895
查看次数

queue.get() 只返回一项

我正在构建一个小嗅探器来接收我网络中设备的答案。我宁愿通过实现answers()Scapys Packet 类的方法来解决这个问题,但这并没有按预期工作。我试图通过首先创建一个嗅探线程,然后将数据包发送到设备并等待答案来绕过它。

import threading
from scapy.all import sniff
class SnifferThread(threading.Thread):

    """ Thread that sniffs for incoming packets
    """

    def __init__(self, queue, timeout=1, checkFunction=None, filter=None):
        """ Initialization method """
        if queue is None:
            raise Exception, "queue must not be None"

        self.q = queue
        self.filter = filter
        self.timeout = timeout
        self.checkFunction = checkFunction

        threading.Thread.__init__(self)


    def putInQueue(self, packet):
        """ Checks packet and puts it into the queue if it matches """
        if self.checkFunction:
            if self.checkFunction(packet):
                self.q.put(packet)
                print "put"
        else:
            self.q.put(packet) …
Run Code Online (Sandbox Code Playgroud)

python queue scapy python-multithreading

2
推荐指数
1
解决办法
1800
查看次数

入队 Laravel 事件订阅者

我正在通过事件订阅者处理多个事件,而不是制作单独的事件/侦听器。我想将这些事件中的几个加入队列,但我没有找到实现这一目标的方法。我遵循了官方文档(https://laravel.com/docs/5.2/events#event-subscribers),但不知道如何选择我想要排队的事件(不是所有订阅者)。

有什么建议?(请不要单独的事件/听众)

提前致谢!

queue events laravel

2
推荐指数
1
解决办法
1536
查看次数

Laravel 队列中的作业将按什么顺序执行?

Laravel 队列是异步的还是同步的?例如,如果我添加 2 个作业,它将如何执行?

1)同步:

job #1 started
job #1 finished
job #2 started
job #2 finished
Run Code Online (Sandbox Code Playgroud)

2)或异步:

job #1 started
job # 2 started
job #1 finished
job #2 finished
Run Code Online (Sandbox Code Playgroud)

如果它同步,我怎样才能使它异步(如 2)

php queue asynchronous symfony laravel

2
推荐指数
1
解决办法
2333
查看次数

在 ruby​​ 中使用 Queue 类与使用数组实现队列的区别

在 ruby​​ 中,如果我想实现一个队列,那么我可以使用标准库的 Queue 类,或者我可以使用带有 push 和 shift 方法的数组分别在队列中入队和出队。在 ruby​​ 中实现队列的两种方法是否有任何性能差异,或者它们是否相同?

谢谢

ruby algorithm queue performance

2
推荐指数
1
解决办法
483
查看次数

Python 3:多处理,EOFError:读取一行时的EOF

我希望有一个进程持续监视 RPi 输入,并将变量(我选择了一个队列)设置为 True 或 False 以反映去抖动值。然后另一个进程将捕获图像(从流中)。我写了一些代码只是为了检查我可以让多处理和信号(队列)工作正常(我是一个业余编码器......)。

线程处理一切正常,但多处理会产生奇怪的错误。特别是“多处理,EOFError:读取一行时的EOF”。代码输出:-

this computer has the following number of CPU's 6
OK, started thread on separate processor, now we monitor variable
enter something, True is the key word:
Process Process-1:
Traceback (most recent call last):
  File "c:\Python34\lib\multiprocessing\process.py", line 254, in _bootstrap
    self.run()
  File "c:\Python34\lib\multiprocessing\process.py", line 93, in run
    self._target(*self._args, **self._kwargs)
  File "C:\Users\Peter\Documents\NetBeansProjects\test_area\src\test4.py", line 16, in Wait4InputIsTrue
    ValueIs = input("enter something, True is the key word: ")
EOFError: EOF when reading a line
Run Code Online (Sandbox Code Playgroud)

该模块监视“端口”(我使用键盘作为输入):

#test4.py …
Run Code Online (Sandbox Code Playgroud)

python queue multiprocessing eoferror

2
推荐指数
1
解决办法
4872
查看次数