标签: queue

Java中的线程安全队列和"master/worker"程序的模式/原则

我有一个问题,我认为是经典的主/工模式,我正在寻求实施方面的建议.以下是我目前正在考虑的问题:

有一种全球性的"队列",它是一个"保持工作"的中心位置.据推测,这个队列将由一种"主"对象管理.线程将被生成以找到要做的工作,当他们找到要做的工作时,他们会告诉主要事物(无论是什么)"将其添加到要完成的工作队列".

主人,也许是间隔,将产生实际执行工作的其他线程.一旦线程完成其工作,我希望它通知主服务器工作已完成.然后,主服务器可以从队列中删除此工作.

我以前在Java中完成了大量的线程编程,但它们都先于JDK 1.5,因此我不熟悉处理这种情况的相应新API.我知道JDK7将有fork-join,这对我来说可能是一个解决方案,但我无法在这个项目中使用早期访问产品.

我认为问题是:

1)如何让"线程完成工作"与主人沟通,告诉他们他们的工作已经完成,主人现在可以从队列中删除工作

2)如何有效地保证工作只安排一次.例如,假设这个队列有一百万个项目,它想告诉一个工人"去做这100件事".什么是最有效的方法来保证当它为下一个工人安排工作时,它会得到"接下来的100件事"而不是"我已经安排的100件事"?

3)为队列选择适当的数据结构.我在这里的想法是,"寻找工作要做的线程"可能会发现不止一次做同样的工作,并且他们会向主人发送一条消息,说"这里的工作",并且主人会意识到工作已经已经安排好,因此应该忽略该消息.我想确保选择正确的数据结构,以便这种计算尽可能便宜.

传统上,我会在数据库中以有限状态机方式完成此任务,从开始到完成工作"任务".但是,在这个问题中,我不想使用数据库,因为队列的数量和波动性很大.另外,我想尽量保持它的重量轻.如果可以避免,我不想使用任何应用服务器.

很有可能我所描述的这个问题是一个众所周知的名称和一套公认的解决方案的常见问题,但我,我的低级非CS学位,不知道这叫什么(即请温柔).

感谢任何和所有指针.

java algorithm queue multithreading data-structures

11
推荐指数
1
解决办法
6528
查看次数

Python利用多个处理器

让我们说我有一个很大的不同长度的音乐列表需要转换或不同大小的图像需要调整大小或类似的东西.顺序无关紧要,因此非常适合分割多个处理器.

如果我使用multiprocessing.Pool的map函数,似乎所有的工作都是提前划分的,并没有考虑到某些文件可能需要更长时间来完成其他工作的事实.

如果我有12个处理器......接近处理结束时,1或2个处理器将剩下2或3个文件处理,而其他可以使用的处理器闲置.

是否有某种队列实现可以保持所有处理器加载,直到没有剩下的工作要做?

python queue multithreading batch-file multiprocessing

11
推荐指数
1
解决办法
2390
查看次数

使用默认值初始化队列或堆栈?

您可以使用预先放置的值初始化列表:

List<int> L1 = new List<int> {1, 2, 3};

队列中是否有相当于以上的内容?我的想法是:

Queue<int> Q1 = new Queue<int> {1, 2, 3};

这不起作用.有没有解决方法?

是

Queue<int> Q1 = new Queue<int>();
Q1.Enqueue(1);
Q1.Enqueue(2);
Q1.Enqueue(3);
Run Code Online (Sandbox Code Playgroud)

唯一有效的解决方案?

c# queue stack

11
推荐指数
1
解决办法
1万
查看次数

为什么没有为队列实现len()?

内置函数len()(https://docs.python.org/3/library/functions.html#len)返回" 的对象的长度(项目数) ",但这不是用于实现queue.Queue(HTTPS: //docs.python.org/3/library/queue.html).相反,queue.Queue有一个qsize()方法,当它显然有一个长度时返回队列的近似大小; 您可以Queue在构造函数中指定a的最大长度.类似collections.deque的确合作len.

什么是不使用公共的原因len()了queue.Queue?或者:如果qsize被命名__len__为启用该len()功能,会出现什么问题?

python queue multithreading language-design

11
推荐指数
1
解决办法
709
查看次数

反转队列<Integer>并将其转换为int数组

我有一个Queue<Integer>声明为Queue<Integer> queue=new LinkedList();,我需要反转其中的元素顺序,然后将其转换为int数组.我在下面写了代码:

Collections.reverse((List)queue);
int[] res=queue.stream().mapToInt(Integer::intValue).toArray();
Run Code Online (Sandbox Code Playgroud)

此代码有两个问题:

  1. 表达铸造(List)queue;
  2. 我想知道是否有单线解决方案.

那么我们有更优雅的方式来做到这一点吗?


澄清问题:

队列是否反转并不重要.我需要的是反转元素的int数组.

java queue collections

11
推荐指数
3
解决办法
996
查看次数

Java线程等待并通知

我有两个主题.线程A从队列中提取一些元素,线程B将一些元素添加到队列中.

我希望线程A在队列为空时进入休眠状态.

当线程B向队列添加一些元素时,它应该确保线程A正在工作.如何在Java中完成?

java queue multithreading producer-consumer

10
推荐指数
1
解决办法
6088
查看次数

@Async阻止线程继续,直到其他线程完成

我有一个应用程序,其中需要计算一定数量的东西.此计算函数具有注释@Async(来自Spring Framework),这使得可以在4个线程上运行这些计算.问题是我需要大约40000个这些计算,我想知道所有计算的开始和结束之间的时间,所以我看到调用计算函数的for循环之前和之后的时间.但是现在所有的计算都被放入队列中,因此for循环立即结束,时间就像1秒钟,而计算完成需要几个小时.我已经尝试将最大队列大小设置为大约100(也很好地减少了内存使用量),但这也没有解决方案,因为我将错过它花费的总时间中的最后100次计算.

这是一些说明同样问题的代码:

执行课程:

public class Foo {
    public void executeBlaALotOfTimes() {
        long before = System.currentTimeMillis();

        for (int i = 0; i<40000; i++) {
            executeBla();
        }

        long after = System.currentTimeMillis(); 

        System.out.println("Time it took for a lot of bla to execute: " + (after - before) / 1000.0 + " seconds.");
    }
}
Run Code Online (Sandbox Code Playgroud)

以及执行计算的类:

@Service
public class Bar {
    @Async
    public void executeBla() {
        System.out.println("Bla!");
    }
}
Run Code Online (Sandbox Code Playgroud)

这将导致以下输出(假设Foo中的代码执行速度非常快):

Time it took for a lot of bla to execute: 0.0 seconds.
Bla! …

java queue spring multithreading asynchronous

10
推荐指数
1
解决办法
1万
查看次数

如何从打印机队列中检索列表或作业数?

我正在寻找一种从特定打印机获取列表​​或作业数量的方法.在最好的情况下,我希望有一个"作业对象",它代表一个打印作业及其在打印队列中的名称.

这是必需的,因为我需要监视打印机的状态,这样我就可以用新的一批文件重新填充打印队列而不会溢出打印假脱机程序

提前致谢!

编辑:添加解决方案的代码片段

private int GetNumberOfPrintJobs()
{
    LocalPrintServer server = new LocalPrintServer();
    PrintQueueCollection queueCollection = server.GetPrintQueues();
    PrintQueue printQueue = null;

    foreach (PrintQueue pq in queueCollection)
    {
        if (pq.FullName == PrinterName)
            printQueue = pq;
    }

    int numberOfJobs = 0;
    if (printQueue != null)
        numberOfJobs = printQueue.NumberOfJobs;

    return numberOfJobs;
}
Run Code Online (Sandbox Code Playgroud)

.net c# printing queue

10
推荐指数
1
解决办法
1万
查看次数

如何实现java.util.queue使用LIFO?

在Java doc中:

[...]例外的是优先级队列,它根据提供的比较器对元素进行排序,或者元素的自然排序,以及对LIFO元素进行排序的LIFO队列(或堆栈)(后进先出)

如何实现java.util.queue使用LIFO而不是FIFO?

java queue collections fifo

10
推荐指数
4
解决办法
2万
查看次数

jQuery stop(true,true)跳转到队列中所有动画的结尾

我一直在使用jQuery的stop(true, true)方法来清除正在运行的动画,以便下一个立即启动.我注意到第一个参数clearQueue清除了整个动画队列,但第二个参数jumpToEnd只跳转到当前运行动画的末尾,而不是从队列中删除的动画.有没有办法让它清晰并跳到所有排队动画的结尾?

我最终链接了几个stop(false, true)调用,但这只会处理3个排队的动画,例如.

$(this)
  .stop(false, true)
  .stop(false, true)
  .stop(false, true)
  .addClass('hover', 200);
Run Code Online (Sandbox Code Playgroud)

编辑:

stopAll根据Ates Goral的回答,我最终添加了自己的方法:

$.fn.extend({ stopAll: function () {
    while (this.queue().length > 0)
      this.stop(false, true);
    return this;
  } });
Run Code Online (Sandbox Code Playgroud)
$(this).stopAll().addClass('hover', 200);
Run Code Online (Sandbox Code Playgroud)

我希望其他人觉得这很有用.

javascript queue jquery animation

10
推荐指数
2
解决办法
8610
查看次数