标签: queue

固定大小的FIFO队列的正确术语是什么?

以下数据结构的正确名称是什么?它是:

  • 一个固定大小的队列
  • 新元素将添加到开头
  • 每当队列超过一定大小时,就会从末尾删除许多元素

queue collections fifo data-structures

6
推荐指数
1
解决办法
1497
查看次数

python - >多处理模块

这是我想要完成的事情 -

  1. 我有大约一百万个文件需要解析并将解析后的内容附加到单个文件中.
  2. 由于单个过程需要很长时间,因此该选项已经完成.
  3. 不使用Python中的线程,因为它实际上是运行单个进程(由于GIL).
  4. 因此使用多处理模块.即产生4个子流程以利用所有原始核心功能:)

到目前为止,我现在需要一个所有子流程都可以访问的共享对象.我正在使用多处理模块中的队列.此外,所有子进程都需要将其输出写入单个文件.我想是一个使用Locks的潜在地方.在我运行时使用此设置,我没有得到任何错误(所以父进程看起来很好),它只是停止.当我按下ctrl-C时,我看到一个追溯(每个子过程一个).也没有输出写入输出文件.这是代码(请注意,没有多个进程,一切运行正常) -

import os
import glob
from multiprocessing import Process, Queue, Pool

data_file  = open('out.txt', 'w+')

def worker(task_queue):
    for file in iter(task_queue.get, 'STOP'):
        data = mine_imdb_page(os.path.join(DATA_DIR, file))
        if data:
            data_file.write(repr(data)+'\n')
    return

def main():
    task_queue = Queue()
    for file in glob.glob('*.csv'):
        task_queue.put(file)
    task_queue.put('STOP') # so that worker processes know when to stop

    # this is the block of code that needs correction.
    if multi_process:
        # One way to spawn 4 processes
        # pool = Pool(processes=4) …
Run Code Online (Sandbox Code Playgroud)

python queue multiprocessing

6
推荐指数
1
解决办法
4650
查看次数

为什么std :: queue :: empty()不是线程安全的?const函数不应该是线程安全的吗?

为什么empty()函数std::queue不是线程安全的?(请参阅此处.)const函数不应始终是线程安全的,因为它是只读的吗?

也许mutable在类中可能有一些变量可能由几个线程编写?

queue multithreading stl

6
推荐指数
1
解决办法
2287
查看次数

SQL Server,使用表作为队列

我使用SQL Server 2008 R2作为排队机制.我将项添加到表中,外部服务读取并处理这些项.这很好用,但缺少一件事 - 我需要机制,我可以尝试从表中选择一行,如果没有,则阻塞直到有(优选在特定的时间段内).

任何人都可以建议我如何实现这一目标?

sql sql-server queue sql-server-2008

6
推荐指数
3
解决办法
2万
查看次数

Java中可靠的UDP协议实现 - 为什么会这样?

我目前正在使用可靠UDP协议的Java实现,可在此处找到.该项目绝对没有教程,所以我发现很难找出问题.

我已经设置了客户端和服务器.服务器在localhost:1234上运行,客户端在localhost:1235上运行.服务器首先建立,并循环侦听连接 -

try {
            ReliableSocket clientSocket = server.socket.accept();
            InetSocketAddress clientAddress = (InetSocketAddress) clientSocket.getRemoteSocketAddress();

            Logger.getLogger("ServerConnectionListener").info("New Connection from "+
                    clientAddress.getHostName()+":"+clientAddress.getPort()+" Processing...");
            LessurConnectedClient client = new LessurConnectedClient(clientSocket);
            ClientCommunicationSocketListener listener = new ClientCommunicationSocketListener(this, client);
            clientSocket.addListener(listener);
        } catch (Exception e) {
            e.printStackTrace();
        }
Run Code Online (Sandbox Code Playgroud)

建立连接后,它会为该套接字上的事件创建一个侦听器 -

class ClientCommunicationSocketListener implements ReliableSocketListener {
    ServerConnectionListener connectionListener;
    LessurConnectedClient client;

    public ClientCommunicationSocketListener(ServerConnectionListener connectionListener, LessurConnectedClient client){
        this.connectionListener = connectionListener;
        this.client = client;
    }

    @Override
    public void packetReceivedInOrder() {
        connectionListener.server.handlePacket(client);
    }

    @Override
    public void packetReceivedOutOfOrder() {
        connectionListener.server.handlePacket(client);
    }
}
Run Code Online (Sandbox Code Playgroud)

收到数据包后,它会将其传递给server.handlePacket,后者执行打印"Packet …

java queue networking udp rudp

6
推荐指数
1
解决办法
5393
查看次数

如何以编程方式检查Google Appengine中任务队列的状态?

我正在启动一个队列来完成Python Appengine应用程序中的一些任务.有没有办法获得队列的状态?我想检查它是否仍在运行或任务不完整.

python queue google-app-engine

6
推荐指数
1
解决办法
550
查看次数

具有固定大小FIFO队列的生产者/消费者模式

我需要在固定大小的FIFO队列周围实现生产者/消费者模式.我认为围绕ConcurrentQueue的包装类可能适用于此,但我不完全确定(我之前从未使用过ConcurrentQueue).这种扭曲是队列只需要保存固定数量的项目(在我的例子中是字符串).我的应用程序将有一个生产者任务/线程和一个消费者任务/线程.当我的消费者任务运行时,它需要在那个时刻出现队列中存在的所有项目并对其进行处理.

对于它的价值,我的消费者处理排队的项目只不过是通过SOAP将它们上传到一个不是100%可靠的网络应用程序.如果无法建立连接或调用SOAP调用失败,我应该丢弃这些项目并返回队列以获取更多信息.由于SOAP的开销,我试图最大化队列中可以在一次SOAP调用中发送的项目数.

有时,我的制作人可能会比我的消费者能够删除和处理它们更快地添加项目.如果队列已满并且我的生产者需要添加另一个项目,我需要将新项目排队,然后将最旧的项目出列,以便队列的大小保持固定.基本上,我需要始终保留队列中生成的最新项目(即使这意味着某些项目不会被消耗,因为我的消费者当前正在处理以前的项目).

关于生产者如果队列中的项目是固定的那样保留数字,我从这个问题中发现了一个潜在的想法:

固定大小队列,在新的enques上自动将旧值出列

我目前在ConcurrentQueue周围使用一个包装类(基于该答案)和Enqueue()方法,如下所示:

public class FixedSizeQueue<T>
{
    readonly ConcurrentQueue<T> queue = new ConcurrentQueue<T>();

    public int Size { get; private set; }

    public FixedSizeQueue(int size)
    {
        Size = size;
    }

    public void Enqueue(T obj)
    {
        // add item to the queue
        queue.Enqueue(obj);

        lock (this) // lock queue so that queue.Count is reliable
        {
            while (queue.Count > Size) // if queue count > max queue size, then dequeue an item
            {
                T objOut;
                queue.TryDequeue(out objOut);
            }
        } …
Run Code Online (Sandbox Code Playgroud)

.net c# queue producer-consumer concurrent-collections

6
推荐指数
2
解决办法
4188
查看次数

PHP排队问题 - 冗余进程

遇到一个问题,我的一个团队成员正在PHP中进行排队过程.PHP脚本在命令行上运行,并在每个循环后递归调用自身,以检查数据库中是否有任何项目等待处理.如果有,它会自行处理,处理队列中的项目,并重复.如果没有,它就会死掉,而cron作业每5分钟重新启动一次队列.

有时两个进程同时运行,抓取相同的队列,并以彼此的方式进入.我正在考虑在唤醒过程中引入一个抖动,这样在进程启动之间就是一个随机的时间.

有没有更好的办法?

php queue

6
推荐指数
1
解决办法
157
查看次数

通用c#循环(分区/排序)队列

我经常需要处理一个项目队列,其中没有一个用户应该能够阻塞队列,并且队列中的项目应该按某种顺序处理.我经常写一个类来做这个,但我认为应该有一些通用版本,但我找不到一个.

所以我正在寻找一个队列类,我可以在其中指定一个类型,一个分区选择器和一个选择器,以便我可以将对象添加到队列中,然后当我将对象退出时,我从第一个对象中获取我的订单说明符排序的下一个分区.

例如,我会像这样调用如何分区以及如何对队列进行排序:

 var queue = new RoundRobinQueue<Message>(
            _ => _.UserID,
            _ => _.SendDate
            );
Run Code Online (Sandbox Code Playgroud)

后,我已经添加了很多信息的,我可以Parallel.ForEach在我的队列中的项目,并处理它们在最早的顺序SendDate下一个User.这样,如果一个用户很慢,他的项目将不会阻塞队列,因为他只获得一个线程,但如果只有一个用户,他是唯一的分区,所以他获得所有线程.

我看了一遍,但在C#中找不到一个很好的通用实现.有任何想法吗?

c# linq queue round-robin

6
推荐指数
1
解决办法
1303
查看次数

列表的哪一端是顶部?

不可否认,这似乎是一个愚蠢的问题,但请耐心等待.

在我给出的一个与Stack相关的问题中,我们要定义一个函数,它返回堆栈"顶部"的项目.对我来说,我不知道哪一方是"顶级",因为真的,任何一方都可以.

另外,我给出了一个与Queue有关的问题,它要求我们定义一个返回队列"正面"项的函数.同样,任何一方都可以被解释为"前线"

如果问题被重写为要求"返回列表中的最后一项"或"列表中的第一项",那么这是完全合理的,但不幸的是情况并非如此.

所以我想知道:在堆栈/队列方面是否有"前"和"上"的定义基本上只是列表,或者这些术语是否含糊不清?

python queue stack list

6
推荐指数
2
解决办法
810
查看次数