标签: queue

PHP + MySQL队列

我需要一个充当队列的简单表.我的MySQL服务器限制是我不能使用InnoDB表,只能使用MyISAM.

客户/工作人员将同时工作,他们每次都需要接收不同的工作.

我的想法是做以下(伪代码):

$job <- SELECT * FROM queue ORDER BY last_pop ASC LIMIT 1;
UPDATE queue SET last_pop WHERE id = $job->id
return $job
Run Code Online (Sandbox Code Playgroud)

我曾尝试过表锁和"GET_LOCK",但没有任何事情发生,工人有时会收到同样的工作.

php mysql queue message-queue

5
推荐指数
1
解决办法
6031
查看次数

您将如何在.NET/SQL Server中构建此消息处理系统?

假设我有一个SQL Server数据库表,其中包含X(> 1,000,000)条记录,需要通过某些工作进程(控制台)逐个处理(获取数据,执行外部操作,更新db状态)应用程序,Windows服务,Azure工作者角色等).我需要保证每行只处理一次.无论有多少机器/流程用于处理消息,理想的排他性都将得到保证.我最担心的是两个SELECT同时抓取相同的行.

我知道有更好的数据存储在那里排队,但我没有这个项目的奢侈品.我有完成这个想法,但我正在寻找更多.

.net sql-server queue

5
推荐指数
1
解决办法
327
查看次数

GCD获取队列名称/标签

如何获取当前队列名称?我的意思是队列标签,如com.example.myqueue.在调试器中的Xcode 4中,我只能看到_block_invoke_1.谢谢.

iphone queue multithreading grand-central-dispatch ios

5
推荐指数
2
解决办法
4270
查看次数

Azure Queue唯一消息

我想确保我没有多次向队列插入消息.我可以使用任何ID /名称来强制执行唯一性吗?

queue azure azure-queues

5
推荐指数
2
解决办法
1820
查看次数

是dispatch_sync(dispatch_get_global_queue(xxx),task)同步还是异步

正如Apple的文档所说,dispatch_get_global_queue()是并发队列,dispatch_sync是串行的意思.那么任务是处理异步还是同步?

queue concurrency dispatch ios

5
推荐指数
1
解决办法
3869
查看次数

Swift:为Bluetooth Central Manager选择队列

我正在开发将通过BLE与智能设备连接并与其通信的应用程序。

问题是:处理蓝牙事件的最佳实践是在哪个队列中?

我阅读了很多教程,在所有教程中我都发现了这一点:

centralManager = CBCentralManager(delegate: self, queue: nil)
Run Code Online (Sandbox Code Playgroud)

他们选择处理主队列(queue: nil)中的蓝牙事件,但我认为这不是一个好习惯。因为可能有很多查询从中央设备发送到外围设备,并且有很多答案从外围设备发送到中心设备。

我认为这可能是应用程序运行缓慢的原因,并且可能会对生产力产生不利影响,对吗?

这会淹没UI更新队列吗?

queue grand-central-dispatch ios core-bluetooth swift

5
推荐指数
1
解决办法
2448
查看次数

如何为CPU密集型任务做加权公平任务队列(在Python中)?

问题

我们根据用户输入(称为“系统”)对地理数据进行了一些计算。有时一个系统需要10个位置来进行计算,有时需要1000多个位置。一个位置大约需要1秒钟来计算,希望我们将来可以加快速度。目前,我们通过在Celery工作者中使用Pool(来自billiard)多处理来实现此目的。这样做的原因是它100%地利用了所有内核,但是存在两个问题:

  • 有一些缠绵的连接(pipe可能与子进程有关)会导致工作人员在达到最大打开文件数限制时挂起(已调查,但在工作一天以上后仍未找到解决方案)
  • 我们无法将计算分散到多台计算机上。

为了解决这些问题,我可以将每个计算作为单独的Celery任务运行。但是,我们还希望为我们的用户“合理地”安排这些计算,以便:

使用小型系统(例如<50个位置)的用户不必等到大型系统(> 1000个位置)完成。系统越大,对用户而言增加的等待时间就越少(无论如何,他们正在做其他事情,并且可以获得通知)。因此,这类似于加权公平排队 。

我找不到能够实现这种优先级排序的分布式任务运行器。我想念一个吗?我查看了Celery,RQ,Huey,MRQ,Pulsar Queue等,以及诸如Luigi和Pinball之类的数据处理管道,但似乎没有一个能够轻松实现这一点。

其中大多数建议通过为更高优先级的队列添加更多工作器来创建优先级。但是,这将不起作用,因为工作人员将开始争取CPU时间。(RQ通过先清空完整的第一个传入队列,然后再移动到下一个队列来做不同的操作)。


拟议的架构

我想可以运行一个多处理程序,每个CPU有一个进程,以WFQ方式从多个Redis列表中获取,每个Redis列表都是一个特定的队列。

这是正确的方法吗?当然,要使队列配置具有动态性(例如,也将其存储在Redis中,并在每对已处理的任务中重新加载它),并进行事件监视以获取洞察力,还有很多工作要做。

其他想法:

  • 每个任务需要大约3MB的数据,这些数据来自Postgres,这对于系统中的每个位置(或至少每100个位置中的两个位置)都是相同的。使用当前方法,它位于共享内存中,每个进程都可以快速访问它。我可能必须在每台计算机上设置一个本地Redis实例以将该数据缓存到其中,因此并非每个进程都会一次又一次地获取数据。
  • 我一直在跟ZeroMQ交流,它有很多诱人的可能性,但是除了监视之外,它似乎不太适合。还是我错了?
  • 更有意义的是:将每个工作程序作为单独的程序运行,并使用管理程序进行管理,或启动一个程序,为每个CPU派生一个子代(无需配置CPU计数),并且可能还监视其子代是否卡住的过程?
  • 我们已经运行过RabbitMQ和Redis,因此我也可以将RMQ用于队列。在我看来,使用RMQ唯一获得的好处是,通过使用确认,不会在工作人员崩溃时丢失任务,而以使用更困难的库/复杂协议为代价。

还有其他建议吗?

python queue task multiprocessing

5
推荐指数
0
解决办法
361
查看次数

使用ThreadPoolTask​​Executor,Spring的默认队列大小是多少?

我正在使用Spring 4.3.8.RELEASE和Java 7.我想创建一个线程池来执行任务,所以我在Spring consxet中设置了以下内容

<bean id="myThreadFactory" class="org.springframework.scheduling.concurrent.CustomizableThreadFactory">
    <constructor-arg value="mythread-"/>
</bean>
<bean id="taskExecutor" class="org.springframework.scheduling.concurrent.ThreadPoolTaskExecutor">
    <property name="threadFactory" ref="myThreadFactory"/>
    <property name="corePoolSize" value="10" />
    <property name="maxPoolSize" value="50" />
</bean>
Run Code Online (Sandbox Code Playgroud)

为了不破坏机器的CPU使用率,我想限制系统中可能存在的并发线程数量(我假设这是maxPOolSize所做的).但我不希望任务被丢弃.如果我向taskPoolExecutor添加了50多个任务,51号会发生什么?更重要的是,在开始被删除之前可以添加的默认任务数是多少?

queue spring multithreading threadpool threadpoolexecutor

5
推荐指数
1
解决办法
1万
查看次数

Python 3 multiprocessing.Process里面的类?

我有一些复杂的A类计算数据(大型矩阵计算),同时消耗B类的输入数据.

A本身使用多个核心.但是,当A需要下一个数据块时,它会等待相当长的一段时间,因为B在相同的主线程中运行.

由于A主要使用GPU进行计算,我希望B在CPU上同时收集数据.

我的最新方法是:

# every time *A* needs data
def some_computation_method(self):
    data = B.get_data()
    # start computations with data
Run Code Online (Sandbox Code Playgroud)

......和B看起来大致相同:

class B(object):

    def __init__(self, ...):
        ...
        self._queue = multiprocessing.Queue(10)
        loader = multiprocessing.Process(target=self._concurrent_loader)

    def _concurrent_loader(self):
        while True:
            if not self._queue.full():
                # here: data loading from disk and pre-processing
                # that requires access to instance variables
                # like self.path, self.batch_size, ...
                self._queue.put(data_chunk)
            else:
                # don't eat …
Run Code Online (Sandbox Code Playgroud)

python queue concurrency multiprocessing python-3.x

5
推荐指数
1
解决办法
826
查看次数

KeyError与keras.model.fit_generator一起使用keras.utils.Sequence

问题陈述:

我试图弄清楚如何在keras.model.fit_generator函数中使用keras.utils.Sequence对象。我的代码如下。

码:

# -*- coding: utf-8 -*-
#!C:\Users\adam.hendry\AppData\Local\Programs\Python\Python35\python3.exe

# Imports

from __future__ import absolute_import
from __future__ import division
from __future__ import print_function

import numpy as np
import sys
import os
import shutil
import glob
import scandir
import math
import multiprocessing as mp
from multiprocessing import Process, Queue, Event
import threading
import time
import csv
import pandas as pd

import keras

from keras.preprocessing.image import load_img, img_to_array

from keras.models import Sequential

from keras.layers import Dense, Dropout, Flatten …
Run Code Online (Sandbox Code Playgroud)

queue multithreading multiprocessing keras

5
推荐指数
1
解决办法
608
查看次数