标签: queue

一种分离队列条目的好方法

我有一个线程池,从队列中提供任务.通常,少量线程能够将队列保持为空.偶尔,特别大的事件突发会使队列大小在零上保持一段时间,但不会持续很长时间.

我担心的是重复的事件或携带废弃以前事件的数据.在高容量时,这样的事件可以在队列中共存很短的时间.我希望能够将这些内容混为一谈,以便减少浪费时间.

混淆这样一个队列的好方法是什么?我可以在插入时通过从头到尾迭代并寻找替换的候选者来混淆,但这似乎太暴力了.如果您有代码或库建议,请记住我使用的是Java.

java queue performance

3
推荐指数
1
解决办法
2509
查看次数

任何可用于将消息从COBOL发送到Java的开源消息队列?

我有一个Java堆栈(Tomcat等),我需要从运行COBOL的大型机向Java端发送消息.任何可用的开源队列都可以做到吗?

java queue messaging cobol mainframe

3
推荐指数
1
解决办法
606
查看次数

跨多个线程处理数据库队列 - 设计建议

我有一个SQL Server表,其中包含我的程序需要"跟进"的订单(调用web服务以查看是否已完成某些操作).我的应用程序是多线程的,可以在多个服务器上运行实例.目前,每隔一段时间(在线程计时器上),该过程ORDER BY NEWID()从"未确认"订单列表中随机选择100行并检查它们,标记任何成功返回的行.

问题是线程之间以及不同进程之间存在很多重叠,并且它们无法保证很快就会检查新订单.此外,一些订单永远不会被"确认"并且已经死亡,这意味着它们会妨碍需要确认的订单,如果我一遍又一遍地选择它们,会减慢流程.

我更喜欢的是系统地检查所有未完成的订单.我可以想到两个简单的方法:

  1. 应用程序一次提取一个订单进行检查,将其检查的最后一个订单作为参数传递,然后SQL Server回退下一个未经确认的订单.更多数据库调用,但这确保在合理的时间范围内检查每个订单.但是,不同的服务器可能会不必要地连续重新检查相同的顺序.
  2. SQL Server跟踪它要求进程检查的最后一个顺序,可能在一个表中,并为每个请求提供一个唯一的顺序,递增其计数器.这涉及将最后一个订单存储在SQL中,我想避免,但它也确保线程不会不必要地同时检查相同的订单

我还缺少其他任何想法吗?这甚至有意义吗?如果我需要澄清,请告诉我.


结果:

我最终做的是在我的表中添加一个LastCheckedForConfirmation列,其中包含已完成的订单,我添加了一个存储过程,使用GETDATE()更新单个未确认的行并踢出订单号,以便我的进程可以检查它.它尽可能多地旋转(假设进程愿意运行的线程数),并使用存储过程为每个线程获取新的OrderNumber.

要处理"不要尝试行太多次或太旧时"的问题,我这样做了:如果"自上次尝试以来的时间">"创建和上次尝试之间的时间",SP将只返回一行,因此,每次再次尝试之前需要两倍的时间 - 首先等待5秒,然后是10秒,然后是20,40,80,120,然后在尝试15次(6小时)后,它会放弃该命令SP永远不会再回来了.

感谢大家的帮助 - 我知道我这样做的方式并不理想,我很欣赏你指点正确的方向.

sql-server queue multithreading

3
推荐指数
1
解决办法
3611
查看次数

为什么在公开私钥时使用Amazon SQS

所以这可能是一个愚蠢的问题,但如果它需要私钥和公钥,使用Amazon SQS有什么意义呢?如果客户端有私钥和公钥,他们可能会通过反编译或其他方式发现密钥......

我能想到的唯一安全方法是使用具有私钥和公钥的代理(如php).但那么首先使用SQS有什么意义呢?SQS的主要好处(我可以看到)它可以向上扩展,您不必担心收到的消息数量.但是,如果你要使用代理,那么你也必须扩展...我希望我的担忧有意义吗?

谢谢

queue amazon-s3 amazon-sqs amazon-web-services

3
推荐指数
1
解决办法
1254
查看次数

多线程文件复制比多核CPU上的单个线程慢得多

我试图用Python编写一个多线程程序来加速(低于1000).csv文件的复制.多线程代码比顺序方法运行得更慢.我用时间计算代码profile.py.我相信我一定做错了什么,但我不确定是什么.

环境:

  • 四核CPU.
  • 2个硬盘,一个包含源文件.另一个是目的地.
  • 1000个csv文件,大小从几KB到10 MB不等.

该方法:

我将所有文件路径放在一个队列中,并创建4-8个工作线程从队列中拉出文件路径并复制指定的文件.在任何情况下,多线程代码都不会更快:

  • 顺序复制需要150-160秒
  • 线程副本需要230秒

我假设这是一个I/O绑定任务,因此多线程应该有助于操作速度.

代码:

    import Queue
    import threading
    import cStringIO 
    import os
    import shutil
    import timeit  # time the code exec with gc disable
    import glob    # file wildcards list, glob.glob('*.py')
    import profile # 

    fileQueue = Queue.Queue() # global
    srcPath  = 'C:\\temp'
    destPath = 'D:\\temp'
    tcnt = 0
    ttotal = 0

    def CopyWorker():
        while True:
            fileName = fileQueue.get()
            fileQueue.task_done()
            shutil.copy(fileName, destPath)
            #tcnt += 1
            print 'copied: ', tcnt, ' of …
Run Code Online (Sandbox Code Playgroud)

python queue multithreading copy file

3
推荐指数
1
解决办法
4583
查看次数

使用"自定义"队列名称的Sidekiq worker被分配到"default"队列

Rails 3.2.9
Ruby 1.9.3dev (2011-09-23 revision 33323) [i686-linux]
sidekiq  2.10.1
Run Code Online (Sandbox Code Playgroud)

如果我使用自定义队列名称定义下面的工作者

  class BulkEmailWorker
    include Sidekiq::Worker
    # https://github.com/mperham/sidekiq/wiki/Advanced-Options
    sidekiq_options(queue: :bulk_mails, backtrace: true)

    # https://github.com/mperham/sidekiq/wiki/Best-Practices
    # Section: Make your jobs small and simple
    def perform
      # https://github.com/mperham/sidekiq/wiki/Delayed-Extensions
      scheduled_mails = MailTemplate.with_schedule
      scheduled_mails.each do |mail_template|
        BulkMailer.delay.general_mail(mail_template.id)
      end
    end
  end
Run Code Online (Sandbox Code Playgroud)

我像这样调用这个工人:

  BulkEmailWorker.perform_async
Run Code Online (Sandbox Code Playgroud)

它不起作用(换句话说,不发送电子邮件).

检查redis中的数据我发现如下:

  redis 127.0.0.1:6379> keys *
  1) "myapp:stat:processed:2013-04-24"
  2) "myapp:queue:default"
  3) "myapp:stat:processed"
  4) "myapp:queues"

  redis 127.0.0.1:6379> lrange myapp:queue:default -100 100

   1) "{\"retry\":true,\"queue\":\"default\",\"timeout\":30,\"class\":\"Sidekiq::Extensions::DelayedMailer\",\"args\":[\"---\\n- !ruby/class 'BulkMailer'\\n- :general_mail\\n- - 1\\n\"],\"jid\":\"e46693944febf7ae26ec67a0\"}"
Run Code Online (Sandbox Code Playgroud)

redis 127.0.0.1:6379>

从上面可以看出,工作人员被分配到队列"默认",我想由于这个原因,工人无法处理.

我在上面的场景中使用以下命令启动了sidekiq:

  bundle exec …
Run Code Online (Sandbox Code Playgroud)

queue ruby-on-rails-3.2 sidekiq

3
推荐指数
2
解决办法
8081
查看次数

具有优先级和时间的多字段排序的队列

意图

实现具有基于1)优先级和2)时间的排序的任务队列,具体地,创建任务的时间或时间戳(未插入队列中),优先考虑具有较旧时间戳的任务.

在此输入图像描述

试着

这是我到目前为止所得到的; 比我想象的要简单得多,不仅仅需要一个PriorityQueue.在比较器中,如果两个优先级相等,则进行另一个比较Task.time,否则,比较基于just Task.priority.

import java.util.Comparator;
import java.util.PriorityQueue;

public class QueueWithPriorityAndTimeSort {
   enum TaskPriority {
      High, Medium, Low
   }

   class Task implements Comparable<Task> {   
      long time;
      TaskPriority priority;

      Task(TaskPriority p, long t) {      
         time = t;
         priority = p;
      }

      public int compareTo(Task task2) {
         return priority.compareTo(task2.priority);
      }
   }

   class HighPriorityWithTimeComparator implements Comparator<Task> {
      public int compare(Task task1, Task task2) {
         int compareResult = task1.compareTo(task2);
         if( compareResult == 0){           
            //same priority, now compare …
Run Code Online (Sandbox Code Playgroud)

java queue priority-queue

3
推荐指数
1
解决办法
1455
查看次数

在python中使用get_nowait()而不引发空异常

我有一个进程间队列,该队列通常为空,并且只有一段时间不出现任何东西。在我的一个线程中,我想定义一个while循环,如下所示:

def mythread(queue1):

    while (queue1.get_nowait() != 1):
        #do stuff
Run Code Online (Sandbox Code Playgroud)

直到队列为空,这在我的情况下会很快发生,一直很好。当队列为空时,调用get_nowait()或get(False)会引发空队列异常。有什么方法可以检查队列而不阻塞并且不引发空异常吗?

queue multithreading interprocess python-2.7

3
推荐指数
1
解决办法
2764
查看次数

如何在指定队列处运行Laravel作业

我有一份工作要执行,将短信发送给用户。我想在指定的队列名称上运行此作业。例如,此作业已添加到“ SMS ”队列中。所以我找到了一种方法,但是存在一些错误。

创建作业实例并使用onQueue()函数执行以下操作:

    $resetPasswordJob = new SendGeneratedPasswordResetCode(app()->make(ICodeNotifier::class), [
        'number' => $user->getMobileNumber(),
        'operationCode' => $operationCode
    ]);

    $resetPasswordJob->onQueue('SMS');

    $this->dispatch($resetPasswordJob);
Run Code Online (Sandbox Code Playgroud)

我的Job班级是这样的:

class SendGeneratedPasswordResetCode implements ShouldQueue
{
   use InteractsWithQueue, Queueable;

/**
 * The code notifier implementation.
 *
 * @var ICodeNotifier
 */
protected $codeNotifier;

/**
 * Create the event listener.
 *
 * @param ICodeNotifier $codeNotifier
 * @return self
 */
public function __construct(ICodeNotifier $codeNotifier)
{
    $this->codeNotifier = $codeNotifier;
}

/**
 * Handle the event.
 *
 * @return void
 */
public function handle()
{
    echo …
Run Code Online (Sandbox Code Playgroud)

queue task-queue laravel-5 laravel-5.1 laravel-queue

3
推荐指数
1
解决办法
2506
查看次数

如何排队Laravel 5.7"电子邮件验证"电子邮件发送

Laravel 5.7包含"电子邮件验证"功能,但不是异步电子邮件发送(在用户注册或重新发送链接页面期间)并不理想.

有没有办法通过队列发送电子邮件验证电子邮件而不重写Laravel 5.7中的整个电子邮件验证?

queue email-verification laravel laravel-5.7

3
推荐指数
2
解决办法
2501
查看次数