我有一个线程池,从队列中提供任务.通常,少量线程能够将队列保持为空.偶尔,特别大的事件突发会使队列大小在零上保持一段时间,但不会持续很长时间.
我担心的是重复的事件或携带废弃以前事件的数据.在高容量时,这样的事件可以在队列中共存很短的时间.我希望能够将这些内容混为一谈,以便减少浪费时间.
混淆这样一个队列的好方法是什么?我可以在插入时通过从头到尾迭代并寻找替换的候选者来混淆,但这似乎太暴力了.如果您有代码或库建议,请记住我使用的是Java.
我有一个Java堆栈(Tomcat等),我需要从运行COBOL的大型机向Java端发送消息.任何可用的开源队列都可以做到吗?
我有一个SQL Server表,其中包含我的程序需要"跟进"的订单(调用web服务以查看是否已完成某些操作).我的应用程序是多线程的,可以在多个服务器上运行实例.目前,每隔一段时间(在线程计时器上),该过程ORDER BY NEWID()从"未确认"订单列表中随机选择100行并检查它们,标记任何成功返回的行.
问题是线程之间以及不同进程之间存在很多重叠,并且它们无法保证很快就会检查新订单.此外,一些订单永远不会被"确认"并且已经死亡,这意味着它们会妨碍需要确认的订单,如果我一遍又一遍地选择它们,会减慢流程.
我更喜欢的是系统地检查所有未完成的订单.我可以想到两个简单的方法:
我还缺少其他任何想法吗?这甚至有意义吗?如果我需要澄清,请告诉我.
结果:
我最终做的是在我的表中添加一个LastCheckedForConfirmation列,其中包含已完成的订单,我添加了一个存储过程,使用GETDATE()更新单个未确认的行并踢出订单号,以便我的进程可以检查它.它尽可能多地旋转(假设进程愿意运行的线程数),并使用存储过程为每个线程获取新的OrderNumber.
要处理"不要尝试行太多次或太旧时"的问题,我这样做了:如果"自上次尝试以来的时间">"创建和上次尝试之间的时间",SP将只返回一行,因此,每次再次尝试之前需要两倍的时间 - 首先等待5秒,然后是10秒,然后是20,40,80,120,然后在尝试15次(6小时)后,它会放弃该命令SP永远不会再回来了.
感谢大家的帮助 - 我知道我这样做的方式并不理想,我很欣赏你指点正确的方向.
所以这可能是一个愚蠢的问题,但如果它需要私钥和公钥,使用Amazon SQS有什么意义呢?如果客户端有私钥和公钥,他们可能会通过反编译或其他方式发现密钥......
我能想到的唯一安全方法是使用具有私钥和公钥的代理(如php).但那么首先使用SQS有什么意义呢?SQS的主要好处(我可以看到)它可以向上扩展,您不必担心收到的消息数量.但是,如果你要使用代理,那么你也必须扩展...我希望我的担忧有意义吗?
谢谢
我试图用Python编写一个多线程程序来加速(低于1000).csv文件的复制.多线程代码比顺序方法运行得更慢.我用时间计算代码profile.py.我相信我一定做错了什么,但我不确定是什么.
环境:
该方法:
我将所有文件路径放在一个队列中,并创建4-8个工作线程从队列中拉出文件路径并复制指定的文件.在任何情况下,多线程代码都不会更快:
我假设这是一个I/O绑定任务,因此多线程应该有助于操作速度.
代码:
import Queue
import threading
import cStringIO
import os
import shutil
import timeit # time the code exec with gc disable
import glob # file wildcards list, glob.glob('*.py')
import profile #
fileQueue = Queue.Queue() # global
srcPath = 'C:\\temp'
destPath = 'D:\\temp'
tcnt = 0
ttotal = 0
def CopyWorker():
while True:
fileName = fileQueue.get()
fileQueue.task_done()
shutil.copy(fileName, destPath)
#tcnt += 1
print 'copied: ', tcnt, ' of …Run Code Online (Sandbox Code Playgroud) Rails 3.2.9
Ruby 1.9.3dev (2011-09-23 revision 33323) [i686-linux]
sidekiq 2.10.1
Run Code Online (Sandbox Code Playgroud)
如果我使用自定义队列名称定义下面的工作者
class BulkEmailWorker
include Sidekiq::Worker
# https://github.com/mperham/sidekiq/wiki/Advanced-Options
sidekiq_options(queue: :bulk_mails, backtrace: true)
# https://github.com/mperham/sidekiq/wiki/Best-Practices
# Section: Make your jobs small and simple
def perform
# https://github.com/mperham/sidekiq/wiki/Delayed-Extensions
scheduled_mails = MailTemplate.with_schedule
scheduled_mails.each do |mail_template|
BulkMailer.delay.general_mail(mail_template.id)
end
end
end
Run Code Online (Sandbox Code Playgroud)
我像这样调用这个工人:
BulkEmailWorker.perform_async
Run Code Online (Sandbox Code Playgroud)
它不起作用(换句话说,不发送电子邮件).
检查redis中的数据我发现如下:
redis 127.0.0.1:6379> keys *
1) "myapp:stat:processed:2013-04-24"
2) "myapp:queue:default"
3) "myapp:stat:processed"
4) "myapp:queues"
redis 127.0.0.1:6379> lrange myapp:queue:default -100 100
1) "{\"retry\":true,\"queue\":\"default\",\"timeout\":30,\"class\":\"Sidekiq::Extensions::DelayedMailer\",\"args\":[\"---\\n- !ruby/class 'BulkMailer'\\n- :general_mail\\n- - 1\\n\"],\"jid\":\"e46693944febf7ae26ec67a0\"}"
Run Code Online (Sandbox Code Playgroud)
redis 127.0.0.1:6379>
从上面可以看出,工作人员被分配到队列"默认",我想由于这个原因,工人无法处理.
我在上面的场景中使用以下命令启动了sidekiq:
bundle exec …Run Code Online (Sandbox Code Playgroud) 实现具有基于1)优先级和2)时间的排序的任务队列,具体地,创建任务的时间或时间戳(未插入队列中),优先考虑具有较旧时间戳的任务.

这是我到目前为止所得到的; 比我想象的要简单得多,不仅仅需要一个PriorityQueue.在比较器中,如果两个优先级相等,则进行另一个比较Task.time,否则,比较基于just Task.priority.
import java.util.Comparator;
import java.util.PriorityQueue;
public class QueueWithPriorityAndTimeSort {
enum TaskPriority {
High, Medium, Low
}
class Task implements Comparable<Task> {
long time;
TaskPriority priority;
Task(TaskPriority p, long t) {
time = t;
priority = p;
}
public int compareTo(Task task2) {
return priority.compareTo(task2.priority);
}
}
class HighPriorityWithTimeComparator implements Comparator<Task> {
public int compare(Task task1, Task task2) {
int compareResult = task1.compareTo(task2);
if( compareResult == 0){
//same priority, now compare …Run Code Online (Sandbox Code Playgroud) 我有一个进程间队列,该队列通常为空,并且只有一段时间不出现任何东西。在我的一个线程中,我想定义一个while循环,如下所示:
def mythread(queue1):
while (queue1.get_nowait() != 1):
#do stuff
Run Code Online (Sandbox Code Playgroud)
直到队列为空,这在我的情况下会很快发生,一直很好。当队列为空时,调用get_nowait()或get(False)会引发空队列异常。有什么方法可以检查队列而不阻塞并且不引发空异常吗?
我有一份工作要执行,将短信发送给用户。我想在指定的队列名称上运行此作业。例如,此作业已添加到“ SMS ”队列中。所以我找到了一种方法,但是存在一些错误。
创建作业实例并使用onQueue()函数执行以下操作:
$resetPasswordJob = new SendGeneratedPasswordResetCode(app()->make(ICodeNotifier::class), [
'number' => $user->getMobileNumber(),
'operationCode' => $operationCode
]);
$resetPasswordJob->onQueue('SMS');
$this->dispatch($resetPasswordJob);
Run Code Online (Sandbox Code Playgroud)
我的Job班级是这样的:
class SendGeneratedPasswordResetCode implements ShouldQueue
{
use InteractsWithQueue, Queueable;
/**
* The code notifier implementation.
*
* @var ICodeNotifier
*/
protected $codeNotifier;
/**
* Create the event listener.
*
* @param ICodeNotifier $codeNotifier
* @return self
*/
public function __construct(ICodeNotifier $codeNotifier)
{
$this->codeNotifier = $codeNotifier;
}
/**
* Handle the event.
*
* @return void
*/
public function handle()
{
echo …Run Code Online (Sandbox Code Playgroud) Laravel 5.7包含"电子邮件验证"功能,但不是异步电子邮件发送(在用户注册或重新发送链接页面期间)并不理想.
有没有办法通过队列发送电子邮件验证电子邮件而不重写Laravel 5.7中的整个电子邮件验证?
queue ×10
java ×3
amazon-s3 ×1
amazon-sqs ×1
cobol ×1
copy ×1
file ×1
interprocess ×1
laravel ×1
laravel-5 ×1
laravel-5.1 ×1
laravel-5.7 ×1
mainframe ×1
messaging ×1
performance ×1
python ×1
python-2.7 ×1
sidekiq ×1
sql-server ×1
task-queue ×1