标签: queue

使用sidekiq处理两个单独的redis实例?

下午好,

我有两个独立但相关的应用程序.它们都应该有自己的后台队列(阅读:单独的Sidekiq和Redis进程).但是,我偶尔能够把工作推到app2队列中app1.

从简单的队列/推送角度来看,如果app1没有现有的Sidekiq/Redis堆栈,那么很容易做到这一点:

# In a process, far far away

# Configure client 
Sidekiq.configure_client do |config|
  config.redis = { :url => 'redis://redis.example.com:7372/12', :namespace => 'mynamespace' }
end

# Push jobs without class definition 
Sidekiq::Client.push('class' => 'Example::Workers::Trace', 'args' => ['hello!'])

# Push jobs overriding default's 
Sidekiq::Client.push('queue' => 'example', 'retry' => 3, 'class' =>     'Example::Workers::Trace', 'args' => ['hello!'])
Run Code Online (Sandbox Code Playgroud)

然而,考虑到我已经调用了a Sidekiq.configure_client和Sidekiq.configure_serverfrom app1,可能在这里需要发生一些事情.

显然,我可以直接从Sidekiq内部获取序列化和规范化代码,并手动推送到app2redis队列,但这似乎是一个脆弱的解决方案.我希望能够使用该Client.push功能.

我想我的理想解决方案就像:

SidekiqTWO.configure_client { remote …

queue ruby-on-rails redis sidekiq

9
推荐指数
1
解决办法
3354
查看次数

cron脚本充当队列还是cron的队列?

我打赌有人已经解决了这个问题,也许我正在使用错误的谷歌搜索条件来告诉我答案,但这是我的情况.

我有一个我想要运行的脚本,但我希望它只在预定时运行,一次只运行一个.(无法同时运行脚本)

现在粘性部分就是说我有一个名为"myhappyschedule"的表,它有我需要的数据和预定的时间.此表甚至可以同时具有多个计划时间,每个表都可以运行此脚本.所以基本上我需要每次脚本触发时都有一个队列,他们都需要等待每个脚本才能完成.(有时这可能需要一分钟才能让脚本有时执行很多分钟)

我正在考虑做的是创建一个脚本,每隔5分钟检查一次myhappyschedule并收集那些已调度的脚本,将它们放入队列,其中另一个脚本可以按顺序执行队列中的每个"作业"或事件.所有这一切听起来都很混乱.

为了做到这一点 - 我应该说我允许用户在myhappyschedule中安排事情而不是编辑crontab.

关于这个还能做什么?文件锁和脚本调用脚本?

sql queue cron

8
推荐指数
1
解决办法
896
查看次数

在C#中单独的线程上快速记录/记录数据

我们正在开发一种应用程序,可以连续从多个外部硬件设备读取数据.数据速率介于0.5MB - 10MB /秒之间,具体取决于外部硬件配置.

目前正在BackgroundWorker上读取外部设备.尝试使用相同的BackgroundWorker将获取的数据写入磁盘似乎不是一个好的解决方案,所以我们要做的是,将这些数据排队以写入文件,并使另一个线程将数据出列并写入一份文件.请注意,数据将有一个生产者和单个消费者.

我们正在考虑为此目的使用同步队列.但是我们认为这个轮子必须已经发明了很多次,所以我们应该向SO社区提出一些意见.

对于我们应该注意的事项的任何建议或意见将不胜感激.

c# queue file-io logging thread-safety

8
推荐指数
1
解决办法
2648
查看次数

C#中的私有继承?

我是C#的新手,想知道C#中是否存在类似私有继承的东西(比如在C++中)?

我的问题如下:我想实现一个队列(将其命名为SpecialQueue),并进行以下更改:

  1. 队列具有可存储在其中的最大项目数.
  2. 如果队列已满并且您插入了一个新项目,则一个项目将自动从队列中取出(队列中的第一个项目),新项目将插入到队列的末尾.
  3. 队列提供的某些方法(例如peek())不应暴露给SpecialQueue的用户.

在c ++中,我会从队列中私有ihnerit,只暴露我想要的方法,并根据我的意愿改变其他方法.但不幸的是,队列中的所有方法都没有"覆盖"修饰符,我不知道如何在C#中实现它.

有帮助吗?

问候,丹

c# queue inheritance

8
推荐指数
1
解决办法
3251
查看次数

Python可迭代队列

我需要知道何时关闭队列并且不会有更多项目因此我可以结束迭代.

我通过在队列中放置一个标记来做到这一点:

from Queue import Queue

class IterableQueue(Queue): 

    _sentinel = object()

    def __iter__(self):
        return self

    def close(self):
        self.put(self._sentinel)

    def next(self):
        item = self.get()
        if item is self._sentinel:
            raise StopIteration
        else:
            return item
Run Code Online (Sandbox Code Playgroud)

鉴于这是队列的一个非常常见的用途,是不是有任何内置实现?

python iteration queue

8
推荐指数
1
解决办法
7024
查看次数

Amazon SQS长轮询不返回所有邮件

我需要在1次读取中读取Amazon SQS队列中的所有消息,然后根据创建的时间戳对其进行排序并对其执行业务逻辑.

为了确保检查所有SQS主机的消息,我启用了长轮询.我这样做的方法是将队列的默认等待时间设置为10秒.(任何大于0的值都将启用长轮询).

但是,当我尝试读取队列时,它仍然没有给我所有的消息,我不得不做多次读取以获取所有消息.我甚至通过每个接收请求的代码启用长轮询,仍然无法正常工作.以下是我正在使用的代码.

AmazonSQSClient sqsClient = new AmazonSQSClient(new ClasspathPropertiesFileCredentialsProvider());
sqsClient.setEndpoint("sqs.us-west-1.amazonaws.com");
String queueUrl = "https://sqs.us-west-1.amazonaws.com/12345/queueName";
ReceiveMessageRequest receiveRequest = new ReceiveMessageRequest().withQueueUrl(queueUrl).withMaxNumberOfMessages(10).withWaitTimeSeconds(20);
List<Message> messages = sqsClient.receiveMessage(receiveRequest).getMessages();
Run Code Online (Sandbox Code Playgroud)

我在队列中有3条消息,每次运行代码时都得到不同的结果,有时候我得到所有3条消息,有时只有1条.可见性超时我设置为2秒,只是为了消除消息变得不可见的原因因为没有在阅读中看到它们.这是短轮询的预期行为.长轮询应该可以消除多个民意调查.我在这里做错了吗?

谢谢

java queue amazon-sqs amazon-web-services long-polling

8
推荐指数
1
解决办法
7680
查看次数

dispatch_group_notify不等待一个dispatch_group_async

两个并发后台任务需要修补两个需要在dispatch_group_notify块中合并的独立阵列.问题在于,超出了第一个块但超出了dispatch_group_notify,而没有等待执行第二个后台任务.它们之间唯一不同的是,第一个进行本地搜索,第二个远程调用Web服务.任何线索为什么第二个跳过?

编辑:我也尝试使用dispatch_barrier_async 在/sf/answers/1370640911/中提到的方法,但仍然相同.

 dispatch_group_t taskGroup = dispatch_group_create(); 
 dispatch_queue_t mainQueue = dispatch_get_main_queue();

__block NSArray *localAddresses;
__block NSArray *remoteAddresses;

//Get local array in the background 
dispatch_group_async(taskGroup, mainQueue, ^{
    //localAddresses  is set
});

//get remote array from server
dispatch_group_async(taskGroup, mainQueue, ^{
 [[MDAddressManager instance] searchForPlacesContainingText:query
                                                      location:alocation
                                                    completion:^(NSArray* addresses, MDError *error){
       //remoteAddresses is set
});


//Merge two arrays
dispatch_group_notify(taskGroup, mainQueue, ^{
   //remoteAddresses and local addresses are merged
});
Run Code Online (Sandbox Code Playgroud)

而远程搜索方法看起来像这样

- (void)searchForPlacesContainingText:(NSString *)searchText
                         location:(CLLocation *)alocation
                       completion:(MDAddressManagerBlock)completionBlock
{
NSDictionary *parameters = [[NSMutableDictionary alloc] init];

[parameters …
Run Code Online (Sandbox Code Playgroud)

queue asynchronous grand-central-dispatch ios objective-c-blocks

8
推荐指数
1
解决办法
5914
查看次数

为什么JavaFX中没有ObservableQueues?

为什么JavaFX中没有ObservableQueue?如果我们查看FXCollections的Java 9文档(只是为了查看是否有任何更改),我们会看到静态帮助器方法来创建Observable集,列表和映射.还有一些方法可以创建Observable浮点数和整数数组.但是,无法创建ObservableQueue.Java中的Queue接口有许多有趣的实现,包括ArrayDeque,DelayQueue,ConcurrentLinkedQueue,PriorityQueue等.为什么不支持在JavaFX中创建ObservableQueues的原因是什么.

java queue javafx observablelist

8
推荐指数
1
解决办法
1827
查看次数

在Laravel 5中设置队列

我试图在返回HTTP响应后运行代码.我知道Laravel 5支持队列,但我仍然觉得它们令人困惑.我试图在用户注册后运行代码,需要用户的密码和用户名.这个答案似乎很有趣,但不能直接适用于Laravel.

  • 如何在队列中创建作业?
  • 如何将数据传递给新作业?

我知道这听起来很懒,但我真的不明白文档.

php queue laravel laravel-5

8
推荐指数
1
解决办法
9861
查看次数

并发队列性能不佳

我有两个主题.一种是从串行端口收集数据并将其放入一个数组中,然后将其添加到并发队列中.另一个线程是采用这些数组并实时绘制数据.每秒大约有150个数据包,每个50字节.我遇到的问题是,当它运行时,它消耗大约10%的CPU.这是一个非常快速的核心I7 Haswell.如果我在消费线程中添加Thread.Sleep(1),则CPU利用率降至1%.问题是如果我把它放在Thread.Sleep(2)然后数据包不再同步.所以这不是一个解决方案,如果它在较慢的计算机上运行,​​它可能无法正常工作.

代码很简单.这是生产者线程:

    static void FillQueue(byte[] buffer)
    {
        dataQueue.Enqueue(buffer);
    }
Run Code Online (Sandbox Code Playgroud)

这是消费者线程:

        while (continuePolling)
        {                
            Thread.Sleep(1); //if removed, there is 10% CPU utilization.  If higher then packet synchronization is lost.

            if (dataQueue.TryDequeue(out result))
            {
                ProcessPacket(result);
            }               
        }
Run Code Online (Sandbox Code Playgroud)

我发现这很难理解,因为ProcessPacket方法执行大约需要0.3毫秒,并且每秒调用大约10秒.

我现在尝试使用阻塞集合.这是制片人

 BlockingCollection<byte[]> dataQueue = new BlockingCollection<byte[]>;

 public static void addData(buffer)
 {
      dataQueue.add(buffer);
 }
Run Code Online (Sandbox Code Playgroud)

这是消费者

 while (dataQueue.TryTake(out result)
 {
     ProcessPacket(result);
 }
Run Code Online (Sandbox Code Playgroud)

完全没有区别!它使用10%的CPU,如果我添加一个Thread.Sleep(1)是好的,但Thread.Sleep(2)和我丢失的数据包我得不到它.每个数据包中有50个字节.而已.它们的消耗速度和生产速度一样快.谢谢

.net c# queue concurrency multithreading

8
推荐指数
1
解决办法
3409
查看次数