下午好,
我有两个独立但相关的应用程序.它们都应该有自己的后台队列(阅读:单独的Sidekiq和Redis进程).但是,我偶尔能够把工作推到app2队列中app1.
从简单的队列/推送角度来看,如果app1没有现有的Sidekiq/Redis堆栈,那么很容易做到这一点:
# In a process, far far away
# Configure client
Sidekiq.configure_client do |config|
config.redis = { :url => 'redis://redis.example.com:7372/12', :namespace => 'mynamespace' }
end
# Push jobs without class definition
Sidekiq::Client.push('class' => 'Example::Workers::Trace', 'args' => ['hello!'])
# Push jobs overriding default's
Sidekiq::Client.push('queue' => 'example', 'retry' => 3, 'class' => 'Example::Workers::Trace', 'args' => ['hello!'])
Run Code Online (Sandbox Code Playgroud)
然而,考虑到我已经调用了a Sidekiq.configure_client和Sidekiq.configure_serverfrom app1,可能在这里需要发生一些事情.
显然,我可以直接从Sidekiq内部获取序列化和规范化代码,并手动推送到app2redis队列,但这似乎是一个脆弱的解决方案.我希望能够使用该Client.push功能.
我想我的理想解决方案就像:
SidekiqTWO.configure_client { remote …
我打赌有人已经解决了这个问题,也许我正在使用错误的谷歌搜索条件来告诉我答案,但这是我的情况.
我有一个我想要运行的脚本,但我希望它只在预定时运行,一次只运行一个.(无法同时运行脚本)
现在粘性部分就是说我有一个名为"myhappyschedule"的表,它有我需要的数据和预定的时间.此表甚至可以同时具有多个计划时间,每个表都可以运行此脚本.所以基本上我需要每次脚本触发时都有一个队列,他们都需要等待每个脚本才能完成.(有时这可能需要一分钟才能让脚本有时执行很多分钟)
我正在考虑做的是创建一个脚本,每隔5分钟检查一次myhappyschedule并收集那些已调度的脚本,将它们放入队列,其中另一个脚本可以按顺序执行队列中的每个"作业"或事件.所有这一切听起来都很混乱.
为了做到这一点 - 我应该说我允许用户在myhappyschedule中安排事情而不是编辑crontab.
关于这个还能做什么?文件锁和脚本调用脚本?
我们正在开发一种应用程序,可以连续从多个外部硬件设备读取数据.数据速率介于0.5MB - 10MB /秒之间,具体取决于外部硬件配置.
目前正在BackgroundWorker上读取外部设备.尝试使用相同的BackgroundWorker将获取的数据写入磁盘似乎不是一个好的解决方案,所以我们要做的是,将这些数据排队以写入文件,并使另一个线程将数据出列并写入一份文件.请注意,数据将有一个生产者和单个消费者.
我们正在考虑为此目的使用同步队列.但是我们认为这个轮子必须已经发明了很多次,所以我们应该向SO社区提出一些意见.
对于我们应该注意的事项的任何建议或意见将不胜感激.
我是C#的新手,想知道C#中是否存在类似私有继承的东西(比如在C++中)?
我的问题如下:我想实现一个队列(将其命名为SpecialQueue),并进行以下更改:
在c ++中,我会从队列中私有ihnerit,只暴露我想要的方法,并根据我的意愿改变其他方法.但不幸的是,队列中的所有方法都没有"覆盖"修饰符,我不知道如何在C#中实现它.
有帮助吗?
问候,丹
我需要知道何时关闭队列并且不会有更多项目因此我可以结束迭代.
我通过在队列中放置一个标记来做到这一点:
from Queue import Queue
class IterableQueue(Queue):
_sentinel = object()
def __iter__(self):
return self
def close(self):
self.put(self._sentinel)
def next(self):
item = self.get()
if item is self._sentinel:
raise StopIteration
else:
return item
Run Code Online (Sandbox Code Playgroud)
鉴于这是队列的一个非常常见的用途,是不是有任何内置实现?
我需要在1次读取中读取Amazon SQS队列中的所有消息,然后根据创建的时间戳对其进行排序并对其执行业务逻辑.
为了确保检查所有SQS主机的消息,我启用了长轮询.我这样做的方法是将队列的默认等待时间设置为10秒.(任何大于0的值都将启用长轮询).
但是,当我尝试读取队列时,它仍然没有给我所有的消息,我不得不做多次读取以获取所有消息.我甚至通过每个接收请求的代码启用长轮询,仍然无法正常工作.以下是我正在使用的代码.
AmazonSQSClient sqsClient = new AmazonSQSClient(new ClasspathPropertiesFileCredentialsProvider());
sqsClient.setEndpoint("sqs.us-west-1.amazonaws.com");
String queueUrl = "https://sqs.us-west-1.amazonaws.com/12345/queueName";
ReceiveMessageRequest receiveRequest = new ReceiveMessageRequest().withQueueUrl(queueUrl).withMaxNumberOfMessages(10).withWaitTimeSeconds(20);
List<Message> messages = sqsClient.receiveMessage(receiveRequest).getMessages();
Run Code Online (Sandbox Code Playgroud)
我在队列中有3条消息,每次运行代码时都得到不同的结果,有时候我得到所有3条消息,有时只有1条.可见性超时我设置为2秒,只是为了消除消息变得不可见的原因因为没有在阅读中看到它们.这是短轮询的预期行为.长轮询应该可以消除多个民意调查.我在这里做错了吗?
谢谢
两个并发后台任务需要修补两个需要在dispatch_group_notify块中合并的独立阵列.问题在于,超出了第一个块但超出了dispatch_group_notify,而没有等待执行第二个后台任务.它们之间唯一不同的是,第一个进行本地搜索,第二个远程调用Web服务.任何线索为什么第二个跳过?
编辑:我也尝试使用dispatch_barrier_async 在/sf/answers/1370640911/中提到的方法,但仍然相同.
dispatch_group_t taskGroup = dispatch_group_create();
dispatch_queue_t mainQueue = dispatch_get_main_queue();
__block NSArray *localAddresses;
__block NSArray *remoteAddresses;
//Get local array in the background
dispatch_group_async(taskGroup, mainQueue, ^{
//localAddresses is set
});
//get remote array from server
dispatch_group_async(taskGroup, mainQueue, ^{
[[MDAddressManager instance] searchForPlacesContainingText:query
location:alocation
completion:^(NSArray* addresses, MDError *error){
//remoteAddresses is set
});
//Merge two arrays
dispatch_group_notify(taskGroup, mainQueue, ^{
//remoteAddresses and local addresses are merged
});
Run Code Online (Sandbox Code Playgroud)
而远程搜索方法看起来像这样
- (void)searchForPlacesContainingText:(NSString *)searchText
location:(CLLocation *)alocation
completion:(MDAddressManagerBlock)completionBlock
{
NSDictionary *parameters = [[NSMutableDictionary alloc] init];
[parameters …Run Code Online (Sandbox Code Playgroud) queue asynchronous grand-central-dispatch ios objective-c-blocks
为什么JavaFX中没有ObservableQueue?如果我们查看FXCollections的Java 9文档(只是为了查看是否有任何更改),我们会看到静态帮助器方法来创建Observable集,列表和映射.还有一些方法可以创建Observable浮点数和整数数组.但是,无法创建ObservableQueue.Java中的Queue接口有许多有趣的实现,包括ArrayDeque,DelayQueue,ConcurrentLinkedQueue,PriorityQueue等.为什么不支持在JavaFX中创建ObservableQueues的原因是什么.
我有两个主题.一种是从串行端口收集数据并将其放入一个数组中,然后将其添加到并发队列中.另一个线程是采用这些数组并实时绘制数据.每秒大约有150个数据包,每个50字节.我遇到的问题是,当它运行时,它消耗大约10%的CPU.这是一个非常快速的核心I7 Haswell.如果我在消费线程中添加Thread.Sleep(1),则CPU利用率降至1%.问题是如果我把它放在Thread.Sleep(2)然后数据包不再同步.所以这不是一个解决方案,如果它在较慢的计算机上运行,它可能无法正常工作.
代码很简单.这是生产者线程:
static void FillQueue(byte[] buffer)
{
dataQueue.Enqueue(buffer);
}
Run Code Online (Sandbox Code Playgroud)
这是消费者线程:
while (continuePolling)
{
Thread.Sleep(1); //if removed, there is 10% CPU utilization. If higher then packet synchronization is lost.
if (dataQueue.TryDequeue(out result))
{
ProcessPacket(result);
}
}
Run Code Online (Sandbox Code Playgroud)
我发现这很难理解,因为ProcessPacket方法执行大约需要0.3毫秒,并且每秒调用大约10秒.
我现在尝试使用阻塞集合.这是制片人
BlockingCollection<byte[]> dataQueue = new BlockingCollection<byte[]>;
public static void addData(buffer)
{
dataQueue.add(buffer);
}
Run Code Online (Sandbox Code Playgroud)
这是消费者
while (dataQueue.TryTake(out result)
{
ProcessPacket(result);
}
Run Code Online (Sandbox Code Playgroud)
完全没有区别!它使用10%的CPU,如果我添加一个Thread.Sleep(1)是好的,但Thread.Sleep(2)和我丢失的数据包我得不到它.每个数据包中有50个字节.而已.它们的消耗速度和生产速度一样快.谢谢
queue ×10
c# ×3
java ×2
.net ×1
amazon-sqs ×1
asynchronous ×1
concurrency ×1
cron ×1
file-io ×1
inheritance ×1
ios ×1
iteration ×1
javafx ×1
laravel ×1
laravel-5 ×1
logging ×1
long-polling ×1
php ×1
python ×1
redis ×1
sidekiq ×1
sql ×1