我刚读了一篇关于Leader/Follower模式的论文,如果我理解正确,我会将我的工作人员留在队列中,第一个工作人员接收传入请求并从队列中分离.
使用正常的工作队列(例如,rabbitmq和beanstalkd),反之亦然:我将我的工作保留在队列中,一旦工人完成处理,它就会从队列中获取第一个工作.
有什么东西我不见了?
那么,我应该使用Leader/Follower方法而不是工作队列的优势是什么?或者反过来说,在什么情况下工作队列更适合?
再见,尼科
从我在锁定免费编程上收集到的内容来看,这是非常难以做到的......我同意.只是想一些问题会让我头疼.但我想知道的是,为什么没有广泛使用高级包装器(例如无锁队列和类似的东西)?例如,boost没有锁定免费库,但据我所知,有人建议使用.我的意思是我猜有很多应用程序,你不能避免关键部分是负载的重要部分.那么原因是什么?是吗...
所以我的问题是:为什么使用无锁编程的高级抽象不是很受欢迎,而同时"常规"多线程编程是"在"?
编辑:boost有一个无锁lib :)
我需要一个需要维护不同任务队列的环境,并且每个队列都有一个明确定义的可以为每个队列执行的并发线程数.像这样的东西:
任务系统的种类.我已经设法自己实现了这个使用普通的旧c#代码(又名System.Threading.Thread,lock和queue),它可以工作超过1年.但是,我一直在阅读有关TaskFactory和TaskScheduler奇迹的文章,关于.NET中内置类的可能性,但我没有找到证明这一点的例子.我想测试一下,并与我现在所做的比较,看看它是否工作得更好,如果有的话,更换它.
更多,我可以在不必限制/设置每个队列的并行线程数的情况下生存,只要我能够得到那个guarantee,即使队列#1在满负荷执行时imediatly执行队列#2的目标.
所以,我的问题是 - 是否有.net 4及更多内容,有人能指出我的样本吗?我整整一周都在寻找一个并没有得到相关的东西.
我创建了一个包含对象的队列,我希望按照它们放入队列的顺序进行迭代(第一个对象放在队列中,第二个对象放在队列中,第三个对象......)
我在网上看到了一种方法,但是我不确定这是否能保证队列中的对象能够以正确的顺序访问?
for(MyObject anObject : queue){
//do someting to anObject...
Run Code Online (Sandbox Code Playgroud)
谢谢您的帮助.
我使用pika库使用rabbitmctl.我使用以下代码创建一个Producer
#!/usr/bin/env python
import pika
import time
import json
import datetime
connection = pika.BlockingConnection(pika.ConnectionParameters(
host='localhost'))
channel = connection.channel()
channel.queue_declare(queue='hello')
def callback(ch, method, properties, body):
#print " current time: %s " % (str(int((time.time())*1000)))
print body
channel.basic_consume(callback,
queue='hello',
no_ack=True)
channel.start_consuming()
Run Code Online (Sandbox Code Playgroud)
由于我每次创建一个现有队列(如果没有创建队列,则覆盖队列的创建)队列因此而被破坏.现在我想删除队列.我这样做吗?
我正在使用Kue创造就业机会.
jobs.create('myQueue', { 'title':'test', 'job_id': id ,'params': params } )
.delay(milliseconds)
.removeOnComplete( true )
.save(function(err) {
if (err) {
console.log( 'jobs.create.err', err );
}
});
Run Code Online (Sandbox Code Playgroud)
每个工作都有延迟时间,通常是3个小时.
现在,我将检查每个想要创建新作业的传入请求并获取id.
从上面的代码中可以看出,当我创建一个作业时,我会将作业ID添加到作业中.
所以现在我想检查队列中现有作业'job_id'的传入id,如果找到匹配的id,则用新参数更新现有作业.
所以我的工作队列每次都会有独特的job_id :).
可能吗?我搜索了很多,但没有找到帮助.我检查了kue JSON API.但它只能创建和获取检索作业,无法更新现有记录.
对我来说,似乎两者非常相似:
ShouldQueue接口(在事件监听器的情况下,这是一个选项)handle()和failed()(可选)方法来执行各自的任务.从本质上讲,对我来说,两者都是可以异步运行的排队项目.
什么我能到目前为止区别是,工作有更多的"高级"功能/状结构$timeout,$tries性能和你也会耽搁工作的"触发"(的礼貌Illuminate\Bus\Queueable性状).
还有更多我肯定,但我指出了一个突然出现的东西.
所以,问题是,两者之间的实际差异是什么,更重要的是,你何时优先于另一方?
我想利用Celery(使用RabbitMQ作为后端MQ)通过不同的队列执行不同风格的任务.一个要求是来自特定队列的消费(由工作人员)应该具有暂停和恢复的能力.
Celery似乎通过调用和具有此功能.虽然我能够从特定工作人员的队列中取消任务的消耗,但我无法让工作人员通过呼叫恢复消费. 此处提供了重现此问题的代码.我的猜测很可能是我在启动工作人员时缺少某种参数或通过参数提供的参数? add_consumercancel_consumeradd_consumerceleryconfig
能够获得一些新鲜的眼睛会很棒.Stackoverflow关于add_consumer和Github的讨论不多.所以我希望这里有一些专家愿意分享他们的想法/经验.
-
我正在运行以下内容:
Windows操作系统,RabbitMQ 3.5.6,Erlang 18.1,Python 3.3.5,芹菜3.1.15
我现在一直在使用d3.js v4并且我已经了解到Mike Bostock已经用Promise本机JavaScript对象取代了v5版本中的d3.queue.我想和你联系,看看我写的代码是否正确排队(异步)这些URL:
var makeRequest = function() {
"use strict";
var bli = [
"http://stats.oecd.org/sdmx-json/data/BLI2013/all/all",
"http://stats.oecd.org/sdmx-json/data/BLI2014/all/all",
"http://stats.oecd.org/sdmx-json/data/BLI2015/all/all",
"http://stats.oecd.org/sdmx-json/data/BLI2016/all/all",
"http://stats.oecd.org/sdmx-json/data/BLI/all/all"
];
var promises = [];
bli.forEach(function(url) {
promises.push(
new Promise(function(resolve, reject) {
d3
.json(url)
.then(function(response) {
resolve(response);
})
.catch(function(error) {
console.log("Error on: " + url + ". Error: " + error);
reject(error);
});
})
);
});
Promise.all(promises).then(function(values) {
console.log(values);
});
};
makeRequest();
Run Code Online (Sandbox Code Playgroud)
代码似乎运行正常,但是,这是正确的代码还是有更好的方法(最佳实践方法)与Promise.all和d3.js排队?catch错误是否正确实现?