看到java是如此成熟,我希望有人能告诉我java是否有类似于http://celeryproject.org/的内容
它是一个分布式任务队列.
我正在给rabbitmq写信,想知道除了芹菜之外还有什么选择.
当Web角色将消息放入存储队列时,如何轮询特定的相关响应?我希望后端的Worker Role将消息放入响应队列,目的是让调用者选择响应并从那里开始.
我们的目的是利用Queue将一些繁重的处理卸载到后端的Worker Roles上,以确保Web角色的高性能.但是,在后端Worker完成并做出响应之前,我们不希望响应HTTP请求.
基本上我的消费者也是生产者.我们得到一个初始数据集,然后将其发送到队列.消费者接受物品并对其进行处理,从那时起有3种可能性:
我的问题在于第3步,因为队列起初非常快,可能会将一段数据分解为队列中重复的部分,并且消费者继续处理它并最终进入无限循环.
我认为防止这种情况的方法是防止重复进入队列.我不能在客户端做到这一点,因为在一个小时的过程中,我可能会有许多核心处理数十亿个数据点(让每个客户端在提交之前对其进行扫描会使我的速度减慢太多).我认为这需要在服务器端完成,但是,正如我所提到的,数据非常大,我不知道如何有效地确保没有重复.
我可能会问不可能,但我想我会试一试.任何想法将不胜感激.
我正在写一段代码,这将允许我们:
前2分我没有问题; 使用Peek接收模式,我可以显示消息列表,我们可以编辑和重新发送,没有任何问题.
当我想从死信队列中删除消息时,问题就来了.
我们如何通过消息级别对消息执行此操作?我们可能只想删除驻留在死信队列中的2条消息,并保留其他消息以便稍后查看.调用.Complete()死信队列中的消息是否像在主订阅中那样删除它?
以供参考; 这是我们获取SubscriptionClient死信队列的代码:
private SubscriptionClient GetOrCreateSubscriptionClient(string connectionString)
{
if (!NamespaceManager.TopicExists(_topicName))
{
NamespaceManager.CreateTopic(new TopicDescription(_topicName)
{
MaxSizeInMegabytes = 5120,
DefaultMessageTimeToLive = TimeSpan.FromSeconds(DEFAULT_LOCK_DURATION_IN_SECONDS)
});
}
if (!NamespaceManager.SubscriptionExists(_topicName, _subscriptionName))
{
NamespaceManager.CreateSubscription(_topicName, _subscriptionName);
}
var deadLetterPath = SubscriptionClient.FormatDeadLetterPath(_topicName, _subscriptionName);
var client = SubscriptionClient.CreateFromConnectionString(
connectionString, deadLetterPath, _subscriptionName, ReceiveMode.PeekLock);
return client;
}
Run Code Online (Sandbox Code Playgroud) 这些实现之间有什么区别,哪些情况应该使用一个或另一个队列?
我正在开发一个需要从第三方服务器获取数据的应用程序,并且该服务器每秒最多允许 1 个请求。
现在,所有请求都作为作业发送,我正在尝试实施 Laravel 的“速率限制”以每秒发布 1 个作业,但无法弄清楚为什么应该实施它,并且网络中没有实际示例。
有人实施了吗?
这有什么暗示吗?
我test在芹菜中有一个队列,我已经为它定义了一个任务:
@celery_app.task(queue='test', ignore_result=True)
def priority_test(priority):
print(priority)
Run Code Online (Sandbox Code Playgroud)
刚刚打印argument.I要设置priority其定义属性在这里进行appy_async。所以,我写了一个for loop这样的:
for i in range(100):
priority_test.apply_async((i%10,), queue="test", priority=i%10)
Run Code Online (Sandbox Code Playgroud)
我希望看到这样的结果:
[2017-12-26 17:21:37,309: WARNING/ForkPoolWorker-1] 10
[2017-12-26 17:21:37,311: WARNING/ForkPoolWorker-1] 10
[2017-12-26 17:21:37,314: WARNING/ForkPoolWorker-1] 10
[2017-12-26 17:21:37,317: WARNING/ForkPoolWorker-1] 9
[2017-12-26 17:21:37,319: WARNING/ForkPoolWorker-1] 9
[2017-12-26 17:21:37,321: WARNING/ForkPoolWorker-1] 9
[2017-12-26 17:21:37,323: WARNING/ForkPoolWorker-1] 8
[2017-12-26 17:21:37,326: WARNING/ForkPoolWorker-1] 8
[2017-12-26 17:21:37,329: WARNING/ForkPoolWorker-1] 8
[2017-12-26 17:21:37,332: WARNING/ForkPoolWorker-1] 7
[2017-12-26 17:21:37,334: WARNING/ForkPoolWorker-1] 7
[2017-12-26 17:21:37,336: WARNING/ForkPoolWorker-1] 7
[2017-12-26 17:21:37,341: WARNING/ForkPoolWorker-1] 6
[2017-12-26 17:21:37,344: …Run Code Online (Sandbox Code Playgroud) 当我在 a和viathreading._wait_for_tstate_lock之间传输大量数据时,会引发异常。ProcessThreadmultiprocessing.Queue
我的最小工作示例首先看起来有点复杂 - 抱歉。我会解释。原始应用程序将大量(不那么重要)文件加载到 RAM 中。这是在单独的进程中完成的,以节省资源。主 GUI 线程不应冻结。
GUI 启动一个单独的进程Thread以防止 gui 事件循环冻结。
Thread然后,这个单独的任务将启动一个Process应该完成工作的任务。
a) 这Thread实例化了 a multiprocess.Queue(注意这是 amultiprocessing而不是threading!)
b) 这是为了从回Process共享数据。ProcessThread
做Process了一些工作(3 个步骤)并将.put()结果放入multiprocessing.Queue.
当Process结束时Thread,再次接管并收集来自的数据Queue,将其存储到自己的属性中MyThread.result。
告诉ThreadGUI 主循环/线程在有时间的情况下调用回调函数。
回调函数 ( MyWindow::callback_thread_finished()) 从 中获取结果MyWindow.thread.result。
问题是,如果放入的数据Queue发生了很大的事情,我不明白 -MyThread永远不会结束。我必须通过 Strg+C 取消该应用程序。
我从文档中得到了一些提示。但我的问题是我没有完全理解文档。但我有一种感觉,我的问题的关键就在那里。 …
python queue python-multithreading python-3.x python-multiprocessing
我需要帮助。
我正在开发一个 spring 启动应用程序,我希望我向rabbitMQ 发布消息。我想将它发送到一个队列,该队列在消息本身中命名。这样我想动态创建队列。我只找到了使用“静态”队列的示例。
我已经研究了一些东西,但没有找到任何东西。我是 RabbitMQ 的新手,学习了基本概念。我对春天也很陌生。
RabbotMQ 配置
@Configuration
public class RabbitMQConfig {
@Value("amq.direct")
String exchange;
@Value("queue-name") // Don't want to do this
String queueName;
@Value("routing-key") // Or this
String routingkey;
@Bean
Queue queue() {
return new Queue(queueName, true);
}
@Bean
DirectExchange exchange() {
return new DirectExchange(exchange);
}
@Bean
Binding binding(Queue queue, DirectExchange exchange) {
return BindingBuilder.bind(queue).to(exchange).with(routingkey);
}
@Bean
public MessageConverter jsonMessageConverter() {
return new Jackson2JsonMessageConverter();
}
@Bean
public AmqpTemplate template(ConnectionFactory connectionFactory) {
final RabbitTemplate rabbitTemplate = new …Run Code Online (Sandbox Code Playgroud) 我在执行请求时收到此错误。
(节点:3993)[DEP0097] 弃用警告:不推荐在 MakeCallback 中使用域属性。请改用 MakeCallback 的 async_context 变体或 AsyncResource 类。
那是我的控制器 的代码:AppointmentController队列的代码:Queue Nodemailer:Mail
async delete(req, res) {
const { appointment_id } = req.params;
if (!appointment_id) {
return res.status(404).json({
error: "It's not possible to cancel an appointment with passing an id",
});
}
const appointment = await Appointment.findByPk(appointment_id, {
include: [
{
model: Restaurant,
as: 'restaurant',
attributes: ['id', 'name', 'provider_id'],
include: [
{
model: Provider,
foreignKey: 'provider_id',
as: 'provider',
},
],
},
{
model: User,
as: …Run Code Online (Sandbox Code Playgroud) queue ×10
java ×3
rabbitmq ×3
azure ×2
celery ×2
python ×2
amqp ×1
c# ×1
concurrency ×1
dead-letter ×1
javascript ×1
laravel ×1
laravel-5 ×1
node.js ×1
python-3.x ×1
redis ×1
spring ×1