标签: queue

ASP.NET - 新应用程序的最佳队列系统

我的组织正准备实现一个新系统,这是一个asp.net应用程序.该应用程序将具有由网站启动的大量离线工作队列.此队列将包含不同类型的活动,最好是在XML消息中.想想电子邮件通知,计划任务等等.

过去,组织可能会使用MSMQ来完成此任务.但是,他们认为MSMQ是老派(我部分同意他们),所以我们将进行架构审查以确定"最佳"解决方案.

在我看来,有一些潜在的选择:

1.坚持使用最新版MSMQ的新实现 - 不理想,但是已知的产品.
2.使用Windows Workflow Foundation,我从其他一些开发人员那里听说过这种情况.
3.开发自定义数据库解决方案.

我错过任何明显的解决方案吗?理想情况下,这将是Microsoft产品,但实际上只需要在Microsoft中心的商店中工作.

我关注以下内容:
1.易于实施和维护
2.一个解决方案将会存在一段时间
3.能够处理大量的行,其中包含中等大小的XML数据
4.绝对可靠的队列系统,快速更新(多个实用程序进程可能会从队列中取出记录来处理它们).

.net queue msmq message-queue workflow-foundation

9
推荐指数
1
解决办法
4665
查看次数

排队系统 - 启动多个员工的好方法是什么?

  • 如何为面向队列的系统设置一个或多个工作脚本?
  • 你如何安排启动 - 并在必要时重新启动 - 工作脚本根据需要?(我正在考虑像init.d /,基于Ruby的'上帝',DJB的Daemontools等等工具)

我正在开发一个异步队列/工作系统,在这种情况下使用PHP和BeanstalkdD(虽然实际的语言和守护进程并不重要).任务本身并不太难 - 将带有命令和参数的数组编码到JSON中,以便通过Beanstalkd守护程序进行传输,在工作脚本中将它们拾取以根据需要对其进行操作.

还有许多其他类似的队列/工作人员设置,例如Starling,Gearman,亚马逊的SQS以及其他更像"企业"的系统,如IBM的MQ和RabbitMQ.如果你运行像Gearman或SQS这样的东西 - 你如何启动和控制工作池?问题出在最初的工人启动上,然后能够添加额外的额外工作人员,随意关闭它们(虽然我可以通过队列发送消息来关闭它们 - 只要一些'观察者'不会自动关闭它们重启它们).这不是一个PHP问题,它是关于设置一个或多个进程在启动时运行的直接Unix进程,或者向池中添加更多工作程序.

一个bash脚本循环的脚本已经到位-这将调用PHP脚本,然后收集并从队列中运行的任务,偶尔出来才能够清理自己(也可以暂停失败了几秒钟,或通过计划的事件).这样可以正常工作,并且在此基础上构建工作进程根本不会非常困难.

获得一个好的工作者控制器系统是关于灵活性,在机器启动时自动启动一个或两个,并且能够在队列繁忙时从命令行添加更多,在不再需要时关闭额外的东西.

queue worker-process message-queue gearman amazon-sqs

9
推荐指数
1
解决办法
3177
查看次数

实现索引队列的有效方法(在O(1)时间内可以通过索引检索元素)?

根据.NET队列ElementAt性能,使用ElementAt按索引访问项目显然不是一个合理的选择.

是否有适合此要求的替代通用数据结构?

我的队列有固定的容量.

根据Queue类上的MSDN条目," 此类将队列实现为循环数组 ",但它似乎没有公开任何类型的索引属性.

更新:我找到了C5的CircularQueue实现.这似乎符合要求,但如果可能,我宁愿不必导入另一个外部库.

.net c# indexing queue performance

9
推荐指数
2
解决办法
3201
查看次数

使用sidekiq处理两个单独的redis实例?

下午好,

我有两个独立但相关的应用程序.它们都应该有自己的后台队列(阅读:单独的Sidekiq和Redis进程).但是,我偶尔能够把工作推到app2队列中app1.

从简单的队列/推送角度来看,如果app1没有现有的Sidekiq/Redis堆栈,那么很容易做到这一点:

# In a process, far far away

# Configure client 
Sidekiq.configure_client do |config|
  config.redis = { :url => 'redis://redis.example.com:7372/12', :namespace => 'mynamespace' }
end

# Push jobs without class definition 
Sidekiq::Client.push('class' => 'Example::Workers::Trace', 'args' => ['hello!'])

# Push jobs overriding default's 
Sidekiq::Client.push('queue' => 'example', 'retry' => 3, 'class' =>     'Example::Workers::Trace', 'args' => ['hello!'])
Run Code Online (Sandbox Code Playgroud)

然而,考虑到我已经调用了a Sidekiq.configure_client和Sidekiq.configure_serverfrom app1,可能在这里需要发生一些事情.

显然,我可以直接从Sidekiq内部获取序列化和规范化代码,并手动推送到app2redis队列,但这似乎是一个脆弱的解决方案.我希望能够使用该Client.push功能.

我想我的理想解决方案就像:

SidekiqTWO.configure_client { remote …

queue ruby-on-rails redis sidekiq

9
推荐指数
1
解决办法
3354
查看次数

boost :: lockfree :: queue not lockfree with c ++ 11?

我试图取代boost::lockfree::queue了std::queue在此的WebSocket ++例子https://github.com/zaphoyd/websocketpp/blob/experimental/examples/broadcast_server/broadcast_server.cpp

看起来它可以在没有真正改变任何语法但删除boost::unique_lock行的情况下完成.

但是,当我查看boost示例时,它有一个代码部分,用于检查lockfree http://boost-sandbox.sourceforge.net/doc/html/lockfree/examples.html

当我查看文档时lockfree::queue,它在is_lock_free() http://boost-sandbox.sourceforge.net/doc/html/boost/lockfree/queue.html上说明了这一点:

bool is_lock_free(void)const;

警告

它只检查队列头尾节点和空闲列表是否可以无锁方式修改.在大多数平台上,如果这是真的,整个实现是无锁的.使用c ++ 0x-style原子,不可能提供完全准确的实现,因为需要测试每个内部节点,如果从操作系统分配更多节点,这是不可能的.

返回:如果实现是无锁的,则返回 true.

我不知道"c ++ 0x-style atomics"是什么,但我很确定c ++ 0x意味着c ++ 11.

我使用C++ 11只是取代boost::lockfree::queue了std::queue,所以这将无法实现lockfree?

c++ queue boost lock-free c++11

9
推荐指数
1
解决办法
5550
查看次数

将Seq或List转换为collection.immutable.Queue

我想知道,如果在Scala中将Sequence转换为不可变队列有标准和简短的方法吗?

我没有在文档中找到一种神奇的方法.

现在我这样做:

def toQueue[A](s: Seq[A]): Queue[A] = s match {
  case x +: xs => x +: toQueue(xs)
  case _ => Queue.empty[A]
}                                         
Run Code Online (Sandbox Code Playgroud)

但还有什么更方便的吗?

queue collections scala

9
推荐指数
1
解决办法
3788
查看次数

Laravel:如何排队邮件以便稍后发送

我试图使用Mail ::队列发送和发送电子邮件,但是当我调用此函数时,它简单地发送邮件,并且响应被延迟...我认为使用Mail :: queue的目的是排队.. ..

我希望即时响应,而不必等待发送电子邮件

例如

Mail::queue('emails.template', $data, function($message) {
    $message->to('somemail@gmail.com');
    $message->subject('Notificacion');
});

return Response::json(array('error' => 0, 'message' => 'Ok'));
Run Code Online (Sandbox Code Playgroud)

我希望在不等待邮件发送的情况下收到回复.我怎样才能做到这一点???

php queue sendmail laravel

9
推荐指数
1
解决办法
1万
查看次数

C++ 11中的无锁多生产者/消费者队列

我正在尝试在C++ 11中实现一个无锁多个生产者,多个消费者队列.我这样做是为了学习练习,所以我很清楚我可以使用现有的开源实现,但我真的很想知道为什么我的代码不起作用.数据存储在一个环形缓冲区中,显然它是一个"有界MPMC队列".

我已经将它与Disruptor的内容非常接近地建模了.我注意到的事情是它对单个消费者和单个/多个生产者来说绝对正常,它只是多个消费者似乎打破了它.

这是队列:

    template <typename T>
class Queue : public IQueue<T>
{
public:
    explicit Queue( int capacity );
    ~Queue();

    bool try_push( T value );
    bool try_pop( T& value );
private:
    typedef struct
    {
        bool readable;
        T value;
    } Item;

    std::atomic<int> m_head;
    std::atomic<int> m_tail;
    int m_capacity;
    Item* m_items;
};

template <typename T>
Queue<T>::Queue( int capacity ) :
m_head( 0 ),
m_tail( 0 ),
m_capacity(capacity),
m_items( new Item[capacity] )
{
    for( int i = 0; i < capacity; ++i )
    { …
Run Code Online (Sandbox Code Playgroud)

c++ queue multithreading lock-free c++11

9
推荐指数
1
解决办法
2万
查看次数

如何在laravel中使函数在后台运行

我正在开发Laravel 5.0中的一个网站,并在Windows Server2012中托管.

我遇到了一个问题,即我从另一个函数A调用控制器中的函数B,我希望调用另一个函数B的函数A不等待函数B的完成.并且功能B在后台完成并独立形成用户终止页面和功能A返回.

我搜索了这个,发现这可以通过cron中的作业来实现,如windows中的作业,pcntl_fork()和laravel中的队列功能.我是初学者.

请帮忙!提前致谢.

php queue cron laravel laravel-5

9
推荐指数
1
解决办法
2万
查看次数

为什么主管要开始这个项目?

我正在使用Redis进行laravel队列作业,并使用管理员来管理多个工作人员.
我有一个以上的numprocs工作了好几天,然后主管下来,即使主管处于活动状态.

因为在主管中,当supervisord失败超过startretries配置文件中设置的值以启动程序/工作程序时,程序/工作程序进入致命状态然后它将不处理任何作业,因此当所有工作人员都处于此状态时,主管关闭.然后我们需要手动重启Supervisor再次开始处理.

但这不是一个适当的解决方案.
我的问题是为什么主管无法启动,为什么解决方案呢?
参考主管文件: - http://supervisord.org/subprocess.html
我的配置文件是这样的: -

[program:name]
process_name=%(program_name)s_%(process_num)02d
command=php /path/artisan queue:work --queue=queue1,queue2,queue3,queue4,default --tries=1 --daemon
autostart=true
autorestart=true
startretries=15
numprocs=150
user=root
redirect_stderr=true
stdout_logfile=/path/worker.log
stderr_logfile=/path/workerError.log
Run Code Online (Sandbox Code Playgroud)

更新
我的日志文件如下所示 在此输入图像描述

我的stdout日志文件看起来像这样

在此输入图像描述 任何帮助将不胜感激.

php queue supervisord laravel-5

9
推荐指数
1
解决办法
509
查看次数