使用bash和常用工具为Linux构建最小任务队列系统的最佳/最简单方法是什么?
我有一个9'000行的文件,每行有一个bash命令行,命令是完全独立的.
command 1 > Logs/1.log
command 2 > Logs/2.log
command 3 > Logs/3.log
...
Run Code Online (Sandbox Code Playgroud)
我的盒子有多个核心,我想同时执行X任务.我在网上搜索了一个很好的方法来做到这一点.显然,很多人都有这个问题,但到目前为止还没有人有一个好的解决方案.
如果解决方案具有以下功能,那将是很好的:
command; command)ls > /tmp/ls.txt)如果它适用于其他Unix克隆而没有太多异国情调的要求,则可获得奖励积分.
我目前正在使用c#构建ASP.NET MVC Web应用程序.
我想确保构建这个应用程序,以便将来可以扩展,而无需进行重大的重新分解.
我非常热衷于使用某种队列将任何写入发布到我的数据库库,并且有一个进程可以异步轮询该队列以执行更新.将此数据发回数据库后,客户端需要使用新信息进行更新.这意味着根据在服务器上执行的业务规则,将数据写回数据库的过程可能需要一段时间.
我的问题是从客户端\浏览器角度处理更新的最佳方法.
我正在考虑将数据发布回服务器并将其添加到队列中并立即向客户端发送响应,然后以某个频率轮询以获取更新的数据.任何最佳实践或模式都将受到赞赏.
另外,在从数据库读取数据方面,您会建议使用任何特定技术,或者直接从数据库中读取是否足够我的方案.
更新 思想我会发布一个更新,因为它已经有一段时间了.我们实际上最终使用的是Windows Azure,但该解决方案适用于其他平台.
我们最终做的是使用Windows Azure Queue将消息\命令发布到.这是一个非常快速的过程并立即返回.然后我们有一个worker角色,它在另一个线程上处理这些消息.这允许我们在理论上最小化web角色上的任何db写入\更新,从而允许我们更容易地扩展.
我们处理通过电子邮件通知用户,甚至根据我们正在处理的数据类型静默地通知用户.
我正在寻找一个具有如下界面的优先级队列:
class PriorityQueue<T>
{
public void Enqueue(T item, int priority)
{
}
public T Dequeue()
{
}
}
Run Code Online (Sandbox Code Playgroud)
我见过的所有实现都假设这item是一个IComparable但我不喜欢这种方法; 我想在将其推入队列时指定优先级.
如果不存在现成的实现,那么自己做这个的最佳方法是什么?我应该使用什么底层数据结构?某种自平衡树,还是什么?标准的C#.net结构会很好.
我们经常使用堆栈或队列在我们的算法,但在那里,我们用一个双向链表实现任何情况下都栈和算法中的队列?例如,在一个阶段,我们将()将6个项目推入堆栈,pop()2个项目,然后从双向链接列表的尾部将其余项目(4)出列().我正在寻找的是那些在这种方法中实现某些东西的模糊,有趣的算法,甚至是陌生的.伪代码,链接和解释会很好.
我有一个程序使用python的包多处理和队列.我的一个函数有这个结构:
from multiprocessing import Process, Queue
def foo(queue):
while True:
try:
a = queue.get(block = False)
doAndPrintStuff(a)
except:
print "the end"
break
if __name__ == "__main__"
nthreads = 4
queue = Queue.Queue()
# put stuff in the queue here
for stuff in moreStuff:
queue.put(stuff)
procs = [Process(target = foo, args = (queue,)) for i in xrange(nthreads)]
for p in procs:
p.start()
for p in procs:
p.join()
Run Code Online (Sandbox Code Playgroud)
我的想法是,当我尝试从队列中提取并且它是空的时,它将引发异常并终止循环.所以我有两个问题:
1)这是一个安全的成语吗?有没有更好的方法来做到这一点?
2)我试图找到当我尝试.get()从空队列中引发的确切异常.目前我的程序正在捕获所有异常,当错误发生在其他地方并且我只收到"结束"消息时会很糟糕.
我试过了:
import Queue
queue = Queue.Queue()
[queue.put(x) for x …Run Code Online (Sandbox Code Playgroud) 无论如何以原子方式弹出列表中的项目并将其添加到集合中?
我的案例场景是我有一个独特项目的"工作队列"列表,我想跟踪"正在进行"集合中正在处理的内容.如果我的工作进程在处理项目时崩溃,这也将允许"进行中"设置中的项目重新排队.
我更喜欢它是原子的,所以从列表中弹出的任何东西都会在集合中.我只是无法弄清楚如何使用MULTI/EXEC执行此操作,即:
redis> MULTI
OK
redis> LPOP workqueue
"foobar"
redis> SADD inprog "foobar"
redis> EXEC
Run Code Online (Sandbox Code Playgroud) 我知道Laravel可以--timeout选择他们的php artisan queue:listen命令,但是我想用它queue:work来节省一些CPU使用率.据我所知,没有办法用队列工作器设置超时选项.如果我的工作超过60秒默认值,或者超时是否适用于超时,它会超时queue:listen吗?
我只是想确保我的工作有足够的时间来运行,因为我正在做的事情就像在后台运行报告一样,并且由于数据集的大小,有些时间超过60秒.看起来他们运行正常,我只想澄清它是如何工作的,以便我可以确保我不会遇到问题.
话题说明了这一点.我不明白为什么std :: queue(或者通常:任何队列)本质上不是线程安全的,当没有涉及其他数据结构的迭代器时.
根据共同的规则
我应该在以下示例代码中遇到冲突:
#include "stdafx.h"
#include <queue>
#include <thread>
#include <iostream>
struct response
{
static int & getCount()
{
static int theCount = 0;
return theCount;
}
int id;
};
std::queue<response> queue;
// generate 100 response objects and push them into the queue
void produce()
{
for (int i = 0; i < 100; i++)
{
response r;
r.id = response::getCount()++;
queue.push(r);
std::cout << "produced: " << r.id << std::endl;
}
}
// get the 100 …Run Code Online (Sandbox Code Playgroud) 所以我目前正在阅读关于邮件排队的Laravel文档,我已经失去了想法,Mail::queue(<params>)和之间的区别是什么$this->dispatch(new SendMail(<params>)).因为在Laravel文档的Mail部分中给出了第一个变体,但随后它被称为"不要忘记首先配置你的队列".我去了Queue配置部分,在那里我发现"添加一些东西到队列只需使用$this->dispatch($job)".
所以,我做了两个变种:其中一个看起来如下:
Mail::queue('emails.template',
['name'=>$name, 'msg'=>$message],
function($msg) use ($email){
$msg->to($email)
->subject('Application received');
}
);
Run Code Online (Sandbox Code Playgroud)
第二个,在同一个控制器中,但其他方法,只是:
$this->dispatch(new SendEmail($name, $message, $email));
Run Code Online (Sandbox Code Playgroud)
在第二个变体中,我使用job,该handle()方法与之前的代码相同,只是使用Mail::send.
在两种变体中,用户必须等待相同的长时间,php artisan queue:listen保持沉默,但电子邮件已成功发送.
我该怎么做才能澄清我的情况?非常感谢任何可能的帮助!
什么是芹菜相当于一个multiprocessing.JoinableQueue(或gevent.queue.JoinableQueue)?
我正在寻找的功能是能够.join()从发布者那里获得Celery任务队列,等待队列中的所有任务完成.
等待初始AsyncResult或GroupResult不足够,因为队列由工作人员自己动态填充.