在从这个问题指向它之后,我正在寻找 multiprocessing.Queue 的一个工作示例:Python using multiple processor
我遇到了这个问题,但即使我更改,它似乎也只使用我的 12 个处理器之一num_processes=12。我也改变了,num_jobs = 200000所以它不会那么快完成。
有人可以告诉我那个例子有什么问题,或者给我指出一个有效的例子吗?
所以,经过一番研究后,我写了一个队列.它使用固定大小的缓冲区,因此它是一个循环队列.它必须是线程安全的,我试图让它无锁.我想知道它有什么问题,因为这些事情我自己很难预测.
这是标题:
template <class T>
class LockFreeQueue
{
public:
LockFreeQueue(uint buffersize) : buffer(NULL), ifront1(0), ifront2(0), iback1(0), iback2(0), size(buffersize) { buffer = new atomic <T>[buffersize]; }
~LockFreeQueue(void) { if (buffer) delete[] buffer; }
bool pop(T* output);
bool push(T input);
private:
uint incr(const uint val)
{return (val + 1) % size;}
atomic <T>* buffer;
atomic <uint> ifront1, ifront2, iback1, iback2;
uint size;
};
Run Code Online (Sandbox Code Playgroud)
这是实施:
template <class T>
bool LockFreeQueue<T>::pop(T* output)
{
while (true)
{
/* Fetch ifront and store it in i. …Run Code Online (Sandbox Code Playgroud) 我试图在Swift平台中实现Queue集合类型.关于peek,poll和offer函数,我遇到了一些问题.当我尝试在我的代码中使用这些函数时,它会失败.你对此有什么建议或真正的算法吗?
import Foundation
class Node<T> {
var value: T? = nil
var next: Node<T>? = nil
var prev: Node<T>? = nil
init() {
}
init(value: T) {
self.value = value
}
}
class Queue<T> {
var count: Int = 0
var head: Node<T> = Node<T>()
var tail: Node<T> = Node<T>()
var currentNode : Node<T> = Node<T>()
init() {
}
func isEmpty() -> Bool {
return self.count == 0
}
func next(index:Int) -> T? {
if isEmpty() {
return nil
} …Run Code Online (Sandbox Code Playgroud) 我有一个生产laravel应用程序和在同一台服务器上运行的登台应用程序.我正在运行redis,我将其用作我的队列驱动程序.它们显然连接到不同的数据库.问题是,从登台应用程序推送到红色队列的作业是否会干扰生产数据库,反之亦然.
我有一个生产者 - 消费者场景,生产者生产的速度比消费者消费的快得多.通常,解决方案是使生产者阻止,因为生产者/消费者场景的运行速度与最慢的组件一样快.限制或阻止生产者并不是一个好的解决方案,因为我们的应用程序为消费者提供了足够的时间来赶上.
这是一个图表,描绘了我们的应用程序中的完整"阶段"与更常见的场景:
Our Application Common Scenario
2N +--------+--------+
|PPPPPPPP|oooooooo| P = Producer
|PPPPPPPP|oooooooo| C = Consumer
N +--------+--------+ N +--------+--------+--------+ o = Other Work
|CPCPCPCP|CCCCCCCC| |CPCPCPCP|CPCPCPCP|oooooooo| N = number of tasks
|CPCPCPCP|CCCCCCCC| |CPCPCPCP|CPCPCPCP|oooooooo|
------------------- ----------------------------
0 T/2 T 0 T/2 T 3T/2
Run Code Online (Sandbox Code Playgroud)
我们的想法是通过不抑制生产者来最大化吞吐量.
我们的任务运行的数据很容易被序列化,因此我计划实现一个文件系统解决方案,以便溢出所有无法立即满足的任务.
我正在使用具有最大容量的Java ThreadPoolExecutor,BlockingQueue以确保我们不会耗尽内存.问题是在实施这样的"分层"的队列,在那里是可以在内存中排队的任务是如此立即执行,否则数据被排队在磁盘上.
我想出了两个可能的解决方案:
BlockingQueue从无到有,使用LinkedBlockingQueue或ArrayBlockingQueue实施作为参考.这可能就像在标准库中复制实现并添加文件系统读/写一样简单.BlockingQueue实施,实现一个独立的FilesystemQueue存储我的数据,并使用一个或多个线程出列文件,创建RunnableS和使用他们排队ThreadPoolExecutor.这些都是合理的,是否有更好的方法?
当推送到队列中时,我有一个脚本作为作业运行。我还有其他几个队列,所有这些队列都由主管处理。我将Redis用作Laravel 4.2的队列驱动程序。
我想了解工作的不同状态:
这些不同状态的问题在于,保留队列中有数千个作业queue:xyz:reserved(我不知道为什么)被推送到队列中,queue:xyz而这些作业(来自保留队列)阻止了新推送的作业的执行。
以下是由主管运行以处理作业的命令:
php artisan queue:work --queue=xyz --tries=1 --daemon --env=prodEnv
我的问题是:
将保留的作业推送到原始队列的过程减慢了队列中新作业的处理速度,我想通过处理这些保留的作业来使其更快。
嗨,我的队列在laravel宅基地上似乎有问题.工作和侦听进程一次一个队列有没有办法让它运行一次并处理作业表中的所有队列?
这是我的代码:
DB::beginTransaction();
try {
$model_data = $this->transformCsvDataToModelData($this->csv_data, $this->data['file_columns'], $this->data['table_columns'], $this->data);
$dynamic_list_model = new DynamicDataList();
$dynamic_list_model->setTable($this->list->table_name);
$dynamic_list_model->insert($model_data);
$this->notify($this->data['user']->id, [
'title' => 'Data list upload successful',
'message' => 'Batch ' . ($this->index + 1) . ' data list upload done.'
], 'success');
DB::commit();
} catch (Exception $exception) {
DB::rollBack();
}
Run Code Online (Sandbox Code Playgroud) 我使用 Laravel 5.7 和 3 个队列作业,作业之间的时间太长/太慢。
我在第一份工作中 foreach RSS 提要项目,然后在第二份工作中调度该项目,等等...我没有输入详细信息,但有一些可笑的小计算,一定不需要花时间。
问题是每次派遣工作都需要花费大量时间。地平线和望远镜不允许我调试。
我使用的机器有 32 GB RAM,并且有多个进程(每个进程 15 个)可以转动尾巴。
[program:mywebsite_feeder]
command=/RunCloud/Packages/php72rc/bin/php artisan queue:work redis --queue=feeder --tries=3 --sleep=0
directory=/home/runcloud/webapps/mywebsite
redirect_stderr=true
autostart=true
autorestart=true
user=runcloud
numprocs=15
process_name=%(program_name)s_%(process_num)s
Run Code Online (Sandbox Code Playgroud)
我在 laravel.log 中遇到此错误:
Production.ERROR:App\Jobs\FeederJob 尝试次数过多或运行时间过长。该作业之前可能已超时。
我正在进行三个 api 调用,并希望 API1 应首先执行,完成后应执行 API2,然后执行 API3。我为此使用了操作队列,并添加了对操作的依赖性。我也尝试设置优先级,但没有按顺序获取 api 调用。帮我看看如何正确制作。
代码是这样的:
let op1 = Operation()
op1.completionBlock = {
self.APICall(urlString: self.url1)
}
op1.queuePriority = .veryHigh
let op2 = Operation()
op2.completionBlock = {
self.APICall(urlString: self.url2)
}
op2.queuePriority = .high
let op3 = Operation()
op3.completionBlock = {
self.APICall(urlString: self.url3)
}
op3.queuePriority = .normal
op2.addDependency(op1)
op3.addDependency(op2)
queue.addOperations([op1, op2, op3], waitUntilFinished: false)
Run Code Online (Sandbox Code Playgroud)
我将 API 调用方法放在 DispatchQueue.main.sync 中,如下所示:
func APICall(urlString: String) {
let headers: HTTPHeaders = [
"Accept": "text/html"
]
print(urlString)
DispatchQueue.main.sync {
Alamofire.request(urlString.addingPercentEncoding(withAllowedCharacters: CharacterSet.urlQueryAllowed)!, method: .get, …Run Code Online (Sandbox Code Playgroud)