我有一个我希望分发的系统，其中有许多我希望以分布式方式处理的非常大的不可拆分的二进制文件。这些是几百 Gb 的数量级。由于各种固定的、特定于实现的原因，这些文件不能并行处理，而必须由同一进程顺序处理直到结束。
该应用程序是用 C++ 开发的，所以我会考虑使用 Hadoop 管道来传入和传出数据。每个实例都需要按 100Gb 到 200Gb 的顺序处理自己的数据（当前存储在一个文件中），并且应用程序当前（可能）IO 受限，因此每个作业完全在本地运行很重要。
我非常热衷于用 HDFS 来托管这些数据——自动维护冗余副本并在添加新节点时重新平衡的能力将非常有用。我也热衷于 map reduce，因为它计算简单，并且要求尽可能接近数据托管计算。但是，我想知道 Hadoop 对这个特定应用程序有多合适。
我知道为了表示我的数据，可以生成不可拆分的文件，或者生成巨大的序列文件（在我的情况下，单个文件的大小约为 10Tb - 我是否应该将所有数据打包到一）。因此可以使用 Hadoop 处理我的数据。但是，我的模型似乎不太适合 Hadoop：社区是否同意？或者有关于以最佳方式布置这些数据的建议？或者甚至对于可能更适合该模型的其他集群计算系统？
这个问题可能是关于 hadoop 的现有问题的重复，但除了我的系统需要每个单独文件一个或两个数量级的数据（以前我已经看到有关几个 Gb 大小的单个文件的问题） . 因此，如果之前已经回答过这个问题，请原谅我 - 即使对于这种大小的数据。
谢谢，
亚历克斯
我正在使用 Linux-HA 集群pacemaker-1.1.10-1.el6_4.4，如您所知，在此起搏器版本中，集群命令行功能未与起搏器包一起打包，我找到了 2 个包：crmsh并且pcs，我的问题是哪个是官方命令行界面？推荐的是哪一个？它们之间的关系是什么？
谢谢，
埃姆雷
我现在正在研究一个基于集群的 node.js 项目。我被困在日志中。经过一番研究，我想出了一个解决方案。就这个。我不知道这是否是个好主意。这个想法是这样的。只有master进程可以写入日志文件，如果当前进程是worker，则向master发送日志消息然后写入日志文件，而master可以直接写入日志文件。这可以避免多个进程打开并写入同一个文件。
var util = require('util');
var fs = require('fs');
var cluster = require('cluster');
var logger = module.exports;
var levels = ['debug', 'info', 'warn', 'error', 'fatal'];
var logLevel = 'debug';
var logfile = null;
var errorLogfile = null;
if(cluster.isMaster){
logfile = fs.createWriteStream('debug.log', {flags:'a'});
errorLogfile = fs.createWriteStream('error.log', {flags:'a'});
cluster.on('online', function(worker){
//collect log message from child and write to logfile.
worker.on('message', function(msg){
if(msg.type == 'logging') {
var level = msg.data.level;
var logStr = msg.data.msg;
if(levels.indexOf(level) >= levels.indexOf('error')){
errorLogfile.write(logStr + '\n');
}else{ …我使用 haproxy 作为 mariadb galera 集群的 banlancer，它可以正常连接并执行一些操作，但几秒钟后我想再次进行一些搜索，但在查询错误期间丢失了连接。请参阅下图的错误。
这是我的 haproxy.cfg
defaults
log global
mode tcp
option tcplog
option dontlognull
option http-server-close
option redispatch
retries 3
timeout http-request 10s
timeout queue 1m
timeout connect 10s
timeout client 50000ms
timeout server 50000ms
timeout http-keep-alive 10s
timeout check 10s
maxconn 3000
以及 haproxy.cfg 中 mariadb 集群的余额
listen mariadb_cluster_writes 0.0.0.0:50613
## A failover pool for writes to ensure writes only hit one node at a time.
mode tcp
#option httpchk
option tcpka
option mysql-check …我已经在计算集群上提交了几个作业，但没有设置 --mail-user。我现在可以更新规范吗？希望在作业完成后收到电子邮件。非常感谢！
您好，我目前正在开发一个 MEAN 堆栈项目，我发现了在部署项目之前推荐的 Nodejs 集群模块。
我已经应用了它并做了一些 ApacheBenchmark，问题是，它只响应 1 个工作人员，它不会围绕我的其他 7 个工作人员轮换。
我在谷歌上搜索过这个问题，是的，Windows 默认不能进行循环，但是有没有办法在 Windows 中启用循环？
谢谢你！
我想让我的多锁位于不同的redis实例上。
我发现redission可以指定一个实例来执行命令，但是如果该命令与key相关，则指定的实例会将命令传输到另一个实例。
你能给我一些建议吗？
我正在编写一个简单的 python 脚本来测试 mpi4py。具体来说，我想从给定处理器（例如rank 0）广播标量和数组，以便所有其他处理器都可以在后续步骤中访问广播标量和数组的值。
这就是我到目前为止所做的：
from __future__ import division
from mpi4py import MPI
import numpy as np
comm = MPI.COMM_WORLD
nproc = comm.Get_size()
rank = comm.Get_rank()
if rank==0:
scal = 55.0
mat = np.array([[1,2,3],[4,5,6],[7,8,9]])
arr = np.ones(5)
result = 2*arr
comm.bcast([ result , MPI.DOUBLE], root=0)
comm.bcast( scal, root=0)
comm.bcast([ mat , MPI.DOUBLE], root=0)
for proc in range(1, 3):
if (rank == proc):
print "Rank: ", rank, ". Array is: ", result
print "Rank: ", rank, ". Scalar …如何创建计时器任务（基于 cron）而不在每个节点上执行，即使用Apache Ingite时间表中的每个时间点执行一次？
我的集群由 2 个节点和带有计时器任务的应用程序（war）组成。在非集群模式下应用程序运行良好。但它有内部计时器任务（即每 5 分钟启动一次），可与共享资源一起使用。
我尝试去做。但是，如果两个应用程序实例都启动（每个应用程序实例尝试启动相同的计时器任务），则IngiteScheduler#scheduleLocal会在每个节点上部署并运行任务。
我假设 ignite 有用于部署带有 id 的任务的机制......
谢谢。
（感谢@alamar 的想法）
下面我展示了成功解决方案的源代码和测试：
IgniteTimerTest.java：
package com.stackoverflow.question53780890.test;
import com.stackoverflow.question53780890.JobRunner;
import org.apache.ignite.Ignite;
import org.apache.ignite.IgniteServices;
import org.apache.ignite.resources.SpringResource;
import org.apache.ignite.services.Service;
import org.apache.ignite.services.ServiceContext;
import org.junit.jupiter.api.Assertions;
import org.junit.jupiter.api.Test;
import org.springframework.context.ConfigurableApplicationContext;
import org.springframework.context.annotation.AnnotationConfigApplicationContext;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import org.springframework.context.annotation.ImportResource;
import org.springframework.context.support.PropertySourcesPlaceholderConfigurer;
import org.springframework.core.io.ClassPathResource;
import java.io.Serializable;
import java.util.concurrent.ExecutorService;
import java.util.concurrent.Executors;
import java.util.concurrent.Future;
public class IgniteTimerTest {
private static final ExecutorService ES = …人们也提出过类似的问题，比如为什么 Node.js 集群 fork 只委托给 Windows 机器上的一个工作人员。我们知道答案是 RR 算法在 Windows 上被禁用，但是那么，如何启用它呢？
我有一个提示：
文档说“ cluster.schedulingPolicy 也可以通过 NODE_CLUSTER_SCHED_POLICY 环境变量设置。有效值为 'rr' 和 'none' ”
我想知道我到底在哪里进行此配置。代码：
const cluster = require('cluster');
const http = require('http');
const numCPUs = require('os').cpus().length;
if (cluster.isMaster) {
console.log(`Master ${process.pid} is running`);
// Fork workers
for (let i = 0; i < numCPUs; i++) {
cluster.fork();
}
} else {
// Workers sharing same TCP connection
http.createServer((req, res) => {
console.log(`worker ${process.pid} working`);
res.writeHead(200);
res.end('hello world\n');
}).listen(2019);
console.log(`Worker …