我有一个需要在很多文件(1000's)上调用的函数.每个都独立于另一个,可以并行运行.每个文件的函数输出不需要与其他文件组合(当前).我有很多服务器可以扩展,但我不知道该怎么做:
1)在其上运行MapReduce
2)创建1000个作业(每个作业都有不同的文件).
一种解决方案会优于另一种吗?
谢谢!
parallel-processing jobs scalability mapreduce batch-file
batch-file ×1
jobs ×1
mapreduce ×1
parallel-processing ×1
scalability ×1