Linux 上的批处理性能

Question

我的最终用户想要在 Linux 机器上同时运行批处理。他们的印象是同时运行多个它们会减少周转时间。这些过程做了相当多的繁重工作。

我对此的看法是，并发运行只会竞争资源并导致资源争用。一些测试似乎证明了我的假设。

我在 SF 上发现了类似的帖子。

1. 任何人都可以指出证明双方理论的权威资源吗？

2. 可以做什么样的测试来验证这个假设？

Linux 上的批处理

Answer 1

要验证任何假设，您只需并发或并行运行作业并记录结果。如果您有多个 cpu，您可能处于更好的位置，具体取决于它们的执行方式。

但是问他们用户为什么这样想。你只有理论。做一个烘焙测试，看看什么需要更少的资源和更少的时间。

注意！：我遇到了同样的问题，但不是多个 ETL，而是作业与备份竞争。停止备份使 ETL 运行得很快，所以他们归咎于备份！。（但是停止 ETL 会使备份运行得很快，所以要小心你如何提出你的论点！）因为 DBA 无法理解他们有磁盘争用，除了“使备份不影响 ETL'，最后我写了一个脚本来轮询 ETLS 的结尾，并且只在完成后运行，如果在早上 7 点之前完成，否则不要运行。我们有一个有限的时间窗口。

你会想要调查进程亲和性之类的东西

以及任何关于磁盘布局/RAID 等的 I/O 调整，以及标准性能考虑。