标签: batch-processing

根据手册页，如果执行行之一以 255 错误退出，则 xargs 将退出：

如果命令的任何调用以 255 的状态退出，xargs 将立即停止而不读取任何进一步的输入。发生这种情况时，会在 stderr 上发出错误消息。

我怎样才能让 xargs不这样做？

我有一个大约 1500 行的批处理作业，我想一次运行 50 行。我发现它总是在某条生产线上死亡，并且没有完成工作。不好！

一个更好的问题，描述我正在尝试做的事情的问题是：

我怎样才能运行一个 1500 行的批处理脚本，一次 50 行，这样它就不会在中间退出作业，并将输出捕获到某种日志文件中？

我写了一个多线程软件，每天做一堆模拟。这是一个非常占用 CPU 的任务，我一直在云服务上运行这个程序，通常在每个核心 1GB 的配置上。

我正在运行CentOS 6.7，并/proc/cpuinfo告诉我我的四个 VPS 内核是 2.5GHz。

processor       : 3
vendor_id       : GenuineIntel
cpu family      : 6
model           : 63
model name      : Intel(R) Xeon(R) CPU E5-2680 v3 @ 2.50GHz
stepping        : 2
microcode       : 1
cpu MHz         : 2499.992
cache size      : 30720 KB
physical id     : 3
siblings        : 1
core id         : 0
cpu cores       : 1
apicid          : 3
initial apicid  : 3
fpu             : yes
fpu_exception   : yes
cpuid …

我希望能够在 S3 上一次批量删除数千或数万个文件。每个文件的大小从 1MB 到 50MB 不等。自然，我不希望用户（或我的服务器）在文件被删除的过程中等待。因此，问题：

1. S3 如何处理文件删除，尤其是在删除大量文件时？
2. 有没有一种有效的方法可以做到这一点并使 AWS 完成大部分工作？高效，我的意思是向 S3 发出最少数量的请求并花费最少的时间使用服务器上最少的资源。

我有一个文件，它导出了一堆需要删除的文件名。我需要知道如何删除每个文件，而不必在命令行中一次发出一个。

我曾想过将它放在一个for循环中，这可能会奏效，但想知道是否有更简单甚至更好的解决方案来做到这一点。

谢谢。

在业务中的另一个流程完成后，我们目前正在设置服务器以进行一些繁重的工作 (ETL)，目前我们正在通过计划的 cron 作业或远程执行（通过 ssh）来启动作业。本周早些时候，我们遇到了系统上并行运行的作业过多的问题，这导致所有作业在争夺 CPU 时间时都以蜗牛般的速度运行。

我一直在寻找一个批处理调度程序，一个我们可以将作业插入运行队列的系统，系统将一个一个地处理它们。任何人都可以就一个程序/系统提出建议吗？由于该项目的鞋带性质，低成本 / FOSS 将受到赞赏。

我每分钟为我的脚本 (Scheduled Tak (CronJob)) 运行一个 .bat 文件。当它运行时，似乎 ms-dos 窗口的时间很短。我的批处理代码是这样的；

@ECHO 关闭 C:\wamp\bin\php\php5.4.3\php.exe -f "C:\wamp\www\tst\index.php"

运行时如何隐藏此窗口？