"make"就像调度任务序列一样

1 makefile batch-processing

我工作的公司有很多"复杂"的基于文件的批处理过程,文件序列如下:

  • 拿文件A.
  • 获取文件B.
  • 将文件A中的字段连接到文件B以生成文件C.
  • 在文件C上运行一些启发式方法来生成文件D.
  • 将文件D上传到服务器X.
  • 根据文件D和A构建报告并将其邮寄到user.name@example.com

每个步骤可能需要几个小时才能运行(文件可能包含数十亿行数据).与GNU Makefiles粘合在一起,其中包括以下部分:

fileC:fileD run-analysis $ ^> $ @

makefile文件是建模步骤之间的依赖关系,以及允许后一切要重复某个步骤(如果有一个步骤中的问题,或启发式改变等)是有用的.

使用Makefile对我来说总是很糟糕,因为它们用于构建软件,而不是运行批处理.此外,Makefile不提供任何形式的测试框架.

我的问题是,你如何协调像这样的大型序列大型操作?

nik*_*nik 6

Makefile可用于构建软件.
但是,它们并不局限于那种活动.

Makefile可以帮助排序很多东西.
其中包括测试框架.

您是否使用过基于Makefile的构建,测试,安装顺序?
制作Makefile的工具!

这里有一些偏僻的用途,

stackoverflow中的其他引用,