标签: azkaban

我正在使用Azkaban 3.0,我在一台带有两个执行器的服务器上使用它.我有一个简单的echo作业,我正在运行,我通过在流参数中设置setExecutor = id#来指定执行程序.但每当我运行tise job时,执行在两个执行程序之间保持交替,尽管它在作业定义中明确指定仅在第二个执行程序上运行.

我是否需要更改配置中的某些内容？我用执行程序重新启动了azkaban,但它没有帮助.

提前致谢!

是否可以将选项从azkaban工作流程传递到基础工作代码？

我有这样的东西，它适用于硬编码/已知日期，但是我想在执行流程时指定日期：

from azkaban import Job, Project
import datetime
import os
from datetime import datetime, timezone, timedelta




options = {
            'start.date' : today.strftime('%Y-%m-%d'), # Can we pass this as an argument to the underlying code?
            'day.offset' : 1
            }

project = Project('my_project',root=__file__)
project.add_file('my_shell_script.sh', 'my_shell_script.sh')
project.add_job('my_job', Job(options, {'type' : 'command' : 'bash my_shell_script <pass date here?>'}))
project.add_job('my_job', Job(options, {'type' : 'command' : 'java -jar test.jar <pass date here?>'}))

谢谢，Sharath

我对Apache Hadoop有些新意.我已经看到了这个和这个有关的Hadoop,HBase的,猪,蜂房和HDFS的问题.它们都描述了上述技术之间的比较.

但是,我已经看到,通常Hadoop环境包含所有这些组件(HDFS,HBase,Pig,Hive,Azkaban).

有人可以用架构工作流方式解释这些组件/技术与Hadoop环境中的职责之间的关系吗？最好是一个例子？

这是每日/每周安排Spark Jobs的推荐工具.1)Oozie 2)Luigi 3)Azkaban 4)Chronos 5)气流

提前致谢.