小编Avi*_*ron的帖子

当 EMR 机器尝试运行包含 boto3 初始化的步骤时，有时会出现以下错误： ValueError: Invalid endpoint: https://s3..amazonaws.com 当我尝试设置新机器时，它会突然工作。附上完整的错误：

self.client = boto3.client("s3")
  File "/usr/local/lib/python3.6/site-packages/boto3/__init__.py", line 83, in client
    return _get_default_session().client(*args, **kwargs)
  File "/usr/local/lib/python3.6/site-packages/boto3/session.py", line 263, in client
    aws_session_token=aws_session_token, config=config)
  File "/usr/local/lib/python3.6/site-packages/botocore/session.py", line 861, in create_client
    client_config=config, api_version=api_version)
  File "/usr/local/lib/python3.6/site-packages/botocore/client.py", line 76, in create_client
    verify, credentials, scoped_config, client_config, endpoint_bridge)
  File "/usr/local/lib/python3.6/site-packages/botocore/client.py", line 285, in _get_client_args
    verify, credentials, scoped_config, client_config, endpoint_bridge)
  File "/usr/local/lib/python3.6/site-packages/botocore/args.py", line 79, in get_client_args
    timeout=(new_config.connect_timeout, new_config.read_timeout))
  File "/usr/local/lib/python3.6/site-packages/botocore/endpoint.py", line 297, in create_endpoint
    raise ValueError("Invalid endpoint: %s" % endpoint_url) …

我正在使用SlackAPIPostOperatorAirflow在任务失败时发送Slack消息。我想知道是否存在一种将失败任务的气流UI日志页面的链接添加到松弛消息的聪明方法。

以下是我要实现的示例：

http://myserver-uw1.myaws.com:8080/admin/airflow/graph?execution_date=...&arrange=LR&root=&dag_id=MyDAG&_csrf_token=mytoken

当前消息是：

def slack_failed_task(context):
    failed_alert = SlackAPIPostOperator(
        task_id='slack_failed',
        channel="#mychannel",
        token="...",
        text=':red_circle: Failure on: ' + 
             str(context['dag']) +
             '\nRun ID: ' + str(context['run_id']) +
             '\nTask: ' + str(context['task_instance']))
    return failed_alert.execute(context=context)

有没有一种优雅的方法来为DAG成功事件定义回调？我真的不想设置一个任务，它将使用on_sucess_callback在所有其他任务的上游。

谢谢！

有没有一种方法可以使气流DAG循环运行？当尝试创建一个循环（将最后一个组件连接到最后一个组件的上游）时，我收到“在DAG中检测到循环。错误的任务：...”通常，我要运行的BashOperator组件数量很少，只有3个连续（没有从最后一个组件到第一个组件的任何输入-输出传递）。谢谢！