小编k-k*_*awa的帖子

我正在尝试用Kubernetes工作替换我的旧作业调度程序,并想知道如何将顺序作业写为Kubernetes作业.

首先,我编写了以下脚本来执行job1并按job2书面顺序执行,但它没有按预期工作.

apiVersion: batch/v1
kind: Job
metadata:
  name: sequential
spec:
  activeDeadlineSeconds: 100
  template:
    metadata:
      name: sequential_jobs
    spec:
      containers:
      - name: job1
        image: image1
      - name: job2
        image: image2
      restartPolicy: Never

上述工作似乎运行job1和job2并行.有没有什么好的方式来运行job1和job2书面订单？

追加.

我最近发现https://github.com/argoproj/argo非常适合我的用例.

我正在使用最新的(0.117)Presto并试图用这样复杂的JSON数组执行CROSS JOIN UNNEST.

[{"id": 1, "value":"xxx"}, {"id":2, "value":"yy"}, ...]

为此,首先我尝试使用id by 的值创建一个ARRAY

SELECT CAST(JSON_EXTRACT('[{"id": 1, "value":"xxx"}, {"id":2, "value":"yy"}]', '$..id') AS ARRAY<BIGINT>)

但它不起作用.

提取id值的最佳JSON路径是什么？

我们如何在Web浏览器中使用AWS Kinesis？

我对AWS Kinesis Stream感兴趣并想知道我是否可以使用它将用户的活动日志直接从他们的浏览器发送到AWS.

AWS提供了一个可在Web浏览器中执行的JavaScript SDK,但根据其文档,SDK需要凭据信息,因此,我认为在我的用例中使用它是不安全的.

我应该在他们的浏览器和AWS Kinesis之间放置代理服务器吗？或者在这种情况下是否有使用AWS Kinesis的安全方法？

免责声明:我是etcd项目和ZooKeeper项目的新手.

我最近对分布式开源产品感兴趣.我发现它们似乎需要配置(协调？)系统,例如ZooKeeper for Presto DB,Hive和Etcd for kubernetes,我认为了解etcd和ZooKeeper的角色是了解分布式系统的第一步.

但现在,我觉得迷路了...我还不明白etcd和ZooKeeper的优点和独特之处是什么.他们为我寻找分布均匀的键值存储或文件系统.这是我对产品的印象.我知道这些印象并不反映产品的特征.但我不知道我应该知道的剩余功能是什么.

ZooKeeper:根据ZooKeeper的概述页面,它保证了以下内容.

• 顺序一致性 - 客户端的更新将按发送顺序应用.
• 原子性 - 更新成功或失败.没有部分结果.
• 单系统映像 - 无论服务器连接到哪个服务器,客户端都将看到相同的服务视图.
• 可靠性 - 一旦应用了更新,它将从那时起持续到客户端覆盖更新.
• 及时性 - 系统的客户视图保证在特定时间范围内是最新的.

顺序一致性和原子性是大多数文件系统不支持的独特功能,但其他文件系统中常见.

Etcd:根据etcd的自述文件.它专注于

• 简单:可卷曲的面向用户的API(HTTP + JSON)
• 安全:可选的SSL客户端证书认证
• 快速:每个实例基准1000次写入/秒
• 可靠:使用Raft正确分布

其中大多数似乎与Amazon S3相同(S3不支持这种快速访问.)

我知道这些产品非常好,因为大多数分布式开源产品都依赖于它们.但分布式开源产品选择它们的关键,独特功能是什么？