使用Kubernetes的Apache Presto

Ans*_*rma 4 performance-testing presto docker kubernetes

我们正在尝试使用Kubernetes实现Apache Presto。我们有一个在云上作为服务运行的kubernetes集群。我尝试在Google上进行搜索,但是无法找到关于使用Kubernetes部署Presto的最佳实践的最终结果。虽然存在Presto的官方github-但无济于事。以下是我要寻求答案的两个问题:

  1. 用Kubernetes配置Presto的最佳方法是什么-理想的工作副本等指标?
  2. 我们如何继续进行此部署的性能测试?

Rya*_*son 6

您可以从https://github.com/helm/charts/tree/master/stable/presto附带官方头盔图进行安装。它提供了一个设置工人数量的选项。使用官方图表,您应该能够在Kubernetes图表松弛通道中提问(通过http://slack.k8s.io),并在GitHub中提出问题。或有非安全示例,例如https://github.com/dharmeshkakadia/presto-kubernetes

多少工人的问题不是Kubernetes所特有的。这是一个问题,您需要部署多少负载以及什么样的负载,并且还取决于Kubernetes集群使用的硬件。如果不确定,则可以使用默认设置进行部署并根据需要进行调整。这是由https://prestodb.io/presto-admin/docs/current/installation/presto-configuration.html建议的。您将在kubenernetes yaml描述符的Deployment部分中找到一些设置,例如每个节点的内存。或在舵图的情况下在values.yaml中。

要对部署进行性能测试,您将需要测试数据,然后可以对集群运行查询。因此,您将在Kubernetes之外执行相同的过程。有些工具可以提供帮助,例如https://www.lewuathe.com/use-benchto-for-evaluation-of-presto.htmlhttps://github.com/prestodb/tempto。您可能还想看看https ://kognitio.com/blog/presto-performance-powerful-or-problematic/

  • @MichaelHausenblas我相信在这里部署将是一个更好的选择,因为Presto的目的是“查询”而不是“存储”。因此,例如,我们已经大量使用了Drill,它仅用作“部署” (2认同)