小编Sha*_*awn的帖子

基本上，我创建了一个云函数（编写了Node.js代码），该函数将在云pubsub主题的消息上触发，并将该数据加载到Bigquery表中。

通过云功能阅读后，主题中的消息将被删除。我了解订阅者在内部发送确认和结果，消息已从主题中删除。

我想控制发送给发布者的确认。如何做到这一点，没有找到关于此的任何文件。

如以下博客所述，

https://cloud.google.com/blog/big-data/2016/06/google-cloud-dataproc-the-fast-easy-and-safe-way-to-try-spark-20-preview

我试图使用Spark-scala从Google云端存储中读取文件。为此，我导入了以下Google Cloud Storage连接器和Google Cloud Storage，

// https://mvnrepository.com/artifact/com.google.cloud/google-cloud-storage
compile group: 'com.google.cloud', name: 'google-cloud-storage', version: '0.7.0'

// https://mvnrepository.com/artifact/com.google.cloud.bigdataoss/gcs-connector
compile group: 'com.google.cloud.bigdataoss', name: 'gcs-connector', version: '1.6.0-hadoop2'

之后，创建了一个如下所示的简单scala对象文件，（创建了sparkSession）

val csvData = spark.read.csv("gs://my-bucket/project-data/csv")

但它低于错误，

17/03/01 20:16:02 INFO GoogleHadoopFileSystemBase: GHFS version: 1.6.0-hadoop2
17/03/01 20:16:23 WARN HttpTransport: exception thrown while executing request
java.net.SocketTimeoutException: connect timed out
    at java.net.DualStackPlainSocketImpl.waitForConnect(Native Method)
    at java.net.DualStackPlainSocketImpl.socketConnect(DualStackPlainSocketImpl.java:85)
    at java.net.AbstractPlainSocketImpl.doConnect(AbstractPlainSocketImpl.java:350)
    at java.net.AbstractPlainSocketImpl.connectToAddress(AbstractPlainSocketImpl.java:206)
    at java.net.AbstractPlainSocketImpl.connect(AbstractPlainSocketImpl.java:188)
    at java.net.PlainSocketImpl.connect(PlainSocketImpl.java:172)
    at java.net.SocksSocketImpl.connect(SocksSocketImpl.java:392)
    at java.net.Socket.connect(Socket.java:589)
    at sun.net.NetworkClient.doConnect(NetworkClient.java:175)
    at sun.net.www.http.HttpClient.openServer(HttpClient.java:432)
    at sun.net.www.http.HttpClient.openServer(HttpClient.java:527)
    at sun.net.www.http.HttpClient.<init>(HttpClient.java:211)
    at sun.net.www.http.HttpClient.New(HttpClient.java:308)
    at sun.net.www.http.HttpClient.New(HttpClient.java:326) …

是否有任何选项可以在 Presto CLI 上提供参数。

我正在尝试将我的 impala-shell 命令更改为 Presto，其中我的 HQL 文件从 impala 的命令行获取参数，如下所示。

impala-shell -f ot_full.hql --var=date_next=${date_next_para} --var=yrmth=${yrmth_para} --var=yrmth_L12=${yrmth_L12_para} --var=pyrmth=${pyrmth_para}

WITH presto 中的子句没有多大帮助。

我们如何将其转换为 Presto 命令行。

我在https://prestodb.io/docs/current/ 中没有找到任何关于此的文档/示例