小编Bum*_*Kim的帖子

如何构建和使用flink-connector-kinesis?

我正在尝试将Apache Flink与AWS kinesis结合使用。该文档说,我必须自己构建连接器。

因此,我建立了连接器并为我的项目添加了jar文件,并且还将依赖项放在了pom.xml文件中。

<dependency>
    <groupId>org.apache.flink</groupId>
    <artifactId>flink-connector-kinesis_2.11</artifactId>
    <version>1.6.1</version> 
</dependency>
Run Code Online (Sandbox Code Playgroud)

但是,当我尝试使用进行构建时,出现mvn clean package了这样的错误消息

[INFO] -----------------------< kkaldk:flink-kinesis >-----------------------
[INFO] Building Flink Quickstart Job 0.1
[INFO] --------------------------------[ jar ]---------------------------------
[WARNING] The POM for org.apache.flink:flink-connector-kinesis_2.11:jar:1.6-SNAPSHOT is missing, no dependency information available
[INFO] ------------------------------------------------------------------------
[INFO] BUILD FAILURE
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 0.458 s
[INFO] Finished at: 2018-12-19T17:45:43+09:00
[INFO] ------------------------------------------------------------------------
[ERROR] Failed to execute goal on project flink-kinesis: Could not resolve dependencies for project kkaldk:flink-kinesis:jar:0.1: Failure to find org.apache.flink:flink-connector-kinesis_2.11:jar:1.6-SNAPSHOT in https://repository.apache.org/content/repositories/snapshots/ …
Run Code Online (Sandbox Code Playgroud)

connector amazon-web-services maven amazon-kinesis apache-flink

4
推荐指数
1
解决办法
1891
查看次数

如何使用“as”子句修复“必须是聚合表达式或出现在 GROUP BY 子句中”

我正在尝试使用 athena 查询获取我的 CloudFront 分配的每小时请求数。

我在我的sample_db中创建了由此链接引导的cloudfront_logs表

下面是我为获取按小时请求的数量而进行的查询

SELECT date_trunc('hour',from_iso8601_timestamp(concat(concat(date_format(date, '%Y-%m-%d'), 'T'), time))) as TIME, count(*) as CNT
FROM "sample_db"."cloudfront_logs" 
WHERE 
    from_iso8601_timestamp(concat(concat(date_format(date, '%Y-%m-%d'), 'T'), time)) >= from_iso8601_timestamp('2019-05-29T00:00:00')
AND 
    from_iso8601_timestamp(concat(concat(date_format(date, '%Y-%m-%d'), 'T'), time)) < from_iso8601_timestamp('2019-05-30T00:00:00')
GROUP BY TIME
ORDER BY TIME ASC;
Run Code Online (Sandbox Code Playgroud)

但是它返回这样的错误

SYNTAX_ERROR: line 2:8: '"date_trunc"('hour', "from_iso8601_timestamp"("concat"("concat"("date_format"("date", '%Y-%m-%d'), 'T'), "time")))' must be an aggregate expression or appear in GROUP BY clause
Run Code Online (Sandbox Code Playgroud)

因此,我将TIMEafter替换GROUP BYdate_trunc('hour',from_iso8601_timestamp(concat(concat(date_format(date, '%Y-%m-%d'), 'T'), time))),然后再次尝试。

SELECT date_trunc('hour',from_iso8601_timestamp(concat(concat(date_format(date, '%Y-%m-%d'), 'T'), time))) as TIME, count(*) …
Run Code Online (Sandbox Code Playgroud)

sql group-by presto amazon-athena

4
推荐指数
1
解决办法
2万
查看次数