小编Sha*_*per的帖子

spark检查点和本地检查点有什么区别?

spark检查点和本地检查点有什么区别?在创建本地检查点时,我在 spark UI 中看到了这一点:

在此处输入图片说明

它表明本地检查点保存在内存中。

apache-spark spark-checkpoint

4
推荐指数
1
解决办法
1725
查看次数

是否可以增加 AWS Athena 中的最大行大小?

我正在使用 AWS Athena 运行此查询:

SELECT
  t1.*
FROM "db"."tbl1" t1
INNER JOIN "tbl1"."ema" ea ON
  ea.id = concat(t1.numc,t1.nummt)
WHERE
  ea.cod1 = '23' and
  ea.cod2 = '776'
Run Code Online (Sandbox Code Playgroud)

并收到此错误:

Size of a single row or its columns cannot exceed 32 MB
Run Code Online (Sandbox Code Playgroud)

该表以 jsonl 格式保存在 AWS S3 中。

可以增加最大行大小吗?

sql amazon-s3 bigdata amazon-web-services amazon-athena

4
推荐指数
1
解决办法
1510
查看次数