小编use*_*355的帖子

调整Hive查询的性能

我有一个Hive查询,它选择了大约30列和大约400,000条记录并将它们插入另一个表中.我在SQL子句中有一个连接,它只是一个内连接.

由于超出了Java GC开销限制,查询失败.

奇怪的是,如果我删除join子句并只选择表中的数据(稍高的音量),那么查询工作正常.

我对Hive很新.我无法理解为什么这个连接导致内存异常.

关于如何编写Hive查询以便它们不会导致这些问题,我是否应该注意一些事项?任何人都可以解释为什么连接可能会导致此问题,但选择更大的数据量和相同数量的列不会.

感谢你对此的看法.谢谢

memory performance hive exception

11
推荐指数
2
解决办法
2万
查看次数

Clojure映射键,键名称中包含空格

我对Clojure很新.我有一个数据库结果的映射,它包含键值,例如:

{:Unique Product ID "09876" :ProductName "XYZ"}
Run Code Online (Sandbox Code Playgroud)

我想从地图中检索值,但我在获取唯一产品ID时遇到问题.

ProductID (str ( map-name ":Unique Product ID"))
Run Code Online (Sandbox Code Playgroud)

产品名称使用正常:

ProductName (str ( map-name :ProductName"))
Run Code Online (Sandbox Code Playgroud)

我不确定如何处理产品ID字段键中的空格.我该如何从地图中检索该键的值?

谢谢

clojure map

7
推荐指数
2
解决办法
2049
查看次数

标签 统计

clojure ×1

exception ×1

hive ×1

map ×1

memory ×1

performance ×1