如何增加 SQL 实验室和可视化的超集行限制和超时缓存

Question

我有一个包含 10 亿行的数据集。数据存储在 Hive 中。另外，我将 Impala 作为 Hive 和 Superset 之间的一层。在 Superset 中运行的查询具有最大行限制。100.000。我需要更改它，没有行限制。此外，我需要对从 SQL 实验室返回的查询结果进行可视化，但这是无法完成的，因为也存在超时缓存限制。因此，如果我更改/增加 SQL 实验室中的行限制和可视化中的超时缓存，那么我想，不会有问题。

Answer 1

我尽力在下面回答。更改前请备份所有配置文件。

对于 SQL 行限制问题 -

1. 修改 'anaconda3/lib/python3.7/site-packages' 内的 config.py 文件并设置

DEFAULT_SQLLAB_LIMIT  to 1000000000
QUERY_SEARCH_LIMIT to 1000000000

2. 修改 viz.py 并设置-

filter_row_limit  to 1000000000

对于超时问题，增加以下参数值 -

对于同步查询 - 更改 superset_config.py

SUPERSET_WEBSERVER_TIMEOUT 
SQLLAB_TIMEOUT 
SUPERSET_TIMEOUT  --This value should be >=SQLLAB_TIMEOUT

对于异步查询 -

SQLLAB_ASYNC_TIME_LIMIT_SEC