小编Joh*_*ine的帖子

Presto:将数组<struct <key:string,value:array <string >>>转换为map <string,array <string >>

我有一张桌子

name            string                                      
address         string                                      
timezone        string                                      
one_key_value   array<struct<key:string,value:array<string>>                    
two_key_value   array<struct<key:string,value:array<string>>
Run Code Online (Sandbox Code Playgroud)

并希望将其转换为

name            string                                      
address         string                                      
timezone        string                                      
one_key_value   map<string,array<string>>                       
two_key_value   map<string,array<string>>
Run Code Online (Sandbox Code Playgroud)

使用presto.有lateral view inline,但它并没有真正在急工作.我怎样才能做到这一点?

sql hive presto

6
推荐指数
1
解决办法
3572
查看次数

将数组转换为Map

我有一个像列一样的表

[{"key":"e","value":["253","203","204"]},{"key":"st","value":["mi"]},{"key":"k2","value":["1","2"]}]
Run Code Online (Sandbox Code Playgroud)

哪种格式 array<struct<key:string,value:array<string>>>

我想将列转换为以下格式:

{"e":["253","203","204"],"st":["mi"],"k2":["1","2"]}
Run Code Online (Sandbox Code Playgroud)

这是哪种类型 map<string,array<string>>

我试过爆炸阵列,但这不起作用.任何想法我怎么能在蜂巢中这样做.

sql hadoop hive hiveql

6
推荐指数
1
解决办法
289
查看次数

使用Airflow - Python从本地系统上传文件到Google Bucket

所以我在气流上运行这个操作员

from airflow.contrib.operators.file_to_gcs import FileToGoogleCloudStorageOperator

gcp_operator = \
    FileToGoogleCloudStorageOperator(
        task_id='gcp_task',
        src='/Users/john/Documents/tmp',
        dst='gs://constantine-bucket',
        bucket='constantine-bucket',
        google_cloud_storage_conn_id='DataScience',
        mime_type='Folder',
        dag=dag
    )
Run Code Online (Sandbox Code Playgroud)

当我运行这个时,我收到一个错误

"error": "invalid_scope",
"error_description": "\u0026quot;https://www.googleapis.com/auth/devstorage.read_write\u0026quot; is not a valid audience string
Run Code Online (Sandbox Code Playgroud)

有没有人知道如何在气流上运行此运算符?

python google-cloud-storage google-cloud-datastore google-cloud-platform airflow

1
推荐指数
1
解决办法
951
查看次数