相关疑难解决方法(0)

使用 AWS Glue Crawler 指定 SerDe 序列化库

每次我对现有数据运行胶水爬虫时,它都会将 Serde 序列化库更改为LazySimpleSerDe,这不能正确分类(例如,对于带逗号的引用字段)

在此输入图像描述

然后,我需要手动编辑 Glue Catalog 中的表格详细信息,将其更改为org.apache.hadoop.hive.serde2.OpenCSVSerde.

我尝试制作自己的 csv 分类器,但这没有帮助。

如何让爬虫为生成或更新的表指定特定的序列化库?

amazon-web-services amazon-athena aws-glue aws-glue-data-catalog

9
推荐指数
1
解决办法
1万
查看次数

如何解决 AWS 爬网程序在双引号内分割逗号并破坏数据目录的问题?

我正在设置一个新的爬网程序,该爬网程序按计划执行,但由于内部有逗号的双引号而失败

我搜索并发现 OpenCSVSerDe lib 用于编辑表详细信息,但我正在创建新表,我想知道如何添加一些配置以允许爬虫正确生成数据目录

如果 csv 文件具有像"$3.62","4,406"数据目录那样的价值

col0     col1
"$3.62"  "4,406"
Run Code Online (Sandbox Code Playgroud)

但我得到:

col0     col1  col2
"$3.62"  "4    406"
Run Code Online (Sandbox Code Playgroud)

amazon-web-services amazon-athena aws-glue aws-glue-data-catalog

6
推荐指数
1
解决办法
3194
查看次数