每次我对现有数据运行胶水爬虫时,它都会将 Serde 序列化库更改为LazySimpleSerDe,这不能正确分类(例如,对于带逗号的引用字段)
然后,我需要手动编辑 Glue Catalog 中的表格详细信息,将其更改为org.apache.hadoop.hive.serde2.OpenCSVSerde.
我尝试制作自己的 csv 分类器,但这没有帮助。
如何让爬虫为生成或更新的表指定特定的序列化库?
amazon-web-services amazon-athena aws-glue aws-glue-data-catalog
我正在设置一个新的爬网程序,该爬网程序按计划执行,但由于内部有逗号的双引号而失败
我搜索并发现 OpenCSVSerDe lib 用于编辑表详细信息,但我正在创建新表,我想知道如何添加一些配置以允许爬虫正确生成数据目录
如果 csv 文件具有像"$3.62","4,406"数据目录那样的价值
col0 col1
"$3.62" "4,406"
Run Code Online (Sandbox Code Playgroud)
但我得到:
col0 col1 col2
"$3.62" "4 406"
Run Code Online (Sandbox Code Playgroud) amazon-web-services amazon-athena aws-glue aws-glue-data-catalog