使用 Spark 的 df.write.save() 方法在 S3 中注册我的 CSV 时,当值为空时,我想删除双引号 ""
火花版本:2.4.0
Python 版本:3.6.5
这是我在 Python 中加载 csv 文件的代码:
df = spark.read.load(
path('in'),
format = 'csv',
delimiter = '|',
encoding = 'utf-8',
header = 'true'
)
Run Code Online (Sandbox Code Playgroud)
加载的 CSV 文件:
|id|first_name|last_name|zip_code|
|1 | |Elsner |57315 |
|2 |Noelle | | |
|3 |James |Moser |48256 |
Run Code Online (Sandbox Code Playgroud)
这是我在 Python 中编写 csv 文件的代码:
|id|first_name|last_name|zip_code|
|1 | |Elsner |57315 |
|2 |Noelle | | |
|3 |James |Moser |48256 |
Run Code Online (Sandbox Code Playgroud)
写入的 CSV 文件:
|id|first_name|last_name|zip_code|
|1 …Run Code Online (Sandbox Code Playgroud)