小编Yoa*_*ria的帖子

当Spark中的值为空时如何删除双引号?

使用 Spark 的 df.write.save() 方法在 S3 中注册我的 CSV 时,当值为空时,我想删除双引号 ""

火花版本:2.4.0

Python 版本:3.6.5

这是我在 Python 中加载 csv 文件的代码:

df = spark.read.load(
    path('in'),
    format = 'csv',
    delimiter = '|',
    encoding = 'utf-8',
    header = 'true'
)
Run Code Online (Sandbox Code Playgroud)

加载的 CSV 文件:

|id|first_name|last_name|zip_code|
|1 |          |Elsner   |57315   |
|2 |Noelle    |         |        |
|3 |James     |Moser    |48256   |
Run Code Online (Sandbox Code Playgroud)

这是我在 Python 中编写 csv 文件的代码:

|id|first_name|last_name|zip_code|
|1 |          |Elsner   |57315   |
|2 |Noelle    |         |        |
|3 |James     |Moser    |48256   |
Run Code Online (Sandbox Code Playgroud)

写入的 CSV 文件:

|id|first_name|last_name|zip_code|
|1 …
Run Code Online (Sandbox Code Playgroud)

python csv dataframe pyspark

5
推荐指数
3
解决办法
6634
查看次数

标签 统计

csv ×1

dataframe ×1

pyspark ×1

python ×1