小编Anu*_*Anu的帖子

java.lang.NumberFormatException:写入 S3 时在 Pyspark 中

我正在尝试在 EC2 实例上使用 pyspark 从 S3 存储桶读取压缩日志文件。EC2 实例具有对 S3 存储桶的读取权限,因为我可以使用 AWS CLI 命令手动下载文件。

这就是我的代码的样子

file_path= 's3a://<bucket_name>/<path_of_file>'

rdd1 = sc.textFile(file_path)

rdd1.take(3)


Run Code Online (Sandbox Code Playgroud)

但我遇到了以下错误

*py4j.protocol.Py4JJavaError: An error occurred while calling o36.partitions.
: java.lang.NumberFormatException: For input string: "64M"*
Run Code Online (Sandbox Code Playgroud)

有人可以帮我吗?

apache-spark pyspark

2
推荐指数
1
解决办法
3441
查看次数

标签 统计

apache-spark ×1

pyspark ×1