小编lea*_*rer的帖子

从 Spark 分段上传到 S3 时出错

尝试关闭序列文件编写器时,我收到错误“部分编号的上传尝试:2 已达到最大限制:5,将引发异常并失败”。异常的完整日志如下:

16/12/30 19时47分01秒INFO s3n.MultipartUploadOutputStream:uploadPart的/ mnt / S3 / 57b63810-C20A-438C-a73f-48d50e0be7d2-0001 94317523字节MD5:05ww / fe3pNni9Zvfm + l4Gg == md5hex:d39c30fdf7b7a4d9e2f59bdf9be9781a
16/12/30 19时47分12秒INFO s3n.MultipartUploadOutputStream:uploadPart / mnt1上/ S3 / 57b63810-C20A-438C-a73f-48d50e0be7d2-0002 94317523字节MD5:05ww / fe3pNni9Zvfm + l4Gg == md5hex:d39c30fdf7b7a4d9e2f59bdf9be9781a
16/12/30 19点47分23秒INFO s3n.MultipartUploadOutputStream:uploadPart的/ mnt / S3 / 57b63810-C20A-438C-a73f-48d50e0be7d2-0003 94317523字节MD5:05ww / fe3pNni9Zvfm + l4Gg == md5hex:d39c30fdf7b7a4d9e2f59bdf9be9781a
16/12/30 19时47分35秒INFO s3n.MultipartUploadOutputStream:uploadPart / mnt1上/ S3 / 57b63810-C20A-438C-a73f-48d50e0be7d2-0004 94317523字节MD5:05ww / fe3pNni9Zvfm + l4Gg == md5hex:d39c30fdf7b7a4d9e2f59bdf9be9781a
16/12/30 19时47分46秒INFO s3n.MultipartUploadOutputStream:uploadPart的/ mnt / S3 / 57b63810-C20A-438C-a73f-48d50e0be7d2-0005 94317523字节MD5:05ww / fe3pNni9Zvfm + l4Gg == md5hex:d39c30fdf7b7a4d9e2f59bdf9be9781a
16/12/30 19:47:57 错误 …

amazon-s3 emr apache-spark

1
推荐指数
1
解决办法
4409
查看次数

标签 统计

amazon-s3 ×1

apache-spark ×1

emr ×1