小编Swa*_*n S的帖子

读取和写入 Amazon s3 存储桶中的文件

我需要sample.csv从 Amazon S3 存储桶读取一个大(>15mb)文件(例如)。然后,我需要处理其中存在的数据sample.csv并将其继续写入 S3 存储桶中的另一个目录。我打算使用 AWS Lambda 函数来运行我的 java 代码。

作为第一步,我开发了在本地系统上运行的 Java 代码。java代码sample.csv从S3存储桶读取文件,我使用该put方法将数据写回S3存储桶。但我发现只有最后一行被处理并放回。

Region clientRegion = Region.Myregion;    
AwsBasicCredentials awsCreds = AwsBasicCredentials.create("myAccessId","mySecretKey");    
S3Client s3Client = S3Client.builder().region(clientRegion).credentialsProvider(StaticCredentialsProvider.create(awsCreds)).build();    
ResponseInputStream<GetObjectResponse> s3objectResponse = s3Client.getObject(GetObjectRequest.builder().bucket(bucketName).key("Input/sample.csv").build());    
BufferedReader reader = new BufferedReader(new InputStreamReader(s3objectResponse));    
String line = null;
while ((line = reader.readLine()) != null) {
                s3Client.putObject(PutObjectRequest.builder().bucket(bucketName).key("Test/Testout.csv").build(),RequestBody.fromString(line));
}
Run Code Online (Sandbox Code Playgroud)

示例:sample.csv 包含

1,sam,21,java,beginner;
2,tom,28,python,practitioner;
3,john,35,c#,expert.
Run Code Online (Sandbox Code Playgroud)

我的输出应该是

1,mas,XX,java,beginner;
2,mot,XX,python,practitioner;
3,nhoj,XX,c#,expert. 
Run Code Online (Sandbox Code Playgroud)

但只是3,nhoj,XX,c#,expert写在Testout.csv.

java amazon-s3 amazon-web-services aws-sdk aws-lambda

5
推荐指数
1
解决办法
8226
查看次数