小编Mik*_*rsh的帖子

我有一个 CSV 文件，其中包含数百万条记录，大小约为 2GB。我的用例是从 S3 读取 CSV 文件并对其进行处理。请在下面找到我的代码：

在下面的代码中，我从 S3 存储桶读取文件并inputStream直接在 Spring 批处理FlatFileItemReader中使用 reader.setResource(new InputStreamResource(inputStream));

根据此实现，我在内存中保存 2GB 内容并对其进行处理，这不是一种有效的方法 - 有人可以建议从 S3 存储桶中读取大文件并在 S3 存储桶中处理它的有效方法是什么吗？春季批次。

提前感谢您的帮助！谢谢。

@Component
public class GetFileFromS3 {

    public S3ObjectInputStream dowloadFile(String keyName, String bucketName, String region) {
        try {
            AmazonS3 s3Client = AmazonS3ClientBuilder.standard().withClientConfiguration(new ClientConfiguration())
                    .withRegion(region).build();

            S3Object s3object = s3Client.getObject(bucketName, keyName);
            return s3object.getObjectContent();
        } catch (AmazonServiceException e) {
            e.printStackTrace();
        }
        return null;
    }

}




public class SpringBatch {

    @Autowired
    private GetFileFromS3 getFileFromS3;


 @Bean(name = "csvFile")
    public …

我想动态读取所有环境变量key并value形成数组，如下所示：

environment: [
    {
        name: 'DB_NAME',
        value: 'myDatabase'
    },
    {
        name: 'DB_USER_NAME',
        value: 'admin'
    },
    {
        name: 'DB_PASSWORD',
        value: 'admin'
    },
    {
        name: 'DB_TABLE_NAME',
        value: 'myTable'
    },
]

我能够打印所有环境变量，但我正在努力获取键和值并动态形成数组 - 有人可以帮助我吗？提前感谢您的帮助。谢谢。

const env = require('dotenv').config();
var environmetList = process.env
console.log("printing env variables", environmetList)
const environment = [];