在AWS上新的ETL工具中使用诸如numpy和pandas之类的软件包的最简单方法是什么?我在Python中有一个完整的脚本我想在AWS Glue中运行,它使用numpy和pandas.
我目前正在尝试将数据帧写入临时文件,然后将该临时文件上传到S3存储桶中。当我运行代码时,目前没有任何动作发生。任何帮助将不胜感激。以下是我的代码:
import csv
import pandas as pd
import boto3
import tempfile
import os
s3 = boto3.client('s3', aws_access_key_id = access_key, aws_secret_access_key = secret_key, region_name = region)
temp = tempfile.TemporaryFile()
largedf.to_csv(temp, sep = '|')
s3.put_object(temp, Bucket = '[BUCKET NAME]', Key = 'test.txt')
temp.close()
Run Code Online (Sandbox Code Playgroud)