小编Jan*_*nnk的帖子

将持久化的 keras 模型写入 s3

我在 keras 中运行了一个 lstm 模型并将其保存为 json 对象。我想将此 json 对象直接写入 s3 存储桶。Boto3 教程实际上并没有涵盖这一点,它们只展示了如何将文件写入 s3。我真的需要能够将 keras 模型直接从 python(在内存中)存储到 s3 中。有任何想法吗?

amazon-s3 bucket keras

5
推荐指数
2
解决办法
6373
查看次数

在Pandas DataFrame Python中使用pii匿名化特定列

我已经用json文件加载了一个s3存储桶,并将其解析/展平为pandas数据框。现在我有一个175列的数据框,其中4列包含个人身份信息。

我正在寻找一种匿名化这些列(名称和地址)的快速解决方案。我需要保留多个信息,以便如果多次出现的同一个人的姓名或地址具有相同的哈希值。

我可以在熊猫或其他软件包中使用现有功能吗?

python privacy anonymize pii pandas

5
推荐指数
1
解决办法
1914
查看次数

使用 python 从 s3 加载文件及其子文件夹

我正在尝试从 aws 中的 s3 存储桶加载 pandas 中的 csv 文件。Boto3 似乎在提供从子文件夹加载文件的功能方面存在不足。假设我在 s3 中有以下路径:bucket1/bucketwithfiles1/file1.csv

如何指定如何加载 file1.csv?我知道 s3 没有目录结构。

import boto3
import pandas as pd

s3 = boto3.client('s3')
obj = s3.get_object(Bucket='/bucket1/creditdefault-ff.csv')

df = pd.read_csv(obj['Body'])
Run Code Online (Sandbox Code Playgroud)

python amazon-s3 boto amazon-web-services boto3

3
推荐指数
1
解决办法
6020
查看次数

xlsx pandas 写入 s3(带标签)

我有一个项目,我需要将数据帧写入 s3 存储桶中的 xlsx。从 s3 和 Pandas 加载文件非常简单:df= pd.read_excel('s3://path/file.xlsx')

但是将文件写入 s3 给我带来了问题。

 import pandas as pd

 # Create a Pandas dataframe from the data.
 df = pd.DataFrame({'Data': [10, 20, 30, 20, 15, 30, 45]})

# Create a Pandas Excel writer using XlsxWriter as the engine.
writer = pd.ExcelWriter('s3://path/', engine='xlsxwriter')
df.to_excel(writer, sheet_name='Sheet1')
writer.save()

FileNotFoundError: [Errno 2] No such file or directory: 's3://path'
Run Code Online (Sandbox Code Playgroud)

那么如何使用 Pandas 将 xlsx 文件写入 s3,最好使用制表符?

amazon-s3 xlsx amazon-web-services pandas

3
推荐指数
1
解决办法
2312
查看次数