小编Our*_*ach的帖子

将spark数据帧行写为dynamoDB表中的项

有没有办法将我的spark数据帧的每一行写为dynamoDB表中的新项?(中pySpark)

我在boto3库中使用了这个代码,但我想知道是否有另一种方法,避免使用pandas和执行for loop步骤:

sparkDF_dict = sparkDF.toPandas().to_dict('records')
for item in sparkDF_dict :
    table.put_item(Item = item)
Run Code Online (Sandbox Code Playgroud)

amazon-dynamodb apache-spark pyspark

5
推荐指数
1
解决办法
830
查看次数

标签 统计

amazon-dynamodb ×1

apache-spark ×1

pyspark ×1