Dar*_*Teo 5 python azure pyspark azure-synapse
我正在利用 Azure Synapse Analytics 工作区,在其中从工作区的“笔记本”选项卡运行 PYSpark 笔记本。
该工作区还连接到 Azure Data Lake Storage Gen 2,其中有一个名为文件系统的容器。
通常为了保存文件,我在导出 DataFrame 后使用 ABFSS 路径将它们写入 Spark。
UC_export=spark.createDataFrame(Error_Report.astype(str), verifySchema=False)
UC_export.coalesce(1).write.format('csv').mode('overwrite').save('abfss://[Container Name].dfs.core.windows.net/Assets_DQ/Error_Report.csv', header=True)
Run Code Online (Sandbox Code Playgroud)
但是对于下面的代码,我不知道如何保存数字。如何运行可以将 *.png 文件导出到 ABFSS 容器的循环?
for error in Unique_Conso_df_check['Rule Broken'].unique():
for column in suitable_columns:
fig = plt.figure()
ax = plt.subplot(111)
pd.crosstab(Unique_Conso_df_Error[column],Unique_Conso_df_Error[error]).plot(kind='bar', rot = 90, ax=ax, figsize=[20,10])
ax.get_figure().savefig(savedirectory+'/densityplot_'+str(column)+'.png')
plt.show()
Run Code Online (Sandbox Code Playgroud)
您需要安装存储帐户,然后您可以使用 plt.savefig()\nas 在这篇文章中解释
\n它仅在我保存图像之前不使用 plt.show() 时才有效。
\nmssparkutils.fs.mount("abfss://Container_name@account_name.dfs.core.windows.net/file_path/", "/mount_name", {"linkedService":"Your_linked_service"})\n\n#here is my graph\nplt.plot(x,y)\n\n#\xe2\x80\xafretrieve the job-id \njobId=mssparkutils.env.getJobId() \n\n#\xe2\x80\xafnow\xe2\x80\xafsave\xe2\x80\xafthe\xe2\x80\xafimage\xe2\x80\xafusing the mounted path\nplt.savefig(f"/synfs/{jobId}/mount_name/figure_name.png")\nRun Code Online (Sandbox Code Playgroud)\n
| 归档时间: |
|
| 查看次数: |
895 次 |
| 最近记录: |