使用 AWS Glue 时是否有可以访问的临时文件夹?

Ley*_*h G 6 amazon-web-services pyspark aws-glue

在 AWS 胶中运行进程时,是否有一个临时文件夹可供我访问以临时保存文件?例如,在 Lambda 中,只要进程正在执行,我们就可以访问 /tmp 目录。我们在 AWS Glue 中有类似的东西可以在作业执行时存储文件吗?

Gou*_*tta 8

你要这个吗?AWS Glue 可以识别和使用许多参数名称,您可以使用它们为作业和 JobRun 设置脚本环境:

\n\n
    \n
  • -- TempDir \xe2\x80\x94 指定可用作作业临时目录的存储桶的 S3 路径。
  • \n
\n\n

这里有一个链接,你可以参考一下。

\n\n

希望这可以帮助。

\n

  • 嘿,谢谢你的回复。这不正是我要找的。我希望在运行该进程的系统本地有一个临时目录,因为使用 S3 路径会增加上传和下载文件的开销。 (7认同)