小编Mo *_*Tao的帖子

使用--archives选项上传zip文件上传zip文件

我有一个包含一些模型文件的目录,由于某些原因,我的应用程序必须访问本地文件系统中的这些模型文件.

当然我知道可以将文件上传到每个执行程序的工作目录的--files选项,spark-submit它确实有效.

但是,我想保留我的文件的目录结构,所以我想出了--archives选项,这就是说

YARN-only:
......
--archives ARCHIVES         Comma separated list of archives to be extracted into the working directory of each executor.
......
Run Code Online (Sandbox Code Playgroud)

但是当我实际使用它上传时models.zip,我发现纱线只是放在那里没有提取,就像它做的那样--files.我误解to be extracted或误用了这个选项吗?

zip scala hadoop-yarn apache-spark

7
推荐指数
1
解决办法
6098
查看次数

标签 统计

apache-spark ×1

hadoop-yarn ×1

scala ×1

zip ×1