我有一个包含一些模型文件的目录,由于某些原因,我的应用程序必须访问本地文件系统中的这些模型文件.
当然我知道可以将文件上传到每个执行程序的工作目录的--files选项,spark-submit它确实有效.
但是,我想保留我的文件的目录结构,所以我想出了--archives选项,这就是说
YARN-only:
......
--archives ARCHIVES Comma separated list of archives to be extracted into the working directory of each executor.
......
Run Code Online (Sandbox Code Playgroud)
但是当我实际使用它上传时models.zip,我发现纱线只是放在那里没有提取,就像它做的那样--files.我误解to be extracted或误用了这个选项吗?