Spark Tachyon:如何删除文件？

Question

在Scala中,作为一个实验,我使用Spark在Tachyon上创建一个序列文件并将其重新读入.我想使用Spark脚本从Tachyon中删除该文件.

val rdd =  sc.parallelize(Array(("a",2), ("b",3), ("c",1)))
rdd.saveAsSequenceFile("tachyon://127.0.0.1:19998/files/123.sf2")
val rdd2 = sc.sequenceFile[String,Int]("tachyon://127.0.0.1:19998/files/123.sf2")

我不太了解Scala语言,我找不到有关文件路径操作的参考.我确实找到了一种在Scala中以某种方式使用Java来实现此目的的方法,但我无法使用Tachyon来使用它.

import java.io._
new File("tachyon://127.0.0.1:19998/files/123.sf2").delete()

Answer 1

有不同的方法，例如：

• 命令行界面：

  ./bin/tachyon tfs rm filePath
  

更多信息： http: //tachyon-project.org/Command-Line-Interface.html

• 应用程序编程接口：

  TachyonFS sTachyonClient = TachyonFS.get(args[0]);
  sTachyonClient.delete(filePath, true);
  

更多信息： https: //github.com/amplab/tachyon/blob/master/core/src/main/java/tachyon/examples/BasicOperations.java