使用 dbutils 在 Databricks 中上传后从目录中删除文件

Question

StackOverflow 的一位非常聪明的人帮助我将文件从 Databricks 复制到目录： copyfiles

我使用相同的原理在复制文件后删除文件，如链接所示：

for i in range (0, len(files)):
  file = files[i].name
  if now in file:  
    dbutils.fs.rm(files[i].path,'/mnt/adls2/demo/target/' + file)
    print ('copied     ' + file)
  else:
    print ('not copied ' + file)

但是，我收到错误：

TypeError: '/mnt/adls2/demo/target/' 的类型错误 - 需要类 bool 。

有人可以让我知道如何解决这个问题吗？我认为在最初使用命令复制文件后删除文件很简单dbutils.fs.rm

Answer 1

如果你想删除以下路径中的所有文件：'/mnt/adls2/demo/target/'，有一个简单的命令：

dbutils.fs.rm('/mnt/adls2/demo/target/', True)

无论如何，如果您想使用您的代码，请查看dbutils doc：

rm(dir: String, recurse: boolean = false): boolean -> 删除文件或目录

该函数的第二个参数应为布尔值，但您的代码具有带路径的字符串：

dbutils.fs.rm(files[i].path, '/mnt/adls2/demo/target/' + file)

所以你的新代码可以如下：

for i in range (0, len(files)):
    file = files[i].name
        if now in file:  
            dbutils.fs.rm(files[i].path + file, True)
            print ('copied     ' + file)
        else:
            print ('not copied ' + file)

Answer 2

如果您有大量文件，以这种方式删除它们可能会花费很多时间。您可以利用 Spark 并行性并行删除文件。我提供的答案是用 scala 编写的，但可以更改为 python。

您可以使用以下函数检查目录是否存在：

import java.io._
def CheckPathExists(path:String): Boolean = 
{
  try
  {
    dbutils.fs.ls(path)
    return true
  }
  catch
  {
    case ioe:java.io.FileNotFoundException => return false
  }
}

您可以定义一个用于删除文件的函数。您正在一个对象内创建此函数，并从 Serialized 类扩展该对象，如下所示：

object Helper extends Serializable
{
def delete(directory: String): Unit = {
    dbutils.fs.ls(directory).map(_.path).toDF.foreach { filePath =>
      println(s"deleting file: $filePath")
      dbutils.fs.rm(filePath(0).toString, true)
    }
  }
}

现在您可以先检查该路径是否存在，如果返回 true，则可以调用删除函数来删除多个任务中文件夹内的文件。

val directoryPath = "<location"
val directoryExists = CheckPathExists(directoryPath)
if(directoryExists)
{
Helper.delete(directoryPath)
}