小编Kri*_*ddy的帖子

当我尝试在 DBFS 中移动带有 * 的文件时，我遇到了文件未找到异常。这里源目录和目标目录都在 DBFS 中。我在 dbfs 目录中有名为“test_sample.csv”的源文件，我正在使用笔记本单元中的如下命令，

dbutils.fs.mv("dbfs:/usr/krishna/sample/test*.csv", "dbfs:/user/abc/Test/Test.csv")

错误：

java.io.FileNotFoundException: dbfs:/usr/krishna/sample/test*.csv

我很感激任何帮助。谢谢。

我正在 databricks 云中运行 pyspark 作业。作为这项工作的一部分，我需要将一些 csv 文件写入数据块文件系统（dbfs），并且我还需要使用一些 dbutils 本机命令，例如，

#mount azure blob to dbfs location
dbutils.fs.mount (source="...",mount_point="/mnt/...",extra_configs="{key:value}")

一旦文件被写入挂载目录，我也试图卸载。但是，当我直接在 pyspark 作业中使用 dbutils 时，它失败了

NameError: name 'dbutils' is not defined

我应该导入任何包以在 pyspark 代码中使用 dbutils 吗？提前致谢。

Apache Spark 数据集 API 有两种方法，即head(n:Int)和take(n:Int)。

Dataset.Scala 源包含

def take(n: Int): Array[T] = head(n) 

找不到这两个函数之间执行代码的任何差异。为什么 API 有两种不同的方法来产生相同的结果？

是否有任何配置属性我们可以将其设置为在spark 1.6中通过spark-shell禁用/启用Hive支持.我试图获取所有sqlContext配置属性,

sqlContext.getAllConfs.foreach(println)

但是,我不确定实际上需要哪个属性来禁用/启用配置单元支持.或者还有其他办法吗？

我正在使用 pyspark 代码使用下面的代码从数据帧生成 csv，

df.repartition(1).write.format('com.databricks.spark.csv').option("header","true").mode("overwrite").save("/user/test")

但是，当我打开并在记事本++中看到行终止符时，它带有默认行终止符“\n”。我尝试过不同的选项，例如 textinputformat 记录分隔符集等，但没有运气。有没有办法在 Spark 中将数据帧导出到 csv 时自定义此 EOL？实际上我需要使用 CRLF ("\r\n") 自定义此 EOL。感谢任何帮助。谢谢。

Spark架构完全围绕执行器和核心的概念.我想看看在集群中运行的spark应用程序运行了多少执行程序和核心.

我试图在我的应用程序中使用下面的代码段,但没有运气.

val conf = new SparkConf().setAppName("ExecutorTestJob")
val sc = new SparkContext(conf)
conf.get("spark.executor.instances")
conf.get("spark.executor.cores")

有没有办法使用SparkContextObject或SparkConfobject等获取这些值.