相关疑难解决方法(0)

我正在链接多个MapReduce作业,并希望传递/存储一些元信息(例如配置或原始输入的名称)和结果.至少文件"_SUCCESS"以及目录"_logs"中的任何内容都会被忽略.

是否有任何文件名模式默认忽略InputReader？或者这只是一个固定的有限列表？

我正在使用 databricks 并尝试读取这样的 csv 文件：

df = (spark.read      
  .option("header", "true")
  .option("inferSchema", "true")
  .csv(path_to_my_file)
)

我收到错误：

AnalysisException: 'Unable to infer schema for CSV. It must be specified manually.;'

我检查过我的文件不为空，并且我还尝试自己指定架构，如下所示：

schema = "datetime timestamp, id STRING, zone_id STRING, name INT, time INT, a INT"
df = (spark.read      
  .option("header", "true")
  .schema(schema)
  .csv(path_to_my_file)
)

但是当尝试使用 display(df) 查看它时，它只是在下面给了我这个，我完全迷失了，不知道该怎么办。

df.show() and df.printSchema()给出以下结果：

看起来数据没有被读入数据帧。

错误快照：