小编pra*_*ady的帖子

Databricks 中使用的集群管理器是什么？如何更改 Databricks 集群中的执行程序数量？

例如，我有两列

 Code   Department
    E.          ECE
    C.          CSE

我想将其转换为地图类型，如下所示

Map( E -> ECE, C -> CSE) 

注意 - 当前使用带有 Scala 的 spark 2.2。

我正在使用下面的代码将我的 df 导出到 excel，我需要为输出 excel 中的特定列着色。

# DF TO EXCEL
from pandas import ExcelWriter
writer = ExcelWriter('Output.xlsx')
df.to_excel(writer,'sheet1')
writer.save()

请建议我一种方法。

我有一个.gz格式的压缩文件，是否可以使用spark DF / DS直接读取文件？

详细信息：文件是带有制表符分隔的csv。