我想使用 Spark Sql 显示 parquet 文件的内容,但由于 parquet 文件中的列名称包含空格,我收到错误 - 属性名称“名字”包含 " ,;{}()\n 中的无效字符\t=”。请使用别名来重命名。;
我写了下面的代码 -
val r1 = spark.read.parquet("filepath")
val r2 = r1.toDF()
r2.select(r2("First Name").alias("FirstName")).show()
Run Code Online (Sandbox Code Playgroud)
但仍然遇到同样的错误
我创建了一个管道,它在管道级别有两个参数。我想使用 powershell 将值发送到这些参数并触发管道。知道如何使用 Powershell 来做到这一点。
如下所示,主构造函数中的代码参数是使用默认值定义的,val这意味着这些参数的值不应更改。但是仍然为什么在初始化构造函数时值会改变
//Why values of Aname and Cname is getting overwritten
class GFG(val Aname: String = "Ank", val Cname: String = "Constructors") {
def display() = {
println("Author name: " + Aname)
println("Chapter name: " + Cname)
}
}
//object main
object Main {
def main(args: Array[String]) = {
var obj = new GFG("a", "b")
obj.display()
}
}
Run Code Online (Sandbox Code Playgroud)