我想在 SparkSession.sql 中使用正则表达式,但无论我使用:
SparkSession.builder.enableHiveSupport().config("hive.support.quoted.identifiers", None)
或者
SparkSession.sql("set hive.support.quoted.identifiers=None")。
请告诉我该怎么做。
代码:
ss = (pyspark.sql.SparkSession
.builder
.enableHiveSupport()
.config("hive.support.quoted.identifiers", None)
.getOrCreate())
#ss.sql("set hive.support.quoted.identifiers=None")
ss.sql("SELECT `(col)?+.+` FROM table")
Run Code Online (Sandbox Code Playgroud)
程序结果:
pyspark.sql.utils.AnalysisException: "cannot resolve '`(col)?+.+`' given input columns: ... ...
Run Code Online (Sandbox Code Playgroud)