从 Spark 数据集列值中替换或删除新行“\n”字符

Question

我有下面的代码来读取xml

Dataset<Row> dataset1 = SparkConfigXMLProcessor.sparkSession.read().format("com.databricks.spark.xml")
                .option("rowTag", properties.get(EventHubConsumerConstants.IG_ORDER_TAG).toString())
                .load(properties.get("C:\\inputOrders.xml").toString());

获取换行符的列值之一。我想用一些字符替换它或者只是想删除它。请帮忙

Answer 1

dataset1.withColumn("menuitemname_clean", regexp_replace(col("menuitemname"), "[\n\r]", " "))

上面的代码将起作用