小编use*_*882的帖子

将数据框的所有列转换为数字spark scala

大家好我加载了一个csv作为数据帧,我想将所有列转换为浮动,知道该文件是大写所有列名称

val spark = SparkSession.builder.master("local").appName("my-spark-app").getOrCreate()
val df = spark.read.option("header",true).option("inferSchema", "true").csv("C:/Users/mhattabi/Desktop/dataTest2.csv")
Run Code Online (Sandbox Code Playgroud)

任何帮助将不胜感激

scala apache-spark apache-spark-sql

4
推荐指数
1
解决办法
3148
查看次数

将 csv 文件合并为一个文件

我有一组 csv 文件,我想将它们合并到一个 csv 文件中。,这需要一些时间,但我没有在目标路径中找到该文件

hdfs dfs -getmerge /DATA /data1/result.csv
Run Code Online (Sandbox Code Playgroud)

任何帮助谢谢

hadoop hdfs

2
推荐指数
1
解决办法
4975
查看次数

标签 统计

apache-spark ×1

apache-spark-sql ×1

hadoop ×1

hdfs ×1

scala ×1