小编Kar*_*dol的帖子

其他列(行)中存在Spark列字符串替换

我想删除字符串从col1存在于col2:

val df = spark.createDataFrame(Seq(
("Hi I heard about Spark", "Spark"),
("I wish Java could use case classes", "Java"),
("Logistic regression models are neat", "models")
)).toDF("sentence", "label")
Run Code Online (Sandbox Code Playgroud)

使用regexp_replacetranslateref:spark函数api

val res = df.withColumn("sentence_without_label", regexp_replace 
(col("sentence") , "(?????)", "" ))
Run Code Online (Sandbox Code Playgroud)

所以res看起来如下:

在此输入图像描述

scala user-defined-functions apache-spark

8
推荐指数
2
解决办法
2万
查看次数

Spark会支持Clojure吗?

我即将开始学习函数式编程,Clojure最吸引我,我喜欢它的社区,语法和不可变数据结构的概念.我也对富有数据Numenta的生物启发ML 感兴趣.但是,我最担心的是Spark还没有支持它,而且Spark摇滚!有一个Flambo Flambo Clojure,但它是一个令人满意的解决方案吗?

我的课程和工作是在Scala.我应该打败并进入斯卡拉世界还是你认为我应该只关注Clojure?

clojure nupic apache-spark spark-streaming

5
推荐指数
1
解决办法
3214
查看次数