小编yas*_*waj的帖子

如何更新/删除 Spark-hive 中的数据?

我认为我的标题不能解释问题,所以问题是:

详细信息build.sbt:

name := "Hello"
scalaVersion := "2.11.8"
version      := "1.0"

libraryDependencies += "org.apache.spark" %% "spark-core" % "2.1.0"
libraryDependencies += "org.apache.spark" %% "spark-sql" % "2.1.0"
libraryDependencies += "org.apache.spark" % "spark-hive_2.11" % "2.1.0"
Run Code Online (Sandbox Code Playgroud)

代码:

val sparkSession = SparkSession.builder().enableHiveSupport().appName("HiveOnSpark").master("local").getOrCreate()
val hiveql : HiveContext  = new HiveContext(sparkSession.sparkContext);

hiveql.sql("drop table if exists test")
hiveql.sql("create table test (id int, name string) stored as orc tblproperties(\"transactional\"=\"true\")")
hiveql.sql("insert into test values(1,'Yash')")
hiveql.sql("insert into test values(2,'Yash')")
hiveql.sql("insert into test values(3,'Yash')")
hiveql.sql("select * from test").show()
hiveql.sql("delete from test where …
Run Code Online (Sandbox Code Playgroud)

java hive scala apache-spark-sql spark-hive

5
推荐指数
1
解决办法
6158
查看次数

斯卡拉| '< - ',' - >'和'=>'运算符之间有什么区别?它们是如何隐式工作的?

在研究Scala的基础时,我遇到了"< - "运算符,他们说这是一个来自任何范围/列表或集合的生成器.

  1. 它在什么基础上产生价值,以及隐含地做什么的方式?
  2. 是否必须在Object.scala中使用main()?我不能在Class.scala中定义main()吗?
  3. 是否必须使Object.scala从类的方法中获取输出?

scala scala-collections

0
推荐指数
1
解决办法
1285
查看次数