小编Mic*_*ael的帖子

如何通过Spark SQL作为JDBC分布式查询引擎访问RDD表?

stackoverflow上的几个帖子都有响应,其中包含有关如何通过Spark SQL作为JDBC分布式查询引擎访问RDD表的部分信息.因此,我想询问以下问题,以获取有关如何执行此操作的完整信息:

  1. 在Spark SQL应用程序中,我们是否需要使用HiveContext来注册表?或者我们可以只使用SQL上下文?

  2. 我们在哪里以及如何使用HiveThriftServer2.startWithContext?

  3. 当我们运行start-thriftserver.sh

/opt/mapr/spark/spark-1.3.1/sbin/start-thriftserver.sh --master spark:// spark-master:7077 --hiveconf hive.server2.thrift.bind.host spark-master --hiveconf hive.server2.trift.port 10001

除了指定Spark SQL应用程序的jar和主类之外,我们还需要指定其他任何参数吗?

  1. 还有其他我们需要做的事情吗?

谢谢.

apache-spark apache-spark-sql

6
推荐指数
1
解决办法
2044
查看次数

为什么Ignite使用Spring框架?

我在我的应用程序中使用了Spring框架,虽然它在概念上很好,但由于它的运行时开销,它不适合实时应用程序.例如,http://apache-ignite-users.70518.x6.nabble.com/Failed-to-map-keys-for-cache-all-partition-nodes-left-the-grid-td23510.html显示了实际运行时Spring堆栈.

Ignite用于加载应用程序定义的bean的Spring功能只是围绕简单Java反射功能的许多层.那么为什么Ignite使用Spring而不是直接的Java反射呢?

为了使Ignite更高效,是否有计划使用Ignite从Spring框架切换到Java反射功能?

同样,如果Ignite使用Spring Boot来处理端口请求,为什么它不使用轻量级框架,例如www.sparkjava.com?

ignite

0
推荐指数
1
解决办法
103
查看次数

标签 统计

apache-spark ×1

apache-spark-sql ×1

ignite ×1