小编ame*_*amm的帖子

我是Spark和Cassandra的新手.在尝试提交spark作业时,我在连接到Cassandra时遇到错误.

细节:

版本:

Spark : 1.3.1 (build for hadoop 2.6 or later : spark-1.3.1-bin-hadoop2.6)
Cassandra : 2.0
Spark-Cassandra-Connector: 1.3.0-M1
scala : 2.10.5

Spark和Cassandra在虚拟集群上集群详细信息:

Spark Master : 192.168.101.13
Spark Slaves : 192.168.101.11 and 192.168.101.12
Cassandra Nodes: 192.168.101.11 (seed node) and 192.168.101.12

我试图通过我的客户机(笔记本电脑) - 172.16.0.6提交工作.在使用Google搜索此错误后,我确保可以从客户端计算机ping群集中的所有计算机:spark master/slaves和cassandra节点,并在所有计算机上禁用防火墙.但我仍然在努力解决这个错误.

Cassandra.yaml

listen_address: 192.168.101.11 (192.168.101.12 on other cassandra node)
start_native_transport: true
native_transport_port: 9042
start_rpc: true
rpc_address: 192.168.101.11 (192.168.101.12 on other cassandra node)
rpc_port: 9160

我正在尝试运行最小的样本作业

import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
import org.apache.spark.SparkConf
import org.apache.spark.rdd.RDD
import com.datastax.spark.connector._

val rdd …