从java中的spark访问cassandra时出错:无法导入CassandraJavaUtil

Question

我正在使用以下博客配置从apache spark访问Cassandra.

" http://www.datastax.com/dev/blog/accessing-cassandra-from-spark-in-java "" https://gist.github.com/jacek-lewandowski/278bfc936ca990bee35a#file-javademo-java- L177 "

但是,我无法导入CassandraJavaUtil类依赖项,并且我的eclipse显示错误"导入无法解析".

import static com.datastax.spark.connector.CassandraJavaUtil.*;

请帮我解决这个错误.

非常感谢.

Answer 1

我也按照您链接的第一个文档中的示例进行操作.您会注意到,在"先决条件"部分中,步骤#2要求您将示例创建为Maven项目.步骤#3列出了需要添加到项目中的四个依赖项.其中两个依赖项特定于Spark Connector:

• com.datastax.spark:火花卡桑德拉 - connector_2.10:1.0.0 RC4
• com.datastax.spark:火花卡桑德拉连接器-java_2.10:1.0.0-RC4

基本上,pom.xml我的Spark项目的"依赖项"部分如下所示:

  <dependencies>
    <dependency>
        <groupId>com.datastax.spark</groupId>
        <artifactId>spark-cassandra-connector_2.10</artifactId>
        <version>1.1.0-alpha2</version>
    </dependency>
    <dependency>
        <groupId>com.datastax.spark</groupId>
        <artifactId>spark-cassandra-connector-java_2.10</artifactId>
        <version>1.1.0-alpha2</version>
    </dependency>
    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-core_2.10</artifactId>
        <version>1.1.0</version>
    </dependency>
    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-streaming_2.10</artifactId>
        <version>1.1.0</version>
    </dependency>
  </dependencies>

仔细检查您pom.xml是否具有这些依赖项,然后调用Maven将Spark Connector库本地化.这对我有用:

cd workspace/sparkTest2
mvn package