如何使用 Datastax Spark-cassandra-connector 从 Cassandra 表中读取特定列？

Question

我正在使用spark-cassandra-connector_2.11（版本2.0.5）将数据从Cassandra加载到Spark集群中。我正在使用 read api 加载数据，如下所示：

SparkUtil.initSpark()
         .read
         .format("org.apache.spark.sql.cassandra")
         .options(Map("table"-><table_name>, "keyspace"-><keyspace>))
         .load()

然而，它工作正常，在一个用例中我只想读取 Cassandra 的特定列。如何使用 read api 来做同样的事情？

Answer 1

SparkUtil.initSpark()
         .read
         .format("org.apache.spark.sql.cassandra")
         .options(Map("table"-><table_name>, "keyspace"-><keyspace>))
         .load()
         .select("column_name")

使用select.. 您还可以使用案例类