Spark and Cassandra

给我写信
GitHub

Cassandra

参考:

• Accessing Cassandra from Spark

目录

1. 在Spark Shell中访问Cassandra

如果安装的是DSE版本，则可以通过命令dse spark来直接启动一个Spark shell，并在Spark shell中直接访问Cassandra，因为DSE已经将Spark与Cassandra整合起来了。

可以看到，启动后的Spark Master也是DSE集群的某个节点，并且Spark shell已经为我们准备好了3个context：

Spark context available as sc
Hive context available as hc
CassandraSQLContext available as csc

其中，CassandraSQLContext是不推荐用的，因为它属于deprecated，下面的版本中可能被取消。

我们只要使用Spark context (sc)即可方便地访问Cassandra中的数据，例如：