@rg070836rg
2015-08-16T15:12:42.000000Z
字数 418
阅读 1774
课程设计
在确保机器能够访问集群的前提下,输入
MASTER=spark://Chen:7077 spark-shell
//指定master节点运行shell Chen为集群master的hostname
①从hdfs上读取文件
val file = sc.textFile("hdfs://localhost:9000/in/in01")
②进行分词操作
val count=file.flatMap(line => line.split(" ")).map(word => (word,1)).reduceByKey(_+_)
③整合
count.collect()