flink local集群部署

flink系列

• 一：flink 介绍
• 二：flink 运行模式
• 三：flink local集群部署

一：flink 介绍

1.1: flink 介绍

Apache Flink是由Apache软件基金会开发的开源流处理框架，其核心是用Java和Scala编写的分布式流数据流引擎。Flink以数据并行和流水线方式执行任意流数据程序，Flink的流水线运行时系统可以执行批处理和流处理程序。此外，Flink的运行时本身也支持迭代算法的执行

1.2 Apache Flink® - 数据流上的有状态计算

二：flink 集群部署

2.1 安装jdk (所有节点都要安装)

安装：jdk  
rpm -ivh oracle-j2sdk1.8-1.8.0+update141-1.x86_64.rpm
vim /etc/profile 
----
export JAVA_HOME=/usr/java/jdk1.8.0_141-cloudera
export CLASSPATH=.:$JAVA_HOME/jre/lib:$JAVA_HOME/lib:$JAVA_HOME/lib/tools.jar
PATH=$PATH:$HOME/bin:$JAVA_HOME/bin
----
java -version 

2.2 安装flink

下载地址：
http://archive.apache.org/dist/flink/flink-1.11.2/flink-1.11.2-bin-scala_2.12.tgz
tar -zxvf flink-1.11.2-bin-scala_2.12.tgz
mv flink-1.11.2 /usr/local/flink
cd /usr/local/flink/conf
cp -p flink-conf.yaml flink-conf.yaml.bak
vim flink-conf.yaml
-----
jobmanager.rpc.address: rc01bigdata.vpc.uniondrug.com
jobmanager.rpc.port: 6123
jobmanager.heap.size: 1024m
taskmanager.heap.size: 1024m
taskmanager.numberOfTaskSlots: 10
taskmanager.memory.preallocate: false
parallelism.default: 1
jobmanager.web.port: 8381
rest.port: 8381
env.java.opts: -XX:+UseConcMarkSweepGC -XX:CMSInitiatingOccupancyFraction=75 -XX:+UseCMSInitiatingOccupancyOnly -XX:+AlwaysPreTouch -server -XX:+HeapDumpOnOutOfMemoryError
env.java.home: /usr/java/jdk1.8.0_141-cloudera
classloader.resolve-order: parent-first
env.ssh.opts: -p 36022       ### 产线的SSH 端口号
------

vim masters
----
rc01bigdata.vpc.uniondrug.com:8381
----

vim works
---
rc02bigdata.vpc.uniondrug.com
rc03bigdata.vpc.uniondrug.com
rc04bigdata.vpc.uniondrug.com
---

cd /usr/local/
tar -zcvf flink.tar.gz flink
scp -P36022 flink.tar.gz root@rc02bigdata.vpc.uniondrug.com:/usr/local/
scp -P36022 flink.tar.gz root@rc03bigdata.vpc.uniondrug.com:/usr/local/
scp -P36022 flink.tar.gz root@rc04bigdata.vpc.uniondrug.com:/usr/local/

分别在每台works机器上面 解压 flink.tar.gz 包
cd /usr/local/
tar -zxvf flink.tar.gz 

在flink master 的节点上面执行启动flink集群
 cd /usr/local/flink
 bin/start-cluster.sh

执行一个wordcount 
./bin/flink run examples/batch/WordCount.jar