Core(核心):

Filnk的核心core是Runtime(最重要的)

Deploy(Flink的部署模式)

Local模式 : 适用于本地开发和测试环境,占用资源较少

原理：主节点JobManager（Master）和从节点TaskManager（Slave）在一台机器上模拟

1、Flink程序由JobClient进行提交

2、JobClient将任务提交给JobManager

3、JobManager只负责协调分配资源和分发任务，资源分配完成后将任务提交给相应的TaskManager

4、TaskManager启动一个线程开始执行任务，TaskManager会向JobManager报告状态的变更，

例如：开始执行、正在执行、执行完成

5、作业执行完成后，结果将发送回客户端（JobClient）

Standalone Cluster模式 : 需要在集群中完成 至少需要3台主机 一个master和两个worker节点

原理：node1作为主节点JobManager（master），node1、node2、node3作为从节点TaskManager（Slave）

1、client客户端提交任务给JobManager

2、JobManager负责申请分配任务所需资源并管理任务任务和资源

3、JobManager分发任务给TaskManager执行

4、TaskManager定期向JobManager汇报状态

Standalone-HA高可用集群模式

原理：

Standalone只有一个主节点，由于主节点负责调度和分配资源，如果主节点出现意外情况（例如宕机），集群就死掉了

但是Standalone-HA高可用集群会有多个主节点，他们都会想zookeeper注册并创建一个临时节点

（一个处于active活跃（工作状态）状态，其他处于standby状态,也就是应急状态），

如果活跃状态的主机出现意外和zookeeper心跳检测超时，临时节点就会被删除，

zookeeper就会从处于standby状态的节点选一个新的主节点，删除standby的临时节点添加active的临时节点

YARN模式 : 使用YARN进行调度

原理：

1、Client上传Flink的jar包和配置文件到HDFS集群上

2、Client向Yarn的ResourceManager提交任务和申请资源

3、ResourceManager分配Container资源并启动ApplicationMaster

4、ApplicationMaster加载Flink的jar包和配置文件构建环境启动Flink-JobManager

5、ApplicationMaster向ResourceManager申请任务资源，

6、NodeManager加载Flink的jar包和配置文件构建环境并启动TaskManager

7、TaskManager启动后会向JobManager发送心跳，并等待JobManager向其分配任务

Flink On Yarn模式也存在两种模式

Session模式(适合小任务使用) 和 Per-Job模式(适合使用大任务,且资源充足)

Session模式 :(小规模,执行时间短)

1. 需要先申请资源，启动JobManager和TaskManager
2. 不需要每次提交任务再去申请资源，而是使用已经申请好的资源，从而提高执行效率
3. 任务提交完资源不会被释放，因此一直会占用资源
4. 共享Dispatcher和Resource Manager

Per-Job模式 :(执行时间较长的大作业)

1. 每次提交任务都需申请资源，申请资源需要时间，所有影响执行效率（但是在大数据面前都是小事）
2. 每次执行完任务资源就会立刻被释放，不会占用资源
3. 独享Dispatcher和Resource Manager

API&Libraries

1. DataStream API 流计算
2. DataSet API 批处理
3. Table 前提是
4. Gelly 图计算

1.4 Filnk编程模型

main{
//可以对抽象数据集进行编程
 //Source
    val lines:DataStream  = env.socketTextStream("localhost",8888)
        
 //调用Transformation(s)
        val words:DataStream = lines.flatMap(_.split(","))
 //调用Sink
        words.print()

}