本章节介绍如何在数据开发模块上进行MRS Spark Flink作业开发。通过MRS Flink作业实现统计单词的个数。

前提条件

• 具有OBS相关路径的访问权限。
• 已开通MapReduce服务MRS，并创建MRS集群。

数据准备

• 下载Flink作业资源包"wordcount.jar"。
• 准备数据文件“in.txt”，内容为一段英文单词。

操作步骤

1. 将作业资源包和数据文件传入OBS桶中。

                
说明
                
本例中，WordCount.jar文件上传路径为：lkj_test/WordCount.jar；word.txt 文件上传路径为：lkj_test/input/word.txt。
              

2. 创建一个数据开发模块空作业，作业名称为“job_MRS_Flink”。

新建作业

3. 进入到作业开发页面，拖动“MRS Flink”节点到画布中并单击，配置节点的属性。

配置MRS Flink节点属性

参数设置说明：

--Flink作业名称
wordcount
--MRS集群名称
选择一个MRS集群
--运行程序参数
-c    org.apache.flink.streaming.examples.wordcount.WordCount
--Flink作业资源包
wordcount
--输入数据路径
obs://dlf-region1/lkj_test/input/word.txt
--输出数据路径
obs://dlf-region1/lkj_test/output.txt

其中：

obs://dlf-region1/lkj_test/input/word.txt为wordcount.jar的传入参数路径，可以把需要统计的单词写到里面；

obs://dlf-region1/lkj_test/output.txt为输出参数文件的路径（如已存在output.txt文件，会报错）。

4. 单击“测试运行”，执行该MRS Flink作业。
5. 待测试完成，执行“提交”。
6. 在“作业监控”界面，查看作业执行结果。
7. 查看OBS桶中返回的记录。（没设置返回可跳过）