操作场景

DLI可以查询存储在OBS中的数据，本节操作介绍使用DLI提交Spark Jar进行实时计算的操作步骤。

操作流程

使用DLI提交Spark作业进行实时计算。基本流程如下：

1.上传数据至OBS

2.创建队列

3.创建程序包

4.提交Spark作业

上传数据至OBS

开发Spark Jar作业程序，编译并打包为“spark-examples.jar”。参考以下操作步骤上传该作业程序。

提交Spark作业之前，需要在OBS中上传数据文件。

1.登录管理控制台

2.在服务列表中，单击“存储”中的“对象存储服务OBS”，进入OBS管理控制台页面。

3.创建桶，这里以桶名“dli-test-obs01”为例。

a. 单击“创建桶”。

b. 进入“创建桶”页面，输入“桶名称”。其他参数保持默认值或根据需要选择。

说明
创建OBS桶时，需要选择与DLI管理控制台相同的区域，不可跨区域执行操作。

c. 单击“立即创建”。

4.单击所建桶“dli-test-obs01”，进入“对象”页面。

5.选择左侧列表中的“对象”，选择“上传对象”，将需要上传的文件，例如“spark-examples.jar”上传到指定目录，单击“确定”。

例如，文件上传成功后，待分析的文件路径为“obs://dli-test-obs01/spark-examples.jar”。

说明
关于OBS管理控制台更多操作请参考《对象存储服务控制台指南》。
OBS上传文件指导，请参见《OBS工具指南》。
针对大文件场景，由于OBS管理控制台对文件大小和数量限制较多，所以推荐使用OBS工具上传大文件，如OBS Browser+上传。
OBS Browser+是一个比较常用的图形化工具，，支持完善的桶管理和对象管理操作。推荐使用此工具创建桶或上传对象。

创建队列

第一次提交Spark作业，需要先创建队列，例如创建名为“sparktest”的队列，队列类型选择为“通用队列”。

1.登录DLI管理控制台。

2.在DLI管理控制台的左侧导航栏中，选择“资源管理 > 队列管理”。

3.单击“队列管理”页面右上角“创建队列”进行创建队列。

4.创建名为“sparktest”的队列，队列类型选择为“通用队列”。创建队列详细介绍请参考《数据湖探索用户指南》>《创建队列》。

5.单击“立即创建”，完成队列创建。

创建程序包

提交Spark作业之前需要创建程序包，例如“spark-examples.jar”。

1.在管理控制台左侧，单击“数据管理”>“程序包管理”。

2.在“程序包管理”页面，单击右上角“创建”可创建程序包。

3.在“创建程序包”对话框，“包类型”选择“JAR”，“OBS路径”选择步骤2：上传数据至OBS中“spark-examples.jar”的包路径，“分组设置”参数选择为“不分组”。

4.单击“确定”，完成创建程序包。

程序包创建成功后，您可以在“程序包管理”页面查看和选择使用对应的包。

创建程序包详细介绍请参考《数据湖探索用户指南》>《创建程序包》。

提交Spark作业

1.在DLI管理控制台，单击左侧导航栏中的“作业管理”>“Spark作业”，单击“创建作业”，进入创建Spark作业页面。

2.在Spark作业编辑页面中，“所属队列”选择步骤4：创建队列中创建的队列，“应用程序”选择步骤5：创建程序包创建的程序包。

其他参数请参考《数据湖探索用户指南》>《创建Spark作业》中关于Spark作业编辑页面的说明。

3.单击Spark作业编辑页面右上方“执行”，阅读并同意隐私协议，单击“确定”。提交作业，页面显示“作业提交成功”。

4.（可选）可到“作业管理”>“Spark作业”页面查看提交作业的状态及日志。

                
说明
                
在DLI管理控制台第一次单击“执行”操作时，需要阅读隐私协议，同意确定后，后续操作将不会再提示。