DLI 作业类型

DLI 提供了三种作业类型：

• SQL作业：SQL作业为用户提供标准的SQL，兼容Spark SQL、Presto SQL（基于Presto），通过可视化界面API、JDBC、ODBC、Beeline等多种接入方式对云上异构数据源进行查询分析，兼容CSV、JSON、Parquet、Carbon、ORC等主流数据格式。
• Flink作业：Flink作业是运行在公有云上的实时流式大数据分析服务作业，全托管的方式用户无需感知计算集群，只需聚焦于Stream SQL业务，即时执行作业，完全兼容Apache Flink API。
• Spark作业：Spark作业可为用户提供全托管式的Spark计算服务。用户可通过可视化界面和RESTful API提交作业，支持提交Spark Core、DataSet、Streaming、MLlib、GraphX等Spark全栈作业。

约束限制

• DLI配置SparkUI只展示最新的100条作业信息。
• 控制台界面查询结果最多显示1000条作业结果数据，如果需要查看更多或者全量数据，则可以通过该功能将数据导出到OBS获取。
• 导出作业运行日志需要具有OBS桶的权限，请提前在“全局配置 > 工程配置”页面配置DLI作业桶。
• default队列下运行的作业或者该作业为同步作业时不支持归档日志操作。
• 仅Spark作业支持使用自定义镜像。
• 当前弹性资源池最大的计算资源 32000CUs。