翼MR如何连接spark-shell？-翼MapReduce-常见问题-大数据业务开发

翼MapReduce

无相关产品

翼MR如何连接spark-shell？

更新时间 2024-05-28 17:18:05

最近更新时间: 2024-05-28 17:18:05

本章节主要介绍翼MapReduce组件Spark使用说明。

任一用户登录集群客户端节点。
配置/usr/local/ 下spark客户端目录 conf下的配置，主要是Spark-env.sh 需要配置SPARK_HOME、HADOOP_HOME、HADOOP_CLASSPATH等。
如果当前集群已启用Kerberos认证，执行以下命令认证当前用户。如果当前集群未启用Kerberos认证，则无需执行此命令。
1. 首先klist -kt <keytab文件路径>，获取keytab文件的principal，例如 klist -kt user.keytab 获得 user/hostname@realm。
2. 然后kinit -kt <keytab文件路径> <获取到的principal>，例如 kinit -kt user.keytab user/hostname@realm。
3. Kinit认证完成登录后，可以klist -l查看。
如果SPARK_HOME/bin 已经配置到系统环境变量中，可以直接spark-shell 进入。否则需要去到SPARK_HOME/bin下执行。

文本反馈

增值电信业务经营许可证A2.B1.B2-20090001