- 任一用户登录集群客户端节点。
- 配置/usr/local/ 下spark客户端目录 conf下的配置,主要是Spark-env.sh 需要配置SPARK_HOME、HADOOP_HOME、HADOOP_CLASSPATH等。
- 如果当前集群已启用Kerberos认证,执行以下命令认证当前用户。如果当前集群未启用Kerberos认证,则无需执行此命令。
- 首先klist -kt <keytab文件路径>,获取keytab文件的principal,例如 klist -kt user.keytab 获得 user/hostname@realm。
- 然后kinit -kt <keytab文件路径> <获取到的principal>,例如 kinit -kt user.keytab user/hostname@realm。
- Kinit认证完成登录后,可以klist -l查看。
- 如果SPARK_HOME/bin 已经配置到系统环境变量中,可以直接spark-shell 进入。否则需要去到SPARK_HOME/bin下执行。