修改集群内组件的服务端配置后,建议重新安装客户端,否则客户端与服务端版本将不一致,可能影响正常使用。
前提条件
- 当安装客户端节点为集群外节点时,该节点必须能够与集群内节点网络互通,否则安装会失败。
- 待安装客户端节点必须启用NTP服务,并保持与服务端的时间一致,否则安装会失败。
- 在节点上安装客户端,可以使用root用户或任意操作系统用户进行操作,要求该用户对客户端文件存放目录和安装目录具有操作权限,两个目录的权限为 775 。本章节以使用操作系统用户user_client安装客户端进行举例,安装目录为/opt/hadoopclient。
- 需要允许用户使用密码方式登录Linux弹性云服务器(SSH方式)。
安装客户端
-
执行NTP时间同步,使当前安装客户端节点的时间与翼MR集群时间同步。
-
执行vim /etc/ntp.conf命令编辑NTP客户端配置文件,并增加翼MR集群中Master节点的IP并注释掉其他server的地址。添加如下命令:
server master1_ip prefer server master2_ip
-
执行
service ntpd stop
命令关闭NTP服务。 -
执行
/usr/sbin/ntpdate “此处替换成真实的主Master节点IP地址”
命令手动同步一次时间。 -
执行
service ntpd start
或systemctl restart ntpd
命令启动NTP服务。 -
执行
ntpstat
命令查看时间同步结果。
-
-
登录翼MR管理控制台。
-
单击“我的集群”,单击指定的集群名称,进入集群信息页面。
-
单击“前往下载客户端”,完成客户端压缩包和集群服务配置文件压缩包下载。
-
以user_client用户登录将要安装客户端的机器上。
-
解压客户端软件包。
进入安装包所在目录,例如“/opt/hadoopclient”。cd /opt/hadoopclient
执行如下命令解压安装包到本地目录:
示例:tar -zxvf CCDP-3.3.3-x86_64-client.tar.gz (以具体的客户端安装包名为准)
-
进入客户端软件包目录,根据需要安装的组件进入对应组件目录,执行如下命令安装客户端到指定目录。
./install.sh客户端安装目录
例如执行
./install.sh /opt/hadoopclient
命令安装客户端,等客户端安装完成。说明具体可参考软件包目录下的README.txt。
机器上需要安装好krb5-workstation相关包。
机器上需要安装好jdk并设置好JAVA_HOME环境变量。
/etc/hosts内需要写入server端服务器的IP和主机名。
该安装包解压的目录即为客户端安装目录。
conf目录下需放置各个组件所需的配置文件,各组件所需的配置文件如附录所示。
keytab目录下需放置各个组件所需的keytab文件。
krb5.conf配置文件拷贝需要root或有sudo权限的用户。若已完成krb配置或安装用户没有权限,则需确认krb已正确配置后,运行sh install.sh -s跳过krb5.conf配置,直接安装大数据客户端。
运行sh install.sh安装客户端,若某组件客户端无需安装,将组件目录下的install.sh改名即可,如mv hadoop-3.3.3/install.sh hadoop-3.3.3/install.sh.backup。
运行sh uninstall.sh卸载客户端。
安装运行的日志保存在/tmp/yunyi_bigdata_client_install.log中。
-
集群默认启用Kerberos认证,执行以下命令认证当前用户。
kinit 翼MR集群用户
例如:
kinit admin
-
直接执行组件的客户端命令。
例如使用HDFS客户端命令查看HDFS根目录文件,执行
hdfs dfs -ls /
-
客户端安装完成后,可参考“各组件客户端使用实践”使用客户端。