1.1. 网络拓扑
项目的网络拓扑如下图所示:
1.2. 网络冗余及可靠性
为了满足网络的冗余和可靠性的要求,网络进行了双机热备的双链路设计,采用的方式为链路聚合和交换机堆叠,保证在网络设备单点或者单机故障后的网络可靠性,保证业务不中断。详细的说明见下图所示:
1.3. 接口对应关系
各个设备的接口对应关系如下表所示:
本端设备 |
接口 |
说明 |
对端设备 |
接口 |
说明 |
防火墙FG3040B |
port5 |
物理接口 |
SW1_HW5720-28X |
XGE1 |
万兆光口上行 |
port6 |
冗余接口 |
SW2_HW5720-28X |
XGE1 |
万兆光口上行 |
|
交换机SW1_HW5720-28X |
GE10 |
千兆电口 |
nutanix节点a |
NIC-0 |
千兆电口 |
GE12 |
千兆电口 |
nutanix节点b |
NIC-0 |
千兆电口 |
|
GE14 |
千兆电口 |
nutanix节点c |
NIC-0 |
千兆电口 |
|
GE16 |
千兆电口 |
nutanix节点d |
NIC-0 |
千兆电口 |
|
XGE1 |
万兆光口 |
防火墙FG3040B |
port5 |
级联 |
|
XGE4 |
万兆光口 |
SW2_HW5720-28X |
XGE16 |
堆叠 |
|
交换机SW2_HW5720-28X |
GE10 |
千兆电口 |
nutanix节点a |
NIC-1 |
千兆电口 |
GE12 |
千兆电口 |
nutanix节点b |
NIC-1 |
千兆电口 |
|
GE14 |
千兆电口 |
nutanix节点c |
NIC-1 |
千兆电口 |
|
GE16 |
千兆电口 |
nutanix节点d |
NIC-1 |
千兆电口 |
|
XGE1 |
万兆光口 |
防火墙FG3040B |
port6 |
级联 |
|
XGE4 |
万兆光口 |
SW1_HW5720-28X |
XGE16 |
堆叠 |
|
nutanix_NX-1465-g4 |
NIC-0 |
节点a |
SW1_HW5720-28X |
GE10 |
千兆电口 |
NIC-1 |
SW2_HW5720-28X |
GE10 |
千兆电口 |
||
NIC-0 |
节点b |
SW1_HW5720-28X |
GE12 |
千兆电口 |
|
NIC-1 |
SW2_HW5720-28X |
GE12 |
千兆电口 |
||
NIC-0 |
节点c |
SW1_HW5720-28X |
GE14 |
千兆电口 |
|
NIC-1 |
SW2_HW5720-28X |
GE14 |
千兆电口 |
||
NIC-0 |
节点d |
SW1_HW5720-28X |
GE16 |
千兆电口 |
|
NIC-1 |
SW2_HW5720-28X |
GE16 |
千兆电口 |
1.4. nutanix超融合设备安装部署
1.4.1. 设备介绍
本次项目采购的是Nutanix1465,2U设备,4个节点,每个节点1块480G的SSD硬盘,2块6T的HDD硬盘,设备正面图如下:
背面有两个前兆RJ45以太网口,两个万兆SFP端口,一个IPMI带外管理口,双电源设计,具体背面如图:
设备背面节点MAC地址
节点 |
IPMI的MAC地址 |
A |
0C:C4:7A:C2:D8:70 |
B |
0C:C4:7A:C2:D9:75 |
C |
0C:C4:7A:C2:D9:48 |
D |
0C:C4:7A:C2:D8:BD |
主机后端网络端口布局示意图
IPMI |
eth1 |
万兆口 |
万兆口 |
eth0 |
1.4.2. 安装部署
Ø 环境准备
1) 部署之前在维护电脑上需要安装桌面端的虚拟化软件,可以选择VMware Workstation/Fusion、VirtualBox等;
2) 将Foundation 3.0的Foundation_VM-3.0.ovf.tar解压缩,然后通过桌面端的虚拟化软件导入,开启VM;
3) 开启虚拟机后可以再桌面看见两个文件,一个是set_foundation_ip_address,另外一个是Nutanix Foundation;
5) 点击Nutanix Foundation,启动Nutanix安装配置过程,进入到全局配置界面,需要根据事先规划好的网络配置填写,包括IPMI、Hypervisor和CVM信息;填写完成点击下一步;
7) 根据实际硬件情况,目前我们只有1个Block,每个Block节点数是4,然后点击创建。
9) 选择所要安装的Hypervisor,这里选择KVM,然后选择NOS的Package和Hypervisor ISO Image,点击下一步;
注释:NOS的安装包需要提前将安装包nutanix_installer_package-danube-<version>-<update>.tar上传到Foundation的/home/nutanix/foundation/nos下面。
11) 为Cluster选择Block和Node,在这里全选;
Ø 网络配置
安装完成后需要配置VLAN,分别在Hypervisor和CVM上进行配置;
1) 首先通过命令行工具SSH登录到Hypervisor的主机上,
例如ssh root@10.120.189.8给Hypervisor设置VLAN
ovs-vsctl set port br0 tag=205
然后执行命令查看现有虚拟网络端口
ovs-vsctl list port br0
2) 在Hypervisor下登录到CVM
ssh nutanix@192.168.5.254
然后执行命令修改VLAN设置
change_cvm_vlan 205
注:以上IP地址为举例说明,实际使用时请按照规划修改。
1.4.3. 开关机步骤
Ø 关机
1)通知虚拟机所有者,关闭所有虚拟机;
2)ssh远程登录任意一台CVM,执行关闭集群命令 cluster stop;
3)节点会依次关闭,大约需要15-20分钟;
4)四台CVM关闭后,按节点电源键关机(关机键无顺序,长按3s关机)。
Ø 开机
1)依次按节点电源键(一般A、B、C、D开机,实际节点开机顺序无关)
2)3-5分钟后,节点依次开机;
3)SSH登陆任意一台CVM,执行开启集群命令:cluster start
4)群集启动成功后,测试集群地址连通性,并观察集群状态:cluster status;
5)登陆Prism后,观察告警信息,如果正常,开启各虚拟机。
Ø 查看集群状态
登陆后输入:cluster status