问题描述

在使用国产化弹性裸金属（包括鲲鹏、海光）的过程中，经常会遇到iperf等网络应用打流性能低的问题。

原因描述

国产化弹性裸金属（包括鲲鹏、海光）CPU主频偏低，单个cpu处理性能没有主频更高的intel x86服务器强。另外，处理器其他方面存在差异，经常出现cpu负载不均衡，部分cpu的负载过重，成为性能的瓶颈。

解决方案

优化配置一下发包和收包相关的配置，使得收发包的负载均衡的更合理一些，尤其接收负载的中断、软中断能均衡到多个cpu上，避免少部分cpu负载重处理不过来，引起性能下降。

下面是配置的内容

1.提高irqbalance服务执行均衡的频率

提高执行的频率到每秒钟一次，能更加及时的把中断过多的cpu上的中断均衡到其他空闲的cpu上去，提高数据包处理性能。

去掉下面参数前面的注释，并添加"-t 1"参数，重启服务加载配置

# vim /etc/sysconfig/irqbalance
IRQBALANCE_ARGS="-t 1"
# systemctl restart irqbalance

2.配置rps和rfs

能够均衡软中断负载，避免软中断负载过于集中到少量cpu上，同时会保证同一条流的数据包分发给同一个cpu处理、网络应用和软中断使用的cpu，避免跨cpu引起的性能下降。

编辑脚本rps-rfs.sh

#!/bin/bash
# FileName: rps-rfs.sh

rps_flow_cnt=4096

rps_start() 
{
	total_flow_entries=0
	# Get all virtio net interfaces
	net_interface=`ls /sys/class/net/  -l |grep pci | awk '{print $9}' | tr ":\n" " "`
	for em in ${net_interface[@]}
	do
		# Get current interface's rx queue number
		rq_count=`ls /sys/class/net/$em/queues/rx-* -d | wc -l`

		for ((i=0; i< $rq_count; i++))
		do
			echo $rps_flow_cnt > /sys/class/net/$em/queues/rx-$i/rps_flow_cnt
			total_flow_entries=$(($total_flow_entries+$rps_flow_cnt))
		done

		flag=0
		while [ -f /sys/class/net/$em/queues/rx-$flag/rps_cpus ]
		do
			# Set current rps_cpus to 0xffff...
			echo `cat /sys/class/net/$em/queues/rx-$flag/rps_cpus | sed 's/0/f/g'` > \
				/sys/class/net/$em/queues/rx-$flag/rps_cpus
			flag=$(($flag+1))
		done
	done
	echo $total_flow_entries > /proc/sys/net/core/rps_sock_flow_entries
	sysctl -p
}

rps_stop() {
	net_interface=`ls /sys/class/net/  -l |grep pci | awk '{print $9}' | tr ":\n" " "`
	for em in ${net_interface[@]}
	do
		rq_count=`ls /sys/class/net/$em/queues/rx-* -d | wc -l`

		for ((i=0; i< $rq_count; i++))
	  	do
	      		echo 0 > /sys/class/net/$em/queues/rx-$i/rps_flow_cnt
	  	done

	  	flag=0
	  	while [ -f /sys/class/net/$em/queues/rx-$flag/rps_cpus ]
	  	do
	      		echo 0 >  /sys/class/net/$em/queues/rx-$flag/rps_cpus
	      		flag=$(($flag+1))
	  	done
  	done
  	echo 0 > /proc/sys/net/core/rps_sock_flow_entries
  	sysctl -p
}

rps_status() {
	ni_list=`ls /sys/class/net/  -l |grep pci | awk '{print $9}' | tr ":\n" " "`
	for n in $ni_list
	do
		rx_queues=`ls /sys/class/net/$n/queues/ | grep "rx-[0-9]"`
		for q in $rx_queues
		do
			# Get current interface rps info
		    rps_cpus=`cat /sys/class/net/$n/queues/$q/rps_cpus`
		    rps_flow_cnt=`cat /sys/class/net/$n/queues/$q/rps_flow_cnt`
		    echo "[$n]" $q "--> rps_cpus =" $rps_cpus ", rps_flow_cnt =" $rps_flow_cnt
		done
	done
	rps_sock_flow_entries=`cat /proc/sys/net/core/rps_sock_flow_entries`
	echo "rps_sock_flow_entries =" $rps_sock_flow_entries
}

case "$1" in
	start)
		echo -n "Starting $DESC: "
		rps_start
		rps_status
		;;
	stop)
		rps_stop
		rps_status
		;;
	restart|reload|force-reload)
		rps_stop
		rps_start
		;;
	status)
		rps_status
		;;
	*)
		echo "Usage: $0 [start|stop|status]"
		;;
esac
exit 0

脚本放到系统可执行目录下，并配置到开机启动

# cp rps-rfs.sh /usr/bin/
# chmod +x /usr/bin/rps-rfs.sh
# echo "rps-rfs.sh start" >> /etc/rc.local 
# chmod +x /etc/rc.local

修改热添加设备调用的udev脚本

# vim /usr/local/sbin/generate-interface-config.sh
...
generate_ifcfg() {
...
    /usr/bin/rps-rfs.sh start
}

备注：

rps开启后所有软中断负载会均衡到所有cpu上，在网卡满负载打流的情况下会偶现ping包延时偏大（3-4ms）的情况。rps默认开启，有助于提高netperf或iperf等网络应用的整体带宽性能，对个别的ping的icmp包的延时增大这一点，可以忽略。

3.提高网络NAPI收包的budget

能够提高单次NAPI轮询收包的数目，避免一次中断触发的轮询接收的数据包过少，引起收到的数据包在软件缓存中堆积，导致性能下降。

在下面文件末尾追加一行，执行sysctl -p对当前系统生效

# vim /etc/sysctl.conf
...
net.core.netdev_budget=600
# sysctl -p

4.增加传输层缓存大小

在下面文件末尾追加下面内容，执行sysctl -p对当前系统生效

# vim /etc/sysctl.conf
...
net.core.rmem_max=16777216
net.core.rmem_default=16777216
net.core.wmem_max=16777216
net.core.wmem_default=16777216
net.ipv4.tcp_rmem=409600 1638400 419430400
net.ipv4.tcp_wmem=409600 1638400 419430400
net.ipv4.tcp_mem=617474700 823299700 1234949400
net.ipv4.udp_mem=597916800 797222700 11958336
# sysctl -p

5.关闭xps

避免将同一条流的数据包分散到不同cpu发送，引起的发送性能下降。

编辑脚本xps-disable.sh

#!/bin/bash
# FileName: xps-disable.sh

xps_disable() 
{
	# Get all virtio net interfaces
	net_interface=`ls /sys/class/net/  -l |grep pci | awk '{print $9}' | tr ":\n" " "`
	for em in ${net_interface[@]}
	do
		# Get current interface's tx queue number
		tq_count=`ls /sys/class/net/$em/queues/tx-* -d | wc -l`

		# Disable each tx queue xps
		for ((i=0; i< $tq_count; i++))
		do
			echo 0 > /sys/class/net/$em/queues/tx-$i/xps_cpus
		done
	done
	sysctl -p
}

xps_status() {
	ni_list=`ls /sys/class/net/  -l |grep pci | awk '{print $9}' | tr ":\n" " "`
	for n in $ni_list
	do
		tx_queues=`ls /sys/class/net/$n/queues/ | grep "tx-[0-9]"`
		for q in $tx_queues
		do
		    xps_cpus=`cat /sys/class/net/$n/queues/$q/xps_cpus`
		    echo "[$n]" $q "--> xps_cpus =" $xps_cpus 
		done
	done
}

case "$1" in
	disable)
		xps_disable
		xps_status
		;;
	status)
		xps_status
		;;
	*)
		echo "Usage: $0 [disable|status]"
		;;
esac
exit 0

脚本放到系统可执行目录下，并配置到开机启动

# cp xps-disable.sh /usr/bin/
# chmod +x /usr/bin/xps-disable.sh
# echo "xps-disable.sh disable" >> /etc/rc.local 
# chmod +x /etc/rc.local

修改热添加设备调用的udev脚本

# vim /usr/local/sbin/generate-interface-config.sh
...
generate_ifcfg() {
...
    /usr/bin/xps-disable.sh disable
}

智算服务

应用商城

合作伙伴

开发者

支持与服务

了解天翼云

物理机

物理机

问题描述

原因描述

解决方案

1.提高irqbalance服务执行均衡的频率

2.配置rps和rfs

3.提高网络NAPI收包的budget

4.增加传输层缓存大小

5.关闭xps

活动

智算服务

应用商城

合作伙伴

开发者

支持与服务

了解天翼云

物理机

物理机

问题描述

原因描述

解决方案

1.提高irqbalance服务执行均衡的频率

2.配置rps和rfs

3.提高网络NAPI收包的budget

4.增加传输层缓存大小

5.关闭xps