背景

随着纳管的组件越来越多，各节点混部时，尤其在测试验证阶段，不同节点完全混部，会出现一些常见端口冲突，导致一些服务无法启动。

方法

通过netstat对应pid命令、官方配置文件，当前组件配置文件来确认组件常见固定端口。

结果

产出各组件常用端口，通过Linux机器初始化时，对这些常用端口进行net.ipv4.ip_local_reserved_ports设置，预留这些端口。

常见组件LIST

组件有HDFS、YARN、HBase、Hive、Kafka、Spark、ZooKeeper、Kerberos、Trino、OpenLDAP、Doris、Elasticsearch、Kyuubi、Flume、Ranger、Knox等。

HDFS常用端口

版本：3.3.3

配置参数	默认端口	当前配置端口	端口说明
dfs.namenode.http-address.x.x	9870	50070	namenode Web UI绑定端口
dfs.namenode.https-address.x.x	9871	9871	namenode https绑定端口
dfs.namenode.rpc-address.x.x	8020	54310	namenode响应client请求RPC绑定端口
dfs.namenode.servicerpc-address.x.x	-	53310	namenode响应内部服务请求RPC绑定端口，例如datanode等server请求
com.sun.management.jmxremote.port	-	8006	namenode jmx端口
dfs.datanode.address	9866	1004	datanode 数据传输端口
dfs.datanode.http.address	9864	1006	datanode http webUI端口
dfs.datanode.ipc.address	9867	9867	datanode rpc响应端口
com.sun.management.jmxremote.port	-	8016	datanode jmx端口
dfs.datanode.https.address	9865	-	datanode https端口
dfs.journalnode.rpc-address	8485	8485	journalnode rpc端口
dfs.journalnode.http-address	8480	8480	journalnode http端口
dfs.journalnode.https-address	8481	8481	journalnode https端口
com.sun.management.jmxremote.port	-	8046	journalnode jmx端口
dfs.ha.zkfc.port	8019	8019	zkfc rpc端口
com.sun.management.jmxremote.port	-	8056	zkfc jmx端口
dfs.federation.router.rpc-address	8888	55310	hdfs router 响应client请求 rpc处理端口
dfs.federation.router.admin-address	8111	-	hdfs router 响应 admin请求 rpc处理端口
dfs.federation.router.http-address	50071	-	hdfs router http端口
dfs.federation.router.https-address	50072	-	hdfs router https端口
com.sun.management.jmxremote.port	-	8106	hdfs router jxm端口

YARN常用端口

版本：3.3.3

配置参数	默认端口	当前配置端口	端口说明
yarn.resourcemanager.address	8032	8032	RM应用管理端口
yarn.resourcemanager.scheduler.address	8030	8030	RM调度端口
yarn.resourcemanager.webapp.address	8088	8088	RM http webUI端口
yarn.resourcemanager.webapp.https.address	8090	8090	RM https webUI端口
yarn.resourcemanager.resource-tracker.address	8031	8031	RM jmx 端口
yarn.resourcemanager.admin.address	8033	8033	RM admin 端口
yarn.nodemanager.address	-	45454	NM container 管理端口
com.sun.management.jmxremote.port	-	8026	RM jmx 端口
yarn.nodemanager.localizer.address	8040	8040	NM 本地化 IPC 端口
yarn.nodemanager.collector-service.address	8048	8048	NM 控制服务端口
yarn.nodemanager.webapp.address	8042	8042	NM http webUI端口
yarn.nodemanager.webapp.https.address	8044	8044	NM https webUI端口
yarn.timeline-service.address	10200	10200	timeline server RPC 端口
yarn.timeline-service.webapp.address	8188	8188	timeline server http webUI端口
yarn.timeline-service.webapp.https.address	8190	8190	timeline server https webUI端口
yarn.sharedcache.admin.address	8047	8047	SCM服务 admin RPC端口
yarn.sharedcache.webapp.address	8788	8788	SCM服务 webUI端口
yarn.sharedcache.uploader.server.address	8046	8046	SCM服务 节点管理 RPC端口
yarn.sharedcache.client-server.address	8045	8045	SCM服务响应client RPC端口
yarn.nodemanager.amrmproxy.address	8049	8049	在yarn federation下开启amrmproxy绑定的服务端口
yarn.router.webapp.address	8089	8089	yarn route http webUI端口
yarn.router.webapp.https.address	8091	8091	yarn route https webUI端口
com.sun.management.jmxremote.port	8036	8036	NM jmx 端口
com.sun.management.jmxremote.port	-	8086	mrhistory jmx 端口
mapreduce.jobhistory.address	10020	10020	mrhistory IPC 端口
mapreduce.jobhistory.webapp.address	19888	19888	mrhistory http webUI端口
mapreduce.jobhistory.webapp.https.address	19890	19890	mrhistory https webUI端口
mapreduce.jobhistory.admin.address	10033	10033	mrhistory admin RPC端口
mapreduce.shuffle.port	13562	13562	MR shuffle 端口
spark.shuffle.service.port	7337	7337	spark shuffle 端口

HBase常用端口

版本：2.4.12

配置参数	默认端口	当前配置端口	端口说明
hbase.master.port	16000	16000	HMaster 服务绑定端口
hbase.master.info.port	16010	16010	HMaster webUI绑定端口
com.sun.management.jmxremote.port	-	10101	HMaster jmx端口
hbase.regionserver.port	16020	16020	regionserver 服务绑定端口
hbase.regionserver.info.port	16030	16030	regionserver webUI绑定端口
com.sun.management.jmxremote.port	-	10102	regionserver jmx端口
hbase.zookeeper.peerport	2888	2888	zk 服务端口
hbase.zookeeper.leaderport	3888	3888	zk 选举leader端口
hbase.zookeeper.property.clientPort	2181	2181	连接zk client端口
hbase.rest.port	8080	8080	hbase rest server 端口
hbase.status.multicast.address.port	16100	16100	hbase 多播端口

Hive常用端口

版本：3.1.2

配置参数	默认参数	当前配置端口	端口说明
hive.server2.thrift.port	10000	10000	hive.server2.transport.mode模式为binary hs2 thrift 端口
hive.server2.webui.port	10002	10002	hs2 webUI端口
hive.server2.thrift.http.port	10001	10003	hive.server2.transport.mode模式为http hs2 thrift 端口
com.sun.management.jmxremote.port	-	9097	hs2 jmx 端口
hive.llap.management.rpc.port	15004	15004	LLAP 管理 rpc 端口
hive.llap.daemon.yarn.shuffle.port	15551	15551	LLAP yarn shuffle 端口
hive.llap.daemon.web.port	15002	15002	LLAP webUI 端口
hive.llap.daemon.output.service.port	15003	15003	LLAP output服务端口
hive.zookeeper.client.port	2181	2181	连接zk client端口
hive.metastore.port	9083	9083	metastore RPC绑定端口
com.sun.management.jmxremote.port	-	9093	metastore jmx 端口

Kafka常用端口

版本：2.8.1

配置参数	默认参数	当前配置端口	端口说明
com.sun.management.jmxremote.port	-	8096	kafka broker jmx 端口
zookeeper.connect	2181	2181	连接zk client端口
listeners(SASL_PLAINTEXT)	9092	9092	kafka SASL_PLAINTEXT 端口
listeners(PLAINTEXT)	9091	9091	kafka PLAINTEXT 端口

Spark常用端口

版本：3.2.2

配置参数	默认参数	当前配置端口	端口说明
spark.yarn.historyServer.address	-	18081	spark history webUI端口
spark.shuffle.service.port	7337	7337	spark shuffle 端口
spark.ui.port	4040	4040	应用 dashboard UI端口

ZooKeeper常用端口

版本：3.7.1

配置参数	默认参数	当前配置端口	端口说明
admin.serverPort	8080	8080	zk admin 服务端口
clientPort	2181	2181	连接zk client端口
com.sun.management.jmxremote.port	2182	2182	zk jmx 端口
server.x	2888:3888;2181	2888:3888;2181	zk 服务端口、选举leader端口，client端口。

Kerberos常用端口

配置参数	默认端口	当前配置端口	端口说明
kdc_ports	88	88	kdc 端口
iprop_port	744	744	iprop 端口
kpasswd	464	464	kpasswd 端口
admin_server	749	749	kerberos admin server 端口

Trino常用端口

配置参数	默认端口	当前配置端口	端口说明
erver.http.port	-	9808	trino http 端口

OpenLDAP常用端口

版本：2.4.44

配置参数	默认端口	当前配置端口	端口说明
provide	389	389	ldap TLS connections 端口
provide	636	636	ldap legacy SSL connections 端口

Doris常用端口

版本：2.1.2

配置参数	默认端口	当前配置端口	端口修改	端口说明
be_port	9060	9060	-	BE 上 thrift server 的端口号，用于接收来自 FE 的请求。
brpc_port	8060	8060	-	BE 上的 brpc 的端口，用于 BE 之间通讯。
edit_log_port	9010	9010	-	bdbje端口
heartbeat_service_port	9050	9050	-	BE 上心跳服务端口（thrift），用于接收来自 FE 的心跳。
http_port	8030	8030	8035	FE http 端口，当前所有 FE http 端口都必须相同，生产环境被改成了8035。
https_port	8050	-	-	FE https 端口，当前所有 FE https 端口都必须相同。
query_port	9030	9030	-	Doris FE 通过 mysql 协议查询连接端口
rpc_port	9020	9020	-	FE Thrift Server的端口
single_replica_load_brpc_port	9070	-	-	单副本数据导入功能中，Master副本和Slave副本之间通信的RPC端口。Master副本flush完成之后通过RPC通知Slave副本同步数据， 以及Slave副本同步数据完成后通过RPC通知Master副本。系统为单副本数据导入过程中Master副本和Slave副本之间通信开辟了独 立的BRPC线程池，以避免导入并发较大时副本之间的数据同步抢占导入数据分发和查询任务的线程资源。
single_replica_load_download_port	8050	-	-	单副本数据导入功能中，Slave副本通过HTTP从Master副本下载数据文件的端口。系统为单副本数据导入过程中Slave副本从Master 副本下载数据文件开辟了独立的HTTP线程池，以避免导入并发较大时Slave副本下载数据文件抢占其他http任务的线程资源。
webserver_port	8040	8045	8045	BE 上的 http server 的服务端口

Elasticsearch常用端口

版本：7.10.2

配置参数	默认端口	当前配置端口	端口说明
com.sun.management.jmxremote.port	-	9400	es jmx 端口
http.port	-	9200	es http 端口
transport.port	-	9300	es transport 端口

Kyuubi常用端口

版本：1.6.0

配置参数	默认参数	当前配置端口	端口说明
kyuubi.frontend.bind.port	10009	-	kyuubi fe端口
kyuubi.frontend.mysql.bind.port	3309	-	kyuubi fe mysql 绑定端口
kyuubi.frontend.rest.bind.port	10099	-	kyuubi fe rest 绑定端口
kyuubi.frontend.thrift.binary.bind.port	10009	-	kyuubi thrift fe绑定端口
kyuubi.metrics.prometheus.port	10019	-	kyuubi 暴露给Prometheus metrics http 端口

Ranger常用端口

版本：2.2.0

配置参数	默认参数	当前配置端口	端口说明
ranger.usersync.port	5151	-	ranger usersync 服务端口
com.sun.management.jmxremote.port	-	60081	ranger usersync jmx 端口
ranger.unixauth.service.port	5151	-	ranger unixauth 服务端口
ranger.service.shutdown.port	6085	-	ranger 服务shutdown端口
ranger.audit.elasticsearch.port	9200	-	ranger audit 配置的es服务端口
ranger.service.http.port	6080	6080	ranger-admin http webUI端口
ranger.service.https.port	6182	-	ranger-admin https webUI端口

Knox常用端口

版本：1.6.0

配置参数	默认参数	当前配置端口	端口说明
gateway.port	8443	7743	https webUI端口