背景
随着纳管的组件越来越多，各节点混部时，尤其在测试验证阶段，不同节点完全混部，会出现一些常见端口冲突，导致一些服务无法启动。
方法
通过netstat对应pid命令、官方配置文件，当前组件配置文件来确认组件常见固定端口。
结果
产出各组件常用端口，通过Linux机器初始化时，对这些常用端口进行net.ipv4.ip_local_reserved_ports设置，预留这些端口。
常见组件LIST
组件有HDFS、YARN、HBase、Hive、Kafka、Spark、ZooKeeper、Kerberos、Trino、OpenLDAP、Doris、Elasticsearch、Kyuubi、Flume、Ranger、Knox等。
HDFS常用端口
版本：3.3.3
| 配置参数 | 默认端口 | 当前配置端口 | 端口说明 |
|---|---|---|---|
| dfs.namenode.http-address.x.x | 9870 | 50070 | namenode Web UI绑定端口 |
| dfs.namenode.https-address.x.x | 9871 | 9871 | namenode https绑定端口 |
| dfs.namenode.rpc-address.x.x | 8020 | 54310 | namenode响应client请求RPC绑定端口 |
| dfs.namenode.servicerpc-address.x.x | - | 53310 | namenode响应内部服务请求RPC绑定端口，例如datanode等server请求 |
| com.sun.management.jmxremote.port | - | 8006 | namenode jmx端口 |
| dfs.datanode.address | 9866 | 1004 | datanode 数据传输端口 |
| dfs.datanode.http.address | 9864 | 1006 | datanode http webUI端口 |
| dfs.datanode.ipc.address | 9867 | 9867 | datanode rpc响应端口 |
| com.sun.management.jmxremote.port | - | 8016 | datanode jmx端口 |
| dfs.datanode.https.address | 9865 | - | datanode https端口 |
| dfs.journalnode.rpc-address | 8485 | 8485 | journalnode rpc端口 |
| dfs.journalnode.http-address | 8480 | 8480 | journalnode http端口 |
| dfs.journalnode.https-address | 8481 | 8481 | journalnode https端口 |
| com.sun.management.jmxremote.port | - | 8046 | journalnode jmx端口 |
| dfs.ha.zkfc.port | 8019 | 8019 | zkfc rpc端口 |
| com.sun.management.jmxremote.port | - | 8056 | zkfc jmx端口 |
| dfs.federation.router.rpc-address | 8888 | 55310 | hdfs router 响应client请求 rpc处理端口 |
| dfs.federation.router.admin-address | 8111 | - | hdfs router 响应 admin请求 rpc处理端口 |
| dfs.federation.router.http-address | 50071 | - | hdfs router http端口 |
| dfs.federation.router.https-address | 50072 | - | hdfs router https端口 |
| com.sun.management.jmxremote.port | - | 8106 | hdfs router jxm端口 |
YARN常用端口
版本：3.3.3
| 配置参数 | 默认端口 | 当前配置端口 | 端口说明 |
|---|---|---|---|
| yarn.resourcemanager.address | 8032 | 8032 | RM应用管理端口 |
| yarn.resourcemanager.scheduler.address | 8030 | 8030 | RM调度端口 |
| yarn.resourcemanager.webapp.address | 8088 | 8088 | RM http webUI端口 |
| yarn.resourcemanager.webapp.https.address | 8090 | 8090 | RM https webUI端口 |
| yarn.resourcemanager.resource-tracker.address | 8031 | 8031 | RM jmx 端口 |
| yarn.resourcemanager.admin.address | 8033 | 8033 | RM admin 端口 |
| yarn.nodemanager.address | - | 45454 | NM container 管理端口 |
| com.sun.management.jmxremote.port | - | 8026 | RM jmx 端口 |
| yarn.nodemanager.localizer.address | 8040 | 8040 | NM 本地化 IPC 端口 |
| yarn.nodemanager.collector-service.address | 8048 | 8048 | NM 控制服务端口 |
| yarn.nodemanager.webapp.address | 8042 | 8042 | NM http webUI端口 |
| yarn.nodemanager.webapp.https.address | 8044 | 8044 | NM https webUI端口 |
| yarn.timeline-service.address | 10200 | 10200 | timeline server RPC 端口 |
| yarn.timeline-service.webapp.address | 8188 | 8188 | timeline server http webUI端口 |
| yarn.timeline-service.webapp.https.address | 8190 | 8190 | timeline server https webUI端口 |
| yarn.sharedcache.admin.address | 8047 | 8047 | SCM服务 admin RPC端口 |
| yarn.sharedcache.webapp.address | 8788 | 8788 | SCM服务 webUI端口 |
| yarn.sharedcache.uploader.server.address | 8046 | 8046 | SCM服务 节点管理 RPC端口 |
| yarn.sharedcache.client-server.address | 8045 | 8045 | SCM服务响应client RPC端口 |
| yarn.nodemanager.amrmproxy.address | 8049 | 8049 | 在yarn federation下开启amrmproxy绑定的服务端口 |
| yarn.router.webapp.address | 8089 | 8089 | yarn route http webUI端口 |
| yarn.router.webapp.https.address | 8091 | 8091 | yarn route https webUI端口 |
| com.sun.management.jmxremote.port | 8036 | 8036 | NM jmx 端口 |
| com.sun.management.jmxremote.port | - | 8086 | mrhistory jmx 端口 |
| mapreduce.jobhistory.address | 10020 | 10020 | mrhistory IPC 端口 |
| mapreduce.jobhistory.webapp.address | 19888 | 19888 | mrhistory http webUI端口 |
| mapreduce.jobhistory.webapp.https.address | 19890 | 19890 | mrhistory https webUI端口 |
| mapreduce.jobhistory.admin.address | 10033 | 10033 | mrhistory admin RPC端口 |
| mapreduce.shuffle.port | 13562 | 13562 | MR shuffle 端口 |
| spark.shuffle.service.port | 7337 | 7337 | spark shuffle 端口 |
HBase常用端口
版本：2.4.12
| 配置参数 | 默认端口 | 当前配置端口 | 端口说明 |
|---|---|---|---|
| hbase.master.port | 16000 | 16000 | HMaster 服务绑定端口 |
| hbase.master.info.port | 16010 | 16010 | HMaster webUI绑定端口 |
| com.sun.management.jmxremote.port | - | 10101 | HMaster jmx端口 |
| hbase.regionserver.port | 16020 | 16020 | regionserver 服务绑定端口 |
| hbase.regionserver.info.port | 16030 | 16030 | regionserver webUI绑定端口 |
| com.sun.management.jmxremote.port | - | 10102 | regionserver jmx端口 |
| hbase.zookeeper.peerport | 2888 | 2888 | zk 服务端口 |
| hbase.zookeeper.leaderport | 3888 | 3888 | zk 选举leader端口 |
| hbase.zookeeper.property.clientPort | 2181 | 2181 | 连接zk client端口 |
| hbase.rest.port | 8080 | 8080 | hbase rest server 端口 |
| hbase.status.multicast.address.port | 16100 | 16100 | hbase 多播端口 |
Hive常用端口
版本：3.1.2
| 配置参数 | 默认参数 | 当前配置端口 | 端口说明 |
|---|---|---|---|
| hive.server2.thrift.port | 10000 | 10000 | hive.server2.transport.mode模式为binary hs2 thrift 端口 |
| hive.server2.webui.port | 10002 | 10002 | hs2 webUI端口 |
| hive.server2.thrift.http.port | 10001 | 10003 | hive.server2.transport.mode模式为http hs2 thrift 端口 |
| com.sun.management.jmxremote.port | - | 9097 | hs2 jmx 端口 |
| hive.llap.management.rpc.port | 15004 | 15004 | LLAP 管理 rpc 端口 |
| hive.llap.daemon.yarn.shuffle.port | 15551 | 15551 | LLAP yarn shuffle 端口 |
| hive.llap.daemon.web.port | 15002 | 15002 | LLAP webUI 端口 |
| hive.llap.daemon.output.service.port | 15003 | 15003 | LLAP output服务端口 |
| hive.zookeeper.client.port | 2181 | 2181 | 连接zk client端口 |
| hive.metastore.port | 9083 | 9083 | metastore RPC绑定端口 |
| com.sun.management.jmxremote.port | - | 9093 | metastore jmx 端口 |
Kafka常用端口
版本：2.8.1
| 配置参数 | 默认参数 | 当前配置端口 | 端口说明 |
|---|---|---|---|
| com.sun.management.jmxremote.port | - | 8096 | kafka broker jmx 端口 |
| zookeeper.connect | 2181 | 2181 | 连接zk client端口 |
| listeners(SASL_PLAINTEXT) | 9092 | 9092 | kafka SASL_PLAINTEXT 端口 |
| listeners(PLAINTEXT) | 9091 | 9091 | kafka PLAINTEXT 端口 |
Spark常用端口
版本：3.2.2
| 配置参数 | 默认参数 | 当前配置端口 | 端口说明 |
|---|---|---|---|
| spark.yarn.historyServer.address | - | 18081 | spark history webUI端口 |
| spark.shuffle.service.port | 7337 | 7337 | spark shuffle 端口 |
| spark.ui.port | 4040 | 4040 | 应用 dashboard UI端口 |
ZooKeeper常用端口
版本：3.7.1
| 配置参数 | 默认参数 | 当前配置端口 | 端口说明 |
|---|---|---|---|
| admin.serverPort | 8080 | 8080 | zk admin 服务端口 |
| clientPort | 2181 | 2181 | 连接zk client端口 |
| com.sun.management.jmxremote.port | 2182 | 2182 | zk jmx 端口 |
| server.x | 2888:3888;2181 | 2888:3888;2181 | zk 服务端口、选举leader端口，client端口。 |
Kerberos常用端口
| 配置参数 | 默认端口 | 当前配置端口 | 端口说明 |
|---|---|---|---|
| kdc_ports | 88 | 88 | kdc 端口 |
| iprop_port | 744 | 744 | iprop 端口 |
| kpasswd | 464 | 464 | kpasswd 端口 |
| admin_server | 749 | 749 | kerberos admin server 端口 |
Trino常用端口
| 配置参数 | 默认端口 | 当前配置端口 | 端口说明 |
|---|---|---|---|
| erver.http.port | - | 9808 | trino http 端口 |
OpenLDAP常用端口
版本：2.4.44
| 配置参数 | 默认端口 | 当前配置端口 | 端口说明 |
|---|---|---|---|
| provide | 389 | 389 | ldap TLS connections 端口 |
| provide | 636 | 636 | ldap legacy SSL connections 端口 |
Doris常用端口
版本：2.1.2
| 配置参数 | 默认端口 | 当前配置端口 | 端口修改 | 端口说明 |
|---|---|---|---|---|
| be_port | 9060 | 9060 | - | BE 上 thrift server 的端口号，用于接收来自 FE 的请求。 |
| brpc_port | 8060 | 8060 | - | BE 上的 brpc 的端口，用于 BE 之间通讯。 |
| edit_log_port | 9010 | 9010 | - | bdbje端口 |
| heartbeat_service_port | 9050 | 9050 | - | BE 上心跳服务端口（thrift），用于接收来自 FE 的心跳。 |
| http_port | 8030 | 8030 | 8035 | FE http 端口，当前所有 FE http 端口都必须相同，生产环境被改成了8035。 |
| https_port | 8050 | - | - | FE https 端口，当前所有 FE https 端口都必须相同。 |
| query_port | 9030 | 9030 | - | Doris FE 通过 mysql 协议查询连接端口 |
| rpc_port | 9020 | 9020 | - | FE Thrift Server的端口 |
| single_replica_load_brpc_port | 9070 | - | - | 单副本数据导入功能中，Master副本和Slave副本之间通信的RPC端口。Master副本flush完成之后通过RPC通知Slave副本同步数据， 以及Slave副本同步数据完成后通过RPC通知Master副本。系统为单副本数据导入过程中Master副本和Slave副本之间通信开辟了独 立的BRPC线程池，以避免导入并发较大时副本之间的数据同步抢占导入数据分发和查询任务的线程资源。 |
| single_replica_load_download_port | 8050 | - | - | 单副本数据导入功能中，Slave副本通过HTTP从Master副本下载数据文件的端口。系统为单副本数据导入过程中Slave副本从Master 副本下载数据文件开辟了独立的HTTP线程池，以避免导入并发较大时Slave副本下载数据文件抢占其他http任务的线程资源。 |
| webserver_port | 8040 | 8045 | 8045 | BE 上的 http server 的服务端口 |
Elasticsearch常用端口
版本：7.10.2
| 配置参数 | 默认端口 | 当前配置端口 | 端口说明 |
|---|---|---|---|
| com.sun.management.jmxremote.port | - | 9400 | es jmx 端口 |
| http.port | - | 9200 | es http 端口 |
| transport.port | - | 9300 | es transport 端口 |
Kyuubi常用端口
版本：1.6.0
| 配置参数 | 默认参数 | 当前配置端口 | 端口说明 |
|---|---|---|---|
| kyuubi.frontend.bind.port | 10009 | - | kyuubi fe端口 |
| kyuubi.frontend.mysql.bind.port | 3309 | - | kyuubi fe mysql 绑定端口 |
| kyuubi.frontend.rest.bind.port | 10099 | - | kyuubi fe rest 绑定端口 |
| kyuubi.frontend.thrift.binary.bind.port | 10009 | - | kyuubi thrift fe绑定端口 |
| kyuubi.metrics.prometheus.port | 10019 | - | kyuubi 暴露给Prometheus metrics http 端口 |
Ranger常用端口
版本：2.2.0
| 配置参数 | 默认参数 | 当前配置端口 | 端口说明 |
|---|---|---|---|
| ranger.usersync.port | 5151 | - | ranger usersync 服务端口 |
| com.sun.management.jmxremote.port | - | 60081 | ranger usersync jmx 端口 |
| ranger.unixauth.service.port | 5151 | - | ranger unixauth 服务端口 |
| ranger.service.shutdown.port | 6085 | - | ranger 服务shutdown端口 |
| ranger.audit.elasticsearch.port | 9200 | - | ranger audit 配置的es服务端口 |
| ranger.service.http.port | 6080 | 6080 | ranger-admin http webUI端口 |
| ranger.service.https.port | 6182 | - | ranger-admin https webUI端口 |
Knox常用端口
版本：1.6.0
| 配置参数 | 默认参数 | 当前配置端口 | 端口说明 |
|---|---|---|---|
| gateway.port | 8443 | 7743 | https webUI端口 |
