searchusermenu
  • 发布文章
  • 消息中心
点赞
收藏
评论
分享
原创

Doris集群组件清理方法

2024-05-30 08:45:36
49
0

1、FE数据清理

1.1、元数据清理

1.1.1. 确定doris-fe的fe.conf配置文件路径

systemctl status doris-fe

cat /usr/lib/systemd/system/doris-fe.service

ll /usr/local/doris-fe/conf

1.1.2. 获取元数据配置路径

cat /usr/local/doris-fe/conf/fe.conf | grep meta_dir

1.1.3. 清理元数据路径

rm -rf /var/lib/doris/doris-meta/*

1.2. FE日志清理

1.2.1. 确定doris-fe的fe.conf配置文件路径

同步骤1.1.1.

1.2.2. 获取FE日志配置路径

日志包括系统日志和审计日志。

1.2.3. 清理FE日志

rm -rf /var/log/doris/fe/*

1.3. FE安装路径清理

1.3.1. 根据步骤1.1.1确定FE的工作路径

cat /usr/lib/systemd/system/doris-fe.service | grep WorkingDirectory

/usr/local/doris-fe 就是FE的路径。

1.3.2. 查看FE软链接的源路径

ll /usr/local/

可以看到路径 /usr/local/doris-fe 是由路径 /usr/local/doris-fe-2.1.0-1.0.0 软链接来的,因此路径 /usr/local/doris-fe-2.1.0-1.0.0 就是需要清理的目标路径。

1.3.3. FE安装路径清理

rm -rf /usr/local/doris-fe-2.1.0-1.0.0

2. BE数据清理

2.1. BE数据盘清理

2.1.1. 确定doris-be的be.conf配置文件路径

systemctl status doris-be

cat /usr/lib/systemd/system/doris-be.service

ll /usr/local/doris-be/conf

2.1.2. 获取BE数据储存配置路径

cat /usr/local/doris-be/conf/be.conf | grep storage_root_path

这里多个数据存储路径会以分号隔开。

2.1.3. 清理BE存储数据

rm -rf /data01/doris-storage/*
rm -rf /data02/doris-storage/*

2.2. BE日志清理

2.2.1. 确定doris-fe的fe.conf配置文件路径

步骤同2.1.1。

2.2.2. 获取BE日志配置路径

cat /usr/local/doris-be/conf/be.conf | grep sys_log_dir

2.2.3. 清理BE日志

rm -rf /var/log/doris/be/*

2.3. BE安装路径清理

2.3.1. 根据步骤2.1.1确定FE的工作路径

cat /usr/lib/systemd/system/doris-be.service | grep WorkingDirectory

/usr/local/doris-be 就是BE的路径。

2.3.2. 查看BE软链接的源路径

ll /usr/local/

可以看到路径 /usr/local/doris-be 是由路径 /usr/local/doris-be-2.1.0-1.0.0 软链接来的,因此路径 /usr/local/doris-be-2.1.0-1.0.0 就是需要清理的目标路径。

2.3.3. BE安装路径清理

rm -rf /usr/local/doris-be-2.1.0-1.0.0

3. BROKER数据清理

3.1. 确定BROKER日志路径

systemctl status doris-broker

cat /usr/lib/systemd/system/doris-broker.service

ll /usr/local/doris-dependencies/apache_hdfs_broker/conf

cat /usr/local/doris-dependencies/apache_hdfs_broker/conf/log4j.properties

cat /usr/local/doris-dependencies/apache_hdfs_broker/conf/apache_hdfs_broker.conf | grep BROKER_LOG_DIR

3.2. BROKER日志清理

rm -rf /var/log/doris/hdfs-broker/*

3.3. BROKER安装路径清理

3.3.1. 根据步骤3.1确定BROKER的工作路径

cat /usr/lib/systemd/system/doris-broker.service | grep WorkingDirectory

/usr/local/doris-dependencies 就是BROKER的路径。

3.3.2. 查看BROKER软链接的源路径

ll /usr/local/

可以看到路径 /usr/local/doris-dependencies 是由路径 /usr/local/doris-dependencies-2.1.0-1.0.0 软链接来的,因此路径 /usr/local/doris-dependencies-2.1.0-1.0.0 就是需要清理的目标路径。

3.3.3. BROKER安装路径清理

rm -rf /usr/local/doris-dependencies-2.1.0-1.0.0
0条评论
0 / 1000
h****n
4文章数
1粉丝数
h****n
4 文章 | 1 粉丝
h****n
4文章数
1粉丝数
h****n
4 文章 | 1 粉丝
原创

Doris集群组件清理方法

2024-05-30 08:45:36
49
0

1、FE数据清理

1.1、元数据清理

1.1.1. 确定doris-fe的fe.conf配置文件路径

systemctl status doris-fe

cat /usr/lib/systemd/system/doris-fe.service

ll /usr/local/doris-fe/conf

1.1.2. 获取元数据配置路径

cat /usr/local/doris-fe/conf/fe.conf | grep meta_dir

1.1.3. 清理元数据路径

rm -rf /var/lib/doris/doris-meta/*

1.2. FE日志清理

1.2.1. 确定doris-fe的fe.conf配置文件路径

同步骤1.1.1.

1.2.2. 获取FE日志配置路径

日志包括系统日志和审计日志。

1.2.3. 清理FE日志

rm -rf /var/log/doris/fe/*

1.3. FE安装路径清理

1.3.1. 根据步骤1.1.1确定FE的工作路径

cat /usr/lib/systemd/system/doris-fe.service | grep WorkingDirectory

/usr/local/doris-fe 就是FE的路径。

1.3.2. 查看FE软链接的源路径

ll /usr/local/

可以看到路径 /usr/local/doris-fe 是由路径 /usr/local/doris-fe-2.1.0-1.0.0 软链接来的,因此路径 /usr/local/doris-fe-2.1.0-1.0.0 就是需要清理的目标路径。

1.3.3. FE安装路径清理

rm -rf /usr/local/doris-fe-2.1.0-1.0.0

2. BE数据清理

2.1. BE数据盘清理

2.1.1. 确定doris-be的be.conf配置文件路径

systemctl status doris-be

cat /usr/lib/systemd/system/doris-be.service

ll /usr/local/doris-be/conf

2.1.2. 获取BE数据储存配置路径

cat /usr/local/doris-be/conf/be.conf | grep storage_root_path

这里多个数据存储路径会以分号隔开。

2.1.3. 清理BE存储数据

rm -rf /data01/doris-storage/*
rm -rf /data02/doris-storage/*

2.2. BE日志清理

2.2.1. 确定doris-fe的fe.conf配置文件路径

步骤同2.1.1。

2.2.2. 获取BE日志配置路径

cat /usr/local/doris-be/conf/be.conf | grep sys_log_dir

2.2.3. 清理BE日志

rm -rf /var/log/doris/be/*

2.3. BE安装路径清理

2.3.1. 根据步骤2.1.1确定FE的工作路径

cat /usr/lib/systemd/system/doris-be.service | grep WorkingDirectory

/usr/local/doris-be 就是BE的路径。

2.3.2. 查看BE软链接的源路径

ll /usr/local/

可以看到路径 /usr/local/doris-be 是由路径 /usr/local/doris-be-2.1.0-1.0.0 软链接来的,因此路径 /usr/local/doris-be-2.1.0-1.0.0 就是需要清理的目标路径。

2.3.3. BE安装路径清理

rm -rf /usr/local/doris-be-2.1.0-1.0.0

3. BROKER数据清理

3.1. 确定BROKER日志路径

systemctl status doris-broker

cat /usr/lib/systemd/system/doris-broker.service

ll /usr/local/doris-dependencies/apache_hdfs_broker/conf

cat /usr/local/doris-dependencies/apache_hdfs_broker/conf/log4j.properties

cat /usr/local/doris-dependencies/apache_hdfs_broker/conf/apache_hdfs_broker.conf | grep BROKER_LOG_DIR

3.2. BROKER日志清理

rm -rf /var/log/doris/hdfs-broker/*

3.3. BROKER安装路径清理

3.3.1. 根据步骤3.1确定BROKER的工作路径

cat /usr/lib/systemd/system/doris-broker.service | grep WorkingDirectory

/usr/local/doris-dependencies 就是BROKER的路径。

3.3.2. 查看BROKER软链接的源路径

ll /usr/local/

可以看到路径 /usr/local/doris-dependencies 是由路径 /usr/local/doris-dependencies-2.1.0-1.0.0 软链接来的,因此路径 /usr/local/doris-dependencies-2.1.0-1.0.0 就是需要清理的目标路径。

3.3.3. BROKER安装路径清理

rm -rf /usr/local/doris-dependencies-2.1.0-1.0.0
文章来自个人专栏
大数据技术专栏
4 文章 | 1 订阅
0条评论
0 / 1000
请输入你的评论
2
2