searchusermenu
  • 发布文章
  • 消息中心
点赞
收藏
评论
分享
原创

Doris主机资源规划的思考

2024-09-27 09:20:38
16
0
主机资源规划: 根据交付需求,确定需要多少计算资源与存储资源的问题。即解决要确定需要多少台主机,以及对应机器硬件配置该是怎样的问题。
 
     需要提前说明的一点是,部署规划并不能输出一个非常精确的一些数字,如必须是10台64核256G的物理机之类云云, 原因有三:
1. 当代的分布式数据处理系统包括mpp数据库,都在数据处理的指标如时延和吞吐量方面进行取舍,在时间和空间方面进行均衡。
2. 交付需求中也不能完全精准地确定出要处理的数据量,以及对这些数据处理的类型、复杂度、频次等等因素。
3. 业务以及业务数据量、以及对数据处理的性能要求都可能随着时间变化。
综上,部署规划不需要也不应该给出一个刻板的固定值,而是应该结合现有的硬件资源条件、当前待处理数据的规模以及处理需求、以及未来数据量的与处理需求的变化预期、甚至是主机资源采购计划等多方面因素得出的一个对性能与成本做过通盘考虑的推荐方案。
 
     就单纯从运行Doris运行来说,主机资源选择空间很大。在最少4台机器(一台 FE,三台 BE,其中一台 BE 混部一个 Observer FE 提供元数据备份),以及较低配置的情况下,就可以平稳的运行 Doris。 但如果对性能有要求的话,那就与计算节点数量及配置正相关,即节点越多,性能越好,节点配置越高性能越好。通常我们建议 10 ~ 100 台左右的机器,来充分发挥 Doris 的性能(其中 3 台部署 FE(HA),剩余的部署 BE)。
 
    尽管Doris可以在很宽泛的主机资源选择区间内平稳运行,为了让客户对主机资源的规划需求方面有一个较为直观的了解,我们尝试给出一个均衡性能的参考值。有可能一开始不能了解到客户的很多信息,那这里就简单地从从数据量层面进行均衡性能的推荐。
 
FE主机配置推荐原则:
    FE作为管理节点,计算负载并不高,考虑的核心因素是稳定性。因FE管理的元数据都在内存中存放,所以必须保证FE节点的内存充足。即可以选择配置较低的主机部署FE。 
CPU:不做要求。
MEM:64G及以上。
数据盘: 256G+ ,对容量要求不高,性能和可靠性要好。推荐SSD,RAID。
 
 
BE资源规划均衡推荐原则如下:
CPU: 每 10T(含副本数) 的数据推荐使用 16C - 32C 的资源
MEM: CPU数量*[4G,6G]
磁盘: 数据量(含副本数)* (1+40%)
 
举例,如100T的原始数据,存3副本,总数据量为300T
CPU的需求量为: (300T/10T) * [16C - 32C]  =  [480C,  960C] ,如果只要一个参考值,就取中位数就是:750C
MEM的需求量为: [480C, 960C] * [4, 8]=[1920G, 7680G], 如果只要一个参考值,可以取个中间值3840G
磁盘存储需求量为: 300T * (1+40%) = 420T 
 
FE与BE不建议混合部署,如果资源确实紧张,也可以混合部署,但必须做好资源隔离。

 

0条评论
0 / 1000
mingKnows
2文章数
0粉丝数
mingKnows
2 文章 | 0 粉丝
mingKnows
2文章数
0粉丝数
mingKnows
2 文章 | 0 粉丝
原创

Doris主机资源规划的思考

2024-09-27 09:20:38
16
0
主机资源规划: 根据交付需求,确定需要多少计算资源与存储资源的问题。即解决要确定需要多少台主机,以及对应机器硬件配置该是怎样的问题。
 
     需要提前说明的一点是,部署规划并不能输出一个非常精确的一些数字,如必须是10台64核256G的物理机之类云云, 原因有三:
1. 当代的分布式数据处理系统包括mpp数据库,都在数据处理的指标如时延和吞吐量方面进行取舍,在时间和空间方面进行均衡。
2. 交付需求中也不能完全精准地确定出要处理的数据量,以及对这些数据处理的类型、复杂度、频次等等因素。
3. 业务以及业务数据量、以及对数据处理的性能要求都可能随着时间变化。
综上,部署规划不需要也不应该给出一个刻板的固定值,而是应该结合现有的硬件资源条件、当前待处理数据的规模以及处理需求、以及未来数据量的与处理需求的变化预期、甚至是主机资源采购计划等多方面因素得出的一个对性能与成本做过通盘考虑的推荐方案。
 
     就单纯从运行Doris运行来说,主机资源选择空间很大。在最少4台机器(一台 FE,三台 BE,其中一台 BE 混部一个 Observer FE 提供元数据备份),以及较低配置的情况下,就可以平稳的运行 Doris。 但如果对性能有要求的话,那就与计算节点数量及配置正相关,即节点越多,性能越好,节点配置越高性能越好。通常我们建议 10 ~ 100 台左右的机器,来充分发挥 Doris 的性能(其中 3 台部署 FE(HA),剩余的部署 BE)。
 
    尽管Doris可以在很宽泛的主机资源选择区间内平稳运行,为了让客户对主机资源的规划需求方面有一个较为直观的了解,我们尝试给出一个均衡性能的参考值。有可能一开始不能了解到客户的很多信息,那这里就简单地从从数据量层面进行均衡性能的推荐。
 
FE主机配置推荐原则:
    FE作为管理节点,计算负载并不高,考虑的核心因素是稳定性。因FE管理的元数据都在内存中存放,所以必须保证FE节点的内存充足。即可以选择配置较低的主机部署FE。 
CPU:不做要求。
MEM:64G及以上。
数据盘: 256G+ ,对容量要求不高,性能和可靠性要好。推荐SSD,RAID。
 
 
BE资源规划均衡推荐原则如下:
CPU: 每 10T(含副本数) 的数据推荐使用 16C - 32C 的资源
MEM: CPU数量*[4G,6G]
磁盘: 数据量(含副本数)* (1+40%)
 
举例,如100T的原始数据,存3副本,总数据量为300T
CPU的需求量为: (300T/10T) * [16C - 32C]  =  [480C,  960C] ,如果只要一个参考值,就取中位数就是:750C
MEM的需求量为: [480C, 960C] * [4, 8]=[1920G, 7680G], 如果只要一个参考值,可以取个中间值3840G
磁盘存储需求量为: 300T * (1+40%) = 420T 
 
FE与BE不建议混合部署,如果资源确实紧张,也可以混合部署,但必须做好资源隔离。

 

文章来自个人专栏
大明能明白
2 文章 | 1 订阅
0条评论
0 / 1000
请输入你的评论
0
0