searchusermenu
  • 发布文章
  • 消息中心
点赞
收藏
评论
分享

浅谈HPC中的Lustre

2023-06-02 01:21:30
122
0

1. 什么是 lustre?

Lustre 体系结构是一个为集群设计的存储体系结构。 其核心组件是运行在 Linux 操作系统上、 支持标准的 POSIX* UNIX 文件系统接口、 并遵循 GPL2.0 许可的 Lustre 文件系统。 据 IDC 的统计, Lustre 是在 HPC 领域应用最广的文件系统, 世界上最快的 50 个超算网站有 60%都使用 Lustre。

2. Lustre 的文件系统有哪些组件?

Lustre 文件系统的主要组件有: MDS、 MDT、 OSS、 OST、 Client。 各个组件间的关系如下图。

3 MDS、 MDT、 OSS、 OST 是什么?

MDS(Metadata Server): MDS 负责管理 Lustre 文件系统的文件名、 目录、 权限、 文件结构等元数据信息, MDS 生成的元数据存储在一个或者多个 MDT 上, 并为每个 Client提供服务。 MDS 可以有多个, 但只有一个为主 MDS, 其余 MDS 工作在备份模式。

MDT(Metadata Target): 每个文件系统都有一个 MDT, MDT 可以是 MDS 本地硬盘(只有一个 MDS 时)、 也可以是远端存储的一个 LUN 设备。 一个 MDT 可以通过同时映射给两台主机, 供多个 MDS 进行访问, 但同一时刻只能有一个 MDS 进行访问, 通过这种方式可以实现 MDS 的高可用性。

OSS(Object Storage Servers): OSS 为 Client 提供文件 I/O 服务, 客户端从 MDS 获取元数据信息后, 从 OSS 访问文件数据, 文件数据最终存储在与 OSS 相连的 OST 上。

OST(Object Storage Target): 用户文件存储在一个或者多个对象中, 每个对象对应一个独立的 OST, 每个文件可以存储在一个 OST 上, 也可以跨越多个 OST 进行存储。 一个OST 可以通过同时映射给两台主机实现 OSS 的高可用性。

0条评论
0 / 1000
n****m
1文章数
0粉丝数
n****m
1 文章 | 0 粉丝
n****m
1文章数
0粉丝数
n****m
1 文章 | 0 粉丝

浅谈HPC中的Lustre

2023-06-02 01:21:30
122
0

1. 什么是 lustre?

Lustre 体系结构是一个为集群设计的存储体系结构。 其核心组件是运行在 Linux 操作系统上、 支持标准的 POSIX* UNIX 文件系统接口、 并遵循 GPL2.0 许可的 Lustre 文件系统。 据 IDC 的统计, Lustre 是在 HPC 领域应用最广的文件系统, 世界上最快的 50 个超算网站有 60%都使用 Lustre。

2. Lustre 的文件系统有哪些组件?

Lustre 文件系统的主要组件有: MDS、 MDT、 OSS、 OST、 Client。 各个组件间的关系如下图。

3 MDS、 MDT、 OSS、 OST 是什么?

MDS(Metadata Server): MDS 负责管理 Lustre 文件系统的文件名、 目录、 权限、 文件结构等元数据信息, MDS 生成的元数据存储在一个或者多个 MDT 上, 并为每个 Client提供服务。 MDS 可以有多个, 但只有一个为主 MDS, 其余 MDS 工作在备份模式。

MDT(Metadata Target): 每个文件系统都有一个 MDT, MDT 可以是 MDS 本地硬盘(只有一个 MDS 时)、 也可以是远端存储的一个 LUN 设备。 一个 MDT 可以通过同时映射给两台主机, 供多个 MDS 进行访问, 但同一时刻只能有一个 MDS 进行访问, 通过这种方式可以实现 MDS 的高可用性。

OSS(Object Storage Servers): OSS 为 Client 提供文件 I/O 服务, 客户端从 MDS 获取元数据信息后, 从 OSS 访问文件数据, 文件数据最终存储在与 OSS 相连的 OST 上。

OST(Object Storage Target): 用户文件存储在一个或者多个对象中, 每个对象对应一个独立的 OST, 每个文件可以存储在一个 OST 上, 也可以跨越多个 OST 进行存储。 一个OST 可以通过同时映射给两台主机实现 OSS 的高可用性。

文章来自个人专栏
超算
1 文章 | 1 订阅
0条评论
0 / 1000
请输入你的评论
0
0