Ceph存储系列(三) Ceph存储集群容量扩容
1 | 作者：李晓辉 |
Ceph存储集群容量扩容概述
可以通过两种方式扩展集群中的存储：
添加额外 OSD 节点到集群，又称横向扩展。
添加额外存储空间到现有 OSD 节点，又称纵向扩展。
使用 cephadm shell -- ceph health 命令确认集群是否已处于 HEALTH_OK 状态，然后再开始部署额外的 OSD。
添加更多的OSD服务器
作为存储管理员，可以向Ceph存储集群添加更多主机，以维护集群健康并提供足够的负载容量。在当前存储空间已满的情况下，可以通过增加一个或多个osd来增加集群存储容量。
分发ssh密钥
以 root 用户身份，将 Ceph 存储集群 SSH 公钥添加到新主机上 root 用户的 authorized_keys 文件。
1 | [root@clienta ~]# ssh-copy-id -f -i /etc/ceph/ceph.pub root@new-osd-1 |
检查并配置先决条件
更新inventory后，使用–limit选项运行preflight剧本，以限制剧本的任务只在指定的节点上运行
1 | [root@clienta ~]# ansible-playbook -i /usr/share/cephadm-ansible/hosts/ \ |
选择添加主机的方法
使用命令
在 Cephadm shell 中，以 root 用户身份使用 ceph orch host add 命令将新主机添加到存储集群
1 | [ceph: root@clienta /]# ceph orch host add new-osd-1 --labels=mon,osd,mgr |
使用规范文件添加多个主机
要添加多个主机，创建一个包含主机描述的YAML文件，在管理容器中创建YAML文件，然后运行ceph orch
1 | service_type: host |
使用ceph orch apply添加OSD服务器
1 | [ceph: root@adm ~]# ceph orch apply -i host.yaml |
列出主机
从 cephadm shell 中使用 ceph orch host ls 列出集群节点。当主机在线并正常运行时，STATUS 列为空。
1 | [ceph: root@adm /]# ceph orch host ls |
为OSD服务器配置额外的OSD存储
Ceph 要求满足以下条件才能考虑使用存储设备：
设备不得有分区。
设备不得处于 LVM 状态。
设备不得挂载。
设备不得包含文件系统。
设备不得包含 Ceph BlueStore OSD。
设备必须大于 5 GB。
从 cephadm shell 运行 ceph orch device ls 命令，以列出可用设备。--wide 选项提供更多设备详细信息
1 | [root@serverc ~]# ceph orch device ls |
以 root 用户身份运行 ceph orch daemon add osd 命令，以便使用特定主机上的特定设备创建 OSD
可以看到，添加了osd服务后，vdf的状态就从yes变成了no
1 | [root@serverc ~]# ceph orch daemon add osd servere.lab.example.com:/dev/vdf |
或者，运行 ceph orch apply osd --all-available-devices 命令，以便在所有可用和未使用的设备上部署 OSD
1 | [root@serverc ~]# ceph orch apply osd --all-available-devices |
可以仅使用特定主机上的特定设备创建osd，下以下示例会在各主机上由 /dev/vdc 和 /dev/vdd 支持的组 default_drive_group 中创建两个 OSD
1 | vim osd_spec.yml |
1 | service_type: osd |
运行 ceph orch apply 命令来实现 YAML 文件中的配置。
1 | [root@serverc ~]# ceph orch apply -i osd_spec.yml |
查询osd信息
使用 ceph osd tree 命令显示 CRUSH 树。验证新 OSD 在基础架构中的位置正确无误
1 | [root@serverc ~]# ceph osd tree |
使用 ceph osd df 命令，验证数据使用量，以及每个 OSD 的放置组数量
1 | [root@serverc ~]# ceph osd df |
本博客中的内容未经允许不得转载和引用，转载和引用需获得作者同意, 作者微信: Lxh_Chat
微信- 支付宝
相关推荐
2025-02-08
Ceph存储系列(十九) Ceph中的AWS S3 API实践
文章从创建 S3 用户、生成访问密钥和机密密钥开始，逐步展示了如何上传和下载对象、设置存储桶配额、管理用户权限以及查询用户统计信息，还介绍了如何配置 Ceph 的 S3 端点以支持多种 URL 格式，以及如何通过 awscli 工具进行存储桶和对象的操作。
2025-02-11
Ceph存储系列(二十二) Ceph集群的基础管理与监控
本文详细阐述了Ceph MGR在收集集群统计数据中的关键作用以及如何通过命令实现 MGR 的故障转移和状态查看，还深入探讨了如何关闭或重启集群，包括设置集群标志以限制维护期间的影响以及如何使用 Balancer 模块优化 PG 在 OSD 之间的放置。
2025-02-14
Ceph存储系列(二十五) Ceph集群常见故障处理
本文介绍了 Ceph 集群的故障排除方法和技巧，涵盖了识别问题、集群运行状况故障排除、忽略运行状况警报、配置日志记录、处理 Cephx 认证问题，以及 Ceph 监视器和 OSD 的常见故障处理。
2025-01-29
Ceph存储系列(九) Ceph CRUSH Maps实战
本文中通过构建一个云计算平台的存储架构，逐步展示了如何创建CRUSH Map的层级结构、配置故障域、调整OSD权重以及修改放置规则，还介绍了如何通过手动映射PG（放置组）来优化数据分布
2025-02-15
Ceph存储系列(二十六) Ceph与OpenStack的集成
本文介绍了 OpenStack 基础架构及其存储服务的集成方法，还介绍了在OpenStack中的Nova、Cinder、Glance、Manila、Swift等存储服务，最后演示了如何将 OpenStack 与 Ceph 存储进行集成。
2025-01-30
Ceph存储系列(十) 管理 Ceph OSD 映射
本文介绍了如何管理和分析 Ceph 集群中的 OSD（对象存储设备）映射，通过自定义 CRUSH Map 和优化 OSD 映射，可以进一步提升集群的容错能力和性能表现。