Ceph 与 MinIO 实战
分布式存储落地常从两个系统入手:Ceph(统一存储,功能全)与 MinIO(轻量 S3 对象存储)。本篇给出概念与最小实践。
一、Ceph 架构
| 组件 | 作用 |
|---|---|
| MON | 集群监视、一致性 |
| OSD | 存数据的进程(每盘一个) |
| MDS | 文件系统(CephFS)元数据 |
| RGW | 对象网关(S3/Swift) |
| CRUSH | 数据分布算法 |
- 对外提供 块(RBD) / 文件(CephFS) / 对象(RGW) 三种接口。
# 概念性最小实践(生产用 cephadm 部署多节点)
ceph -s # 集群状态
ceph osd tree # OSD 拓扑
rbd create img --size 10G # 建块设备二、MinIO 架构
- 单二进制,兼容 S3 API,适合 K8s 与中小规模对象存储。
- 支持纠删码(分布式模式)与多节点扩展。
# 单机体验
minio server /data --console-address :9001
# 客户端
mc alias set local http://127.0.0.1:9000 ACCESS SECRET
mc mb local/bucket
mc cp file.iso local/bucket/三、Ceph vs MinIO
| Ceph | MinIO | |
|---|---|---|
| 接口 | 块/文件/对象 | 对象(S3) |
| 复杂度 | 高 | 低 |
| 场景 | 云/统一存储 | 对象存储/K8s |
| 起步 | 多节点 3+ | 单机即可 |
四、部署要点
| 要点 | 说明 |
|---|---|
| 节点数 | 至少 3(容错) |
| 网络 | 万兆 + 独立存储网 |
| 数据盘 | 每盘一个 OSD/参与纠删码 |
| 监控 | 容量/健康/恢复进度 |
| 备份 | 冗余 ≠ 备份,仍需异地 |
其他问题(Q&A)
Q1:单机可以跑 Ceph 学习吗?
A:可以但不安全(无真正容错),仅用于学习/测试。
Q2:MinIO 纠删码需要几块盘?
A:单节点至少 4 块盘启用纠删码;分布式更多。
Q3:Ceph 能当 K8s 存储吗?
A:能(RBD/CephFS CSI),MinIO 也是常见对象存储方案。
Q4:分布式存储能替代备份吗?
A:不能。冗余防节点故障,不防误删/勒索。