04 分布式与集群存储
分布式存储把多台普通服务器的硬盘组成一个”存储大海”,对外提供统一的文件/块/对象服务。它用软件定义换来了弹性扩展、高可用、自愈,是云计算与大数据的地基。
目录
| 章节 | 内容 |
|---|---|
| 01 原理与系统 | 分片、副本、纠删码、Ceph/HDFS/MinIO |
| 02 Ceph 与 MinIO 实战 | 架构、最小实践、选型 |
一、三大接口
| 类型 | 代表 | 用途 |
|---|---|---|
| 分布式文件 | CephFS、GlusterFS、HDFS | 共享文件、大数据 |
| 分布式块 | Ceph RBD | 云主机磁盘、虚拟化 |
| 分布式对象 | Ceph RGW、MinIO、Swift | S3 兼容、海量非结构化 |
二、核心思想
- 数据分片:把数据切成块分散到多节点。
- 多副本 / 纠删码:保证容错(N 副本或 k+m 编码)。
- 一致性哈希 / CRUSH:决定数据落在哪、如何迁移。
- 自愈:节点故障后自动重建。
- 横向扩展:加机器就加容量/性能。
三、与”单机 RAID”的区别
| 单机 RAID | 分布式存储 | |
|---|---|---|
| 故障域 | 单机(主机坏就全没) | 多节点,跨机容错 |
| 扩展 | 加盘(有限) | 加节点(近线性) |
| 复杂度 | 低 | 高 |
| 场景 | 家用/小企业 | 云/大数据 |
其他问题(Q&A)
Q1:个人/小团队需要分布式存储吗?
A:一般不。NAS/单机 ZFS 足够;分布式是”很多机器 + 很多数据”才划算。
Q2:Ceph 难部署吗?
A:相对复杂,需要多节点、网络与运维经验;有 Cephadm 等工具降低门槛。
Q3:副本和纠删码怎么选?
A:副本简单、恢复快、占空间;纠删码省空间、恢复慢、耗 CPU。海量冷数据常用纠删码。
Q4:分布式存储能替代备份吗?
A:不能。它防”节点故障”,不防误删/勒索/逻辑损坏——仍需快照与异地备份。