原理与系统
分布式存储的可靠性来自”冗余 + 自愈”,性能来自”并行 + 分片”。理解这两点,就能判断它适不适合你的场景。
一、冗余:副本 vs 纠删码
| 方式 | 原理 | 空间开销 | 恢复 | 适用 |
|---|---|---|---|---|
| 副本(Replication) | 每份数据存 N 份 | N 倍 | 快 | 热数据、低延迟 |
| 纠删码(Erasure Coding) | 切成 k 块 + m 校验 | (k+m)/k | 慢、耗 CPU | 冷数据、大容量 |
例:3 副本 = 空间×3;8+3 纠删码 ≈ 空间×1.375,但恢复慢。
二、一致性
| 模型 | 含义 |
|---|---|
| 强一致 | 读到的总是最新写入 |
| 最终一致 | 一段时间后达成一致 |
| CAP 权衡 | 一致性 / 可用性 / 分区容错 三选二 |
三、主流系统
| 系统 | 类型 | 特点 |
|---|---|---|
| Ceph | 文件+块+对象 | 统一存储,功能全,部署复杂 |
| HDFS | 分布式文件 | 大数据,顺序写、大块 |
| GlusterFS | 分布式文件 | 简单、易扩 |
| MinIO | 对象(S3) | 轻量、高性能、K8s 友好 |
| Swift | 对象 | OpenStack 生态 |
四、部署与运维要点
- 至少 3 节点起步(容错)。
- 网络是命脉:建议万兆 + 独立存储网。
- 监控容量/健康;节点故障要及时处理(自愈也需时间)。
- 数据安全三件套:冗余 + 快照 + 异地备份。
其他问题(Q&A)
Q1:MinIO 能当 NAS 用吗?
A:它是对象存储(S3 接口),不是文件系统;可用 s3fs 之类挂载近似使用。
Q2:HDFS 为什么适合大数据?
A:一次写入多次读取、大块顺序访问、高吞吐,契合批处理。
Q3:分布式存储会丢数据吗?
A:冗余足够时抗节点故障;但人为误删、勒索、机房灾害仍会丢——需要备份。
Q4:能在一台机器上”模拟”分布式存储吗?
A:可以(如单机跑 MinIO/Ceph 测试),但保障度低,仅供学习。