原理与系统

分布式存储的可靠性来自”冗余 + 自愈”,性能来自”并行 + 分片”。理解这两点,就能判断它适不适合你的场景。


一、冗余:副本 vs 纠删码

方式原理空间开销恢复适用
副本(Replication)每份数据存 N 份N 倍快热数据、低延迟
纠删码(Erasure Coding)切成 k 块 + m 校验(k+m)/k慢、耗 CPU冷数据、大容量

例:3 副本 = 空间×3;8+3 纠删码 ≈ 空间×1.375,但恢复慢。


二、一致性

模型含义
强一致读到的总是最新写入
最终一致一段时间后达成一致
CAP 权衡一致性 / 可用性 / 分区容错 三选二

三、主流系统

系统类型特点
Ceph文件+块+对象统一存储,功能全,部署复杂
HDFS分布式文件大数据,顺序写、大块
GlusterFS分布式文件简单、易扩
MinIO对象(S3)轻量、高性能、K8s 友好
Swift对象OpenStack 生态

四、部署与运维要点

  • 至少 3 节点起步(容错)。
  • 网络是命脉:建议万兆 + 独立存储网。
  • 监控容量/健康;节点故障要及时处理(自愈也需时间)。
  • 数据安全三件套:冗余 + 快照 + 异地备份。

其他问题(Q&A)

Q1:MinIO 能当 NAS 用吗?
A:它是对象存储(S3 接口),不是文件系统;可用 s3fs 之类挂载近似使用。

Q2:HDFS 为什么适合大数据?
A:一次写入多次读取、大块顺序访问、高吞吐,契合批处理。

Q3:分布式存储会丢数据吗?
A:冗余足够时抗节点故障;但人为误删、勒索、机房灾害仍会丢——需要备份。

Q4:能在一台机器上”模拟”分布式存储吗?
A:可以(如单机跑 MinIO/Ceph 测试),但保障度低,仅供学习。


相关阅读