04 分布式与集群存储

分布式存储把多台普通服务器的硬盘组成一个”存储大海”,对外提供统一的文件/块/对象服务。它用软件定义换来了弹性扩展、高可用、自愈,是云计算与大数据的地基。


目录

章节内容
01 原理与系统分片、副本、纠删码、Ceph/HDFS/MinIO
02 Ceph 与 MinIO 实战架构、最小实践、选型

一、三大接口

类型代表用途
分布式文件CephFS、GlusterFS、HDFS共享文件、大数据
分布式块Ceph RBD云主机磁盘、虚拟化
分布式对象Ceph RGW、MinIO、SwiftS3 兼容、海量非结构化

二、核心思想

  • 数据分片:把数据切成块分散到多节点。
  • 多副本 / 纠删码:保证容错(N 副本或 k+m 编码)。
  • 一致性哈希 / CRUSH:决定数据落在哪、如何迁移。
  • 自愈:节点故障后自动重建。
  • 横向扩展:加机器就加容量/性能。

三、与”单机 RAID”的区别

单机 RAID分布式存储
故障域单机(主机坏就全没)多节点,跨机容错
扩展加盘(有限)加节点(近线性)
复杂度低高
场景家用/小企业云/大数据

其他问题(Q&A)

Q1:个人/小团队需要分布式存储吗?
A:一般不。NAS/单机 ZFS 足够;分布式是”很多机器 + 很多数据”才划算。

Q2:Ceph 难部署吗?
A:相对复杂,需要多节点、网络与运维经验;有 Cephadm 等工具降低门槛。

Q3:副本和纠删码怎么选?
A:副本简单、恢复快、占空间;纠删码省空间、恢复慢、耗 CPU。海量冷数据常用纠删码。

Q4:分布式存储能替代备份吗?
A:不能。它防”节点故障”,不防误删/勒索/逻辑损坏——仍需快照与异地备份。


相关阅读