对象存储原理与 API
对象存储用 HTTP API 存取数据,把”文件”抽象成”对象”,天生适合海量、高并发、跨地域的场景。理解 Bucket / Object / Key 三个概念,就能上手 S3 及各类兼容服务。
一、三个核心概念
| 概念 | 含义 | 类比 |
|---|---|---|
| Bucket(桶) | 存放对象的容器,全局唯一命名 | 一个”盘” |
| Object(对象) | 数据本体 + 元数据 | 一个”文件” |
| Key(键) | 对象的唯一名字,可用 / 模拟目录 | 文件”路径” |
- 对象是不可变的:修改 = 重新上传(覆盖)成为新版本。
- 没有真正的目录树,
a/b/c.txt只是键名含/。
二、S3 风格 API
对象存储几乎都用 S3(Simple Storage Service) 兼容接口:
# 使用 aws-cli 或 s3cmd / rclone
aws s3 ls s3://my-bucket/ # 列出对象
aws s3 cp big.iso s3://my-bucket/big.iso # 上传
aws s3 cp s3://my-bucket/big.iso ./big.iso # 下载
aws s3 presign s3://my-bucket/big.iso --expires-in 3600 # 生成临时链接常见接口要素:Endpoint、Access Key、Secret Key、Region。
| 兼容服务 | 说明 |
|---|---|
| AWS S3 | 事实标准 |
| 阿里云 OSS / 腾讯云 COS / 华为云 OBS | 国内主流 |
| MinIO / Ceph RGW | 可自建、兼容 S3 |
三、与传统文件系统的区别
| 对象存储 | 文件系统 | |
|---|---|---|
| 接口 | HTTP/S3 | POSIX(read/write) |
| 修改 | 整体覆盖 | 随机修改 |
| 目录 | 键名前缀模拟 | 真实目录 |
| 扩展 | 近乎无限 | 有限 |
| 延迟 | 较高 | 低 |
需要随机改/低延迟 → 用文件系统/块设备;海量静态数据 → 对象存储。
四、典型用法
- 网站/App 的静态资源(图片、视频、附件),常配 CDN。
- 备份/归档:配合生命周期规则自动转冷。
- 数据湖 / 大数据 的存储层。
- Kubernetes 持久化(MinIO/Ceph)。
- 大文件分片上传 + 断点续传。
五、成本与安全
| 项 | 说明 |
|---|---|
| 存储费 | 按 GB/月,冷层更便宜 |
| 外网下行流量费 | 常是最大开销 |
| 请求费 | 按 PUT/GET 次数 |
| 生命周期 | 自动降冷/删除省成本 |
安全:访问策略(Bucket Policy/IAM)、版本控制、服务端/客户端加密、私有桶(别默认公开)。
其他问题(Q&A)
Q1:能像网盘一样拖文件吗?
A:要借助 S3 图形客户端(如 S3 Browser、Cyberduck)或 rclone mount。
Q2:对象存储适合数据库吗?
A:不适合(无随机改、延迟高)。适合大文件、海量静态数据、备份。
Q3:外链分享怎么做?
A:用预签名 URL(带过期时间)或桶策略 + CDN,不要公开整个桶。
Q4:对象存储会不会丢数据?
A:服务商通常多副本/纠删码保证持久性,但误删、配置错误仍会丢——用版本控制 + 生命周期保护。
Q5:怎么省外网流量费?
A:用 CDN 回源、内网访问、把热数据靠近用户;尽量别反复”下载到本地”。