对象存储原理与 API

对象存储用 HTTP API 存取数据,把”文件”抽象成”对象”,天生适合海量、高并发、跨地域的场景。理解 Bucket / Object / Key 三个概念,就能上手 S3 及各类兼容服务。


一、三个核心概念

概念含义类比
Bucket(桶)存放对象的容器,全局唯一命名一个”盘”
Object(对象)数据本体 + 元数据一个”文件”
Key(键)对象的唯一名字,可用 / 模拟目录文件”路径”
  • 对象是不可变的:修改 = 重新上传(覆盖)成为新版本。
  • 没有真正的目录树,a/b/c.txt 只是键名含 /。

二、S3 风格 API

对象存储几乎都用 S3(Simple Storage Service) 兼容接口:

# 使用 aws-cli 或 s3cmd / rclone
aws s3 ls s3://my-bucket/                       # 列出对象
aws s3 cp big.iso s3://my-bucket/big.iso        # 上传
aws s3 cp s3://my-bucket/big.iso ./big.iso      # 下载
aws s3 presign s3://my-bucket/big.iso --expires-in 3600   # 生成临时链接

常见接口要素:Endpoint、Access Key、Secret Key、Region。

兼容服务说明
AWS S3事实标准
阿里云 OSS / 腾讯云 COS / 华为云 OBS国内主流
MinIO / Ceph RGW可自建、兼容 S3

三、与传统文件系统的区别

对象存储文件系统
接口HTTP/S3POSIX(read/write)
修改整体覆盖随机修改
目录键名前缀模拟真实目录
扩展近乎无限有限
延迟较高低

需要随机改/低延迟 → 用文件系统/块设备;海量静态数据 → 对象存储。


四、典型用法

  • 网站/App 的静态资源(图片、视频、附件),常配 CDN。
  • 备份/归档:配合生命周期规则自动转冷。
  • 数据湖 / 大数据 的存储层。
  • Kubernetes 持久化(MinIO/Ceph)。
  • 大文件分片上传 + 断点续传。

五、成本与安全

项说明
存储费按 GB/月,冷层更便宜
外网下行流量费常是最大开销
请求费按 PUT/GET 次数
生命周期自动降冷/删除省成本

安全:访问策略(Bucket Policy/IAM)、版本控制、服务端/客户端加密、私有桶(别默认公开)。


其他问题(Q&A)

Q1:能像网盘一样拖文件吗?
A:要借助 S3 图形客户端(如 S3 Browser、Cyberduck)或 rclone mount。

Q2:对象存储适合数据库吗?
A:不适合(无随机改、延迟高)。适合大文件、海量静态数据、备份。

Q3:外链分享怎么做?
A:用预签名 URL(带过期时间)或桶策略 + CDN,不要公开整个桶。

Q4:对象存储会不会丢数据?
A:服务商通常多副本/纠删码保证持久性,但误删、配置错误仍会丢——用版本控制 + 生命周期保护。

Q5:怎么省外网流量费?
A:用 CDN 回源、内网访问、把热数据靠近用户;尽量别反复”下载到本地”。


相关阅读