S3 实战与成本优化
对象存储用起来不难,难在用对、省钱、保安全。本篇给出 S3 常用操作与成本/安全清单。
一、常用操作(aws-cli / rclone)
# aws-cli(需配置 endpoint/ak/sk/region)
aws s3 mb s3://my-bucket # 建桶
aws s3 cp ./dir s3://my-bucket/dir/ --recursive
aws s3 sync ./photos s3://my-bucket/photos/ # 增量同步
aws s3 presign s3://my-bucket/f --expires-in 3600
# rclone(更通用的多云工具)
rclone config
rclone copy ./big.iso remote:my-bucket/
rclone mount remote:my-bucket /mnt/oss & # 挂载为文件系统二、大文件与并发
| 技术 | 说明 |
|---|---|
| 分片上传 | 大文件切块并发上传,可断点续传 |
| 多线程 | rclone --transfers 提高并发 |
| 校验 | 上传后比对 ETag/哈希 |
| 传输加速 | 用就近区域/加速端点 |
三、成本优化清单
| 手段 | 省什么 |
|---|---|
| 生命周期规则 | 自动转低频/归档/删除 |
| 归档层 | 存储费大降 |
| CDN | 省外网下行流量 |
| 内网访问 | 免外网流量费 |
| 压缩/去重 | 减少存储量 |
| 合理 Region | 减少跨区流量 |
外网下行流量费是最容易超预算的一块,务必先估算。
四、安全清单
| 项 | 建议 |
|---|---|
| 桶权限 | 默认私有,按需授权 |
| 访问凭证 | 用 IAM/子账号,别用主账号 AK |
| 加密 | 服务端 + 客户端加密 |
| 版本控制 | 防误删/篡改 |
| 日志 | 访问日志/审计 |
| 预签名 URL | 限时分享,别公开桶 |
其他问题(Q&A)
Q1:同步和复制有什么区别?
A:sync 会删除目标端多余文件(使两边一致);copy 只增不减。备份用 copy。
Q2:能不能挂载成磁盘用?
A:rclone mount/s3fs 可挂载,但延迟高、不适合数据库。
Q3:ETag 能当文件哈希吗?
A:分片上传的 ETag 不是简单 MD5,不能直接当整体哈希用。
Q4:怎么防止对象被误删?
A:开版本控制 + 生命周期保护 + 桶策略拒绝删除。
Q5:为什么账单突然很高?
A:多为外网流量 + 请求次数激增。查访问日志与生命周期规则。