AWS 存储服务
AWS 存储服务
备考时把 AWS 存储按访问模型拆成几类来记最省事:对象存储 S3、块存储 EBS、文件存储 EFS / FSx、混合云的 Storage Gateway,最后是把这些都串起来的 AWS Backup。下面按这个顺序整理。
对象存储 S3
Amazon S3(Simple Storage Service)是对象存储,不是块存储也不是文件存储。数据以对象形式存放,每个对象连同元数据一起保存,适合海量非结构化数据:备份、日志、静态网站内容、多媒体。它的卖点是高持久性和近乎无限的水平扩展。
选型上一个常考的对比:要海量、低成本、高耐久的非结构化存储,选 S3;要以传统文件系统形式访问(共享目录、文件锁、低延迟、多用户协作、跑依赖文件系统的企业应用),选 FSx 或 EFS。
S3 存储类别
存储类别按访问频率和取回延迟分档,价格和取回成本此消彼长:
| 存储类别 | 适用场景 | 特点 |
|---|---|---|
| STANDARD | 频繁访问 | 低延迟、高吞吐 |
| STANDARD_IA | 不常访问但要快取 | 存储便宜,访问费高 |
| ONEZONE_IA | 单可用区、不常访问 | 更便宜,耐久性较低 |
| INTELLIGENT_TIERING | 访问模式不确定 | 自动在层级间迁移 |
| GLACIER | 长期归档/备份 | 取回有延迟 |
| GLACIER_DEEP_ARCHIVE | 极低成本归档 | 取回时间最长 |
Glacier 取回有三档速度,按价钱和急迫度选:
- Expedited(快速):1–5 分钟。
- Standard(标准):3–5 小时。
- Bulk(批量):12 小时内,成本最低,适合大批量取回。
存储桶配置维度
一个桶还有几组正交的配置要分清:
- 访问范围:公开桶(所有人可访问,适合静态网站)、私有桶(默认,仅授权用户)、受限桶(IAM 或桶策略控制)。
- 版本控制:开启后支持对象多版本,防误删误覆盖;不开则无版本管理。
- 加密:未加密,或 SSE-S3 / SSE-KMS / SSE-C 三种服务端加密。S3 也支持客户端加密。
S3 对象锁定
对象锁定(Object Lock)给对象设保留期,期内不可删改,用于合规。两种模式区别在于能不能被绕过:
| 特性 | 合规模式 (Compliance) | 治理模式 (Governance) |
|---|---|---|
| 删除/修改保护 | 完全不可绕过 | 持有 s3:BypassGovernanceRetention 权限者可绕过 |
| 灵活性 | 低 | 高 |
| 适用场景 | 法律合规要求极高(金融、医疗等) | 内部管理与合规兼顾 |
合规模式下连完全权限的用户也删不掉,且不可逆,适合金融、医疗这类有强监管的数据。治理模式则留了个口子给管理员处理误操作或紧急变更。
S3 配套服务
- Access Analyzer for S3:分析桶的 ACL 和桶策略,评估这些设置导致的公共或受限访问风险。
- 预签名 URL:给对象生成带过期时间的临时访问链接(比如 60 秒后失效),不暴露长期凭证。
块存储 EBS
Amazon Elastic Block Store(EBS)是给 EC2 用的高性能块存储。可以在卷上装文件系统,也可以当裸设备用。卷类型是常考点,按 SSD / HDD 两大族记:
| 卷类型 | 介质 | 关键指标 | 适用场景 |
|---|---|---|---|
| gp2 | SSD | 最高 16,000 IOPS、250 MB/s;IOPS 与容量绑定 | 启动卷、开发环境、中等数据库 |
| gp3 | SSD | 最高 16,000 IOPS、1,000 MB/s;IOPS 与吞吐独立配置 | 大多数负载,比 gp2 更便宜更灵活 |
| io1 | SSD | 最高 64,000 IOPS,性能可配置 | 关键任务、大型数据库 |
| io2 | SSD | 最高 64,000 IOPS,比 io1 持久性更高 | 关键任务且要更高可靠性 |
| io2 Block Express | SSD | 最高 256,000 IOPS、4,000 MB/s,更低延迟 | 超高性能企业应用 |
| st1 | HDD | 高吞吐、低成本,面向顺序访问 | 大数据、数据仓库、日志 |
| sc1 | HDD | 最低成本,吞吐低 | 不常访问的归档、备份 |
| Magnetic | HDD | 传统磁盘,性能最低 | 老系统或特定需求 |
几个容易踩的细节:gp2 的 IOPS 跟容量挂钩,要约 5TB 才能上到 15,000 IOPS,成本不划算,gp3 把 IOPS 和吞吐解耦后这问题就没了。SSD 卷面向低延迟高 IOPS,HDD 卷面向大吞吐低 IOPS 的顺序访问。现在新建卷基本就在 gp3 和 io2 Block Express 里选。
RDS 用的存储类型同理,分通用型 SSD(gp2/gp3)、预置 IOPS SSD(io1/io2)和逐步淘汰的磁盘存储。
文件存储 EFS 与 FSx
Amazon EFS
EFS(Elastic File System)是托管的文件存储,主要走 NFS,可被多个 EC2 实例同时挂载共享。它弹性扩展、按需付费,无需预置容量,适合通用文件共享、Web 服务器、容器这类 Linux 负载。
Amazon FSx for Windows File Server
完全托管的原生 Windows 文件系统,基于 Windows Server 文件共享技术,走 SMB 协议,能集成 Active Directory 做权限和身份验证。适合把本地 Windows 文件服务器迁上云、内容管理、应用程序存储等。
注意一个常考点:FSx for Windows File Server 要继承 AD 里定义的权限策略,必须在部署时就加入现有的 AD 域。
Amazon FSx for Lustre
基于开源 Lustre 的高性能并行文件系统,面向 HPC、机器学习、视频处理、基因组学这类要极致吞吐和低延迟的负载。能提供微秒级延迟、每秒数十万到数百万 IOPS。它和 S3 深度集成,可以把 S3 数据导入做高速处理、处理完写回 S3,实现冷热分离。多个 EC2 实例(同区或跨区只要网络通)可挂载同一文件系统并行读写,建议放在同一 VPC 内以降延迟。
Amazon FSx for NetApp ONTAP
基于 NetApp ONTAP 的托管文件存储,主打企业级数据管理功能:快照、复制、克隆、压缩、重复数据删除。同时支持 NFS 和 SMB,所以 Linux 和 Windows 都能访问,还支持跨 AZ、跨区域复制做灾备。适合迁移已有 NetApp 负载,或一个存储端点要同时服务 Linux 和 Windows 应用的场景。
一个典型题:Linux 模拟程序每 5 分钟往 NFS 共享写中间数据,Windows 可视化程序要 SMB 文件系统读这些数据,公司原本维护两套同步文件系统导致数据冗余。答案是用 FSx for NetApp ONTAP——它原生同时支持 NFS 和 SMB,单一存储端点服务两种协议,无需改代码就消除了数据冗余。
三者横向对比
| 维度 | EFS | FSx for Lustre | FSx for NetApp ONTAP |
|---|---|---|---|
| 底层技术 | AWS 自研分布式文件系统 | 开源 Lustre 并行文件系统 | NetApp ONTAP 企业级文件系统 |
| 协议 | 主要 NFS | Lustre | NFS、SMB(部分 iSCSI) |
| 性能 | 弹性高,延迟相对较高 | 超高吞吐、低延迟 | 企业级高性能 |
| 数据管理功能 | 基础 | 基础持久性 | 快照、复制、克隆、压缩、去重 |
| 与 S3 集成 | 否 | 是,深度集成 | 否 |
| 典型场景 | 通用共享、Web、容器 | HPC、ML、视频渲染 | 企业文件服务、跨协议、迁移 NetApp |
简单记:通用持久共享选 EFS;要极致性能和并行访问选 FSx for Lustre;要企业级数据管理或跨 NFS/SMB 协议选 FSx for NetApp ONTAP。
混合云 Storage Gateway
AWS Storage Gateway 是混合云存储,在本地环境和 AWS 云存储之间架桥,本地应用通过它访问近乎无限的云存储,并能在本地缓存频繁访问的数据、整个数据集存在云上。三种网关按接口类型分:
- 文件网关(File Gateway):以 NFS / SMB 文件协议访问存于 S3 的数据,适合备份、归档、轻量共享。下面又分两种:
- Amazon S3 File Gateway:把本地文件系统和 S3 对象存储集成,提供本地缓存,是把 NFS 本地负载迁到 AWS 的首选。
- Amazon FSx File Gateway:提供对托管 FSx 文件系统的本地访问,适合需要企业级文件系统性能和协议支持的场景。
- 卷网关(Volume Gateway):提供块存储接口,两种模式——缓存模式本地只存常用数据、其余异步存云端卷;存储模式本地保留全量数据、以快照形式持久到云端。适合块存储备份或灾备。
- 磁带网关(Tape Gateway):提供虚拟磁带库(VTL)接口替代物理磁带,备份数据落到 S3 和 Glacier,适合传统备份系统上云。
备份 AWS Backup
AWS Backup 是全托管的集中备份服务,把多种 AWS 资源的备份统一管理,不用逐个服务单独配。核心能力:
- 集中管理:一处定义备份任务和策略,覆盖多个服务。
- 自动备份计划:自定义频率和保留期,定期执行。
- 跨服务支持:EC2、EBS 卷、RDS、DynamoDB、EFS、FSx、Storage Gateway 卷等。
- 灵活恢复:从备份恢复单个文件、卷、数据库或文件系统,可选恢复点。
- 安全合规:支持备份加密和访问权限管理。
- 跨区域备份:把备份复制到其他区域做灾备和冗余。
- 混合云备份:通过 Storage Gateway 把本地数据纳入备份计划。
一个和 RDS 相关的常考差异:RDS 自动备份默认保留期最长 35 天且无法直接配更长;要保留数年以满足合规,得用 AWS Backup 自定义保留策略。