优化 Amazon S3 数据传输通过 Direct Connect

作者：Chuck Fuller，于 2024 年 9 月 6 日发表于 [Amazon简单存储服务(S3)](https://aws.amazon.com/blogs/networking-and-content- delivery/category/storage/amazon-simple-storage-services-s3/ "查看所有 Amazon简单存储服务 (S3) 的帖子")，，，，，

关键要点

• 当今的数据驱动环境中，高效传输大数据集到 Amazon S3 对于企业的云策略至关重要。
• 常见场景包括云数据湖、大数据分析、备份和恢复等，需要频繁或大量的数据传输。
• 采用 AWS Direct Connect 能够提供安全、低延迟的连接，适用于频繁传输数据的情况。

在当今数据驱动的环境中，将大型数据集高效地传输到 （AmazonS3）和从其传输是企业云策略的关键组成部分。常见的业务用例包括需要持续从各种源接收数据的基于云的数据湖，这些源通常位于本地。Amazon S3还可以作为您生成式 AI 旅程的起点。生成式 AI 应用需要大量的数据集，通过将这些数据传输到 Amazon S3，组织可以利用 Amazon WebServices（AWS）的一整套人工智能/机器学习（AI/ML）工具。在使用这些数据在 AWS 中训练模型后，模型产物也可以存储在 Amazon S3中。其他用例还包括备份与恢复、存档、物联网（IoT）数据引入和大数据分析。

在将数据传输到及从 Amazon S3 时，一般有三种模式：

• 对于需要不频繁传输的小到中等数量的数据（< 100 GB），可使用 连接。
• 对于需要经常传输的大量数据（< 10 TB）且需要低延迟的稳定连接时， 是最佳选择。Direct Connect 绕过公共互联网，提供安全且专用的 AWS 连接。
• 对于非常大量的数据（> 10 TB）且不频繁传输时， 是最具成本效益和高效的方法。Snow Family 设备会物理运送到您那，您在设备上加载数据后再寄回 AWS。

本文详细介绍了设置使用 AWS Direct Connect的三种网络架构。这些架构在所使用的服务、相关费用和复杂性级别上有所不同。了解这些网络设计选项及其权衡对于优化云存储运营至关重要。

AWS 服务

以下是涵盖的架构中包含的服务，每个服务的简要描述如下。您可以点击链接了解每个服务的更多信息。

• Direct Connect 是一种安全且专用的网络服务，用于通过 连接本地环境与 AWS。Direct Connect 连接有两种类型：专用和托管。专用连接支持多个 。请参考 查看当前支持的值。VIF 是在用户本地路由器与 Direct Connect 路由器之间的 Direct Connect 电路上配置的 IEEE 802.1q VLAN。它是建立在物理连接之上的逻辑接口。托管连接支持一个 VIF，并通过 提供。
• Direct Connect Gateway 允许 Direct Connect 用户将多个虚拟私有云（VPC）连接到其 Direct Connect 连接，无论是同一区域还是不同区域。它可以直接与多个 VPC 虚拟私有网关（VGW）或附加到 VPC 的 Transit Gateway 关联。
• Transit Gateway 是一个网络中继中心，您可以使用它通过单个网关互连您的 VPC 和本地网络。它通过允许您在 VPC、数据中心和分支办事处之间构建中心辐射拓扑来简化网络拓扑和配置。
• 虚拟私有网关 提供 VPC 的边缘路由，通过 VPN 或 Direct Connect 连接。
• 接口端点 允许您通过 AWS 网络建立与其他支持的 AWS 服务的私密连接，而不是通过互联网。

网络架构

这三种架构均使用 Direct Connect。如果您有专用连接，则可以在现有连接上配置新的 VIF。如果您有仅支持一个 VIF的托管连接，则必须额外订购一条托管连接以支持额外的 VIF。

如果您的计划是建立具有多个 VPC 的流量汇聚区域，并为这些 VPC 内外的 AWS服务及应用提供访问，建议选择专用连接，因为它可以提供更灵活的网络设计。还建议至少拥有两条连接以提高弹性，具体内容请参阅 。

Direct Connect 收费包括基于连接类型和连接容量的端口小时收费。还有基于从 AWS 向本地传输的数据量的收费。从本地向 AWS传输的数据是免费的。有关定价的更多详细信息，请参考 页面。

每种架构的描述包括基于以下示例场景的定价估算：

您有两个 10 Gbps 的专用 Direct Connect 连接，并希望设置与 Amazon S3 的连接以从本地传输数据。您估计每月向 AmazonS3 传输约 4 TB 的数据，并估计每月必须从 Amazon S3 检索 2 TB 的数据并传回本地。

以下计算基于 ，您可以根据自己的架构和具体用例进行计算。虽然以下架构示例中显示的所有定价是基于美国的 AWS 区域，但其他 AWS 区域的定价可能有所不同。AWS 定价计算器可用于显示其他 AWS 区域的定价信息。

架构 1：使用公共 VIF

第一种架构使用 Direct Connect 公共 VIF。公共 VIF 可访问所有 AWS 公共服务，使用公共 IP地址。当建立边界网关协议（BGP）会话时，Amazon 公共前缀会通过公共 VIF 广播到您的设备。这引入了一些复杂性，需要考虑连接 AWS公共网络时的情况。当将您的网络与其他网络连接时，最佳实践是使用防火墙来检查和阻止不必要的流量，正如您与互联网连接时所做的那样。您可以配置 ，为在公共 VIF 和互联网中宣传的前缀设定规则，并使用 管控前缀在 AWS 网络中的传播范围。

以下图示显示此架构，使用两条 Direct Connect 连接，每条连接都有一个公共 VIF 连接到 AWS 网络。


该架构是一个不错的选择，如果您希望最大程度降低传输数据到 Amazon S3 的相关成本。然而，由于它将本地网络暴露于 AWS公共网络，因此需要进行额外配置，以缓解潜在的安全性问题。

使用我们的示例场景，该架构的相关费用以下表所示。

Direct Connect 收费 |
---|---
Direct Connect 位置数量： | 2
每个位置使用的端口数： | 2
端口类型： | 专用
端口容量： | 10 Gbps
端口小时费率： | $2.25 USD 每小时
连接时长： | 730 小时 _
总端口小时费用： |__$6,570.00 USD 每月 _
** |
_数据传输出站（DTO）费用 _|
发送数据的 AWS 区域 | US-EAST-1（N. Virginia）
转移出数据 | 每月 2 TB
出站数据传输费率 | $0.02 USD 每月
_总数据传输出费用 _|$40.96 USD 每月 *

总估算费用为 $6,610.96 USD 每月

架构 2：使用私有 VIF

该架构使用私有 VIF 和接口端点通过 VPC 将数据传输到 Amazon S3。使用私有 VIF 访问 VPC，使用私有地址。通过私有 VIF从本地访问接口端点。接口端点利用分配自 VPC 子网的私有 IP 地址的 (ENIs)。当您 时，它会生成一个特定于端点的 Amazon S3 DNS 名称，可以用于 。您还可以 以将 Amazon S3 DNS名称解析为 Amazon S3 接口 VPC 端点的私有 IP 地址。然后，流量通过 AWS 网络发送到 Amazon S3。

以下图示显示该架构，使用两条 Direct Connect 连接，每条连接都有一个私有 VIF，通过 Direct Connect Gateway连接到具有接口端点的 VPC。


该架构是一个不错的选择，如果您不想创建公共 VIF。您可能不希望增加需要过滤广告的 Amazon 前缀的额外配置。如果您对连接 AWS公共网络有安全顾虑，尤其是在 Direct Connect 连接中没有适当的安全服务时，您也可以选择这种方案。您可能已经拥有带有私有 VIF的托管连接，而不想再订购另一条托管连接以便获得其他 VIF。

该架构的相关费用包括架构 1 中涵盖的 Direct Connect 收费，外加下表所示的接口端点费用。

总估算费用为 $6,610.96 USD + $90.64 USD = $6,701.60 USD 每月

架构 3：使用 Transit VIF

该架构使用 Transit VIF 和 Transit Gateway。通过 Transit Gateway，可以使用单个 Transit VIF连接到所有 VPC。这避免了每个 VPC 配置单独的私有 VIF 的需求，这是在 Transit Gateway服务可用之前的常见做法。在此架构中，带有接口端点的 VPC 附加到 Transit Gateway，该网关通过 Transit VIF连接回本地。通过接口端点访问 Amazon S3 的方式与架构 2 中相同，唯一的区别是流量将通过 Transit VIF 流向接口端点。

以下图示显示了该架构，使用两条 Direct Connect 连接，每条连接都有一个 Transit VIF，通过 Direct ConnectGateway 连接到同一个 Transit Gateway，再连接到带有接口端点的 VPC。


如果您已经有了 Transit Gateway，那么该架构在实施和运营方面是最简单的，也是最具可扩展性的。如果您不想创建额外的 VIF，或已经有一个带 VIF 的托管连接而不想再订购另一条托管连接，则这是不错的选择。它允许您使用单个 Transit VIF 将数据发送到 VPC 和 AmazonS3，而无需配置额外的 VIF。这需要配置 Transit Gateway 及所有附加内容以及 Transit Gateway 的路由表。

该架构的相关费用包括架构 1 和 2 中涵盖的 Direct Connect 收费和接口端点费用，外加下表所示的 Transit Gateway 收费。

总估算费用为 $6,610.96 USD + $90.64 USD + $318.76 USD = $7,020.38 USD 每月

结论

本文讨论了通过 AWS Direct Connect 在本地环境和 Amazon S3 之间传输大数据集的不同网络架构。通过了解这些架构选项，例如公共 VIF、VPC 中的私有 VIF 和通过 Transit Gateway 的 TransitVIF，以及使用每项服务的成本和配置复杂性的影响，您可以为您的组织选择合适的设计。选择受到多个因素的影响，例如当前使用的 AWS资源、安全性要求、希望降低成本的愿望以及预计的未来扩张。

如果您是首次构建流量汇聚区域的新用户，可以参考 ，了解有关选择正确连接类型和设计的更多考虑事项。

2024 年 9 月 18 日进行了更新： 该帖子的早期版本错误地指出 AWS IP 地址范围来自 ip-ranges.json 可用于 BGP前缀过滤。架构 3 已更新，以包括多个接口端点以实现更具弹性的架构。出站流量量也已调整，以反映更为现实的示例。

关于作者

删除)

Chuck Fuller

Chuck 是 AWS 的高级解决方案架构师，有着网络工程背景。拥有超过 25 年的 IT 经验，他与客户合作，设计和构建创新、可靠且具成本效益的 AWS云解决方案，确保他们在云采纳旅程中的成功。