最大限度地减少跨 Azure 区域发送事件 Hub/Stream 分析数据的数据传输成本
Minimize data transfer costs sending Event Hub/Stream Analytics Data across Azure regions
我在美国东部有一项收集请求数据的服务 运行。我需要将这些数据返回到我们在北欧的中央数据库 运行。目前，美国东部的 Web 应用程序 运行 正在将信息发送到北欧的事件中心作业，流分析作业在那里处理它并输出到数据库。
我想尽量减少数据传输成本，这在规模上会造成问题。我正在寻找方法来做到这一点，例如：
- 最小化负载大小
- 使用 GZIP 或 deflate 压缩负载
- 批量发送数据以从压缩中获得更多好处
但是将事件中心工作转移到美国东部有好处吗？进入事件中心的带宽是否等于从事件中心作业到流分析作业的带宽？
流分析是否以更高效的方式提取数据，也许是每 x 毫秒提取一次压缩批次？
如果这意味着减少数据传输的大小，我可以接受额外几秒钟的延迟。
我认为这取决于您是否在 ASA 工作中应用聚合。 ASA 的一个常见用途是减少数据量。例如，SQL 服务器将无法处理与事件中心相同级别的吞吐量，因此在写入 SQL 服务器之前，人们通常会计算窗口聚合。如果您应用相同的模式，运行 美国东部的 ASA 作业将有意义，并将减少量的输出写入北欧。
如果您不执行数据缩减，那么无论您 运行 美国东部还是北欧的 ASA 作业，数据传输量都差不多。 ASA 使用事件中心基于 AMQP 协议的客户端通过 TCP 连接检索事件。虽然它不执行压缩。您可以按发件人大小对有效负载执行 gzip 压缩。 ASA 有一个选项可以解压缩有效负载以进行处理。
我在美国东部有一项收集请求数据的服务 运行。我需要将这些数据返回到我们在北欧的中央数据库 运行。目前，美国东部的 Web 应用程序 运行 正在将信息发送到北欧的事件中心作业，流分析作业在那里处理它并输出到数据库。
我想尽量减少数据传输成本，这在规模上会造成问题。我正在寻找方法来做到这一点，例如：
- 最小化负载大小
- 使用 GZIP 或 deflate 压缩负载
- 批量发送数据以从压缩中获得更多好处
但是将事件中心工作转移到美国东部有好处吗？进入事件中心的带宽是否等于从事件中心作业到流分析作业的带宽？ 流分析是否以更高效的方式提取数据，也许是每 x 毫秒提取一次压缩批次？
如果这意味着减少数据传输的大小，我可以接受额外几秒钟的延迟。
我认为这取决于您是否在 ASA 工作中应用聚合。 ASA 的一个常见用途是减少数据量。例如，SQL 服务器将无法处理与事件中心相同级别的吞吐量，因此在写入 SQL 服务器之前，人们通常会计算窗口聚合。如果您应用相同的模式，运行 美国东部的 ASA 作业将有意义，并将减少量的输出写入北欧。
如果您不执行数据缩减，那么无论您 运行 美国东部还是北欧的 ASA 作业，数据传输量都差不多。 ASA 使用事件中心基于 AMQP 协议的客户端通过 TCP 连接检索事件。虽然它不执行压缩。您可以按发件人大小对有效负载执行 gzip 压缩。 ASA 有一个选项可以解压缩有效负载以进行处理。