从 Azure Block 到 CosmosDB 的 Azure 数据工厂复制速度很慢
Azure Data Factory copy from Azure Block to CosmosDB is slow
我在高级 Azure 存储中有一个 BlockBlob。
这是一个 500mb 的 zip 文件，包含大约 2.8 亿个 phone CSV 格式的数字。
我在 ADF 中创建了一个管道来解压缩它并将条目复制到 Cosmos DB SQL API，但它花了 40 个小时才完成。目标是每晚用信息差异更新数据库。
我的存储帐户和 Cosmos DB 位于同一区域。
Cosmos DB 分区键是区号，似乎分布良好。
目前，在 20,000 RU 时，我已经扩展了几次，但门户网站一直告诉我要扩展更多。他们建议 106,000 RU，即每月 6,000 美元。
关于我可以加快速度的实用方法有什么想法吗？
-- 更新。
我试过导入解压后的文件，但速度并没有加快。事实上更慢，尽管报告了更多的峰值连接。
我现在正尝试在开始传输时将 up/down RU 动态扩展到一个非常高的数字。还在玩数字。不确定确定我需要在 X 分钟内传输这 10.5GB 的 RU 数量的公式。
我最终使用 Azure Functions 动态扩展了吞吐量。是的，如果我将 RU 设置得非常高，Cosmos 的价格会非常昂贵。但是，我只在进行数据摄取时才需要那么高，然后再缩减。我使用逻辑应用程序将 Azure 函数调用到 "Scale the RUs up"，然后启动我的 Azure 数据工厂管道。当它关闭时，它会调用 Azure 函数来缩小规模。
我在高级 Azure 存储中有一个 BlockBlob。 这是一个 500mb 的 zip 文件，包含大约 2.8 亿个 phone CSV 格式的数字。
我在 ADF 中创建了一个管道来解压缩它并将条目复制到 Cosmos DB SQL API，但它花了 40 个小时才完成。目标是每晚用信息差异更新数据库。
我的存储帐户和 Cosmos DB 位于同一区域。 Cosmos DB 分区键是区号，似乎分布良好。
目前，在 20,000 RU 时，我已经扩展了几次，但门户网站一直告诉我要扩展更多。他们建议 106,000 RU，即每月 6,000 美元。 关于我可以加快速度的实用方法有什么想法吗？
-- 更新。
我试过导入解压后的文件，但速度并没有加快。事实上更慢，尽管报告了更多的峰值连接。
我现在正尝试在开始传输时将 up/down RU 动态扩展到一个非常高的数字。还在玩数字。不确定确定我需要在 X 分钟内传输这 10.5GB 的 RU 数量的公式。
我最终使用 Azure Functions 动态扩展了吞吐量。是的，如果我将 RU 设置得非常高，Cosmos 的价格会非常昂贵。但是，我只在进行数据摄取时才需要那么高，然后再缩减。我使用逻辑应用程序将 Azure 函数调用到 "Scale the RUs up"，然后启动我的 Azure 数据工厂管道。当它关闭时，它会调用 Azure 函数来缩小规模。