从 blob 中提取数据并将其加载到 SQL 服务器中的 table 的最简单方法是什么？
What is the easiest way to pull data from a blob and load it into a table in SQL Server?
我有数百个压缩文件位于不同的文件夹中，我可以使用 MS 存储资源管理器访问这些文件。我刚刚在 Azure 中设置了一个 SQL 服务器数据库。现在我想弄清楚如何从每个文件夹中的每个文件中提取数据、解压缩、解析并将其加载到表中。数据每天都会收到，因此文件夹被命名为“1”、“2”、“3”等。“31”代表一个月中的几天。此外，对于一年中的 12 个月，我有每月文件夹“1”到“12”。最后，我有名为“2017”、“2018”和“2019”的文件夹。我可以让我团队中的一些人编写 Python 代码来完成这项工作，但似乎应该有更简单的方法。如果有更简单的方法来做这种事情，我想避免编写数千行 Python 代码。 TIA.
我会创建 Azure 逻辑应用程序
- HTTP 触发器（这将是手动 运行）
- 遍历存储帐户上存在的所有 blob
- 对于每个元素，使用 blob 连接器，它具有名为 Extract archive 的操作，可将压缩文件提取到 blob
- 使用 Azure SQL BCP 提取此文件，如果这与 CSV 格式不同，则使用 Azure 数据工厂
稍后如果您希望新的 blob 执行类似的流程，除了使用新的或修改的 blob 触发器。
对于 Azure SQL 使用逻辑应用程序的 BLOB 示例中的 BCP 查看这篇文章 https://marczak.io/posts/azure-loading-csv-to-sql/
如果您想了解 Azure 逻辑应用程序的一般介绍，请观看此视频https://youtu.be/ZvsOzji_8ow此处还有新的 blob 触发器演示。
如果您需要数据工厂，请随时查看此视频。它也有 blob 到 sql 演示。您也可以从逻辑应用程序触发数据工厂。
https://youtu.be/EpDkxTHAhOs
我有数百个压缩文件位于不同的文件夹中，我可以使用 MS 存储资源管理器访问这些文件。我刚刚在 Azure 中设置了一个 SQL 服务器数据库。现在我想弄清楚如何从每个文件夹中的每个文件中提取数据、解压缩、解析并将其加载到表中。数据每天都会收到，因此文件夹被命名为“1”、“2”、“3”等。“31”代表一个月中的几天。此外，对于一年中的 12 个月，我有每月文件夹“1”到“12”。最后，我有名为“2017”、“2018”和“2019”的文件夹。我可以让我团队中的一些人编写 Python 代码来完成这项工作，但似乎应该有更简单的方法。如果有更简单的方法来做这种事情，我想避免编写数千行 Python 代码。 TIA.
我会创建 Azure 逻辑应用程序
- HTTP 触发器（这将是手动 运行）
- 遍历存储帐户上存在的所有 blob
- 对于每个元素，使用 blob 连接器，它具有名为 Extract archive 的操作，可将压缩文件提取到 blob
- 使用 Azure SQL BCP 提取此文件，如果这与 CSV 格式不同，则使用 Azure 数据工厂
稍后如果您希望新的 blob 执行类似的流程，除了使用新的或修改的 blob 触发器。
对于 Azure SQL 使用逻辑应用程序的 BLOB 示例中的 BCP 查看这篇文章 https://marczak.io/posts/azure-loading-csv-to-sql/
如果您想了解 Azure 逻辑应用程序的一般介绍，请观看此视频https://youtu.be/ZvsOzji_8ow此处还有新的 blob 触发器演示。
如果您需要数据工厂，请随时查看此视频。它也有 blob 到 sql 演示。您也可以从逻辑应用程序触发数据工厂。 https://youtu.be/EpDkxTHAhOs