如何制作高层设计文档ETL

Question

如果有人可以分享他们在设计 ETL 时的经验，我将非常感谢。

我正在尝试准备高级设计文档。这是我第一次构建 ETL 解决方案。

请哪位大神帮我看看在设计的时候有哪些需要注意的地方。

平面文件每周来自供应商，我们需要加载并生成报告。

非常感谢

Answer 1

据我所知，我推荐基于 ETL 方法的 ELT for Azure SQL 数据仓库。

The flat file comes from vendor every week, we need to load and generate report.

这个 ELT 过程定期执行，例如每小时、每天或每周，以将新生成的数据放入数据仓库。

您可以参考这些基本步骤：

1. 将源数据提取到文本文件中。
2. 将数据放入 Azure Blob 存储或 Azure Data Lake Store。
3. 准备加载数据。
4. 使用 PolyBase.
将数据加载到 SQL 数据仓库临时表中
5. 转换数据。
6. 将数据插入生产表。

PolyBase是一种通过T-SQL语言访问数据库外数据的技术。这是将数据加载到 SQL 数据仓库的最佳方式。

详情请参考此article。