API 从 Azure 数据工厂访问
API access from Azure Data Factory
我想创建一个 ADF 管道，它需要访问 API 并使用一些过滤器参数，它将从那里获取数据并以 JSON 格式写入输出数据湖。我该怎么做？？
在 JSON 在 Lake 中可用后，需要将其转换为 CSV 文件。怎么办？
以下工作可能会满足您的要求：
- 涉及一个 Copy activity in ADFv2, where the source dataset is HTTP data store and the destination is the Azure Data lake store，HTTP 源数据存储允许您通过调用 API 和复制 activity 来获取数据，将数据复制到您的目标数据湖。
- 在复制 activity 后链接一个 U-SQL activity，一旦复制 activity 成功，它将 运行 U-SQL 脚本转换为 json 文件到 CSV 文件。
您可以创建一个管道，其中包含从 HTTP 连接器到 Datalake 连接器的副本 activity。使用 HTTP 作为复制源访问 API (https://docs.microsoft.com/en-us/azure/data-factory/connector-http), specify the format in dataset as JSON. Reference https://docs.microsoft.com/en-us/azure/data-factory/supported-file-formats-and-compression-codecs#json-format 关于如何定义模式。使用 Datalake 连接器作为复制接收器，将格式指定为文本格式，并进行一些修改，如行分隔符和根据您的需要列分隔符。
我想创建一个 ADF 管道，它需要访问 API 并使用一些过滤器参数，它将从那里获取数据并以 JSON 格式写入输出数据湖。我该怎么做？？
在 JSON 在 Lake 中可用后，需要将其转换为 CSV 文件。怎么办？
以下工作可能会满足您的要求：
- 涉及一个 Copy activity in ADFv2, where the source dataset is HTTP data store and the destination is the Azure Data lake store，HTTP 源数据存储允许您通过调用 API 和复制 activity 来获取数据，将数据复制到您的目标数据湖。
- 在复制 activity 后链接一个 U-SQL activity，一旦复制 activity 成功，它将 运行 U-SQL 脚本转换为 json 文件到 CSV 文件。
您可以创建一个管道，其中包含从 HTTP 连接器到 Datalake 连接器的副本 activity。使用 HTTP 作为复制源访问 API (https://docs.microsoft.com/en-us/azure/data-factory/connector-http), specify the format in dataset as JSON. Reference https://docs.microsoft.com/en-us/azure/data-factory/supported-file-formats-and-compression-codecs#json-format 关于如何定义模式。使用 Datalake 连接器作为复制接收器，将格式指定为文本格式，并进行一些修改，如行分隔符和根据您的需要列分隔符。