Snowpipe 基础设施和 s3 子文件夹
Snowpipe Infastructure & s3 subfolders
我正在尝试设置可扩展的 snowpipe 基础设施。我有一个 AWS lambda 函数提取数据并将原始 json 文件放入下面相应的文件夹中。
理想情况下，我想设置 snowpipe 以将每个文件夹中的数据读入它自己的 Snowflake table。
例如）
- leads 文件夹中的 leads json 文件现在通过管道传输到
leads_json table 雪花内。
- 机会文件夹中的机会 json 文件现在通过管道传输到雪花中的 opportunitie_json table。
如何设置管道和阶段以减少所需管道和阶段的数量？
存储桶中的每个子文件夹是否需要一个管道和一个阶段？
我将利用 AUTO_INGEST=true 功能使用 SQS 通知。
您通过 Snowpipe 加载的每个 TABLE 都需要 1 个 PIPE。如果您愿意，您可以将单个 STAGE 指向 S3 存储桶的顶级文件夹，或者您可以在较低级别的文件夹中为每个 table 创建 1 个。我希望这能回答您的问题。
我正在尝试设置可扩展的 snowpipe 基础设施。我有一个 AWS lambda 函数提取数据并将原始 json 文件放入下面相应的文件夹中。
理想情况下，我想设置 snowpipe 以将每个文件夹中的数据读入它自己的 Snowflake table。
例如）
- leads 文件夹中的 leads json 文件现在通过管道传输到 leads_json table 雪花内。
- 机会文件夹中的机会 json 文件现在通过管道传输到雪花中的 opportunitie_json table。
如何设置管道和阶段以减少所需管道和阶段的数量？
存储桶中的每个子文件夹是否需要一个管道和一个阶段？
我将利用 AUTO_INGEST=true 功能使用 SQS 通知。
您通过 Snowpipe 加载的每个 TABLE 都需要 1 个 PIPE。如果您愿意，您可以将单个 STAGE 指向 S3 存储桶的顶级文件夹，或者您可以在较低级别的文件夹中为每个 table 创建 1 个。我希望这能回答您的问题。