直接使用外部表暂存 S3 文件

Question

我正在尝试找到一种直接查询 csv、json 和 avro 文件的方法，而无需先暂存文件。

有办法吗？

到目前为止我发现的是：

1. 外部表https://docs.snowflake.net/manuals/user-guide/tables-external-intro.htm
2. 另一个名为 FiveTran 的工具，可以让我更正任何自动 检测文件 -> table 检测

有没有其他方法可以不暂存文件直接将文件读入Snowflake？

Answer 1

如果您创建引用 s3 bucket/location 的 Snowflake "stage" 对象，则可以直接在 s3 上查询文件。

可以在这里找到详细信息：

https://docs.snowflake.net/manuals/user-guide/querying-stage.html#querying-data-in-staged-files

在这种情况下，您实际上并不是 "loading" 数据到 Snowflake，您只是在数据库中创建了一个 "stage" 对象，结果是 "pointer" s3 位置。

希望对你有帮助...丰富

Answer 2

所有文件都必须暂存到暂存对象引用的内部或外部位置。使用外部表可以与 Apache Hive Metastores 集成，但仍然需要一个阶段对象。 由于数据未存储在 Snowflake 中，因此它们可能有些局限且速度较慢。

https://docs.snowflake.net/manuals/user-guide/tables-external-hive.html

您不暂存文件是想避免什么？