您会为物联网数据使用哪种自动上传新数据的雪花连接器?

What kind of connector to snowflake that automaticly uploads new data would you use for IoT data?

我刚刚开始设置一个项目来跟踪一些为家庭网络启用的开放式家庭设备。我有一个程序可以保存这些数据,并且正在整理一个自动将该数据上传到 Snowflake 的过程。我想知道您会推荐什么,以便我可以从任何地方轻松访问家庭设备信息。

我正在考虑的两个选项是 aws 和 snowflake 使用 snowpipe rest api 的自动摄取选项,我只用少数设备测试过。

我正在考虑这两个因素 - 我可以设置哪种方法来上传和 select 数据从用 python 或 ruby 编写的移动应用程序快速上传,具体取决于设备。

你有什么建议或资源可以指点我吗?

谢谢!

你的问题是一个非常开放的问题,所以你提供的详细信息也可能会使这个答案更详细一些。但是,一般来说,我建议如果您的物联网数据可以直接存储到 Blob 存储(在 AWS 的情况下是 S3),那么您应该利用 Snowflake 的 Snowpipe 进行连续摄取。此外,查看 Tasks 和 Streams,以便在数据进入 Snowflake 后通过您将设置的任何流程自动移动该数据。

给你一个很好的参考:

https://docs.snowflake.net/manuals/user-guide/data-pipelines-intro.html