有没有办法通过 .NET 为 Apache Spark 查询 Databricks DBFS 或镶木地板?
Is there a way to query Databricks DBFS or parquets via .NET for Apache Spark?
简而言之,我正在尝试探索将数据从 Databricks 工作区提供给 C#/.NET 应用程序以进行用户交互和临时查询的可能性。我花了一些时间来设置 Databricks-Connect,这似乎在我可以从本地计算机 运行 Python Databricks 集群上运行 Spark 作业的范围内工作。
我也在尝试完成设置并执行来自 .NET for Apache Spark
的示例
我的问题是我无法找到任何涉及这两者协同工作的文档、示例或演示。是否可以在 .NET 中设置一个 spark 会话,允许 spark sql 针对 databricks 集群中的数据? Databricks-connect 是合适的途径吗?
最重要的是,是否可以将 .NET 应用程序部署到可以为 Databricks 数据提供服务的 Azure 应用服务?
这样做的标准方法实际上是使用 JDBC or ODBC connected to the existing cluster or SQL Analytics - 它应该通过 ADO.Net 在 .Net 框架中得到支持。它比沿着设置数据块连接的路线更容易使用,如果你使用 SQL 分析与用于数据块连接的交互式集群,它可能会更便宜。
简而言之,我正在尝试探索将数据从 Databricks 工作区提供给 C#/.NET 应用程序以进行用户交互和临时查询的可能性。我花了一些时间来设置 Databricks-Connect,这似乎在我可以从本地计算机 运行 Python Databricks 集群上运行 Spark 作业的范围内工作。
我也在尝试完成设置并执行来自 .NET for Apache Spark
的示例我的问题是我无法找到任何涉及这两者协同工作的文档、示例或演示。是否可以在 .NET 中设置一个 spark 会话,允许 spark sql 针对 databricks 集群中的数据? Databricks-connect 是合适的途径吗?
最重要的是,是否可以将 .NET 应用程序部署到可以为 Databricks 数据提供服务的 Azure 应用服务?
这样做的标准方法实际上是使用 JDBC or ODBC connected to the existing cluster or SQL Analytics - 它应该通过 ADO.Net 在 .Net 框架中得到支持。它比沿着设置数据块连接的路线更容易使用,如果你使用 SQL 分析与用于数据块连接的交互式集群,它可能会更便宜。