无法使用 Azure 数据工厂的 ODBC 连接器将数据写入雪花数据库

Question

我正在尝试使用 Azure 数据工厂管道从 Azure Data Lake Storage 读取数据并写入 Snowflake 数据库。但是我遇到了以下错误。同时我可以从 Snowflake 读取它。我在数据库端确实有写权限。我在 Azure VM 上安装了 Integration Runtime，在 VM 上安装了 ODBC 驱动程序。能够成功建立连接。

Message': 'Failure happened on 'Sink' side. ErrorCode=SystemErrorOdbcWriteError,'Type=Microsoft.DataTransfer.Common.Shared.HybridDeliveryException,Message=ERROR [07009] [Snowflake][ODBC] (10670) Invalid descriptor index, descriptor record does not exist, or descriptor record was not properly initialized.,Source=Microsoft.DataTransfer.ClientLibrary.Odbc.OdbcConnector,''Type=Microsoft.DataTransfer.ClientLibrary.Odbc.Exceptions.OdbcException,Message=ERROR [07009] [Snowflake][ODBC] (10670) Invalid descriptor index, descriptor record does not exist, or descriptor record was not properly initialized.,Source=Snowflake,'',
'EventType': 0,
'Category': 5,
'Data': {
'FailedOdbcDbOperation': 'ERROR [07009] [Snowflake][ODBC] (10670) Invalid descriptor index, descriptor record does not exist, or descriptor record was not properly initialized.',
'FailureInitiator': 'Sink'
},
'MsgId': null,

Answer 1

有一项与此工具集成的功能正在开发中。我没有预计到达时间。

Answer 2

我刚刚创建了一个可以从 snowflake 触发 COPY 函数的临时解决方案。您必须将数据作为文件从 ADF 导出到 Azure 暂存区域，然后使用此函数调用 Snowflake 以摄取新文件。

它基本上允许您将连接参数和 SQL 命令从 ADF 传递到雪花。

https://github.com/NickAkincilar/Snowflake-Azure-DataFactory-Connector

[雪花数据仓库]

无法使用 Azure 数据工厂的 ODBC 连接器将数据写入雪花数据库

Not able to write data to Snowflake database using ODBC connector from Azure Data Factory

azure

azure-data-factory

snowflake-cloud-data-platform