雪花无效。topic2table.map

Question

有人能告诉我为什么我的 snowflake.topic2table.map 值被我的 Snowflake Sink Connector 报告为无效吗？ KAFKA_TEST 数据库已在 Snowflake 中创建，我可以让接收器连接器为我创建 table。当我从配置中删除 snowflake.topic2table.map 设置时，它工作正常......但我想控制正在创建的 table 的名称.我正在使用 Confluent 5.3.1 和 Snowflake Connector 0.50。

[SF_KAFKA_CONNECTOR] Invalid snowflake.topic2table.map config format: snowflake.topic2table.map (com.snowflake.kafka.connector.Utils:417)

我的接收器配置：

{                                                                                        
  "name" : "mySnowflakeSink",
  "config":{
    "connector.class" : "com.snowflake.kafka.connector.SnowflakeSinkConnector",
    "tasks.max" : "2",
    "topics" : "sink-sample-data",
    "snowflake.topic2table.map" : "sink-sample-data:sampledata",
    "buffer.count.records" : "5",
    "snowflake.url.name" : "xxxxxx.us-east-1.snowflakecomputing.com",
    "snowflake.user.name" : "JPARDI",
    "snowflake.private.key" : "yyyyyyy",
    "snowflake.private.key.passphrase" : "zzzzzzz",
    "snowflake.database.name" : "KAFKA_TEST",
    "snowflake.schema.name" : "PUBLIC",
    "key.converter" : "org.apache.kafka.connect.storage.StringConverter",
    "value.converter" : "com.snowflake.kafka.connector.records.SnowflakeJsonConverter"
  }                                                                                      
}

Answer 1

这似乎是 Snowflake 连接器中的一个已知问题，已于 5 天前由 this commit 修复，但尚未发布。

问题在于代码没有传递您指定的配置值，而是解析了属性本身的名称：snowflake.topic2table.map.

雪花无效。topic2table.map

Invalid snowflake.topic2table.map

snowflake-cloud-data-platform

apache-kafka-connect