Voltdb

Question

我有一个由“;”分隔的kafka主题我想导入到 voltdb table.

我在官方文档中没有找到任何关于更改分隔符的内容。 Kafka Importer (https://docs.voltdb.com/UsingVoltDB/exportimportkafka.php)，只给我两个选择：CSV 和 TSV。

是否有任何高级配置允许我只更改分隔符？

我的deployment.xml:

<import>
    <configuration type="kafka" enabled="true" format="csv">
        <property name="topics">br-com-topic-ws</property>
        <property name="procedure">AUT.insert</property>
        <property name="brokers">liXXXX:9092</property>
    </configuration>
</import>

我的 Kafka 主题示例：

000000ADS;20160202;20050202235900;18.99;99 000000JAM;20160202;20150201235900;18.05;20

Answer 1

KafkaImporter 默认使用 CSV/TSV Import Formatter，即 few options，但没有可配置的分隔符选项。

您可以实施自定义解码器来处理其他格式。我们有一些测试代码，其中包括 Github here 上的示例自定义格式化程序。有一个 run.sh 包含一个函数 jar，它将构建一个包含自定义格式化程序代码的 OSGI 包。构建使用 ant，它使用 build.xml 文件。

Answer 2

我建议您实现自己的导入格式化程序，请参阅示例 here

使用这个例子来配置它deployment file

Voltdb - Kafka Importer - 更改用于导入的分隔符

Voltdb - Kafka Importer - Change delimiter used to import

apache-kafka