从 Oracle 增量获取

Question

有没有什么方法可以使用 JDBC 使用用户定义的查询从 Oracle 数据库中获取增量数据？

我们可以使用 Spark、Kafka 或普通 JDBC。

唯一应该能承受重载的。

Answer 1

您没有指定目的地。如果它是 Kafka 主题，那么使用 Apache Kafka 进行提取也很有意义，使用 Kafka Connect。

在这种情况下，您可以使用 Kafka Connect JDBC connector to do this. See here 了解有关在自定义查询中使用增量模式的细节。

++ 编辑 ++

如果您的最终目标是 BigQuery，那么您也可以使用 Kafka Connect 和适当的 BigQuery connector. You can see an example of it in action here。