Kafka 连接 mongo oplog
Kafka connect with mongo oplog
我想跟踪 mongo oplog 并通过 Kafka.But 流式传输它有很多数据库和集合,我只想获取其中一个的更新数据。如果想从oplog的所有操作记录中过滤掉想要的操作记录,这会影响性能。所以我想寻求更好的解决方案。请给我一些建议。
不清楚您使用的是什么工具,但 Debezium 支持这些工具来应用过滤
database.whitelist
collection.whitelist
也不清楚 "affect performance" 会发生什么,因为您已经阅读了完整的操作日志,但是执行过滤器(意味着删除所有不符合条件的记录)不会产生重大影响,因为 boolean/regex 检查通常很快完成。
我想跟踪 mongo oplog 并通过 Kafka.But 流式传输它有很多数据库和集合,我只想获取其中一个的更新数据。如果想从oplog的所有操作记录中过滤掉想要的操作记录,这会影响性能。所以我想寻求更好的解决方案。请给我一些建议。
不清楚您使用的是什么工具,但 Debezium 支持这些工具来应用过滤
database.whitelist
collection.whitelist
也不清楚 "affect performance" 会发生什么,因为您已经阅读了完整的操作日志,但是执行过滤器(意味着删除所有不符合条件的记录)不会产生重大影响,因为 boolean/regex 检查通常很快完成。