使用哪个消息系统?
Which Messaging System to be used?
我想将数据从一个数据库系统传输到任何其他数据库系统。哪种消息传递系统(Kafka、ActiveMQ、RabbitMQ .....同样)可以更好地实现这一点,并具有更高的吞吐量和性能。
我猜这类问题的答案是“视情况而定”
您可能会在 Internet 上找到很多关于这些消息代理之间比较的信息,
据我所知,根据我们的经验和知识,Kafka 及其生态系统工具(如 kafka connect)在中间使用 kafka 引入您请求的源连接器和接收器连接器的行为,
Kafka connect 是一个允许添加名为 connectors 的插件的框架
接收器连接器 - 从 kafka 读取并将该数据发送到目标系统
源连接器-从源存储读取并写入kafka
使用 kafka connect 是“无代码”,调用 rest api 来设置连接器的配置。
Kafka 是分布式系统,支持非常高的吞吐量和低延迟。它支持近乎实时的数据流。
Kafka 被世界上最大的公司广泛采用。
有许多工具和供应商支持您的用例,它们的价格和支持各不相同,这取决于您需要从哪些来源获取数据以及您希望写入哪些目标,应该是 cdc/near 实时或“批量”复制
我想将数据从一个数据库系统传输到任何其他数据库系统。哪种消息传递系统(Kafka、ActiveMQ、RabbitMQ .....同样)可以更好地实现这一点,并具有更高的吞吐量和性能。
我猜这类问题的答案是“视情况而定”
您可能会在 Internet 上找到很多关于这些消息代理之间比较的信息,
据我所知,根据我们的经验和知识,Kafka 及其生态系统工具(如 kafka connect)在中间使用 kafka 引入您请求的源连接器和接收器连接器的行为,
Kafka connect 是一个允许添加名为 connectors 的插件的框架
接收器连接器 - 从 kafka 读取并将该数据发送到目标系统
源连接器-从源存储读取并写入kafka
使用 kafka connect 是“无代码”,调用 rest api 来设置连接器的配置。
Kafka 是分布式系统,支持非常高的吞吐量和低延迟。它支持近乎实时的数据流。
Kafka 被世界上最大的公司广泛采用。
有许多工具和供应商支持您的用例,它们的价格和支持各不相同,这取决于您需要从哪些来源获取数据以及您希望写入哪些目标,应该是 cdc/near 实时或“批量”复制