Kafka 和 IIDR CDC
Kafka and IIDR CDC
我正在尝试使用以下方法构建 CDC 管道：DB2--IBM CDC --Kafka
我正在尝试找出设置它的正确方法。
我试过下面的东西 -
1.Setup linux 上的 3 节点 kafka 集群
2.Installed IIDR CDC 软件在 linux 本地使用 - setup-iidr-11.4.0.1-5085-linux-x86.bin 文件。 CDC 实例已启动并且 运行 .
各种在线文档建议安装 'IIDR management console ' 以配置源数据存储和 CDC 服务器配置以及 Kafka 订阅配置以构建管道。
目前我没有安装管理控制台。
关于这个的几个问题 -
1.Is 除了 IBM CDC 管理控制台之外，还有其他方法可以设置 kafka-CDC 管道吗？
2.How 我可以获得 IIDR 管理控制台吗？如果我们将它安装在本地 windows dekstop 上并尝试连接到远程 linux 服务器上的 CDC/Kafka，它会工作吗？
3.Any 设置数据摄取 IIDR CDC 到 Kafka 的其他方法？
我是 CDC/ IIDR 的新手，请帮忙！
我负责为我们的 CDC Replication 产品开发 IIDR Kafka 目标。
管理控制台是最初设置订阅的最佳方式。您可以将其安装在 windows 盒子上。
从技术上讲，我相信您也可以使用我们称为 CHCCLP 的脚本语言来设置订阅。但我建议使用 GUI。
这里是我们 IIDR (CDC) Kafka Target 资源的链接。搜索 "Kafka" 部分。
设置订阅和复制的示例是这个视频
https://ibm.box.com/s/ur8jokg6tclsx5fcav5g86a3n57mqtd5
可以从 IBM fix central 获得管理控制台和访问服务器。
我已经在我的虚拟机和我的个人 windows 机器上安装了 MC/Access 服务器，以便在我的 linux 虚拟机上使用它。您当然需要连接。
您绝对可以跟进我们的支持，他们将能够解决您的问题。另外，我们的 MC 知识中心从这里开始提供文档.... https://www.ibm.com/support/knowledgecenter/en/SSTRGZ_11.4.0/com.ibm.cdcdoc.mcadminguide.doc/concepts/overview_of_cdc.html
你会发现我们的 Kafka 目标非常灵活，它有五种不同的格式来将数据写入 Kafka，你可以选择以审计格式捕获数据，或者 Kafka 压缩兼容密钥，null 表示删除方法。
此外，您甚至可以使用该产品通过一次插入操作以多种格式将多条记录写入多个不同的主题。如果您的一些消费者应用程序需要 JSON 和其他 Avro 二进制文件，这将很有用。此外，您可以使用它来将所有数据放到更安全的主题中，并只将一些数据写到更多人可以访问的主题中。
我们甚至有客户在复制时对正在运行的列进行加密。
最终，即使您选择只使用一个生产者来写出数据，产品的转换也可以并行化。
实际上还有一个，我们还提供了使用特殊消费者的选项，该消费者为写入 Kafka 的数据生成数据库 ACID 语义，并跨主题和分区切碎。它重新订购它。我们称之为交易一致的消费者。它提供操作顺序、用于重新启动应用程序的书签，并允许在性能上并行，但有序、恰好一次、去重数据消耗。
来自我在卡夫卡峰会上的演讲...
我正在尝试使用以下方法构建 CDC 管道：DB2--IBM CDC --Kafka 我正在尝试找出设置它的正确方法。 我试过下面的东西 -
1.Setup linux 上的 3 节点 kafka 集群
2.Installed IIDR CDC 软件在 linux 本地使用 - setup-iidr-11.4.0.1-5085-linux-x86.bin 文件。 CDC 实例已启动并且 运行 .
各种在线文档建议安装 'IIDR management console ' 以配置源数据存储和 CDC 服务器配置以及 Kafka 订阅配置以构建管道。
目前我没有安装管理控制台。 关于这个的几个问题 -
1.Is 除了 IBM CDC 管理控制台之外，还有其他方法可以设置 kafka-CDC 管道吗？
2.How 我可以获得 IIDR 管理控制台吗？如果我们将它安装在本地 windows dekstop 上并尝试连接到远程 linux 服务器上的 CDC/Kafka，它会工作吗？
3.Any 设置数据摄取 IIDR CDC 到 Kafka 的其他方法？
我是 CDC/ IIDR 的新手，请帮忙！
我负责为我们的 CDC Replication 产品开发 IIDR Kafka 目标。
管理控制台是最初设置订阅的最佳方式。您可以将其安装在 windows 盒子上。
从技术上讲，我相信您也可以使用我们称为 CHCCLP 的脚本语言来设置订阅。但我建议使用 GUI。
这里是我们 IIDR (CDC) Kafka Target 资源的链接。搜索 "Kafka" 部分。
设置订阅和复制的示例是这个视频
https://ibm.box.com/s/ur8jokg6tclsx5fcav5g86a3n57mqtd5
可以从 IBM fix central 获得管理控制台和访问服务器。
我已经在我的虚拟机和我的个人 windows 机器上安装了 MC/Access 服务器，以便在我的 linux 虚拟机上使用它。您当然需要连接。
您绝对可以跟进我们的支持，他们将能够解决您的问题。另外，我们的 MC 知识中心从这里开始提供文档.... https://www.ibm.com/support/knowledgecenter/en/SSTRGZ_11.4.0/com.ibm.cdcdoc.mcadminguide.doc/concepts/overview_of_cdc.html
你会发现我们的 Kafka 目标非常灵活，它有五种不同的格式来将数据写入 Kafka，你可以选择以审计格式捕获数据，或者 Kafka 压缩兼容密钥，null 表示删除方法。
此外，您甚至可以使用该产品通过一次插入操作以多种格式将多条记录写入多个不同的主题。如果您的一些消费者应用程序需要 JSON 和其他 Avro 二进制文件，这将很有用。此外，您可以使用它来将所有数据放到更安全的主题中，并只将一些数据写到更多人可以访问的主题中。
我们甚至有客户在复制时对正在运行的列进行加密。
最终，即使您选择只使用一个生产者来写出数据，产品的转换也可以并行化。
实际上还有一个，我们还提供了使用特殊消费者的选项，该消费者为写入 Kafka 的数据生成数据库 ACID 语义，并跨主题和分区切碎。它重新订购它。我们称之为交易一致的消费者。它提供操作顺序、用于重新启动应用程序的书签，并允许在性能上并行，但有序、恰好一次、去重数据消耗。
来自我在卡夫卡峰会上的演讲...