带有 CDC 的 AWS DMS。更新记录只包含更新的字段。如何包含所有?
AWS DMS with CDC. The update records only include the updated field. How to include all?
我们最近开始使用 AWS DMS 从 RDS 上的 Oracle 数据库持续迁移(初始加载 + CDC)到 S3。数据库正在使用 LogMiner。
我们检测到的问题是 Update 类型的 CDC 记录只包含更新的数据,其余字段留空,因此可以简单地将具有最大时间戳值的记录视为有效丢失了。
有谁知道这是否可以更改,或者要修改 DMS 或 RDS 配置的哪一部分,以便更新包含记录的所有字段的信息?
提前致谢。
table 级别的补充日志记录可能会增加记录的内容,但这也会增加为给定工作负载写入的日志数据总量。
来自不同供应商的许多基于日志的数据复制产品需要在 table 级别进行额外的补充日志记录,以确保将更改数据前后的更新的完整行数据写入数据库日志。
回复:https://docs.oracle.com/database/121/SUTIL/GUID-D857AF96-AC24-4CA1-B620-8EA3DF30D72E.htm#SUTIL1582
也许可以通过 LogMiner 提取数据,但您需要评估它是否会根据您需要的数据量进行扩展。
我们最近开始使用 AWS DMS 从 RDS 上的 Oracle 数据库持续迁移(初始加载 + CDC)到 S3。数据库正在使用 LogMiner。
我们检测到的问题是 Update 类型的 CDC 记录只包含更新的数据,其余字段留空,因此可以简单地将具有最大时间戳值的记录视为有效丢失了。
有谁知道这是否可以更改,或者要修改 DMS 或 RDS 配置的哪一部分,以便更新包含记录的所有字段的信息?
提前致谢。
table 级别的补充日志记录可能会增加记录的内容,但这也会增加为给定工作负载写入的日志数据总量。
来自不同供应商的许多基于日志的数据复制产品需要在 table 级别进行额外的补充日志记录,以确保将更改数据前后的更新的完整行数据写入数据库日志。
回复:https://docs.oracle.com/database/121/SUTIL/GUID-D857AF96-AC24-4CA1-B620-8EA3DF30D72E.htm#SUTIL1582
也许可以通过 LogMiner 提取数据,但您需要评估它是否会根据您需要的数据量进行扩展。