ETL - 将数据从 oracle db 推送到 aws s3
ETL - Push data from oracle db to aws s3
我有一个包含大约 20 个表的 oracle 数据库。我想将 oracle 表中的数据推送到 S3 存储桶中。我想实时或最坏情况下接近实时地执行此操作。获取数据后，我可能需要做一些少量的数据转换——例如：混淆敏感数据或进行外部服务调用以标记敏感数据。我看到 amazon aws glue 是一个 etl 工具，但我不确定它是否适合这个目的。
AWS Data Firehose 非常适合这种情况。如果要做改造，可以引入Lambda。每条记录在传送到目的地之前都会传送到 lambda，您可以引入屏蔽或将任何数据转换到目的地。
Data-Transformation:
https://docs.aws.amazon.com/firehose/latest/dev/data-transformation.html
Oracle 到 AWS Kinesis Data Firehose：
Xplenty 获取您的 oracle 数据并将其传送到 firehose。
https://www.xplenty.com/integrations/oracle/amazon-kinesis-firehose/
希望对您有所帮助。
没有 Xplenty:
您可以按照文档在ORACLE下创建触发器来触发lambda传递记录。
ORACLE -- Lambda (Handles Triggers and Transformation) -- Firehose --
S3
我有一个包含大约 20 个表的 oracle 数据库。我想将 oracle 表中的数据推送到 S3 存储桶中。我想实时或最坏情况下接近实时地执行此操作。获取数据后，我可能需要做一些少量的数据转换——例如：混淆敏感数据或进行外部服务调用以标记敏感数据。我看到 amazon aws glue 是一个 etl 工具，但我不确定它是否适合这个目的。
AWS Data Firehose 非常适合这种情况。如果要做改造，可以引入Lambda。每条记录在传送到目的地之前都会传送到 lambda，您可以引入屏蔽或将任何数据转换到目的地。
Data-Transformation: https://docs.aws.amazon.com/firehose/latest/dev/data-transformation.html
Oracle 到 AWS Kinesis Data Firehose： Xplenty 获取您的 oracle 数据并将其传送到 firehose。
https://www.xplenty.com/integrations/oracle/amazon-kinesis-firehose/
希望对您有所帮助。
没有 Xplenty:
您可以按照文档在ORACLE下创建触发器来触发lambda传递记录。
ORACLE -- Lambda (Handles Triggers and Transformation) -- Firehose -- S3