使用 Apache Nifi 将数据从 vertica 传输到 Redshift
Transfer data from vertica to Redshift using Apache Nifi
我想使用 apache nifi 将数据从 vertica 传输到 redshift。
我需要设置哪些处理器和配置？
如果 Vertica 和 Redshift 有 "well-behaved" JDBC 驱动程序，您可以设置 DBCPConnectionPool for each, then a SQL processor such as ExecuteSQL, QueryDatabaseTable, or GenerateTableFetch (the latter of which generates SQL for use in ExecuteSQL). These will get your records into Avro format, then (prior to NiFi 1.2.0) you can use ConvertAvroToJSON -> ConvertJSONToSQL -> PutSQL 以将您的记录插入 Redshift。
在 NiFi 1.2.0 中，您可以设置一个 AvroReader 用于 PutDatabaseRecord。然后你只需要 SQL 处理器从 Vertica 中获取记录，直接到 PutDatabaseRecord 将它们放入 Redshift。
我想使用 apache nifi 将数据从 vertica 传输到 redshift。 我需要设置哪些处理器和配置？
如果 Vertica 和 Redshift 有 "well-behaved" JDBC 驱动程序，您可以设置 DBCPConnectionPool for each, then a SQL processor such as ExecuteSQL, QueryDatabaseTable, or GenerateTableFetch (the latter of which generates SQL for use in ExecuteSQL). These will get your records into Avro format, then (prior to NiFi 1.2.0) you can use ConvertAvroToJSON -> ConvertJSONToSQL -> PutSQL 以将您的记录插入 Redshift。
在 NiFi 1.2.0 中，您可以设置一个 AvroReader 用于 PutDatabaseRecord。然后你只需要 SQL 处理器从 Vertica 中获取记录，直接到 PutDatabaseRecord 将它们放入 Redshift。