有没有办法使用 RedShiftCopyActivity 仅将特定列从 RedShift 复制到 S3?

Is There A Way To Only Copy Specific Columns From RedShift To S3 Using RedShiftCopyActivity?

我假设只能使用 RedshiftcCopyActivity 完成从 RedShift -> S3 的复制。但是我似乎无法找到一种方法来仅将特定列复制到 S3(仅复制所有列)。

我这样做的原因是 redshift 中的一列包含回车 return 字符,该字符会与稍后定义的 PigActivity 混淆。所以我想因为我不需要那个列我将只复制列以使我的 PigActivity 运行顺利。

我相信 RedshiftCopyActivity 用于利用 COPY 命令,即 S3->Redshift。相反的命令是UNLOAD.

您的请求可以使用 SQLActivity 完成,您可以在其中编写完整的 UNLOAD 命令,使用 SELECT 语句来定义要卸载的列。

您可以使用 RedshiftCopyActivity 中的 transformSql 选项来复制选择性列。 参考:http://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-object-redshiftcopyactivity.html