有没有办法使用 RedShiftCopyActivity 仅将特定列从 RedShift 复制到 S3?
Is There A Way To Only Copy Specific Columns From RedShift To S3 Using RedShiftCopyActivity?
我假设只能使用 RedshiftcCopyActivity 完成从 RedShift -> S3 的复制。但是我似乎无法找到一种方法来仅将特定列复制到 S3(仅复制所有列)。
我这样做的原因是 redshift 中的一列包含回车 return 字符,该字符会与稍后定义的 PigActivity 混淆。所以我想因为我不需要那个列我将只复制列以使我的 PigActivity 运行顺利。
我相信 RedshiftCopyActivity 用于利用 COPY
命令,即 S3->Redshift。相反的命令是UNLOAD
.
您的请求可以使用 SQLActivity 完成,您可以在其中编写完整的 UNLOAD
命令,使用 SELECT
语句来定义要卸载的列。
您可以使用 RedshiftCopyActivity 中的 transformSql 选项来复制选择性列。
参考:http://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-object-redshiftcopyactivity.html
我假设只能使用 RedshiftcCopyActivity 完成从 RedShift -> S3 的复制。但是我似乎无法找到一种方法来仅将特定列复制到 S3(仅复制所有列)。
我这样做的原因是 redshift 中的一列包含回车 return 字符,该字符会与稍后定义的 PigActivity 混淆。所以我想因为我不需要那个列我将只复制列以使我的 PigActivity 运行顺利。
我相信 RedshiftCopyActivity 用于利用 COPY
命令,即 S3->Redshift。相反的命令是UNLOAD
.
您的请求可以使用 SQLActivity 完成,您可以在其中编写完整的 UNLOAD
命令,使用 SELECT
语句来定义要卸载的列。
您可以使用 RedshiftCopyActivity 中的 transformSql 选项来复制选择性列。 参考:http://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-object-redshiftcopyactivity.html