为从 Snowflake 卸载的文件设置文件名

Question

我正在使用以下命令将雪花数据卸载到外部 AWS S3 stg，

copy into '@ext_stg/path/file_name' 
from schema.table
file_format = (type=csv  field_delimiter= '~' compression='gzip' null_if=('','NULL', 'null',' ') field_optionally_enclosed_by= '"' )
OVERWRITE = TRUE
;

我希望卸载的文件名是file_name.csv.gz.

但我实际上从上面的代码中得到的是，file_name_0_3_0.csv.gz

如何将所需的文件名设置为 file_name.csv.gz

Answer 1

您似乎在尝试指定两次 csv 扩展名。尝试将其从 S3 路径中删除，因为文件扩展名已在 file_format 中指定。

复制到'@ext_stg/path/file_name~~.csv~~'

来自 schema.table

file_format = (type=csv field_delimiter= '~' 压缩='gzip' null_if=('' ,'NULL', 'null',' ') field_optionally_enclosed_by= '"' )

覆盖 = 真 ;

Answer 2

设置SINGLE=TRUE MAX_FILE_SIZE=5000000000给了我想要的输出。谢谢@waldente

为从 Snowflake 卸载的文件设置文件名

Set file name for unloaded file from Snowflake

snowflake-schema

snowflake-cloud-data-platform