如何在 Pig 中生成唯一(随机)输出路径?
How to generate a unique (random) output path in Pig?
是否可以生成一个唯一的输出文件夹(s3 存储桶),也许通过联系某种随机数?
这是我针对这种情况的解决方法,是连接当前时间戳:
%declare cts `date +"%s"`
STORE data INTO '/path/$cts' USING PigStorage();
我不熟悉 s3,但上面的例子展示了连接随机字符串以获得唯一路径的想法。
是否可以生成一个唯一的输出文件夹(s3 存储桶),也许通过联系某种随机数?
这是我针对这种情况的解决方法,是连接当前时间戳:
%declare cts `date +"%s"`
STORE data INTO '/path/$cts' USING PigStorage();
我不熟悉 s3,但上面的例子展示了连接随机字符串以获得唯一路径的想法。