与星团和 S3
MIT StarCluster and S3
我正在尝试 运行 spot 实例上的 mapreduce 作业。
我使用 StarClusters 及其 hadoop 插件启动我的实例。我上传数据没有问题，然后将其放入 HDFS，然后将结果从 HDFS 复制回来。
我的问题是有没有办法直接从 s3 加载数据并将结果推回 s3？ （我不想手动将数据从 s3 下载到 HDFS 并将结果从 HDFS 推送到 s3，有没有办法在后台完成）？
我使用的是标准的 MIT starcluster ami
你不能这样做，但你可以编写一个脚本来做到这一点。
例如你可以使用：
hadoop distcp s3n://ID:key@mybucket/file /user/root/file
将文件从 s3 直接放到 hdfs
我正在尝试 运行 spot 实例上的 mapreduce 作业。 我使用 StarClusters 及其 hadoop 插件启动我的实例。我上传数据没有问题，然后将其放入 HDFS，然后将结果从 HDFS 复制回来。 我的问题是有没有办法直接从 s3 加载数据并将结果推回 s3？ （我不想手动将数据从 s3 下载到 HDFS 并将结果从 HDFS 推送到 s3，有没有办法在后台完成）？
我使用的是标准的 MIT starcluster ami
你不能这样做，但你可以编写一个脚本来做到这一点。 例如你可以使用： hadoop distcp s3n://ID:key@mybucket/file /user/root/file 将文件从 s3 直接放到 hdfs