如何使用 AWS SageMaker 和 S3 进行对象检测?
How to use AWS SageMaker and S3 for Object Detection?
我正在寻找 运行 一个预训练的对象检测模型到大约 1.5GB 的约 40 万张图像的文件夹中。当我在本地尝试 运行ning 时,估计需要大约 8 天才能完成(使用 keras yolov3)。因此,我希望使用 AWS SageMaker 和 S3。
当我在 SageMaker jupyter notebook 中上传图像的 zip 文件夹并尝试使用 bash 命令解压缩时,弹出错误消息说我没有足够的 space。分配给我笔记本的卷是 5GB EBS,我的 jupyter 笔记本中确实有其他大量数据集 space,这可能会导致此问题。
为了解决这个问题,我正在寻找一种方法,可以将我的数据上传到 S3 和 运行 SageMaker 以读取托管的图像和 运行 一个对象检测模型。但是,似乎没有一种方法可以在不使用附加服务的情况下解压缩 S3 上的文件夹(阅读 AWS Lambda 可能会有所帮助),因为这些服务是由我的学校支付的。
我可能会重新 运行 我的代码以从 URL 中提取我的图像。在这种情况下,如何在这种情况下将这些图像直接保存到 S3?另外,有谁知道我是否能够 运行 yolov3 on SageMaker 或者是否有更好的模型我可以使用。感谢任何可能有帮助的建议。
是的,你是对的,你可以使用 $aws s3 cp 使用 aws cli 上传数千张图像;或 $aws s3 同步
我正在寻找 运行 一个预训练的对象检测模型到大约 1.5GB 的约 40 万张图像的文件夹中。当我在本地尝试 运行ning 时,估计需要大约 8 天才能完成(使用 keras yolov3)。因此,我希望使用 AWS SageMaker 和 S3。
当我在 SageMaker jupyter notebook 中上传图像的 zip 文件夹并尝试使用 bash 命令解压缩时,弹出错误消息说我没有足够的 space。分配给我笔记本的卷是 5GB EBS,我的 jupyter 笔记本中确实有其他大量数据集 space,这可能会导致此问题。
为了解决这个问题,我正在寻找一种方法,可以将我的数据上传到 S3 和 运行 SageMaker 以读取托管的图像和 运行 一个对象检测模型。但是,似乎没有一种方法可以在不使用附加服务的情况下解压缩 S3 上的文件夹(阅读 AWS Lambda 可能会有所帮助),因为这些服务是由我的学校支付的。
我可能会重新 运行 我的代码以从 URL 中提取我的图像。在这种情况下,如何在这种情况下将这些图像直接保存到 S3?另外,有谁知道我是否能够 运行 yolov3 on SageMaker 或者是否有更好的模型我可以使用。感谢任何可能有帮助的建议。
是的,你是对的,你可以使用 $aws s3 cp 使用 aws cli 上传数千张图像;或 $aws s3 同步