从本地加载 csv 到 S3

Question

我正在探索适用于 ML 的 AWS sagemaker。我创建了一个存储桶：

bucket_name = 'test-bucket' 
s3 = boto3.resource('s3')
try:
   if  my_region == 'us-east-1':
      s3.create_bucket(Bucket=bucket_name)
   else: 
      s3.create_bucket(Bucket=bucket_name, CreateBucketConfiguration={ 'LocationConstraint': my_region })
print('S3 bucket created successfully')
except Exception as e:
    print('S3 error: ',e)

我的本地有一个 csv，我想将其加载到我创建的存储桶中。

我提到的所有 link 都有从 link 加载并解压缩的说明。有没有办法从本地加载数据到bucket。

Answer 1

正在将文件从本地计算机上传到目标 S3 存储桶。请参阅下面的示例：

import boto3 bucket_name = 'my-bucket' content = open('local-file.txt', 'rb') s3 = boto3.client('s3') s3.put_object( Bucket=bucket_name, Key='directory-in-bucket/remote-file.txt', Body=content )

Answer 2

使用 AWS CLI。不确定为什么要在 python 中编写所有这些代码。如果您想创建基础架构，请使用 CloudFormation 或 Terraform。

以下是您如何使用 AWS CLI

aws s3 cp /path/localfolder s3://bucketname/foldername --recursive

在这里查看如何设置 CLI

https://docs.aws.amazon.com/lambda/latest/dg/setup-awscli.html

Answer 3

如果您使用的是 Amazon SageMaker，则可以使用 SageMaker python 库，该库正在为数据科学家实施最有用的命令，包括将文件上传到 S3。默认情况下，它已安装在您的 SageMaker 笔记本实例上。

import sagemaker
sess = sagemaker.Session()

# Uploading the local file to S3
sess.upload_data(path='local-file.txt', bucket=bucket_name, key_prefix='input')

从本地加载 csv 到 S3

Load csv into S3 from local

amazon-s3

amazon-web-services

amazon-sagemaker