是否有使用 s3 存储桶和 csv 文件作为源并且目标也在 s3 存储桶中的 Kiba ETL 作业的示例实现？
Is there a sample implementation of Kiba ETL Job using s3 bucket with csv files as source and the destination is in s3 bucket also?
我在 s3 中有 csv 文件，我想转换一些列并将结果放在另一个 s3 存储桶中，有时在同一个存储桶中，但文件夹不同。我可以使用 Kiba 实现它吗？我可能..我需要在转换和其他东西之前先将 csv 数据存储在数据库中吗？
感谢使用Kiba！目前没有这样的实施示例。我将在未来 Kiba Pro 中提供供应商支持的 S3 组件。
也就是说，您的想法绝对是可能的（我已经为一些客户做到了）- 绝对没有必要先将 CSV 数据存储在数据库中。
您需要做的是实现一个 Kiba S3 source and destination，它会为您做到这一点。
我建议您查看 AWS Ruby SDK, and in particular the S3 Examples。
以下链接将特别有用：
- https://docs.aws.amazon.com/sdk-for-ruby/v3/developer-guide/s3-example-get-bucket-items.html 列出存储桶项目
- https://docs.aws.amazon.com/sdk-for-ruby/v3/developer-guide/s3-example-get-bucket-item.html 在处理之前将文件下载到本地
- https://docs.aws.amazon.com/sdk-for-ruby/v3/developer-guide/s3-example-upload-bucket-item.html 将文件上传回 S3
希望对您有所帮助！
我在 s3 中有 csv 文件，我想转换一些列并将结果放在另一个 s3 存储桶中，有时在同一个存储桶中，但文件夹不同。我可以使用 Kiba 实现它吗？我可能..我需要在转换和其他东西之前先将 csv 数据存储在数据库中吗？
感谢使用Kiba！目前没有这样的实施示例。我将在未来 Kiba Pro 中提供供应商支持的 S3 组件。
也就是说，您的想法绝对是可能的（我已经为一些客户做到了）- 绝对没有必要先将 CSV 数据存储在数据库中。
您需要做的是实现一个 Kiba S3 source and destination，它会为您做到这一点。
我建议您查看 AWS Ruby SDK, and in particular the S3 Examples。
以下链接将特别有用：
- https://docs.aws.amazon.com/sdk-for-ruby/v3/developer-guide/s3-example-get-bucket-items.html 列出存储桶项目
- https://docs.aws.amazon.com/sdk-for-ruby/v3/developer-guide/s3-example-get-bucket-item.html 在处理之前将文件下载到本地
- https://docs.aws.amazon.com/sdk-for-ruby/v3/developer-guide/s3-example-upload-bucket-item.html 将文件上传回 S3
希望对您有所帮助！