GCP-Storage:文件在上传完成之前是否出现
GCP-Storage: do files appear before upload is complete
我想在存储中添加新文件时将文件传输到 VM,问题是我希望仅在上传完成后才进行传输
所以我的问题是:即使上传仍在继续,文件也会出现吗?这意味着如果我构建一个每秒查找新文件的程序,即使上传未完成,它是否会将文件从 gcs 传输到 VM,或者传输将在上传完成时开始,而不是在上传时开始?
在用户将文件完全上传到指定的存储桶之前,文件不会出现在云存储的 UI 中。
我附上了 Google Cloud Platform 如何管理 Google Cloud Storage Buckets here.
中的一致性
您可以随时使用 gsutil
列出您的一个云存储桶中的所有文件,如 here.
所述
至于您尝试开发的应用程序,我强烈建议您结合使用 Google 云函数和触发器。
在这种情况下,您可以使用 google.storage.object.finalize
触发器以便在每次将新对象上传到您的一个存储桶时执行您的函数。你可以看到这个应用的例子here.
在尝试将对象传输到您的 GCE 实例之前,云函数将确保您的存储桶已正确上传到存储桶。
因此,完成上传后,唯一剩下的就是执行gcloud compute scp
,通过scp将文件复制到您的Google Compute Engine,如here所述。
Google 云存储上传 strongly consistent
对象上传。这意味着该对象在 100% 上传并且任何 Cloud Storage 内务处理(例如复制)完成之前是不可见的。在上传完成并且您的 software/tool 收到成功响应之前,您无法查看或访问对象。
Google Cloud Storage Consistency
Do files appear even when the upload is still going on ? which means
if I build a program that looks for new files every second, would it
transfer the files from gcs to VM even if the upload is incomplete or
the transfer would start whenever the upload is complete and not while
it is uploading ?
不,在新对象 100% 可用之前,您的程序将看不到新对象。 Google Cloud Storage 中没有部分上传。
我想在存储中添加新文件时将文件传输到 VM,问题是我希望仅在上传完成后才进行传输
所以我的问题是:即使上传仍在继续,文件也会出现吗?这意味着如果我构建一个每秒查找新文件的程序,即使上传未完成,它是否会将文件从 gcs 传输到 VM,或者传输将在上传完成时开始,而不是在上传时开始?
在用户将文件完全上传到指定的存储桶之前,文件不会出现在云存储的 UI 中。
我附上了 Google Cloud Platform 如何管理 Google Cloud Storage Buckets here.
中的一致性您可以随时使用 gsutil
列出您的一个云存储桶中的所有文件,如 here.
至于您尝试开发的应用程序,我强烈建议您结合使用 Google 云函数和触发器。
在这种情况下,您可以使用 google.storage.object.finalize
触发器以便在每次将新对象上传到您的一个存储桶时执行您的函数。你可以看到这个应用的例子here.
在尝试将对象传输到您的 GCE 实例之前,云函数将确保您的存储桶已正确上传到存储桶。
因此,完成上传后,唯一剩下的就是执行gcloud compute scp
,通过scp将文件复制到您的Google Compute Engine,如here所述。
Google 云存储上传 strongly consistent
对象上传。这意味着该对象在 100% 上传并且任何 Cloud Storage 内务处理(例如复制)完成之前是不可见的。在上传完成并且您的 software/tool 收到成功响应之前,您无法查看或访问对象。
Google Cloud Storage Consistency
Do files appear even when the upload is still going on ? which means if I build a program that looks for new files every second, would it transfer the files from gcs to VM even if the upload is incomplete or the transfer would start whenever the upload is complete and not while it is uploading ?
不,在新对象 100% 可用之前,您的程序将看不到新对象。 Google Cloud Storage 中没有部分上传。